CN112544073A - 摄像装置以及车辆控制系统 - Google Patents

摄像装置以及车辆控制系统 Download PDF

Info

Publication number
CN112544073A
CN112544073A CN201980049011.XA CN201980049011A CN112544073A CN 112544073 A CN112544073 A CN 112544073A CN 201980049011 A CN201980049011 A CN 201980049011A CN 112544073 A CN112544073 A CN 112544073A
Authority
CN
China
Prior art keywords
unit
scene
image data
image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980049011.XA
Other languages
English (en)
Inventor
浴良仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority claimed from PCT/JP2019/030097 external-priority patent/WO2020027233A1/ja
Publication of CN112544073A publication Critical patent/CN112544073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/701—Line sensors
    • H04N25/7013—Line sensors using abutted sensors forming a long line
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

在图像传感器的芯片内执行加工处理。摄像装置具备：摄像部(11)，被搭载于车辆，对所述车辆的周边区域进行摄像而生成图像数据；场景辨识部(214)，基于所述图像数据，辨识所述周边区域的场景；以及驱动控制部(12)，基于在所述场景辨识部中辨识出的所述场景，控制所述摄像部的驱动。

Description

摄像装置以及车辆控制系统
技术领域
本公开涉及摄像装置以及车辆控制系统。详细而言，涉及在芯片内的图像数据的加工处理。
背景技术
在以数码相机等所代表的设备中搭载有具有CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)、DSP(Digital Signal Processor，数字信号处理器)的图像传感器。在图像传感器中，摄像得到的图像被供给至DSP，在DSP中被进行各种处理，被输出至应用处理器等外部装置。
现有技术文献
专利文献
专利文献1：国际公开第2018/051809号
发明内容
发明所要解决的技术课题
然而，在上述的现有技术中，通常在图像传感器内的DSP中执行噪声去除等简单的图像处理，由应用处理器等执行使用图像数据的面部认证等复杂的处理。因此，由图像传感器摄像得到的摄像图像被按原样输出至应用处理器，因此从安全性的观点、隐私权的观点出发，期望在图像传感器的芯片内执行加工处理。
于是在本公开中，提出了一种能够在图像传感器的芯片内执行加工处理的摄像装置以及车辆控制系统。
用于解决技术课题的技术方案
为了解决上述的技术课题，本公开的一个方式的摄像装置具备：摄像部，被搭载于车辆，对所述车辆的周边区域进行摄像而生成图像数据；场景辨识部，基于所述图像数据，辨识所述周边区域的场景；以及驱动控制部，基于在所述场景辨识部中辨识出的所述场景，控制所述摄像部的驱动。
发明效果
根据本公开，能够在图像传感器的芯片内执行加工处理。此外，不一定被限定于在此所记载的效果，可以为本公开中记载的任意效果。
附图说明
图1为示出作为第1实施方式的电子设备的摄像装置的概略结构例的框图。
图2为说明第1实施方式的图像的加工的图。
图3为示出第1实施方式的加工处理的流程的流程图。
图4为说明第1实施方式的变形例的图。
图5为说明第2实施方式的摄像装置的图。
图6为说明第2实施方式的变形例的图。
图7为说明第3实施方式的摄像装置的图。
图8为示出第3实施方式的加工处理的流程的序列图。
图9为示出第4实施方式的车载摄像系统的概略结构例的框图。
图10为示出第4实施方式的工作流程的一例的流程图。
图11为用于说明第4实施方式的本车辆接近十字路口的情况下的场景的图。
图12为用于说明第4实施方式的本车辆遇到堵车的情况下的场景的图。
图13为用于说明第4实施方式的本车辆在高速公路、收费公路等的直线道路上行驶的情况下的场景的图。
图14为用于说明第4实施方式的本车辆在高速公路、收费公路等的转弯处行驶的情况下的场景的图。
图15为用于说明第4实施方式的本车辆接近坡道(下坡)时的场景的图。
图16为示出第4实施方式的单位像素的概略结构例的电路图。
图17为示出第4实施方式的像素的排列例的平面布局图。
图18为示出第4实施方式的以高分辨率读取图像数据时的时序图的图。
图19为示出第4实施方式的以低分辨率读取图像数据时的时序图的图。
图20为示出第4实施方式的图像传感器的概略结构例的框图。
图21为示出本实施方式的图像传感器的芯片结构例的示意图。
图22为用于说明本实施方式的布局例的图。
图23为用于说明本实施方式的布局例的图。
图24为示出车辆控制系统的概略性结构的一例的框图。
图25为示出车外信息检测部及摄像部的设置位置的一例的说明图。
图26为示出内窥镜手术系统的概略性结构的一例的图。
图27为示出摄像头及CCU的功能结构的一例的框图。
图28为示出诊断支持系统的概略性结构的一例的框图。
附图标记
1：摄像装置；10：图像传感器；11：摄像部；12：控制部；13：信号处理部；14：DSP；15：存储器；16：选择器；20：应用处理器；30：云服务器；200：车载摄像系统；214：场景辨识部；220：SoC；221：物体检测部；222：车辆控制信号生成部；223：场景辨识控制部；224：地图信息存储部；230：车辆控制装置；231：车辆控制部；232：车辆驱动用传感器；233：车辆驱动部；240：通信部。
具体实施方式
以下基于附图对本公开的实施方式进行详细说明。此外，在以下的各实施方式中，通过对相同部位附加相同的附图标记来省略重复的说明。
另外，按照以下所示的项目顺序来说明本公开。
1.第1实施方式
2.第1实施方式的变形例
3.第2实施方式
4.第3实施方式
5.第4实施方式
6.图像传感器的芯片结构
7.布局例
8.其它实施方式
9.对移动体的应用例
10.对内窥镜手术系统的应用例
11.对WSI(Whole Slide Imaging，全切片成像)系统的应用例
(1.第1实施方式)
[1-1.第1实施方式的图像处理系统的结构]
图1为示出作为第1实施方式的电子设备的摄像装置的概略结构例的框图。如图1所示，摄像装置1以能够通信的方式与云服务器30连接。此外，摄像装置1和云服务器30经由不论有线或无线的各种网络或USB(Universal Serial Bus，通用串行总线)线缆等，以能够通信的方式连接。
云服务器30为存储从摄像装置1发送的静止图像、运动图像等图像数据的服务器装置的一例。例如，云服务器30还能够提供按照每个用户、每个日期、每个摄像地点等任意的单位来存储图像数据、创建使用图像数据的相册等各种服务。
摄像装置1为具有图像传感器10和应用处理器20的电子设备的一例，例如为数码相机、数码摄像机、平板终端、智能电话等。此外，虽然在以下的实施方式中使用对图像进行摄像的例子进行说明，但不限定于此，即使为运动图像等也能够同样地进行处理。
图像传感器10例如为由1个芯片构成的CMOS(Complementary Metal OxideSemiconductor)图像传感器，接受入射光，进行光电变换，将与入射光的受光量对应的图像数据输出至应用处理器20。
应用处理器20为执行各种应用的CPU(Central Processing Unit，中央处理单元)等处理器的一例。应用处理器20执行与将从图像传感器10输入的图像数据显示于显示器的显示处理、使用图像数据的生物认证处理、将图像数据发送至云服务器30的发送处理等应用对应的各种处理。
[1-2.第1实施方式的摄像装置的结构]
如图1所示，摄像装置1具备作为固体摄像装置的图像传感器10和应用处理器20。图像传感器10具有摄像部11、控制部12、信号处理部13、DSP(也称为处理部)14、存储器15、选择器16(也称为输出部)。
摄像部11例如具备：光学系统104，具备变焦透镜、聚焦透镜、光圈等；以及像素阵列部101，具备包含光电二极管等受光元件(也称为光电变换部)的单位像素以二维矩阵状排列而成的结构。从外部入射的光经由光学系统104而成像于像素阵列部101中的受光元件排列而成的受光面。像素阵列部101的各单位像素通过对入射于该受光元件的光进行电变换，将与入射光的光量相应的电荷以能够读取的形式蓄积。
另外，摄像部11中包括变换器(Analog to Digital Converter，模数变换器：以下称为ADC)17(例如参照图2)。ADC 17通过将从摄像部11读取的每个单位像素的模拟的像素信号变换为数字值，来生成数字的图像数据，将生成的图像数据输出给信号处理部13。此外，ADC 17中也可以包含从电源电压等生成用于驱动摄像部11的驱动电压的电压生成电路等。
作为摄像部11输出的图像数据的尺寸，例如能够从12M(3968×2976)像素、VGA(Video Graphics Array，视频图形阵列)尺寸(640×480像素Z)等多个尺寸之中选择。另外，关于摄像部11输出的图像数据，例如能够选择设为RGB(红、绿、蓝)的彩色图像或者设为仅有亮度的黑白图像。能够进行这些选择作为摄影模式的设定的一种。
控制部12例如根据用户的操作、设定的工作模式来控制图像传感器10内的各部分。
信号处理部13对从摄像部11读取的数字的图像数据或从存储器15读取的数字的图像数据(以下称为处理对象的图像数据)执行各种信号处理。例如，在处理对象的图像数据为彩色图像的情况下，信号处理部13将该图像数据进行格式变换为YUV的图像数据或RGB的图像数据等。另外，信号处理部13例如根据需要对处理对象的图像数据执行噪声去除、白平衡调整等处理。另外，信号处理部13对处理对象的图像数据执行DSP 14处理该图像数据所需的各种信号处理(也称为前处理)。
DSP 14例如通过执行保存于存储器15的程序，从而作为使用通过利用深度神经网络(DNN)的机械学习而创建的已学习完成的模型来执行各种处理的处理部而发挥功能。例如，DSP 14通过执行基于存储于存储器15的已学习完成的模型的运算处理，从而执行将存储于存储器15的字典系数与图像数据相乘的处理。通过这样的运算处理得到结果(运算结果)被输出到存储器15和/或选择器16。此外，运算结果中可以包含通过执行使用已学习完成的模型的运算处理得到的图像数据、从该图像数据中得到的各种信息(元数据)。另外，DSP14中也可以嵌入有控制对存储器15的访问的存储器控制器。
运算处理中例如存在利用作为神经网络计算模型的一例的学习完成的学习模型的情形。例如，DSP 14能够使用学习完成的学习模型来执行作为各种处理的DSP处理。例如，DSP 14从存储器15读取图像数据并输入至学习完成的学习模型，获取作为面部的轮廓或面部图像的区域等的面部位置，作为已学习完成的模型的输出结果。然后，DSP 14对图像数据中的提取出的面部位置执行蒙版(masking)、马赛克、化身化(avatarization)等处理，生成加工图像数据。之后，DSP 14将生成的加工后的图像数据(加工图像数据)保存于存储器15。
另外，学习完成的学习模型中包含使用学习数据来学习人物的面部位置的检测等而得到的DNN、支持向量机等。学习完成的学习模型在被输入作为判别对象的数据的图像数据时，输出确定判别结果即面部位置的地址等区域信息。此外，DSP 14能够或是使用学习数据来变更学习模型内的各种参数的权重从而更新学习模型，或是事先准备多个学习模型而根据运算处理的内容来变更要使用的学习模型，或是从外部的装置获取或更新学习完成的学习模型，来执行上述运算处理。
此外，DSP 14作为处理对象的图像数据可以为从像素阵列部101正常读取的图像数据，也可以为通过间隔剔除该正常读取的图像数据的像素而缩小数据尺寸而得到的图像数据。或者，也可以为对像素阵列部101执行间隔剔除像素的读取从而以小于正常的数据尺寸读取的图像数据。此外，此处的正常读取可以是指不间隔剔除地读取像素。
利用基于这样的学习模型的面部位置的提取、加工处理，能够生成图像数据的面部位置被进行蒙版后的加工图像数据、图像数据的面部位置被进行马赛克处理后的加工图像数据或者图像数据的面部位置被替换为角色而化身化后的加工图像数据等。
存储器15根据需要存储从摄像部11输出的图像数据、由信号处理部13进行过信号处理的图像数据、由DSP 14得到的运算结果等。另外，存储器15存储DSP 14执行的学习完成的学习模型的算法作为程序及字典系数。
另外，存储器15在存储从信号处理部13输出的图像数据、从DSP 14输出的运算处理完成的图像数据(以下称为加工图像数据)之外，还可以存储ISO(InternationalOrganization for Standardization，国际标准化组织)灵敏度、曝光时间、帧速率、焦点、摄影模式、剪切范围等。即，存储器15可以存储由用户设定的各种摄像信息。
选择器16例如根据来自控制部12的选择控制信号，选择性地输出从DSP 14输出的加工图像数据、存储于存储器15的图像数据。例如，选择器16根据用户的设定等来选择保存于存储器15的加工图像数据、元数据等运算结果中的任意数据，并输出至应用处理器20。
例如，在选择了输出加工图像数据的加工处理模式的情况下，选择器16从存储器15读取DSP 14生成的加工图像数据，输出至应用处理器。另一方面，在选择了不输出加工图像数据的正常处理模式的情况下，选择器16将从信号处理部13输入的图像数据输出至应用处理器。此外，在选择了第1处理模式的情况下，选择器16可以将从DSP 14输出的运算结果直接输出至应用处理器20。
如以上所述，从选择器16输出的图像数据、加工图像数据被输入至处理显示和用户接口等的应用处理器20。应用处理器20例如使用CPU等而构成，执行操作系统、各种应用软件等。在该应用处理器20中可以搭载GPU(Graphics Processing Unit，图形处理单元)、基带处理器等的功能。应用处理器20对输入的图像数据和运算结果，或是执行根据需要的各种处理，或是执行对用户的显示，或是经由预定的网络40向外部的云服务器30发送。
此外，作为预定的网络40，能够应用例如因特网、有线LAN(Local Area Network，局域网)或无线LAN、移动通信网、Bluetooth(蓝牙)(注册商标)等各种网络。另外，图像数据和运算结果的发送目的地不限定于云服务器30，可以为单独工作的服务器、保管各种数据的文件服务器、移动电话等通信终端等具有通信功能的各种信息处理装置(系统)。
[1-3.第1实施方式的图像加工的说明]
图2为说明第1实施方式的图像的加工的图。如图2所示，信号处理部13对从摄像部11读取的图像数据进行信号处理并保存于存储器15。DSP 14从存储器15读取图像数据，执行使用学习完成的学习模型的面部检测，根据图像数据检测面部位置(处理1)。
接下来，DSP 14对检测出的面部位置执行实施蒙版、马赛克等的加工处理(处理2)以生成加工图像数据，并保存于存储器15。之后，选择器16根据用户的选择，将面部区域被加工后的加工图像数据输出至应用处理器20。
[1-4.第1实施方式的处理的流程]
图3为示出第1实施方式的加工处理的流程的流程图。如图3所示，由摄像部11的摄像得到的图像数据被保存于存储器15(S101)。
然后，DSP 14从存储器15读取图像数据(S102)，使用学习完成的学习模型，检测面部位置(S103)。接下来，DSP 14生成对图像数据的面部位置进行加工而得到的加工图像数据，保存于存储器15(S104)。
之后，在选择了具有加工的处理模式即加工处理模式的情况下(S105：是)，选择器16从存储器15读取加工图像数据，输出至应用处理器20等外部装置(S106)。
另一方面，在选择了无加工的处理模式即正常处理模式的情况下(S105：否)，选择器16从存储器15读取未实施加工处理的图像数据，输出至应用处理器20等外部装置(S107)。
[1-5.作用、效果]
如上所述，即使在需要加工的情况下图像传感器10也能够在1个芯片内的封闭区域中执行加工处理，因此能够抑制摄像得到的图像数据被按原样输出至外部的情况，能够实现安全性的提高和隐私权的保护。另外，图像传感器10能够使用户选择有无加工，因此能够根据用途来选择处理模式，能够提高用户的便利性。
(2.第1实施方式的变形例)
在上述第1实施方式中，说明了对面部位置执行蒙版等的例子，但是加工处理不限定于此。例如，也能够生成提取面部位置而得到的部分图像。
图4为说明第1实施方式的变形例的图。如图4所示，信号处理部13对从摄像部11读取的图像数据进行信号处理并保存于存储器15。DSP 14从存储器15读取图像数据，执行使用学习完成的学习模型的面部检测，从图像数据中检测面部位置(处理1)。
接下来，DSP 14生成提取检测出的面部位置而得到的部分图像数据(处理2)，保存于存储器15。之后，选择器16根据用户的选择，将面部的部分图像数据输出至应用处理器20。
如上所述，即使在需要加工的情况下图像传感器10也能够在1个芯片内的封闭区域中执行部分图像数据的提取，因此能够输出与人物的确定、面部认证、针对每个人物的图像收集等应用处理器20的处理相应的图像。其结果是能够抑制不需要的图像的发送，能够实现安全性的提高和隐私权的保护，还能够削减数据容量。
(3.第2实施方式)
[3-1.第2实施方式的摄像装置的说明]
顺便地说，在第1实施方式中对DSP 14执行加工处理的例子进行了说明，但不限定于此，选择器16也能够进行加工处理。于是在第2实施方式中，对选择器16进行加工处理的例子进行说明。
图5为说明第2实施方式的摄像装置的图。如图5所示，第2实施方式的图像传感器10的结构与第1实施方式的图像传感器10相同，因此省略详细说明。与第1实施方式不同的方面在如下方面：图像传感器10的DSP 14将使用学习模型提取出的面部位置的位置信息通知给选择器16。
例如，如图5所示，信号处理部13对从摄像部11读取的图像数据进行信号处理并保存于存储器15。DSP 14从存储器15读取图像数据，执行使用学习完成的学习模型的面部检测，从图像数据中检测面部位置(处理1)。然后，DSP 14将作为确定面部位置的地址等的位置信息通知给选择器16。
在由用户选择了加工处理的情况下，选择器16从存储器15读取图像数据，使用从DSP 14获取的位置信息，确定作为加工对象的ROI(Region of Interest，关注区域)。然后，选择器16对确定的ROI执行蒙版等加工处理而生成加工图像数据(处理2)，将加工图像数据输出至应用处理器20。此外，选择器16也能够将加工图像数据保存于存储器15。
[3-2.第2实施方式的第1变形例]
与上述第1实施方式的变形例同样地，在第2实施方式中选择器16也能够生成提取面部位置而得到的部分图像。
图6为说明第2实施方式的第1变形例的图。如图6所示，信号处理部13对从摄像部11读取的图像数据进行信号处理并保存于存储器15。DSP 14从存储器15读取图像数据，执行使用学习完成的学习模型的面部检测，从图像数据中检测面部位置(处理1)。然后，DSP14将作为确定面部位置的地址等的位置信息通知给选择器16。
接下来，在由用户选择了加工处理的情况下，选择器16从存储器15读取图像数据，使用从DSP 14获取的位置信息，确定作为加工对象的ROI(Region of Interest，关注区域)。之后，选择器16生成从图像数据中提取与ROI对应的部分而得到的部分图像数据(处理2)，输出至应用处理器20。
[3-3.第2实施方式的第2变形例]
在上述的第2实施方式及其第1变形例中，例示了选择器16对保存于存储器15的图像数据进行ROI的提取(也称为剪切或修剪)、加工(蒙版等)等处理2的情况，但是不限定于此，例如也能够构成为选择器16对从信号处理部13输出的图像数据直接执行ROI的剪切、加工(蒙版等)等处理2。
[3-4.第2实施方式的第3变形例]
另外，也能够将从摄像部11读取的图像数据本身设为仅为ROI的部分图像数据或不包含ROI的图像数据。在该情况下，针对第1帧由DSP 14提取的面部位置被通知给控制部12，控制部12对于摄像部11执行对来自作为第1帧的下一帧的第2帧中的与ROI相当的像素区域的部分图像数据的读取、对来自与ROI以外的区域相当的像素区域的图像数据的读取。
此外，在第2实施方式及其变形例中，不限于蒙版等加工处理，选择器16还能够将图像数据中的仅与ROI对应的区域改写为其它图像并输出，还能够从存储器15中不读取图像数据中的仅与ROI对应的区域并输出。此外，该处理也能够由第1实施方式中的DSP 14执行。
如上所述，在图像传感器10中，能够由选择器16执行加工处理，因此能够降低在不需要加工处理的情况下的DSP 14的处理负载。另外，图像传感器10能够在不将由选择器16加工的加工图像保存于存储器15的状态下输出，因此能够削减存储器15的使用容量，实现存储器15的成本削减和小型化。其结果是能够实现图像传感器10整体的小型化。
(4.第3实施方式)
[4-1.第3实施方式的摄像装置的说明]
顺便而言，图像传感器10能够通过在读取来自摄像部11的图像数据整体之前，先读取小容量的图像数据并检测面部位置，从而实现处理的高速化。于是在第3实施方式中，对实现处理的高速化的例子进行说明。
图7为说明第3实施方式的摄像装置的图。如图7所示，第3实施方式的图像传感器10的结构与第1实施方式的图像传感器10相同，因此省略详细说明。在此对与第1实施方式不同的方面进行说明。
例如，如图7所示，摄像部11在从全部单位像素中读取图像数据时，不是从全部单位像素而是从对象的单位像素中进行间隔剔除而读取，将间隔剔除后的小容量的图像数据保存于存储器15。与此并行，摄像部11执行图像数据的正常读取。
然后，DSP 14从存储器15读取小容量的图像数据，执行使用学习完成的学习模型的面部检测，从该图像数据中检测面部位置(处理1)。然后，DSP 14将作为确定面部位置的地址等的位置信息通知给选择器16。
之后，选择器16在被输入由摄像部11读取的正常的图像数据时，使用从DSP 14获取的位置信息，从正常的图像数据中确定作为加工对象的ROI(Region of Interest，关注区域)。然后，选择器16对与ROI对应的区域执行蒙版等加工处理而生成加工图像数据(处理2)，将加工图像数据输出至应用处理器20。
[4-2.第3实施方式的处理的流程]
接下来，说明在图7中说明的处理的流程。图8为示出第3实施方式的加工处理的流程的序列图。如图8所示，摄像部11对图像进行间隔剔除而读取(S201)，将间隔剔除后的小容量的图像数据保存于存储器15(S202)。之后，摄像部11继续对正常的图像数据的读取。
与此并行，DSP 14使用DNN等，根据小容量的图像数据执行面部检测，检测面部位置(S203)。然后，DSP 14将检测出的面部位置的位置信息通知给选择器16(S205和S206)。
然后，选择器16保持从DSP 14通知的面部位置的位置信息(S207)。之后，摄像部11在正常的图像数据的读取结束时，输出至选择器16(S209和S210)，选择器16使用面部位置的位置信息，从正常的图像数据中确定面部位置(S211)。
之后，选择器16生成加工面部位置而得到的加工图像数据(S212)，将加工图像数据输出至外部装置(S213)。例如，选择器16仅剪切并输出由DNN检测出的面部的位置。像这样，图像传感器10能够在正常的图像数据的读取结束之前检测面部位置，因此能够在图像数据的读取后无延迟地执行加工处理，与第1实施方式相比也能够使处理高速化。
(5.第4实施方式)
接下来，对应用于将上述的实施方式的摄像装置1搭载于车辆而对车辆的周边区域进行摄像的车载照相机的情况，举出具体例进行说明。
[5-1.系统结构例]
图9为示出第4实施方式的车载摄像系统的概略结构例的框图。如图9所示，车载摄像系统200具备图像传感器210、SoC(System onChip，片上系统)220和车辆控制装置230。
(图像传感器10)
图像传感器10可以与上述的实施方式的图像传感器10相同。此外，在本实施方式中，标明在上述实施方式中省略了说明的输入部18，并且将选择器16记载为输出部16。另外，在本实施方式中，DSP 14作为基于输入的图像数据来辨识场景的场景辨识部214而发挥功能。在该辨识处理中，如上述的实施方式那样，可以使用已学习完成的模型。
(SoC 220)
SoC 220例如为搭载有应用处理器20等的电路基板，具备物体检测部221、车辆控制信号生成部222和场景辨识控制部223。这些单元的部分或全部例如可以通过应用处理器20执行预定的程序来实现，也可以通过被设计为执行各部分的处理的专用芯片等来实现。
(车辆控制装置230)
车辆控制装置230例如可以为搭载于车辆的ECU(Engine Control Unit，引擎控制单元)等，具备车辆控制部231、车辆驱动用传感器232和车辆驱动部233。
(地图信息存储部224)
地图信息存储部224例如可以为存储地形、交通网络、道路宽度等地图信息的存储部。例如在车辆搭载了导航系统的情况下，该地图信息存储部224可以与该导航系统共用。
(通信部240)
通信部240例如可以为经由预定的网络在与未图示的服务器等之间建立通信的单元。预定的网络例如可以为WAN(Wide Area Network，广域网)(包含因特网)、LAN(LocalArea Network，局域网)、公共网络、移动通信网等各种网络。
此外，SoC 220与车辆控制装置230例如可以经由CAN(Controller Area Network，控制器域网)等通信线路而连接。另一方面，图像传感器10与SoC 220可以经由I2C(Inter-Integrated Circuit，集成电路总线)、LVDS(Low Voltage Differential Signaling，低电压差分信号)、MIPI(Mobile Industry Processor Interface，移动产业处理器接口)等接口而连接。
接下来对以上结构中的各部分的工作进行说明。
·物体检测部221
物体检测部221根据从图像传感器10输出的图像数据、基于图像数据的加工图像数据、元数据等运算结果来检测车辆周围所存在的物体。
·车辆控制信号生成部222
车辆控制信号生成部222基于物体检测部221输出的物体检测结果，生成控制车辆的加减速、转向等的车辆控制信号。
·车辆驱动部233
车辆驱动部233例如可以为车辆的发动机系统、传动系统、刹车系统、安全气囊装置、仪表板等显示系统、音响系统、空调系统等。
·车辆驱动用传感器232
车辆驱动用传感器232可以为用于检测发动机或驱动用马达等的驱动状态、或是检测转向角、或是检测刹车的工作状态的各种传感器。
·车辆控制部231
车辆控制部231例如由CPU(Central Processing Unit，中央处理单元)等构成，根据基于司机的驾驶操作的车辆控制信号、从SoC220的车辆控制信号生成部222输入的车辆控制信号，控制车辆驱动部233。
·场景辨识控制部223
场景辨识控制部223基于从车辆驱动用传感器232输入的检测结果和从地图信息存储部224读取的地图信息，确定车辆的当前行驶地点及其地形(坡道、转弯等)、行驶速度、加减速的状况等信息，基于确定的信息，生成用于控制场景辨识部214的控制信号。生成的控制信号经由输入部18而被输入至场景辨识部214。
·场景辨识部214
如上所述，场景辨识部214为图像传感器10的DSP 14，基于从摄像部11读取的图像数据(或者其间隔剔除后的图像数据)、从场景辨识控制部223输入的控制信号，辨识当前的场景。此外，本说明中的场景不限于根据摄像部11的视场角内的风景、物体等确定的场景，可以包含车辆的姿态(相对于水平方向的倾斜等)、行驶速度、加减速的状况、转弯(右转、左转等)的状况等。另外，图9中省略了存储器15的图示，但也可以对场景辨识部214输入保存于存储器15的加工图像数据、元数据等运算结果。
·控制部12
控制部12为驱动像素阵列部101的驱动控制部，基于由场景辨识部215辨识出的场景，切换从摄像部11读取图像数据时的驱动。
[5-2.工作例]
接下来参照附图对本实施方式的工作流程进行详细说明。图10为示出本实施方式的工作流程的一例的流程图。
如图10所示，在本实施方式中，首先，由摄像部11执行图像数据的读取(步骤S401)。该读取的图像数据可以为从像素阵列部101正常读取的图像数据，也可以为通过对该正常读取的图像数据的像素进行间隔剔除而缩小了数据尺寸的图像数据。或者可以为通过对像素阵列部101执行间隔剔除像素的读取而以小于正常的数据尺寸读取的图像数据。
接下来，由场景辨识部214执行场景辨识(步骤S402)。具体地，场景辨识部214基于从摄像部11或信号处理部13(或存储器15)输入的图像数据和从场景辨识控制部223经由输入部18输入的控制信号，辨识当前的场景。在该辨识中，可以使用已学习完成的模型。
接下来，场景辨识部214基于场景辨识结果，判定是否将从摄像部11读取图像数据时的帧速率设定得高(步骤S403)。例如，场景辨识部214可以在十字路口、高速行驶时等车辆周围的状况以较短期间发生变化的场景下，判定为将帧速率设定得高。
在提高帧速率的情况下(步骤S403的是)，场景辨识部214将针对摄像部11的读取设定为高帧速率(步骤S404)，进入步骤S406。另一方面，在不提高帧速率的情况下(步骤S403的否)，场景辨识部214将针对摄像部11的读取设定为低帧速率(或正常的帧速率)(步骤S405)，进入步骤S406。
此外，高帧速率例如可以为30fps(frames per second，帧/秒)等，低帧速率(或正常的帧速率)例如可以为低于高帧速率的帧速率(例如，10fps)。但这些具体数值仅为例子，可以进行各种变更。
接下来，场景辨识部214判定是否需要高分辨率的图像数据(步骤S406)。例如，在行驶速度高于某个特定速度的情况下、高速公路、收费公路等其它车辆等的移动速度相对较快的场景下，为了检测远处的物体，场景辨识部214可以判定为需要高分辨率的图像数据。
在判定为需要高分辨率的图像数据的情况下(步骤S406的是)，场景辨识部214对是否在摄像部11内实现关注区域(ROI：Region Of Interest)的图像数据的提取、即是否从摄像部11读取仅为ROI的图像数据、是否从自摄像部11读取的图像数据中剪切ROI的图像数据进行判定(步骤S407)。在场景辨识部214判定为在摄像部11内实现ROI的图像数据的提取的情况下(步骤S407的是)，控制部12针对摄像部11执行以高分辨率读取ROI的图像数据的驱动控制以生成图像数据(步骤S408)，进入步骤S412。另一方面，在场景辨识部214判定为不在摄像部11内实现ROI的图像数据的提取的情况下(步骤S407的否)，控制部12针对摄像部11执行以高分辨率读取整体图像的图像数据以生成图像数据(步骤S409)。接下来将读取的整体图像的图像数据输入至信号处理部13，在信号处理部13中，从整体图像中剪切ROI的部分图像数据(步骤S410)，之后进入步骤S412。
另外，在步骤S406中，在场景辨识部214判定为不需要高分辨率的图像数据的情况下(步骤S406的否)，控制部12针对摄像部11执行以低分辨率读取整体图像的图像数据的驱动控制并生成图像数据(步骤S411)，进入步骤S412。此外，在低分辨率的读取动作中，例如可以通过将邻接像素的像素值相加来执行降低分辨率的读取驱动、通过像素的跳读(间隔剔除)来执行降低分辨率的读取驱动等。
此外，在步骤S406中，场景辨识部214可以基于图像数据计算车辆周边区域的照度，基于计算出的照度来判定是以低分辨率读取图像数据还是以高分辨率读取图像数据。例如，即使在判定为需要检测远处的物体的情况下，在照度低于预定阈值的情况下，场景辨识部214也可以判定为以低分辨率读取图像数据。
在步骤S412中，信号处理部13对输入的整体图像或部分图像的图像数据执行预定的信号处理。预定的信号处理例如为增益调整、白平衡调整、黑度校正、动态范围调整、缺陷像素校正等。然后，该信号处理后的图像数据例如经由输出部16而被输出到物体检测部221等(步骤S413)。
之后，例如，基于从外部输入的指示、车辆电源信息等，判定是否结束本工作(步骤S414)，在继续的情况下(步骤S414的否)，本工作返回步骤S401。另一方面，在结束的情况下(步骤S414的是)，本工作结束。
[5-3.工作的具体例]
接下来对使用图10说明的工作的具体例例示几个场景进行说明。
[5-3-1.十字路口的场景]
图11为用于说明本车辆接近十字路口的情况下的场景的图。如图11所示，在本车辆接近十字路口的情况下，在摄像部11的视场角内映照出十字路口的道路形状、人行横道、交通信号灯、其它车辆、行人、自行车等。在这样的场景中，为了实现与短时间内发生变化的周围的状况对应的车辆控制，场景辨识部214可以在图10的步骤S403中判定为将帧速率设定得高(步骤S403的是)。
此外，在该场景中，由于不太需要检测远处的物体，场景辨识部214可以在图10的步骤S406中判定为不需要高分辨率的图像数据(步骤S406的否)。但不限定于此，场景辨识部214也可以判定为需要高分辨率的图像数据(步骤S406的是)。
另外，在该场景中，由于期望将尽可能宽范围作为检测对象，以便能够检测行人的突然出现等，因此场景辨识部214可以将摄像部11的视场角整体设定为ROI。
[5-3-2.堵车的场景]
图12为用于说明本车辆遇到堵车的情况下的场景的图。如图12所示，在本车辆遇到堵车的情况下，在摄像部11的视场角内映照出预定数量以上的其它车辆等。在这样的场景中，由于不太需要检测远处的物体，场景辨识部214可以在图10的步骤S406中判定为不需要高分辨率的图像数据(步骤S406的否)。
另外，在该场景中，由于期望将尽可能宽范围设为检测对象，以便能够检测行人的突然出现等，因此场景辨识部214可以将摄像部11的视场角整体设定为ROI。
此外，在该场景中，由于周围的状况变化少，因此场景辨识部214可以在图10的步骤S403中判定为不提高帧速率(步骤S403的否)。但不限定于此，场景辨识部214也可以判定为提高帧速率(步骤S403的是)。
[5-3-3.高速公路的场景(直线)]
图13为用于说明本车辆在高速公路、收费公路等的直线道路上行驶的情况下的场景的图。如图13所示，在高速公路等直线道路的行驶中，由于本车辆的行驶速度、与其它车辆的相对速度快，因此需要检测远处的物体。于是场景辨识部214可以在图10的步骤S406中判定为需要高分辨率的图像数据(步骤S406的是)。
另外，在该场景中，在本车辆的行驶速度快的情况下，摄像部11的视场角的外周部分的图像常常映照得不清楚。因此场景辨识部214可以将针对摄像部11的ROI设定为视场角的中央部分(与车辆前方相当)。此时，场景辨识部214可以使ROI的尺寸根据本车辆的行驶速度而变化。
此外，ROI可以为以视场角内的图像的消失点为中心的区域。例如可以由场景辨识部214根据道路形状、道路上的白线等而利用一般的计算方法来计算消失点。此时，可以使用已学习完成的模型。
而且，在该场景中，场景辨识部214可以在图10的步骤S403中判定为提高帧速率(步骤S403的是)。但不限定于此，场景辨识部214也可以判定为不提高帧速率(步骤S403的否)。
[5-3-4.高速公路的场景(转弯)]
图14为用于说明本车辆在高速公路、收费公路等的转弯处行驶的情况下的场景的图。如图14所示，在高速公路等的转弯的行驶中，与高速公路等的直线道路的行驶中同样地，为了检测远处的物体，场景辨识部214可以在图10的步骤S406中判定为需要高分辨率的图像数据(步骤S406的是)。另外，场景辨识部214也可以将除去图像映照得不清楚的区域后的区域设定为ROI。
但是，转弯行驶中的消失点根据道路的弯曲而从视场角的中央向左右等偏移。于是场景辨识部214可以基于转弯的形状等使ROI的区域偏移。例如，可以根据从转弯的形状等求出的消失点的偏移量，使ROI的区域偏移。此时，场景辨识部214可以基于输入的图像数据等来进行本车辆是否处于转弯行驶中的判断。在该判断中，可以使用已学习完成的模型。
此外，在该场景中，场景辨识部214可以在图10的步骤S403中判定为提高帧速率(步骤S403的是)。但不限定于此，场景辨识部214也可以判定为不提高帧速率(步骤S403的否)。
[5-3-5.坡道的场景]
图15为用于说明本车辆接近坡道(下坡)时的场景的图。如图15所示，在本车辆接近坡道的场景中，在视场角内的图像中，未映照出道路、道路标识、对面车等检测对象的区域(例如天空、大海等区域)所占比例变大。
在这样的未映照出检测对象的区域所占比例变大的场景中，场景辨识部214可以将除去未映照出检测对象的区域后的区域设定为ROI。此时，在未映照出检测对象的区域的确定中可以使用已学习完成的模型。
[5-4.切换低分辨率读取与高分辨率读取的结构例]
接下来举例说明用于切换以低分辨率的读取动作与以高分辨率的读取动作的结构。此外，在本说明中，例示通过将邻接像素的像素值相加来实现以低分辨率的读取动作的情况，但是不限定于此，也能够通过进行像素的跳读(间隔剔除)来实现以低分辨率的读取动作。
[5-4-1.单位像素的结构例]
图16为示出本实施方式的单位像素的概略结构例的电路图。如图16所示，用于实现低分辨率读取与高分辨率读取的切换的单位像素300具备像素共享单元的结构，该像素共享单元的结构例如包含多个像素(在图16中例如为4个像素311、312、313、314)、连接于该多个像素311～314的1个像素电路320和连接于像素电路320的垂直信号线VSL。
像素电路320例如包括3个晶体管，具体而言包含放大晶体管AMP、选择晶体管SEL及复位晶体管RST。另外，连接于复位晶体管RST的源极及放大晶体管AMP的栅极的节点作为蓄积从像素311～314转移的电荷的浮置扩散体(floating diffusion)FD而发挥功能。
在这样的结构中，单位像素300通过使1个像素电路320以时分方式工作，从而将4个像素311～314各自的像素信号依次输出至垂直信号线VSL。
像素311/312/313/314例如具有光电二极管PD1/PD2/PD3/PD4和连接于光电二极管PD1/PD2/PD3/PD4的转移晶体管(也称为传输门)TR1/TR2/TR3/TR4。在以下的说明中，在不分别区分光电二极管PD1～PD4的情况下，将其附图标记设为“PD”。同样地，在不分别区分转移晶体管TR1～TR4的情况下，将其附图标记设为“TR”。
在光电二极管PD中，阴极电连接于转移晶体管TR的源极，阳极电连接于基准电位线(例如接地)。光电二极管PD对入射的光进行光电变换，产生与该受光量相应的电荷。
转移晶体管TR例如为n型CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)晶体管。在转移晶体管TR中，漏极电连接于浮置扩散体FD，栅极电连接于驱动信号线。
转移晶体管TR1将由光电二极管PD产生的电荷向浮置扩散体FD转移。浮置扩散体FD为形成于p型半导体层中的n型扩散层区域。浮置扩散体FD为暂时保持从光电二极管PD转移的电荷的电荷保持单元，并且为产生与该电荷量相应的电压的、电荷-电压变换单元。
浮置扩散体FD电连接于放大晶体管AMP的栅极及复位晶体管RST的源极。复位晶体管RST的栅极连接于驱动信号线。复位晶体管RST的漏极连接于电源线VDD。
放大晶体管AMP的栅极连接于浮置扩散体FD，放大晶体管AMP的漏极连接于电源线VDD，放大晶体管AMP的源极连接于选择晶体管SEL的漏极。选择晶体管SEL的源极连接于垂直信号线VSL，选择晶体管SEL的栅极连接于驱动信号线。
当转移晶体管TR为导通状态时，转移晶体管TR将光电二极管PD的电荷转移至浮置扩散体FD。转移晶体管TR的栅极例如包含所谓的垂直电极，从设置有光电二极管PD的半导体层的表面延伸到达光电二极管PD的深度。
复位晶体管RST将浮置扩散体FD的电位复位为预定的电位。当复位晶体管RST为导通状态时，将浮置扩散体FD的电位复位为电源线VDD的电位。
选择晶体管SEL控制来自像素电路320的像素信号的输出定时。放大晶体管AMP生成与保持于浮置扩散体FD的电荷的电平相应的电压的信号作为像素信号。放大晶体管AMP经由选择晶体管SEL而连接于垂直信号线VSL。该放大晶体管AMP与连接于垂直信号线VSL的负载电路部一同构成源极跟随器。当选择晶体管SEL为导通状态时，放大晶体管AMP使与浮置扩散体FD的电压相应的电压值的像素信号出现于垂直信号线VSL。
复位晶体管RST、放大晶体管AMP及选择晶体管SEL例如可以为N型CMOS晶体管。
选择晶体管SEL可以被设置于电源线VDD与放大晶体管AMP之间。在该情况下，复位晶体管RST的漏极电连接于电源线VDD及选择晶体管SEL的漏极。选择晶体管SEL的源极电连接于放大晶体管AMP的漏极。
放大晶体管AMP的源极(像素电路320的输出端)电连接于垂直信号线VSL，放大晶体管AMP的栅极电连接于复位晶体管RST的源极。此外，虽然省略图示，但是共享1个像素电路320的像素的数量可以为4个以外的数量。例如，两个或8个像素可以共享1个像素电路320。
[5-4-2.像素排列例]
图17为示出本实施方式的像素的排列例的平面布局图。此外，在本说明中例示接受红色波长分量而生成像素信号的单位像素310R、接受绿色波长分量而生成像素信号的单位像素310G1及310G2和接受蓝色波长分量而生成像素信号的单位像素310B依照拜耳排列来排列的情况，但单位像素各自接受的波长分量及其排列不限定于此，能够进行种种变形。
如图17所示，单位像素310B、310G1、310G2及310R分别被布局例如为4个像素311～314以2×2像素排列。各单位像素310B、310G1、310G2、310B的各像素311～314中的转移晶体管TR1～TR4被配置于光电二极管PD1～PD4各自的角部彼此相对的部分。
但是不限定于这样的结构，例如可以进行在拜耳排列的1个单位图案内调换单位像素310B、310G1、310G2及310R各自的像素311～314的位置等各种变形。
[5-4-3.时序图例(高分辨率)]
图18为示出以高分辨率读取图像数据时的时序图的图。如图18所示，在以高分辨率读取图像数据的情况下，各光电二极管PD1～PD4的电荷以时分方式转移至浮置扩散体FD。
具体而言，在定时T0～T1期间，通过复位晶体管RST及转移晶体管TR1～TR4被设为导通状态，从而蓄积于光电二极管PD1至PD4及浮置扩散体FD的电荷经由复位晶体管RST而被排出。据此，到目前为止蓄积于光电二极管PD1～PD4的电荷被清除，在定时T1～T4期间中，对新入射的光进行光电变换而得到的电荷被蓄积于光电二极管PD1～PD4。
接下来在紧接定时T2之前，选择晶体管SEL被设为导通状态。据此，成为读取对象的单位像素300被选择的状态。
接下来在定时T2～T3的期间，复位晶体管RST被设为导通状态。据此，蓄积于浮置扩散体FD的电荷被排出，垂直信号线VSL上出现的电压电平被初始化(复位)。将该状态的垂直信号线VSL的电压电平称为复位电平。该复位电平被进行AD(Analog-to-Digital，模拟到数字)变换，被读取为复位电平的像素信号。
在定时T5，当复位晶体管RST为关断状态时，浮置扩散体FD与电源VDD电性断开，为浮动状态。
接下来在定时T4～T5期间，当使像素311的转移晶体管TR1为导通状态时，蓄积于光电二极管PD1的阴极的电荷经由转移晶体管TR1而被转移至浮置扩散体FD。因此放大晶体管AMP的栅极被施加与蓄积于浮置扩散体FD的电荷相应的电压值的电压，其结果是在垂直信号线VSL中出现与蓄积于浮置扩散体FD的电荷相应的电压电平。以下将该状态的垂直信号线VSL的电压电平称为信号电平。该信号电平被进行AD(Analog-to-Digital，模拟到数字)变换，被读取为信号电平的像素信号。
通过取这样读取的复位电平与信号电平的差分来执行去除噪声的CDS(Correlated Double Sampling，相关双采样)处理，据此，去除了噪声的像素信号被读取为像素311的像素信号。
以下，在定时T6～T9、T10～T13、T14～T17的期间的各个期间中，通过对像素312～314依次执行与定时T2～T5的期间的工作同样的工作，由此从像素312～314读取去除了噪声的像素信号。
[5-4-4.时序图例(低分辨率)]
图19为示出以低分辨率读取图像数据时的时序图的图。比较图19与图18可知，在以低分辨率读取图像数据的情况下，例如，在定时T4～T5期间，像素311～314的转移晶体管TR1～TR4全部被设为导通状态。因此蓄积于光电二极管PD1～PD4各自的阴极的电荷被集中转移至浮置扩散体FD。即，像素311～314各自的光电二极管PD1～PD4所产生的电荷在浮置扩散体FD中被相加。因此在定时T5～T6期间，读取将像素311～314视为1个像素的像素信号。在该情况下，分辨率为高分辨率(参照图18)的情况下的1/4倍。
[5-5.来自像素阵列部的ROI图像的直接读取的控制例]
接下来参照附图对在摄像部11内实现ROI的图像数据的提取的情况下的控制例进行详细说明。
图20为示出本实施方式的图像传感器的概略结构例的框图。如图20所示，图像传感器10具备像素阵列部101和外围电路。在外围电路中例如可以包含垂直驱动电路402、列处理电路403、水平驱动电路404、系统控制部405及输出电路406。垂直驱动电路402、水平驱动电路404及系统控制部405可以为例如包含于控制部12的结构。
像素阵列部101具有单位像素300在行方向及列方向上、即矩阵状地以二维格状配置而成的结构。在此，行方向是指像素行的像素的排列方向(附图中为横向)，列方向是指像素列的像素的排列方向(附图中为纵向)。
在像素阵列部101中，针对矩阵状的像素排列，像素驱动线LD针对每个像素行沿着行方向布线，垂直信号线VSL针对每个像素列沿着列方向布线。像素驱动线LD传输用于进行从像素中读取信号时的驱动的驱动信号。在图20中，像素驱动线LD被示为各为1根的布线，但是不限于各为1根。像素驱动线LD的一端连接于与垂直驱动电路402的各行对应的输出端。
垂直驱动电路402包括移位寄存器、地址解码器等，以全部像素同时地或以行单位等来驱动像素阵列部101的各像素。即，垂直驱动电路402与控制该垂直驱动电路402的系统控制部405一同构成控制像素阵列部101的各像素的工作的驱动部。
从由垂直驱动电路402选择扫描的像素行的各单位像素输出的信号按照每个像素列通过各个垂直信号线VSL而被输入至列处理电路403。列处理电路403按照像素阵列部101的每个像素列，对从选择行的各像素通过垂直信号线VSL而输出的信号进行预定的信号处理，并且暂时保持信号处理后的像素信号。
具体而言，作为信号处理，列处理电路403至少进行噪声去除处理，例如CDS处理等。例如，通过CDS处理，复位噪声、像素内的放大晶体管的阈值偏差等像素固有的固定模式噪声被去除。列处理电路403此外还具备例如AD(模拟-数字)变换功能，将从光电变换元件读取得到的模拟的像素信号变换为数字信号并输出。
水平驱动电路404包括移位寄存器、地址解码器等，依次选择与列处理电路403的像素列对应的像素电路320。通过由该水平驱动电路404进行的选择扫描，在列处理电路403中针对每个像素电路320被信号处理过的像素信号被依次输出。
系统控制部405包括生成各种定时信号的定时发生器等，基于由该定时发生器生成的各种定时，进行对垂直驱动电路402、列处理电路403及水平驱动电路404等的驱动控制。系统控制部405可以与图9中的控制部12相同。
输出电路406将从列处理电路403输出的像素信号输出为1帧的图像数据。
在以上的结构中，当在摄像部11内实现ROI的图像数据的提取的情况下，仅针对与该ROI对应的区域R，执行像素信号的读取动作。这样的局部的读取动作例如能够通过仅将垂直驱动电路402中的与ROI对应的一部分像素驱动线LD激活(接通)并且仅使列处理电路403中的与ROI对应的一部分ADC工作(开启)来实现。
[5-6.作用、效果]
如以上所述，根据本实施方式，上述的实施方式的摄像装置1作为车载相机而被搭载于车辆。因此能够根据场景通过最佳的读取控制来读取需要的图像数据。其结果是由于能够生成与场景相应的适当的车辆控制信号，因此能够实现更合适的车辆控制。
另外，通过设为根据场景输出需要的区域的图像数据的结构，从而能够削减应处理的数据量，因此也能够使之后的物体检测处理、车辆控制信号生成处理等高速化。而且，通过将场景辨识部配置于图像传感器10内，从而能够无延迟地执行摄像部的控制。
其它结构、工作及效果可以与上述的实施方式相同，因此在此省略详细说明。
(6.图像传感器的芯片结构)
接下来对图1所示的图像传感器10的芯片结构的例子，在以下参照附图进行详细说明。
图21为示出本实施方式的图像传感器的芯片结构例的示意图。如图21所示，图像传感器10具有矩形平板状的第1基板(管芯)100和同样的矩形平板状的第2基板(管芯)120粘接而成的层叠构造。
第1基板100和第2基板的尺寸例如可以相同。另外，第1基板100和第2基板120可以分别为硅基板等半导体基板。
在图1所示的图像传感器10的结构中，在第1基板100配置有摄像部11的像素阵列部101。另外，在第1基板100可以以片上(on-chip)方式设置有光学系统104的部分或全部。
在图1所示的图像传感器10的结构中，在第2基板120配置有ADC 17、控制部12、信号处理部13、DSP 14、存储器15和选择器16。此外，在第2基板120可以配置有未图示的接口电路、驱动器电路等。
第1基板100和第2基板120的粘接可以是所谓的CoC(Chip on Chip，芯片上芯片)方式，即将第1基板100及第2基板120分别单片化为芯片后，将这些单片化的第1基板100及第2基板120进行粘接，也可以是所谓的CoW(Chip on Wafer，晶圆上芯片)方式，即在将第1基板100和第2基板120中的一方(例如第1基板100)单片化为芯片后，将该单片化的第1基板100粘接至单片化前(即晶圆状态)的第2基板120，也可以是所谓的WoW(Wafer on Wafer，晶圆上晶圆)方式，即将第1基板100和第2基板120一起以晶圆状态进行粘接。
作为第1基板100与第2基板120的接合方法，例如能够使用等离子体接合等。但是不限定于此，可以使用各种接合方法。
(7.布局例)
图22及图23为用于说明本实施方式的布局例的图。此外，图22示出第1基板100的布局例，图23示出第2基板120的布局例。
[7-1.第1基板的布局例]
如图22所示，在图1所示的图像传感器10的结构中，在第1基板100配置有摄像部11的像素阵列部101。此外，当在第1基板100搭载有光学系统104的部分或全部的情况下，设置于与像素阵列部101对应的位置。
像素阵列部101偏向于第1基板100的4条边L101～L104中的1条边L101侧而配置。换言之，像素阵列部101被配置为其中心部O101比第1基板100的中心部O100更接近于边L101。此外，在第1基板100中的设置有像素阵列部101的面为长方形的情况下，边L101例如可以为较短的边。但是不限定于此，像素阵列部101也可以偏向于较长的边而配置。
在与像素阵列部101的4条边中的边L101接近的区域，换言之，在边L101与像素阵列部101之间的区域，设置有穿过第1基板100的多个贯通布线(Through Silicon Via，硅通孔：以下称为TSV)排列而成的TSV阵列102，来作为用于使像素阵列部101中的各单位像素101a与配置于第2基板120的ADC 17电连接的布线。像这样，通过使TSV阵列102接近于像素阵列部101接近的边L101，从而能够在第2基板120中易于确保ADC 17等各部分的配置空间。
此外，TSV阵列102也可以被设置于与边L101相交的两条边L103及L104中的一条边L104(但也可以为边L103)接近的区域，换言之，边L104(或者边L103)与像素阵列部101之间的区域。
在第1基板100的4条边L101～L104中的、像素阵列部101未偏向地配置的边L102～L103的各条边，设置有由直线状地排列的多个焊盘构成的焊盘阵列103。焊盘阵列103所包含的焊盘中包含例如被施加像素阵列部101、ADC 17等模拟电路用的电源电压的焊盘(也称为电源引脚)、被施加信号处理部13、DSP 14、存储器15、选择器16、控制部12等数字电路用的电源电压的焊盘(也称为电源引脚)、MIPI(Mobile Industry Processor Interface，移动产业处理器接口)和SPI(Serial Peripheral Interface，串行外设接口)等接口用的焊盘(也称为信号引脚)、用于时钟和数据的输入输出的焊盘(也称为信号引脚)等。各焊盘经由引线与例如外部的电源电路、接口电路电连接。优选为各焊盘阵列103与TSV阵列102充分离开以至于能够忽略来自与焊盘阵列103中的各焊盘连接的引线的信号的反射的影响。
[7-2.第2基板的布局例]
另一方面，如图23所示，在图1所示的图像传感器10的结构中，在第2基板120配置有ADC 17、控制部12、信号处理部13、DSP 14和存储器15。此外，在第1布局例中，存储器15被分成存储器15A和存储器15B这两个区域。同样地，ADC 17被分成ADC 17A和DAC(Digital-to-Analog Converter，数模变换器)17B这两个区域。DAC17B为向ADC 17A供给AD变换用的参考电压的结构，广义上为包含于ADC 17的一部分的结构。另外，虽然在图22中未图示，但是选择器16也配置于第2基板120。
而且，在第2基板120设置有布线122和焊盘阵列123，其中，该布线122通过与穿过第1基板100的TSV阵列102中的各TSV(以下简称为TSV阵列102)接触而与之电连接，该焊盘阵列123由与第1基板100的焊盘阵列103中的各焊盘电连接的多个焊盘直线状地排列而成。
作为TSV阵列102与布线122的连接，能够采用例如所谓的双TSV方式或者所谓的共享TSV方式等，其中在双TSV方式中，在芯片外表面连接设置于第1基板100的TSV和从第1基板100跨越至第2基板120而设置的TSV这两个TSV，在共享TSV方式中，通过从第1基板100跨越至第2基板120而设置的共同的TSV来进行连接。但是不限定于这些方式，能够采用例如将分别在第1基板100的接合面和第2基板120的接合面露出的铜(Cu)彼此接合的所谓的Cu-Cu键合方式等各种连接形式。
第1基板100的焊盘阵列103中的各焊盘与第2基板120的焊盘阵列123中的各焊盘的连接形式例如为引线键合。但是不限定于此，也可以为通孔、铸件等连接形式。
在第2基板120的布局例中，例如，将与TSV阵列102连接的布线122的附近设为上游侧，沿着从像素阵列部101读取的信号的流向，从上游起依次配置有ADC 17A、信号处理部13、DSP 14。即，最先被输入从像素阵列部101读取的像素信号的ADC 17A被配置于作为最上游侧的布线122的附近，接下来配置信号处理部13，在距布线122最远的区域配置有DSP 14。像这样，通过设为沿着信号的流向从上游侧起配置ADC 17至DSP 14的布局，从而能够缩短连接各部分的布线。据此，能够降低信号延迟、降低信号的传播损耗、提高信噪比、降低功耗。
另外，控制部12被配置于例如作为上游侧的布线122的附近。在图22中，在ADC 17A与信号处理部13之间配置有控制部12。通过设为这样的布局，能够降低控制部12控制像素阵列部101时的信号延迟、降低信号的传播损耗、提高信噪比、降低功耗。另外还存在如下优点：能够将模拟电路用的信号引脚、电源引脚集中配置于模拟电路的附近(例如图22中的下侧)，将其余的数字电路用的信号引脚、电源引脚集中配置于数字电路的附近(例如图22中的上侧)，或是将模拟电路用的电源引脚与数字电路用的电源引脚充分离开地配置等。
另外，在图22所示的布局中，DSP 14被配置于最下游侧即与ADC 17A相反侧。通过设为这样的布局，换言之，能够在第1基板100与第2基板120的层叠方向(以下简称为上下方向)上，在不与像素阵列部101重叠的区域配置DSP 14。
像这样，通过设为在上下方向上像素阵列部101与DSP 14不重叠的结构，能够降低由于DSP 14执行信号处理而产生的噪声进入像素阵列部101的情况。其结果是即使在使DSP14作为执行基于已学习完成的模型的运算的处理部而工作的情况下，也能够降低由DSP 14的信号处理所引起的噪声进入到像素阵列部101，因此能够获取质量劣化降低的图像。
此外，DSP 14与信号处理部13通过DSP 14的一部分或由信号线构成的连接部14a而连接。另外，选择器16例如被配置于DSP 14的附近。在将连接部14a设为DSP 14的一部分的情况下，在上下方向上一部分的DSP 14与像素阵列部101重合，但即使在这样的情况下，与全部DSP 14在上下方向上与像素阵列部101重叠的情况相比较，也能够降低噪声进入到像素阵列部101。
存储器15A及15B被配置为例如从3个方向包围DSP 14。通过像这样将存储器15A及15B配置为包围DSP 14，能够使存储器15中的各存储器元件与DSP 14的布线上的距离平均化且整体上缩短。据此，能够降低DSP 14访问存储器15时的信号延迟、信号的传播损耗、功耗。
焊盘阵列123被配置于例如与第1基板100的焊盘阵列103在上下方向上对应的第2基板120上的位置。在此焊盘阵列123所包含的焊盘中的、位于ADC 17A的附近的焊盘被用于模拟电路(主要是ADC17A)用的电源电压、模拟信号的传播。另一方面，位于控制部12、信号处理部13、DSP 14、存储器15A及15B的附近的焊盘被用于数字电路(主要是控制部12、信号处理部13、DSP 14、存储器15A及15B)用的电源电压、数字信号的传播。通过设为这样的焊盘布局，能够缩短连接各焊盘与各部分的布线上的距离。据此，能够降低信号延迟、降低信号和电源电压的传播损耗、提高信噪比、降低功耗。
(8.其它实施方式)
除了上述各实施方式以外，上述的各实施方式的处理还可以以各种不同的形式来实施。
例如，除了上述实施方式中说明的以外，加工处理还能够执行与使学习模型学习过的内容相应的各种处理。例如，不仅能够提取面部整体，还能够提取面部的轮廓，或是仅提取眼睛或鼻子等一部分，或是提取摄像装置1的所有者或特定人物等，或是从房屋的图像中提取门牌或窗户等一部分。另外，还能够提取室内的图像数据中映现的室外部分，或是将人物与动物区分提取，或是从图像数据中提取窗户的部分。另外，加工处理的一例中还包含如下处理：读取仅面部等提取出的特定区域，或是不读取仅特定区域，或是将特定区域涂黑，或是读取剪掉仅特定区域后的图像。另外，不限于矩形区域，还能够提取三角形等任意区域。另外，蒙版处理、马赛克处理等加工处理不限于1个处理，还能够组合多个处理。另外，不限于DSP 14，还能够通过信号处理部13来执行面部位置等的提取。
在上述实施方式中例示了通过DNN学习而得到的学习模型，但除了DNN以外，还能够使用RNN(Recurrent Neural Networks，递归神经网络)、CNN(Convolutional NeuralNetwork，卷积神经网络)等各种神经网络。另外，不限于使用DNN等而得到的学习模型，还能够使用通过决策树、支持向量机等其它各种机器学习而学习得到的学习模型。
对于包含上述文字中、附图中所示的处理流程、控制流程、具体的名称、各种数据和参数的信息，除了特别记载的情况以外能够任意变更。另外，实施例中说明的具体例、分布、数值等仅为一例，能够任意变更。
另外，图示出的各装置的各结构要素为功能概念性的，并非必须在物理上如图示那样构成。即，各装置的分散、集成的具体形式不限于图示，能够根据各种负载、使用状况等以任意单位在功能上或物理上分散、集成而构成其全部或部分。例如，图1所示的控制部12和信号处理部13可以被集成。
(9.对移动体的应用例)
本公开的技术(本技术)能够应用于各种产品。例如，本公开的技术可以作为搭载于汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动工具、飞机、无人机、船舶、机器人等任意种类的移动体的装置而实现。
图24为示出作为可以应用本公开的技术的移动体控制系统的一例的车辆控制系统的概略性结构例的框图。
车辆控制系统12000具备经由通信网络12001连接的多个电子控制单元。在图24所示的例子中，车辆控制系统12000具备驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。另外，作为集成控制单元12050的功能结构，图示了微型计算机12051、声音图像输出部12052以及车载网络接口(Interface)12053。
驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统关联的装置的工作。例如，驱动系统控制单元12010作为内燃机或驱动用马达等用于产生车辆的驱动力的驱动力产生装置、用于将驱动力传递给车轮的驱动力传递机构、调节车辆的转向角的转向器机构以及使车辆的制动力产生的制动装置等的控制装置而发挥功能。
车身系统控制单元12020根据各种程序来控制装备于车体的各种装置的工作。例如，车身系统控制单元12020作为无钥匙进入系统、智能钥匙系统、电动窗装置或头灯、尾灯、刹车灯、转向灯或雾灯等各种车灯的控制装置而发挥功能。在该情况下，可以向车身系统控制单元12020输入从代替钥匙的便携设备发送的电波或各种开关的信号。车身系统控制单元12020接受这些电波或信号的输入，控制车辆的门锁装置、电动窗装置、车灯等。
车外信息检测单元12030检测搭载有车辆控制系统12000的车辆的外部的信息。例如，在车外信息检测单元12030连接有摄像部12031。车外信息检测单元12030使摄像部12031对车外的图像进行摄像并且接收摄像得到的图像。车外信息检测单元12030可以基于接收到的图像进行对人、车、障碍物、标识或路面上的文字等的物体检测处理或距离检测处理。
摄像部12031为接受光并输出与该光的受光量相应的电信号的光传感器。摄像部12031能够将电信号输出为图像，还能够输出为测距的信息。另外，摄像部12031接受的光可以为可见光，也可以为红外线等非可见光。
车内信息检测单元12040检测车内的信息。对车内信息检测单元12040连接有例如检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括对驾驶员进行摄像的相机，车内信息检测单元12040可以基于从驾驶员状态检测部12041输入的检测信息来计算驾驶员的疲劳程度或精力集中程度，也可以判别驾驶员是否在打瞌睡。
微型计算机12051能够基于由车外信息检测单元12030或车内信息检测单元12040获取的车内外的信息来运算驱动力产生装置、转向器机构或制动装置的控制目标值，对驱动系统控制单元12010输出控制指令。例如，微型计算机12051能够进行以实现包括避免车辆碰撞或者减缓冲击、基于车间距离的追随行驶、维持车速行驶、车辆的碰撞警告或车辆的偏离车道警告等的ADAS(Advanced Driver Assistance System，高级驾驶辅助系统)的功能为目的的协调控制。
另外，微型计算机12051通过基于由车外信息检测单元12030或车内信息检测单元12040获取的车辆的周围的信息来控制驱动力产生装置、转向器机构或制动装置等，从而能够进行以不依赖驾驶员的操作而自动行驶的自动驾驶等为目的的协调控制。
另外，微型计算机12051能够基于由车外信息检测单元12030获取的车外的信息来对车身系统控制单元12020输出控制指令。例如，微型计算机12051能够根据由车外信息检测单元12030检测出的前方车或对面车的位置来控制头灯，进行以将远光灯切换为近光灯等实现防眩为目的的协调控制。
声音图像输出部12052向能够对车辆的搭乘者或车外以视觉或听觉方式通知信息的输出装置发送声音及图像中的至少一方的输出信号。在图24的例子中，作为输出装置，例示了扬声器12061、显示部12062以及仪表板12063。显示部12062可以包括例如车载显示器及平视显示器中的至少一个。
图25为示出摄像部12031的设置位置的例子的图。
在图25中，作为摄像部12031，具有摄像部12101、12102、12103、12104、12105。
摄像部12101、12102、12103、12104、12105被设置于例如车辆12100的前保险杠、侧视镜、后保险杠、后门及车厢内的挡风玻璃的上部等位置。前保险杠处配备的摄像部12101及车厢内的挡风玻璃的上部处配备的摄像部12105主要获取车辆12100的前方的图像。侧视镜处配备的摄像部12102、12103主要获取车辆12100的侧方的图像。后保险杠或后门处配备的摄像部12104主要获取车辆12100的后方的图像。车厢内的挡风玻璃的上部处配备的摄像部12105主要用于检测前方车辆或行人、障碍物、信号灯、交通标识或车道等。
此外，图25中示出了摄像部12101至12104的摄影范围的一例。摄像范围12111示出设置于前保险杠的摄像部12101的摄像范围，摄像范围12112、12113分别示出设置于侧视镜的摄像部12102、12103的摄像范围，摄像范围12114示出设置于后保险杠或后门的摄像部12104的摄像范围。例如，通过叠加由摄像部12101至12104摄像得到的图像数据，可以得到从上方观看车辆12100的俯瞰图像。
摄像部12101至12104中的至少1个可以具有获取距离信息的功能。例如，摄像部12101至12104中的至少1个可以为由多个摄像元件构成的立体相机，也可以为具有相位差检测用的像素的摄像元件。
例如，微型计算机12051通过基于从摄像部12101至12104得到的距离信息，求出距摄像范围12111至12114内的各三维物体的距离和该距离随时间的变化(相对于车辆12100的相对速度)，从而能够提取尤其是位于车辆12100的行进路上的最近的、且在与车辆12100大致相同的方向上以预定速度(例如0km/h以上)行驶的三维物体作为前方车。而且，微型计算机12051能够预先设定与前方车的在跟前应该确保的车间距离，进行自动刹车控制(也包含停止追随控制)、自动加速控制(也包含追随起动控制)等。能够像这样进行以不依赖驾驶员的操作而自动行驶的自动驾驶等为目的的协调控制。
例如，微型计算机12051能够基于从摄像部12101至12104得到的距离信息，将与三维物体相关的三维物体数据分类为两轮车、普通车辆、大型车辆、行人、电线杆等其它三维物体来提取，用于障碍物的自动避让。例如，微型计算机12051将车辆12100的四周的障碍物识别为车辆12100的司机能够视觉辨认的障碍物和难以视觉辨认的障碍物。然后，微型计算机12051判断表示与各障碍物的碰撞的危险度的碰撞风险，在碰撞风险为设定值以上而存在碰撞可能性的状况时，能够经由扬声器12061、显示部12062向司机输出警报，经由驱动系统控制单元12010进行强制减速、避让转向，由此进行用于避免碰撞的驾驶支持。
摄像部12101至12104中的至少1个可以为检测红外线的红外相机。例如，微型计算机12051能够通过判定在摄像部12101至12104的摄像图像中是否存在行人来辨识行人。该行人的辨识根据例如如下流程来进行：提取作为红外相机的摄像部12101至12104的摄像图像中的特征点的流程和对示出物体的轮廓的一系列的特征点进行模式匹配处理来判别是否为行人的流程。在微型计算机12051判定为在摄像部12101至12104的摄像图像中存在行人且辨识行人时，声音图像输出部12052控制显示部12062以对该辨识出的行人重叠显示用于强调的方形轮廓线。另外，声音图像输出部12052也可以控制显示部12062以将示出行人的图标等显示于期望的位置。
以上对可以应用本公开的技术的车辆控制系统的一例进行了说明。本公开的技术可以应用于以上说明的结构中的摄像部12031等。通过在摄像部12031等应用本公开的技术，能够使摄像部12031等小型化，因此车辆12100的内部和外部的设计变得容易。另外，通过在摄像部12031等应用本公开的技术，能够获取降低了噪声的清晰的图像，因此能够向司机提供更易于查看的摄影图像。据此，能够减轻司机的疲劳。
(10.对内窥镜手术系统的应用例)
本公开的技术(本技术)能够应用于各种产品。例如，本公开的技术可以应用于内窥镜手术系统。
图26为示出可以应用本公开的技术(本技术)的内窥镜手术系统的概略性结构的一例的图。
图26中图示了实施手术者(医生)11131使用内窥镜手术系统11000对病床11133上的患者11132进行手术的情形。如图所示，内窥镜手术系统11000包括：内窥镜11100、气腹管11111和能量处置器具11112等其它手术工具11110、支撑内窥镜11100的支撑臂装置11120和搭载有用于内窥镜下手术的各种装置的推车11200。
内窥镜11100包括从前端起预定长度的区域被插入于患者11132的体腔内的镜筒11101和连接于镜筒11101的底端的摄像头11102。图示的例子中图示了构成为具有刚性镜筒11101的所谓的刚性镜的内窥镜11100，但内窥镜11100也可以构成为具有柔性镜筒的所谓的柔性镜。
在镜筒11101的前端设置有嵌入有物镜的开口部。在内窥镜11100连接有光源装置11203，由该光源装置11203生成的光通过在镜筒11101的内部延伸的光导而被导光至该镜筒的前端，经由物镜向着患者11132的体腔内的观察对象而照射。此外，内窥镜11100可以为直视镜，也可以为斜视镜或侧视镜。
在摄像头11102的内部设置有光学系统及摄像元件，来自观察对象的反射光(观察光)通过该光学系统而被聚光于该摄像元件。观察光通过该摄像元件而被进行光电变换，生成与观察光对应的电信号、即与观察像对应的图像信号。该图像信号作为原始(RAW)数据被发送给相机控制单元(CCU：Camera Control Unit)11201。
CCU 11201包括CPU(Central Processing Unit，中央处理单元)、GPU(GraphicsProcessing Unit，图形处理单元)等，总括性地控制内窥镜11100及显示装置11202的工作。而且，CCU 11201从摄像头11102接受图像信号，对该图像信号实施例如显影处理(去马赛克处理)等用于显示基于该图像信号的图像的各种图像处理。
显示装置11202根据来自CCU 11201的控制而显示基于由该CCU 11201实施过图像处理的图像信号的图像。
光源装置11203包括例如LED(light emitting diode，发光二极管)等光源，向内窥镜11100供给对手术部位等进行摄影时的照射光。
输入装置11204为针对内窥镜手术系统11000的输入接口。用户能够经由输入装置11204对内窥镜手术系统11000进行各种信息的输入和指示输入。例如，用户输入对内窥镜11100的摄像条件(照射光的种类、倍率及焦距等)进行变更的意思的指示等。
处置工具控制装置11205控制用于组织的烧灼、切开或血管的封闭等的能量处置器具11112的驱动。气腹装置11206出于确保内窥镜11100的视野以及确保实施手术者的操作空间的目的，为了使患者11132的体腔膨胀而经由气腹管11111向该体腔内送入气体。记录仪11207为能够记录与手术相关的各种信息的装置。打印机11208为能够以文本、图像或图表等各种形式打印与手术相关的各种信息的装置。
此外，向内窥镜11100供给对手术部位进行摄影时的照射光的光源装置11203能够包括例如LED、激光光源或由它们的组合构成的白色光源。在由RGB激光光源的组合来构成白色光源的情况下，能够高精度地控制各颜色(各波长)的输出强度及输出定时，因此在光源装置11203中能够进行摄像图像的白平衡的调整。另外，在该情况下，以时分方式向观察对象照射来自各个RGB激光光源的激光，与该照射定时同步地控制摄像头11102的摄像元件的驱动，从而还能够以时分方式对与RGB分别对应的图像进行摄像。根据该方法，即使不对该摄像元件设置滤色片，也能够得到彩色图像。
另外，光源装置11203的驱动可以被控制为每隔预定时间变更其输出的光的强度。与该光的强度的变更的定时同步地控制摄像头11102的摄像元件的驱动而以时分方式获取图像，对该图像进行合成，从而能够生成没有所谓的曝光不足及曝光过度的高动态范围的图像。
另外，光源装置11203可以构成为能够供给与特殊光观察对应的预定波段的光。在特殊光观察中，例如利用人体组织中光吸收的波长依赖性，通过照射比正常观察时的照射光(即白色光)窄的频带的光，进行以高对比度对粘膜表层的血管等预定组织进行摄影的所谓窄带光观察(Narrow Band Imaging，窄带成像)。或者在特殊光观察中，也可以进行利用由照射激发光而产生的荧光得到图像的荧光观察。在荧光观察中，能够进行对人体组织照射激发光，观察来自该人体组织的荧光(自发荧光观察)，或者将吲哚菁绿(ICG)等试剂局部注射至人体组织并且对该人体组织照射与该试剂的荧光波长对应的激发光来得到荧光像等。光源装置11203可以构成为能够供给与这样的特殊光观察对应的窄带光和/或激发光。
图27为示出图26所示的摄像头11102及CCU 11201的功能结构的一例的框图。
摄像头11102具有透镜单元11401、摄像部11402、驱动部11403、通信部11404和摄像头控制部11405。CCU 11201具有通信部11411、图像处理部11412和控制部11413。摄像头11102与CCU 11201通过传输线缆11400而以能够互相通信的方式连接。
透镜单元11401为设置于与镜筒11101的连接部的光学系统。从镜筒11101的前端取入的观察光被导光至摄像头11102，入射于该透镜单元11401。透镜单元11401由包括变焦透镜及聚焦透镜的多个透镜组合而构成。
构成摄像部11402的摄像元件可以为1个(所谓的单板式)，也可以为多个(所谓的多板式)。在以多板式构成摄像部11402的情况下，例如可以由各摄像元件来生成与RGB分别对应的图像信号，通过合成这些图像信号而得到彩色图像。或者，摄像部11402可以构成为具有用于分别获取与3D(dimensional)显示对应的右眼用及左眼用的图像信号的1对摄像元件。通过进行3D显示，实施手术者11131能够更加准确地掌握手术部位的生物组织的深度。此外，在以多板式构成摄像部11402的情况下，也可以与各摄像元件对应地设置多套透镜单元11401。
另外，摄像部11402也可以不一定被设置于摄像头11102。例如，摄像部11402可以在镜筒11101的内部设置于物镜的正后方。
驱动部11403由致动器构成，利用来自摄像头控制部11405的控制，使透镜单元11401的变焦透镜及聚焦透镜沿着光轴移动预定距离。据此，可以适当地调整由摄像部11402得到的摄像图像的倍率及焦点。
通信部11404包括用于在与CCU 11201之间收发各种信息的通信装置。通信部11404将从摄像部11402得到的图像信号作为原始(RAW)数据经由传输线缆11400发送至CCU11201。
另外，通信部11404从CCU 11201接收用于控制摄像头11102的驱动的控制信号，并供给至摄像头控制部11405。该控制信号中包括例如指定摄像图像的帧速率的意思的信息、指定摄像时的曝光值的意思的信息和/或指定摄像图像的倍率及焦点的意思的信息等与摄像条件相关的信息。
此外，上述的帧速率、曝光值、倍率、焦点等摄像条件可以由用户适当地指定，也可以基于获取的图像信号而由CCU 11201的控制部11413自动设定。在后者的情况下，所谓的AE(Auto Exposure，自动曝光)功能、AF(Auto Focus，自动对焦)功能及AWB(Auto WhiteBalance，自动白平衡)功能被搭载于内窥镜11100。
摄像头控制部11405基于经由通信部11404接收到的来自CCU11201的控制信号，控制摄像头11102的驱动。
通信部11411包括用于在与摄像头11102之间收发各种信息的通信装置。通信部11411从摄像头11102接收经由传输线缆11400发送的图像信号。
另外，通信部11411对摄像头11102发送用于控制摄像头11102的驱动的控制信号。图像信号、控制信号能够通过电气通信、光通信等来发送。
图像处理部11412对作为从摄像头11102发送的原始(RAW)数据的图像信号实施各种图像处理。
控制部11413进行与利用内窥镜11100对手术部位等的摄像及由对手术部位等摄像而得到的摄像图像的显示相关的各种控制。例如，控制部11413生成用于控制摄像头11102的驱动的控制信号。
另外，控制部11413基于由图像处理部11412实施过图像处理的图像信号，使显现手术部位等的摄像图像显示于显示装置11202。此时，控制部11413可以使用各种图像辨识技术来辨识摄像图像内的各种物体。例如，控制部11413通过检测摄像图像中包含的物体的边缘的形状、颜色等，从而能够辨识镊子等手术工具、特定的生物部位、出血、使用能量处置器具11112时的雾气等。控制部11413在使显示装置11202显示摄像图像时，可以使用该辨识结果使各种手术支持信息重叠显示于该手术部位的图像。通过重叠显示而向实施手术者11131呈现手术支持信息，从而能够减轻实施手术者11131的负担，实施手术者11131能够可靠地进行手术。
连接摄像头11102及CCU 11201的传输线缆11400为与电信号的通信对应的电信号线缆、与光通信对应的光纤或它们的复合线缆。
在此在图示的例子中，使用传输线缆11400以有线方式进行通信，但摄像头11102与CCU 11201之间的通信也可以以无线方式进行。
以上，对可以应用本公开的技术的内窥镜手术系统的一例进行了说明。本公开的技术可以应用于以上说明的结构中的例如摄像头11102的摄像部11402等。通过在摄像头11102应用本公开的技术，能够使摄像头11102等小型化，因此能够使内窥镜手术系统11000紧凑化。另外，通过在摄像头11102等应用本公开的技术，能够获取降低了噪声的清晰的图像，因此能够向实施手术者提供更易于查看的摄影图像。据此，能够减轻实施手术者的疲劳。
此外，在此作为一例对内窥镜手术系统进行了说明，但本公开的技术还可以应用于其它的例如显微镜手术系统等。
(11.对WSI(Whole Slide Imaging，全切片成像)系统的应用例)
本公开的技术能够应用于各种产品。例如，本公开的技术可以应用于医生等对从患者处采集到的细胞、组织进行观察以诊断病变的病理诊断系统及其支持系统等(以下称为诊断支持系统)。该诊断支持系统可以为基于利用数字病理技术获取的图像来诊断病变或对其进行支持的WSI(Whole Slide Imaging，全切片成像)系统。
图28为示出应用了本公开的技术的诊断支持系统5500的概略性结构的一例的图。如图28所示，诊断支持系统5500包括1个以上的病理系统5510。还可以包括医疗信息系统5530和导出装置5540。
1个以上的病理系统5510各自为主要供病理学医生使用的系统，被引入到例如研究所和医院。各病理系统5510可以被引入至互不相同的医院，分别经由WAN(Wide AreaNetwork，广域网)(包括因特网)、LAN(Local Area Network，局域网)、公共网络、移动通信网等各种网络而连接于医疗信息系统5530及导出装置5540。
各病理系统5510包括显微镜5511、服务器5512、显示控制装置5513和显示装置5514。
显微镜5511具有光学显微镜的功能，对被置于载玻片的观察对象物进行摄像，获取作为数字图像的病理图像。观察对象物可以是指例如从患者处采集的组织或细胞、脏器的肉片、唾液、血液等。
服务器5512将由显微镜5511获取的病理图像存储、保存于未图示的存储部。另外，服务器5512在从显示控制装置5513接受到查阅请求的情况下，从未图示的存储部检索病理图像，将检索到的病理图像发给显示控制装置5513。
显示控制装置5513将从用户处接受到的病理图像的查阅请求发给服务器5512。然后，显示控制装置5513使从服务器5512接受到的病理图像显示于使用液晶、EL(Electro-Luminescence，电致发光)，CRT(Cathode Ray Tube，阴极射线管)等的显示装置5514。此外，显示装置5514可以对应于4K或8K，而且不限于1台而可以为多台。
在此，在观察对象物为脏器的肉片等固体物的情况下，该观察对象物可以为例如被染色的薄切片。薄切片可以为例如通过将从脏器等待检物体切出的块片切为薄片来制作。另外，在切为薄片时，可以用石蜡等来固定块片。
作为薄切片的染色，可以应用HE(Hematoxylin-Eosin，苏木精-伊红)染色等示出组织的形态的一般染色、IHC(Immunohistochemistry，免疫组织化学)染色等示出组织的免疫状态的免疫染色等各种染色。此时可以对1个薄切片使用多个不同试剂来染色，也可以对从相同块片连续切出的两个以上的薄切片(也称为邻接的薄切片)使用互不相同的试剂来染色。
显微镜5511可以包括用于以低分辨率进行摄像的低分辨率摄像部和用于以高分辨率进行摄像的高分辨率摄像部。低分辨率摄像部和高分辨率摄像部可以为不同的光学系统，也可以为相同的光学系统。在为相同的光学系统的情况下，在显微镜5511中，可以根据摄像对象而变更分辨率。
放置有观察对象物的载玻片被载置于位于显微镜5511的视场角内的载置台上。显微镜5511首先使用低分辨率摄像部获取视场角内的整体图像，根据获取的整体图像确定观察对象物的区域。接下来显微镜5511将观察对象物所存在的区域分割为预定尺寸的多个分割区域，利用高分辨率摄像部对各分割区域依次进行摄像，从而获取各分割区域的高分辨率图像。在作为对象的分割区域的切换中，可以使载置台移动，也可以使摄像光学系统移动，也可以使这双方移动。另外，在各分割区域中，为了防止由于载玻片的意外滑动而导致产生摄像遗漏区域等，可以在邻接的分割区域之间进行重复。而且，整体图像中可以包括用于将整体图像与患者相关联的识别信息。该识别信息可以为例如字符串、QR码(二维码，注册商标)等。
由显微镜5511获取的高分辨率图像被输入至服务器5512。服务器5512将各高分辨率图像分割为较小尺寸的局部图像(以下称为分片图像(tile image))。例如，服务器5512将1个高分辨率图像分割为横竖10×10个共计100个分片图像。此时，如果邻接的分割区域重复，则服务器5512可以使用模板匹配等技术对彼此相邻的高分辨率图像实施拼接处理。在该情况下，服务器5512可以对利用拼接处理粘接而成的高分辨率图像整体进行分割来生成分片图像。但也可以在上述拼接处理之前根据高分辨率图像生成分片图像。
另外，服务器5512通过进一步分割分片图像，可以生成更小尺寸的分片图像。可以重复进行这样的分片图像的生成，直到生成了设定为最小单位的尺寸的分片图像为止。
当像这样生成最小单位的分片图像时，服务器5512对所有的分片图像执行如下分片合成处理：通过对相邻的预定数量的分片图像进行合成来生成1个分片图像。可以重复进行该分片合成处理直到最终生成了1个分片图像为止。利用这样的处理，生成了由1个以上的分片图像构成各层级的金字塔构造的分片图像组。在该金字塔构造中，某层的分片图像和与该层不同层的分片图像的像素数量相同，但其分辨率不同。例如，在将2×2个共计4个分片图像合成而生成上层的1个分片图像的情况下，上层的分片图像的分辨率为用于合成的下层的分片图像的分辨率的1/2倍。
通过构筑这样的金字塔构造的分片图像组，能够按照显示对象的分片图像所属的层级来切换显示于显示装置的观察对象物的详细度。例如，能够设为在使用最下层的分片图像的情况下，详细地显示观察对象物的窄小区域，使用越上层的分片图像则越粗略地显示观察对象物的越宽大的区域。
生成的金字塔构造的分片图像组例如与能够唯一识别各分片图像的识别信息(也称为分片识别信息)一同被存储于未图示的存储部。服务器5512在从其它装置(例如，显示控制装置5513、导出装置5540)接受到包括分片识别信息的分片图像的获取请求的情况下，向其它装置发送与分片识别信息对应的分片图像。
此外，作为病理图像的分片图像可以按照焦距、染色条件等各个摄像条件来生成。在按照各个摄像条件生成分片图像的情况下，可以与特定的病理图像一同并排显示与特定的病理图像相同区域的其它病理图像，该其它病理图像为对应于与特定的摄像条件不同的摄像条件的其它病理图像。特定的摄像条件可以由查阅者指定。另外，在由查阅者指定了多个摄像条件的情况下，可以并排显示与各摄像条件对应的相同区域的病理图像。
另外，服务器5512可以将金字塔构造的分片图像组存储于服务器5512以外的其它存储装置、例如云服务器等。而且，以上的分片图像的生成处理的部分或全部可以由云服务器等来执行。
显示控制装置5513根据来自用户的输入操作从金字塔构造的分片图像组中提取期望的分片图像，并将其输出至显示装置5514。通过这样的处理，用户能够得到一边改变观察倍率一边对观察对象物进行观察的感觉。即，显示控制装置5513作为虚拟显微镜发挥功能。此处的虚拟观察倍率实际上与分辨率相当。
此外，作为高分辨率图像的摄像方法，可以使用任意方法。可以一边重复载置台的停止、移动一边对分割区域进行摄像来获取高分辨率图像，也可以一边以预定速度移动载置台一边对分割区域进行摄像以获取条带(strip)上的高分辨率图像。另外，根据高分辨率图像生成分片图像的处理不是必需的结构，可以通过使利用拼接处理粘接而成的高分辨率图像整体的分辨率逐级变化，来生成分辨率逐级变化的图像。在该情况下，还能够逐级地向用户呈现从宽大面积区域的低分辨率图像至窄小面积区域的高分辨率图像。
医疗信息系统5530为所谓的电子病历系统，存储识别患者的信息、患者的疾病信息、用于诊断的检查信息和图像信息、诊断结果、处方药等与诊断相关的信息。例如，对某个患者的观察对象物进行摄像而得到病理图像一旦经由服务器5512被保存后，就可以通过显示控制装置5513而被显示于显示装置5514。利用病理系统5510的病理学医生基于显示于显示装置5514的病理图像进行病理诊断。由病理学医生进行的病理诊断结果被存储于医疗信息系统5530。
导出装置5540可以执行针对病理图像的解析。在该解析中能够使用利用机器学习而创建的学习模型。作为该解析结果，导出装置5540可以导出特定区域的分类结果、组织的识别结果等。而且，导出装置5540可以导出细胞信息、数量、位置、亮度信息等识别结果和针对这些的评分信息等。由导出装置5540导出的这些信息可以作为诊断支持信息被显示于病理系统5510的显示装置5514。
此外，导出装置5540可以为由1台以上的服务器(包括云服务器)等构成的服务器系统。另外，导出装置5540也可以为嵌入于病理系统5510内的例如显示控制装置5513或服务器5512的结构。即，针对病理图像的各种解析可以在病理系统5510内执行。
本公开的技术可以适合应用于以上说明的结构中的例如显微镜5511。具体而言，能够在显微镜5511中的低分辨率摄像部和/或高分辨率摄像部应用本公开的技术。通过将本公开的技术应用于低分辨率摄像部，能够在低分辨率摄像部内执行对整体图像中的观察对象物的区域的确定。另外，通过将本公开的技术应用于高分辨率摄像部，能够在高分辨率摄像部内执行分片图像的生成处理、针对病理图像的解析处理的部分或全部。由此，由于能够在显微镜5511内即时(on-the-fly)执行从获取病理图像至解析病理图像的处理的部分或全部，因此能够进行更迅速且准确的诊断支持信息的输出。例如，能够在显微镜5511内执行特定组织的部分提取、关照到个人信息的图像的部分输出等，能够实现缩短摄像时间、缩小数据量、缩短病理学医生的工作流程的时间等。
此外，上述所说明的结构不仅可以应用于诊断支持系统，还可以应用于共聚焦显微镜、荧光显微镜、视频显微镜等全部生物显微镜。在此观察对象物可以为培养细胞、受精卵、精子等生物样本，细胞片、三维细胞组织等生物材料、斑马鱼和老鼠等生物。另外，观察对象物不仅能够在保存于载玻片的状态下观察，还能够在保存于孔板、培养皿等的状态下观察。
进一步地，可以根据利用显微镜获取的观察对象物的静止图像生成运动图像。例如，可以根据在预定期间连续地摄像得到的静止影像生成运动影像，也可以根据隔开预定间隔而摄像得到的静止图像生成图像序列。像这样，通过根据静止图像生成运动图像，能够使用机器学习来解析癌细胞、神经细胞、心肌组织、精子等的搏动、增长、游离等运动和培养细胞、受精卵的分裂过程等观察对象物的动态特征。
另外，上述的各实施方式及变形例在与处理内容不矛盾的范围内能够适当地组合。
另外，本说明书所记载的效果仅为例示而非被限定的，还可以为其它效果。
此外，本技术还能够采用以下的结构。
(1)一种摄像装置，具备：
摄像部，被搭载于车辆，对所述车辆的周边区域进行摄像而生成图像数据；
场景辨识部，基于所述图像数据，辨识所述周边区域的场景；以及
驱动控制部，基于在所述场景辨识部中辨识出的所述场景，控制所述摄像部的驱动。
(2)根据所述(1)所记载的摄像装置，其中，
还具备对所述图像数据执行信号处理的信号处理部，
所述场景辨识部基于在所述信号处理部中执行所述信号处理而得到的图像数据，辨识所述周边区域的场景。
(3)根据所述(2)所记载的摄像装置，其中，
还具备输出执行所述信号处理而得到的图像数据的输出部。
(4)根据所述(1)～(3)中的任意一项所记载的摄像装置，其中，
所述场景辨识部判定是否为需要以高分辨率获取图像数据的场景，
所述驱动控制部，
在所述场景辨识部判定为是需要以所述高分辨率获取图像数据的场景的情况下，控制所述摄像部的驱动以生成具有第1分辨率的图像数据，
在所述场景辨识部判定为是不需要以所述高分辨率获取图像数据的场景的情况下，控制所述摄像部的驱动以生成具有比所述第1分辨率低的第2分辨率的图像数据。
(5)根据所述(4)所记载的摄像装置，其中，
所述场景辨识部基于所述图像数据计算所述周边区域的照度，在计算出的所述照度超过预定阈值的情况下，控制所述摄像部的驱动以生成具有所述第2分辨率的图像数据。
(6)根据所述(4)或(5)所记载的摄像装置，其中，
所述摄像部具备由矩阵状地排列的多个像素构成的像素阵列部，
所述场景辨识部在判定为是需要以所述高分辨率获取图像数据的情况下，指示所述驱动控制部从作为所述像素阵列部的部分区域的特定区域读取图像数据。
(7)根据所述(6)所记载的摄像装置，其中，
所述场景辨识部判定是否为所述周边区域中包含转弯的场景，在判定为是所述周边区域中包含转弯的场景的情况下，使所述像素阵列部中的所述特定区域的位置偏移。
(8)根据所述(4)或(5)所记载的摄像装置，其中，
还具备对所述图像数据执行信号处理的信号处理部，
所述场景辨识部基于在所述信号处理部中执行所述信号处理而得到的图像数据，辨识所述周边区域的场景，
所述场景辨识部在判定为是需要以所述高分辨率获取图像数据的情况下，使所述信号处理部执行从自所述摄像部读取的图像数据中提取作为该图像数据的一部分的特定区域的图像数据的处理。
(9)根据所述(8)所记载的摄像装置，其中，
所述场景辨识部判定是否为所述周边区域中包含转弯的场景，在判定为是所述周边区域中包含转弯的场景的情况下，使所述图像数据中的所述特定区域的位置偏移。
(10)根据所述(7)或(9)所记载的摄像装置，其中，
所述场景辨识部在判定为是所述周边区域中包含转弯的场景的情况下，基于所述转弯的形状使所述特定区域偏移。
(11)根据所述(4)或(5)所记载的摄像装置，其中，
所述摄像部具备由矩阵状地排列的多个像素构成的像素阵列部，
所述场景辨识部判定是否为所述周边区域中包含坡道的场景，在判定为是所述周边区域中包含坡道的场景的情况下，指示所述驱动控制部从作为所述像素阵列部的部分区域的特定区域读取图像数据。
(12)根据所述(4)或(5)所记载的摄像装置，其中，
还具备对所述图像数据执行信号处理的信号处理部，
所述场景辨识部基于在所述信号处理部中执行所述信号处理而得到的图像数据，辨识所述周边区域的场景，
所述场景辨识部判定是否为所述周边区域中包含坡道的场景，在判定为是所述周边区域中包含坡道的场景的情况下，使所述信号处理部执行从自所述摄像部读取的图像数据中提取作为该图像数据的一部分的特定区域的图像数据的处理。
(13)根据所述(1)～(12)中的任意一项所记载的摄像装置，其中，
所述摄像部具有：
第1光电变换部；
第2光电变换部；
第1传输门，连接于所述第1光电变换部；
第2传输门，连接于所述第2光电变换部；以及
浮置扩散体，连接于所述第1传输门和所述第2传输门，
所述驱动控制部基于在所述场景辨识部中辨识出的所述场景，控制所述第1传输门及第2传输门的驱动。
(14)根据所述(13)所记载的摄像装置，其中，
所述摄像部具备由矩阵状地排列的多个像素构成的像素阵列部，
所述驱动控制部具有：
垂直驱动电路，针对每行控制所述多个像素的驱动；以及
水平驱动电路，针对每列控制所述多个像素的驱动，
所述垂直驱动电路基于在所述场景辨识部中辨识出的所述场景，针对每行控制所述多个像素的驱动，
所述水平驱动电路基于在所述场景辨识部中辨识出的所述场景，针对每列控制所述多个像素部的驱动。
(15)一种车辆控制系统，具备：
摄像部，被搭载于车辆，对所述车辆的周边区域进行摄像而生成图像数据；
场景辨识部，基于所述图像数据，辨识所述周边区域的场景；
驱动控制部，基于在所述场景辨识部中辨识出的所述场景，控制所述摄像部的驱动；
物体检测部，基于所述图像数据，检测在所述周边区域内存在的物体；
车辆控制信号生成部，基于所述物体检测部的检测结果，生成用于控制所述车辆的车辆控制信号；以及
车辆控制部，基于所述车辆控制信号控制车辆驱动部。
(16)根据所述(15)所记载的车辆控制系统，其中，
还具备生成用于控制所述场景辨识部的控制信号的场景辨识控制部，
所述场景辨识部基于所述图像数据和所述控制信号，辨识所述周边区域的场景。
(17)根据所述(16)所记载的车辆控制系统，其中，
还具备检测所述车辆驱动部的状态的车辆驱动用传感器，
所述场景辨识控制部基于所述车辆驱动用传感器的检测结果生成所述控制信号。
(18)根据所述(16)或(17)所记载的车辆控制系统，其中，
还具备存储地图信息的地图信息存储部，
所述场景辨识控制部基于所述地图信息生成所述控制信号。

Claims (18)

1.一种摄像装置，具备：
摄像部，被搭载于车辆，对所述车辆的周边区域进行摄像而生成图像数据；
场景辨识部，基于所述图像数据，辨识所述周边区域的场景；以及
驱动控制部，基于在所述场景辨识部中辨识出的所述场景，控制所述摄像部的驱动。
2.根据权利要求1所述的摄像装置，其中，
还具备对所述图像数据执行信号处理的信号处理部，
所述场景辨识部基于在所述信号处理部中执行所述信号处理而得到的图像数据，辨识所述周边区域的场景。
3.根据权利要求2所述的摄像装置，其中，
还具备输出执行所述信号处理而得到的图像数据的输出部。
4.根据权利要求1所述的摄像装置，其中，
所述场景辨识部判定是否为需要以高分辨率获取图像数据的场景，
所述驱动控制部，
在所述场景辨识部判定为是需要以所述高分辨率获取图像数据的场景的情况下，控制所述摄像部的驱动以生成具有第1分辨率的图像数据，
在所述场景辨识部判定为是不需要以所述高分辨率获取图像数据的场景的情况下，控制所述摄像部的驱动以生成具有比所述第1分辨率低的第2分辨率的图像数据。
5.根据权利要求4所述的摄像装置，其中，
所述场景辨识部基于所述图像数据计算所述周边区域的照度，在计算出的所述照度超过预定阈值的情况下，控制所述摄像部的驱动以生成具有所述第2分辨率的图像数据。
6.根据权利要求4所述的摄像装置，其中，
所述摄像部具备由矩阵状地排列的多个像素构成的像素阵列部，
所述场景辨识部在判定为是需要以所述高分辨率获取图像数据的情况下，指示所述驱动控制部从作为所述像素阵列部的部分区域的特定区域读取图像数据。
7.根据权利要求6所述的摄像装置，其中，
所述场景辨识部判定是否为所述周边区域中包含转弯的场景，在判定为是所述周边区域中包含转弯的场景的情况下，使所述像素阵列部中的所述特定区域的位置偏移。
8.根据权利要求4所述的摄像装置，其中，
还具备对所述图像数据执行信号处理的信号处理部，
所述场景辨识部基于在所述信号处理部中执行所述信号处理而得到的图像数据，辨识所述周边区域的场景，
所述场景辨识部在判定为是需要以所述高分辨率获取图像数据的情况下，使所述信号处理部执行从自所述摄像部读取的图像数据中提取作为该图像数据的一部分的特定区域的图像数据的处理。
9.根据权利要求8所述的摄像装置，其中，
所述场景辨识部判定是否为所述周边区域中包含转弯的场景，在判定为是所述周边区域中包含转弯的场景的情况下，使所述图像数据中的所述特定区域的位置偏移。
10.根据权利要求7所述的摄像装置，其中，
所述场景辨识部在判定为是所述周边区域中包含转弯的场景的情况下，基于所述转弯的形状使所述特定区域偏移。
11.根据权利要求4所述的摄像装置，其中，
所述摄像部具备由矩阵状地排列的多个像素构成的像素阵列部，
所述场景辨识部判定是否为所述周边区域中包含坡道的场景，在判定为是所述周边区域中包含坡道的场景的情况下，指示所述驱动控制部从作为所述像素阵列部的部分区域的特定区域读取图像数据。
12.根据权利要求4所述的摄像装置，其中，
还具备对所述图像数据执行信号处理的信号处理部，
所述场景辨识部基于在所述信号处理部中执行所述信号处理而得到的图像数据，辨识所述周边区域的场景，
所述场景辨识部判定是否为所述周边区域中包含坡道的场景，在判定为是所述周边区域中包含坡道的场景的情况下，使所述信号处理部执行从自所述摄像部读取的图像数据中提取作为该图像数据的一部分的特定区域的图像数据的处理。
13.根据权利要求1所述的摄像装置，其中，
所述摄像部具有：
第1光电变换部；
第2光电变换部；
第1传输门，连接于所述第1光电变换部；
第2传输门，连接于所述第2光电变换部；以及
浮置扩散体，连接于所述第1传输门和所述第2传输门，所述驱动控制部基于在所述场景辨识部中辨识出的所述场景，控制所述第1传输门及第2传输门的驱动。
14.根据权利要求13所述的摄像装置，其中，
所述摄像部具备由矩阵状地排列的多个像素构成的像素阵列部，
所述驱动控制部具有：
垂直驱动电路，针对每行控制所述多个像素的驱动；以及
水平驱动电路，针对每列控制所述多个像素的驱动，
所述垂直驱动电路基于在所述场景辨识部中辨识出的所述场景，针对每行控制所述多个像素的驱动，
所述水平驱动电路基于在所述场景辨识部中辨识出的所述场景，针对每列控制所述多个像素部的驱动。
15.一种车辆控制系统，具备：
摄像部，被搭载于车辆，对所述车辆的周边区域进行摄像而生成图像数据；
场景辨识部，基于所述图像数据，辨识所述周边区域的场景；
驱动控制部，基于在所述场景辨识部中辨识出的所述场景，控制所述摄像部的驱动；
物体检测部，基于所述图像数据，检测在所述周边区域内存在的物体；
车辆控制信号生成部，基于所述物体检测部的检测结果，生成用于控制所述车辆的车辆控制信号；以及
车辆控制部，基于所述车辆控制信号控制车辆驱动部。
16.根据权利要求15所述的车辆控制系统，其中，
还具备生成用于控制所述场景辨识部的控制信号的场景辨识控制部，
所述场景辨识部基于所述图像数据和所述控制信号，辨识所述周边区域的场景。
17.根据权利要求16所述的车辆控制系统，其中，
还具备检测所述车辆驱动部的状态的车辆驱动用传感器，
所述场景辨识控制部基于所述车辆驱动用传感器的检测结果生成所述控制信号。
18.根据权利要求16所述的车辆控制系统，其中，
还具备存储地图信息的地图信息存储部，
所述场景辨识控制部基于所述地图信息生成所述控制信号。
CN201980049011.XA 2018-07-31 2019-07-31 摄像装置以及车辆控制系统 Pending CN112544073A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2018144173 2018-07-31
JP2018-144173 2018-07-31
JP2019139196A JP6725733B2 (ja) 2018-07-31 2019-07-29 固体撮像装置および電子機器
JP2019-139196 2019-07-29
JP2019-140197 2019-07-30
JP2019140197A JP6776414B2 (ja) 2018-07-31 2019-07-30 固体撮像装置及び撮像装置
PCT/JP2019/030097 WO2020027233A1 (ja) 2018-07-31 2019-07-31 撮像装置及び車両制御システム

Publications (1)

Publication Number Publication Date
CN112544073A true CN112544073A (zh) 2021-03-23

Family

ID=69619054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980049011.XA Pending CN112544073A (zh) 2018-07-31 2019-07-31 摄像装置以及车辆控制系统

Country Status (5)

Country Link
US (2) US11820289B2 (zh)
EP (1) EP3833005A4 (zh)
JP (4) JP6725733B2 (zh)
KR (1) KR20210030359A (zh)
CN (1) CN112544073A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113348421A (zh) * 2021-04-28 2021-09-03 华为技术有限公司 摄像设备、数据采集系统及方法
CN113411476A (zh) * 2021-06-10 2021-09-17 蔚来汽车科技(安徽)有限公司 图像传感器控制装置、方法、存储介质和可移动对象

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
JP6725733B2 (ja) * 2018-07-31 2020-07-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2020027233A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
WO2020123908A1 (en) * 2018-12-13 2020-06-18 Saddleye Inc. Vehicle and object detection system
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
EP3772854A1 (en) * 2019-08-08 2021-02-10 Thinkware Corporation Server and method for providing connected service
KR20220068990A (ko) * 2019-09-24 2022-05-26 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
CN111191325B (zh) * 2019-12-24 2023-06-23 中国航空工业集团公司西安飞机设计研究所 一种基于SysML的飞机直接机务准备建模方法
US11606206B2 (en) 2020-01-09 2023-03-14 Western Digital Technologies, Inc. Recovery key for unlocking a data storage device
CN115244918A (zh) 2020-03-10 2022-10-25 索尼半导体解决方案公司 成像装置和成像方法
KR102284128B1 (ko) * 2020-03-23 2021-07-30 삼성전기주식회사 차량용 카메라
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
CN113744117A (zh) * 2020-05-29 2021-12-03 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备及动态图像处理方法
KR20220026656A (ko) * 2020-08-25 2022-03-07 현대모비스 주식회사 차량의 주행 제어 시스템 및 방법
WO2022163135A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 撮像装置、撮像システム、撮像方法、並びにコンピュータプログラム
JP2022133769A (ja) * 2021-03-02 2022-09-14 本田技研工業株式会社 車両制御装置、及び車両制御方法
JP2022152980A (ja) * 2021-03-29 2022-10-12 ソニーグループ株式会社 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム
US11706546B2 (en) * 2021-06-01 2023-07-18 Sony Semiconductor Solutions Corporation Image sensor with integrated single object class detection deep neural network (DNN)
US11763417B2 (en) * 2021-11-19 2023-09-19 Renesas Electronics Corporation Semiconductor device and image processing system for processing regions of interest images
WO2023146969A1 (en) * 2022-01-26 2023-08-03 Meta Platforms Technologies, Llc On-sensor image processor utilizing contextual data
WO2023188685A1 (ja) * 2022-03-28 2023-10-05 本田技研工業株式会社 演算処理装置
WO2023188806A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 センサ装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018299A (zh) * 2006-02-07 2007-08-15 日本胜利株式会社 摄像方法以及摄像装置
CN104469200A (zh) * 2013-09-25 2015-03-25 索尼公司 固态成像设备及其操作方法以及电子装置及其操作方法
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
JP2018007077A (ja) * 2016-07-04 2018-01-11 株式会社ニコン 撮像装置および自動車
WO2018051809A1 (ja) * 2016-09-16 2018-03-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、電子機器
WO2018109976A1 (ja) * 2016-12-15 2018-06-21 住友電気工業株式会社 スイッチ装置、通信制御方法および通信制御プログラム
US20180196587A1 (en) * 2015-12-30 2018-07-12 Google Llc Systems and Methods for Selective Retention and Editing of Images Captured by Mobile Image Capture Device

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
WO2008024639A2 (en) * 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
WO2009001530A1 (ja) 2007-06-22 2008-12-31 Panasonic Corporation カメラ装置、および、撮影方法
US8699760B2 (en) * 2008-09-16 2014-04-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
US8417046B1 (en) * 2008-11-10 2013-04-09 Marvell International Ltd. Shadow and highlight image enhancement
JP5057184B2 (ja) 2010-03-31 2012-10-24 アイシン・エィ・ダブリュ株式会社 画像処理システム及び車両制御システム
CN102236883A (zh) * 2010-04-27 2011-11-09 株式会社理光 图像增强方法和装置、物体检测方法和装置
CN105009146A (zh) * 2012-06-26 2015-10-28 艾克尼特有限公司 提供机器可读数据矩阵代码的图像掩码
WO2014050547A1 (ja) * 2012-09-27 2014-04-03 日本電気株式会社 画像情報伝送方法及びパケット通信システム
JP6428266B2 (ja) * 2012-11-22 2018-11-28 日本電気株式会社 色補正装置、色補正方法および色補正用プログラム
JP2015149691A (ja) * 2014-02-10 2015-08-20 ソニー株式会社 画像補正装置、画像補正方法、及び、撮像装置
WO2015182753A1 (ja) 2014-05-29 2015-12-03 株式会社ニコン 撮像装置および車両
US9305339B2 (en) * 2014-07-01 2016-04-05 Adobe Systems Incorporated Multi-feature image haze removal
US9483851B2 (en) * 2014-07-14 2016-11-01 General Electric Company Systems and methods for filtering for image generation
JP6462328B2 (ja) * 2014-11-18 2019-01-30 日立オートモティブシステムズ株式会社 走行制御システム
US20160259980A1 (en) * 2015-03-03 2016-09-08 Umm Al-Qura University Systems and methodologies for performing intelligent perception based real-time counting
ES2891150T3 (es) * 2015-05-06 2022-01-26 Reactive Reality Ag Método y sistema para producir imágenes de salida
EP3345388B1 (en) * 2015-09-02 2021-11-24 Faurecia Irystec Inc. System and method for real-time tone-mapping
DE102015224806B4 (de) * 2015-12-10 2018-01-18 Siemens Healthcare Gmbh Verfahren zum Darstellen einer ersten Struktur einer Körperregion mittels digitaler Subtraktionsangiographie, Auswerteeinrichtung sowie Angiographiesystem
US9766803B2 (en) * 2015-12-31 2017-09-19 Futurewei Technologies, Inc. Mobile device camera viewfinder punch through effect
JP6736916B2 (ja) 2016-03-02 2020-08-05 株式会社リコー 情報処理装置、情報処理方法、及びプログラム
US10325351B2 (en) * 2016-03-11 2019-06-18 Qualcomm Technologies, Inc. Systems and methods for normalizing an image
US10764713B2 (en) * 2016-05-11 2020-09-01 Here Global B.V. Map based feedback loop for vehicle observation
WO2017204886A1 (en) * 2016-05-23 2017-11-30 Massachusetts Institute Of Technology System and method for providing real-time super-resolution for compressed videos
US10467459B2 (en) * 2016-09-09 2019-11-05 Microsoft Technology Licensing, Llc Object detection based on joint feature extraction
US9883112B1 (en) * 2016-09-22 2018-01-30 Pinnacle Imaging Corporation High dynamic range imaging
US10650249B2 (en) * 2016-10-25 2020-05-12 Shenzhen University Method and device for counting pedestrians based on identification of head top of human body
JP6690506B2 (ja) * 2016-11-17 2020-04-28 トヨタ自動車株式会社 車両の車線内走行支援装置
KR20180105294A (ko) * 2017-03-14 2018-09-28 한국전자통신연구원 이미지 압축 장치
JP6558387B2 (ja) * 2017-03-14 2019-08-14 オムロン株式会社 画像解析装置、画像解析方法、及び画像解析プログラム
US10096109B1 (en) * 2017-03-31 2018-10-09 The Board Of Trustees Of The Leland Stanford Junior University Quality of medical images using multi-contrast and deep learning
JP6539304B2 (ja) * 2017-06-06 2019-07-03 株式会社Ｓｕｂａｒｕ 車両の走行制御装置
US10565757B2 (en) * 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
CN107679531A (zh) * 2017-06-23 2018-02-09 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN111093503B (zh) * 2017-07-04 2024-01-19 Eos成像公司 患者器官放射线照相方法
CN111226257B (zh) * 2017-09-22 2024-03-01 豪夫迈·罗氏有限公司 组织图像中的伪像移除
KR102495359B1 (ko) * 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
US10921142B2 (en) * 2017-12-14 2021-02-16 Waymo Llc Methods and systems for sun-aware vehicle routing
JP7213616B2 (ja) * 2017-12-26 2023-01-27 株式会社Preferred Networks 情報処理装置、情報処理プログラム及び情報処理方法。
JP7383371B2 (ja) * 2018-02-28 2023-11-20 キヤノン株式会社 画像処理装置
US11507800B2 (en) * 2018-03-06 2022-11-22 Adobe Inc. Semantic class localization digital environment
FR3078852B1 (fr) * 2018-03-07 2020-04-03 Centre National De La Recherche Scientifique (Cnrs) Procede de reconstruction d'une image couleur acquise par un capteur recouvert d'une mosaique de filtres couleurs
RU2716322C2 (ru) * 2018-03-23 2020-03-11 Общество с ограниченной ответственностью "Аби Продакшн" Репродуцирующая аугментация данных изображения
US10671855B2 (en) * 2018-04-10 2020-06-02 Adobe Inc. Video object segmentation by reference-guided mask propagation
US11372243B2 (en) * 2018-04-28 2022-06-28 Almalence, Inc. Optical hybrid reality system having digital correction of aberrations
CN109191515B (zh) * 2018-07-25 2021-06-01 北京市商汤科技开发有限公司 一种图像视差估计方法及装置、存储介质
JP6725733B2 (ja) * 2018-07-31 2020-07-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
KR20200050582A (ko) 2018-11-02 2020-05-12 삼성전자주식회사 디스플레이의 동작 모드에 기반하여 터치 데이터의 보상을 결정하는 방법 및 장치
CN109816615B (zh) * 2019-03-06 2022-12-16 腾讯科技（深圳）有限公司 图像修复方法、装置、设备以及存储介质
CN113569791B (zh) * 2019-07-30 2022-06-21 北京市商汤科技开发有限公司 图像处理方法及装置、处理器、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018299A (zh) * 2006-02-07 2007-08-15 日本胜利株式会社 摄像方法以及摄像装置
CN104469200A (zh) * 2013-09-25 2015-03-25 索尼公司 固态成像设备及其操作方法以及电子装置及其操作方法
US20180196587A1 (en) * 2015-12-30 2018-07-12 Google Llc Systems and Methods for Selective Retention and Editing of Images Captured by Mobile Image Capture Device
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
JP2018007077A (ja) * 2016-07-04 2018-01-11 株式会社ニコン 撮像装置および自動車
WO2018051809A1 (ja) * 2016-09-16 2018-03-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、電子機器
WO2018109976A1 (ja) * 2016-12-15 2018-06-21 住友電気工業株式会社 スイッチ装置、通信制御方法および通信制御プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113348421A (zh) * 2021-04-28 2021-09-03 华为技术有限公司 摄像设备、数据采集系统及方法
WO2022226848A1 (zh) * 2021-04-28 2022-11-03 华为技术有限公司 摄像设备、数据采集系统及方法
CN113348421B (zh) * 2021-04-28 2023-02-28 华为技术有限公司 摄像设备、数据采集系统及方法
CN113411476A (zh) * 2021-06-10 2021-09-17 蔚来汽车科技(安徽)有限公司 图像传感器控制装置、方法、存储介质和可移动对象

Also Published As

Publication number Publication date
JP7090666B2 (ja) 2022-06-24
KR20210030359A (ko) 2021-03-17
JP2022081504A (ja) 2022-05-31
US20210152732A1 (en) 2021-05-20
JP2020025265A (ja) 2020-02-13
EP3833005A4 (en) 2021-08-18
JP7414869B2 (ja) 2024-01-16
US11820289B2 (en) 2023-11-21
EP3833005A1 (en) 2021-06-09
JP6725733B2 (ja) 2020-07-22
JP2020025261A (ja) 2020-02-13
US11643014B2 (en) 2023-05-09
JP2020182219A (ja) 2020-11-05
US20210264192A1 (en) 2021-08-26
JP6776414B2 (ja) 2020-10-28

Similar Documents

Publication Publication Date Title
JP6776414B2 (ja) 固体撮像装置及び撮像装置
US11983931B2 (en) Image capturing device and vehicle control system
US11792551B2 (en) Stacked light receiving sensor and electronic apparatus
JP6705044B2 (ja) 積層型受光センサ及び車載撮像装置
US11962916B2 (en) Imaging device with two signal processing circuitry partly having a same type of signal processing, electronic apparatus including imaging device, and imaging method
JP7423491B2 (ja) 固体撮像装置及び車両制御システム
WO2021075321A1 (ja) 撮像装置、電子機器及び撮像方法
US20240021646A1 (en) Stacked light-receiving sensor and in-vehicle imaging device
WO2020027161A1 (ja) 積層型受光センサ及び電子機器
US20240080546A1 (en) Imaging apparatus and electronic equipment
WO2020027074A1 (ja) 固体撮像装置および電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination