CN112703726A - 固态成像系统、固态成像装置、信息处理装置、图像处理方法、信息处理方法和程序 - Google Patents

固态成像系统、固态成像装置、信息处理装置、图像处理方法、信息处理方法和程序 Download PDF

Info

Publication number
CN112703726A
CN112703726A CN201980060063.7A CN201980060063A CN112703726A CN 112703726 A CN112703726 A CN 112703726A CN 201980060063 A CN201980060063 A CN 201980060063A CN 112703726 A CN112703726 A CN 112703726A
Authority
CN
China
Prior art keywords
dnn
solid
state imaging
processing unit
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980060063.7A
Other languages
English (en)
Other versions
CN112703726B (zh
Inventor
花田清刚
小林秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN112703726A publication Critical patent/CN112703726A/zh
Application granted granted Critical
Publication of CN112703726B publication Critical patent/CN112703726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种固态成像系统(1)包括固态成像装置(100)和信息处理装置(200)。固态成像装置(100)设置有第一深度神经网络(DNN)处理单元(130)，用于通过使用第一DNN对图像数据执行DNN算法的一部分并生成第一结果。信息处理装置(200)具有第二DNN处理单元(230)，用于通过使用第二DNN对从固态成像装置获取的第一结果执行DNN算法的剩余部分并生成第二结果。

Description

固态成像系统、固态成像装置、信息处理装置、图像处理方法、 信息处理方法和程序
技术领域
本公开涉及一种固态成像系统、一种固态成像装置、一种信息处理装置、一种图像处理方法、一种信息处理方法和一种程序。
背景技术
近年来，已经提出了提供神经网络的各种装置。例如，专利文献1公开了一种能够基于指示检测对象的概率的可能性来改善图像的识别特性的技术。
引用列表
专利文献
专利文献1：JP 2015-191334 A
发明内容
技术问题
顺便提及，由数码相机等代表的装置设置有包括互补金属氧化物半导体(CMOS)和数字信号处理器(DSP)的图像传感器。近年来，从图像处理的多样化和加速、个人信息的保护等观点来看，例如，期望向图像传感器提供深度神经网络(DNN)功能，以便执行高级处理。
然而，在专利文献1中，图像传感器输出目标图像，因此要输出的数据量大，并且还存在个人信息不能被保护的可能性。
在本公开中，提出了一种固态成像系统、一种固态成像装置、一种信息处理装置、一种图像处理方法、一种信息处理方法和一种程序，其能够减少从图像传感器输出的数据量，同时保护个人信息。
问题的解决方案
为了解决上述问题，根据本公开的固态成像系统包括固态成像装置；以及信息处理装置，其中，固态成像装置包括：第一深度神经网络(DNN)处理单元，通过第一DNN对图像数据执行DNN算法的一部分，以生成第一结果，并且信息处理装置包括：第二DNN处理单元，基于从固态成像装置获取的第一结果，通过第二DNN执行DNN算法的剩余部分，以生成第二结果。
附图说明
[图1]是示出根据本公开第一实施例的固态成像系统的配置的一个示例的框图；
[图2]是示出根据本公开第一实施例的固态成像系统的连接关系的一个示例的示图；
[图3]是示出根据本公开第一实施例的固态成像装置的叠层结构的一个示例的示图；
[图4]是示出根据本公开第一实施例的固态成像系统的过程的示图；
[图5]是示出深度神经网络(DNN)算法的配置的示图；
[图6]是示出DNN算法的划分过程的一个示例的示图；
[图7]是示出根据本公开第一实施例的固态成像系统的处理过程的一个示例的序列图；
[图8]是示出由根据本公开的第一实施例的固态成像装置和信息处理装置中的每一个的控制单元和DNN处理单元执行的处理过程的一个示例的序列图；
[图9]是示出根据本公开第二实施例的固态成像系统的配置的一个示例的框图；
[图10]是示出根据本公开第二实施例的固态成像系统的连接关系的一个示例的框图；
[图11]是示出根据本公开第二实施例的固态成像系统的连接关系的一个示例的框图；
[图12]是示出实现根据本公开的固态成像装置和信息处理装置的功能的计算机的一个示例的硬件配置的示图；
[图13]是示出内窥镜手术系统的示意性配置的一个示例的示图；
[图14]是示出摄像头和相机控制单元(CCU)的功能配置的一个示例的框图；
[图15]是示出车辆控制系统的示意性配置的一个示例的框图；
[图16]是示出车外信息检测单元和成像单元的布置位置的一个示例的示图。
具体实施方式
下面参考附图详细描述本公开的优选实施例。在本说明书和附图中，通过为具有基本相同功能配置的组成元件提供相同的附图标记，将避免描述的重叠。
将按以下顺序描述本公开。
1.第一实施例
1-1.根据第一实施例的固态成像系统的配置
1-2.深度神经网络(DNN)算法的配置
1-3.根据第一实施例的固态成像系统的处理
2.第二实施例
2-1.根据第二实施例的固态成像系统的配置
2-2.根据第二实施例的修改的固态成像系统的配置
3.硬件配置
4.内窥镜手术系统的应用实例
5.移动体的应用实例
(1.第一实施例)
[1-1.根据第一实施例的固态成像系统的配置]
将参考图1解释根据本公开第一实施例的固态成像系统的配置。图1是示出根据本公开第一实施例的固态成像系统的配置的一个示例的框图。
如图1所示，固态成像系统1包括固态成像装置100和信息处理装置200。
如图2所示，固态成像装置100和信息处理装置200都容纳在壳体10中。换言之，固态成像装置100和信息处理装置200作为分离的芯片设置在同一壳体10中。固态成像装置100和信息处理装置200通过使用片上系统(SoC)、多芯片模块(MCM)、封装中系统(SIP)、小外形封装(SOP)等来实现。固态成像系统1可以通过使用例如互联网通信网络300连接到外部装置，以能够彼此通信。图2所示的固态成像系统1包括单个固态成像装置100和单个信息处理装置200，并且这仅仅是一个示例，以便不限制本公开。固态成像系统1可以包括多个固态成像装置100和多个信息处理装置200。固态成像系统1中包括的固态成像装置100的数量和信息处理装置200的数量可以彼此不同。固态成像系统1可以应用于例如虚拟个人助理(VPA)和车载相机。
如图1所示，固态成像装置100包括成像单元110、捕获处理单元120、第一深度神经网络(DNN)处理单元130、第一存储器140、第一控制单元150、选择器160、通信I/F 170和通信控制单元180。
图3是示出根据第一实施例的固态成像装置100的层叠结构的一个示例的示图。如图3所示，固态成像装置100具有例如通过将矩形第一衬底11和矩形第二衬底12接合在一起而获得的层叠结构。
第一衬底11和第二衬底12可以通过片上芯片型(CoC型)接合在一起，其中，第一衬底11和第二衬底12中的每一个被分离成芯片，然后已经被分离成芯片的第一衬底11和第二衬底12接合在一起。第一衬底11和第二衬底12中的一个(例如，第一衬底11)可以被分离成芯片，然后已经被分离成芯片的第一衬底11可以被接合到没有被分离成芯片的第二衬底12(即，在晶片状态下)，换言之，第一衬底11和第二衬底12可以通过晶片上芯片型(CoW型)接合在一起。此外，第一衬底11和第二衬底12可以在第一衬底11和第二衬底12都处于晶片状态的状态下接合在一起，即，可以通过晶片上晶片型(WoW型)接合。
对于将第一衬底11和第二衬底12接合在一起的方法，例如，可以采用等离子体接合等。不限于此，可以采用各种接合方法。
第一衬底11和第二衬底12的尺寸可以彼此相等，或者可以彼此不同。例如，第一衬底11和第二衬底12可以是半导体衬底，例如，硅衬底。
例如，在第一衬底11上，可以设置图1所示的固态成像装置100的配置元件中的成像单元110。
例如，在第二衬底12上，可以设置图1所示的固态成像装置100的配置元件中的捕获处理单元120、第一DNN处理单元130、第一存储器140、第一控制单元150、选择器160、通信I/F 170和通信控制单元180。
换言之，固态成像装置100的成像单元110具有成像单元110层叠并安装在除了成像单元110之外的配置元件上的配置。
再次参考图1。成像单元110包括例如包括变焦透镜、聚焦透镜、光圈等的光学系统；以及像素阵列单元，具有均包括光接收元件(例如，光电二极管)的单位像素以二维矩阵排列的配置。已经从外部入射的光穿过光学系统，以便在其上排列有光接收元件的像素阵列单元的光接收表面上形成图像。像素阵列单元的每个单元像素对入射到其光接收元件上的光进行光电转换，以便根据入射光的光量生成图像数据。成像单元110将捕获的图像数据输出到捕获处理单元120。
例如，捕获处理单元120将图像数据转换成数字图像数据。例如，捕获处理单元120对已经转换成数字数据的图像数据执行“预处理”、“数据扩展”和“数据标准化”。预处理是在估计和学习期间在成像单元110上执行的处理，并且包括诸如去扭曲、裁剪、镜头阴影校正、缩小尺寸和扩张尺寸的处理。数据扩展是在学习期间对图像数据执行的处理，并且包括用于例如改变图像数据的长宽比、并行移动图像数据、旋转图像数据、反转图像数据、几何变形图像数据等的处理。此外，数据扩展包括例如用于改变图像数据的颜色的明暗和改变图像数据的颜色的处理。此外，数据扩展包括例如向图像数据添加噪声的处理。数据标准化是在估计和学习期间对图像数据执行的处理，并且包括例如用于将图像数据的像素值的平均值设置为零、将像素值的离差设置为一以及将分量之间的相关性设置为零以便白化图像数据的处理。捕获处理单元120向第一DNN处理单元130和选择器160输出已经执行了各种处理的数字图像数据。
第一DNN处理单元130基于例如存储在第一存储器140中的DNN模型，对从捕获处理单元120输入到其的图像数据执行DNN，以便执行图像数据中包括的对象的识别处理。具体地，在从捕获处理单元120接收的图像数据上，第一DNN处理单元130执行第一DNN，并且执行构成DNN模型的算法的一部分，以便生成执行结果。上述执行结果可以被称为特征图(map)和图，或者可以被简单地称为图像等。第一DNN处理单元130对图像数据执行第一DNN，以便生成中间层和第一结果的图。更具体地，第一DNN处理单元130输出整个输入图像数据的中间层图和输入图像数据的一部分的中间层图(例如，在其上执行感兴趣区域(ROI)的中间层图)，作为第一结果。第一DNN处理单元130可以输出整个中间图和部分中间图，或者可以输出一个中间图。第一DNN处理单元130计算ROI信息和对象的存在概率，作为第一结果。当第一DNN的执行已经完成时，第一DNN处理单元130向第一控制单元150输出完成通知。第一DNN处理单元130向选择器160输出第一结果。
具体地，第一DNN处理单元130对从捕获处理单元120接收的图像数据执行例如卷积运算、偏置相加、激活运算和池化处理，以便执行对象检测处理。
作为由第一DNN处理单元130在激活操作中采用的激活函数，例如，可以例示恒等函数、sigmoid函数、softmax函数、阶跃函数、ReLU函数、Tanh函数等；然而不限于此。
例如，在学习期间，第一DNN处理单元130计算误差和损失函数值。第一DNN处理单元130通过使用诸如梯度下降法、随机梯度下降法、牛顿法、拟牛顿法和误差反向传播法等方法来计算目标DNN模型的误差。第一DNN处理单元130通过使用诸如最小平方误差和交叉熵误差的方法来计算损失函数值。
例如，在第一存储器140中存储要在第一DNN处理单元130中执行的至少一个DNN模型。第一存储器140可以通过使用诸如随机存取存储器(RAM)、只读存储器(ROM)和闪存的半导体存储元件来实现。
例如，第一控制单元150控制第一DNN处理单元130。具体地，例如，第一控制单元150控制第一DNN处理单元130，以便执行第一DNN的中断或停止。例如，第一控制单元150生成第一控制信息。例如，第一控制单元150向信息处理装置200发送第一控制信息。例如，第一控制信息包括要对图像数据执行的DNN算法中由第一DNN处理单元130执行的第一DNN的信息。例如，第一控制信息包括同步信号。例如，第一控制单元150向信息处理装置200发送第一DNN处理单元130的执行完成通知。例如，第一控制单元150从信息处理装置200的第二控制单元250接收第二控制信息。在这种情况下，例如，第一控制单元150基于第二控制信息控制第一DNN处理单元130。顺便提及，第一控制单元150可以控制第一DNN处理单元130，以便以流水线方式对图像数据执行DNN算法。具体地，第一控制单元150可以控制第一DNN处理单元130，以便在对特定图像数据执行第一DNN之后并且在被通知对特定图像数据执行第二DNN处理完成之前，对下一个图像数据执行第一DNN。因此，根据本实施例，例如，可以对由成像单元110捕获的多条图像数据有效地执行DNN处理。
选择器160从捕获处理单元120接收例如已经对其执行了各种处理的数字图像数据。例如，选择器160从第一DNN处理单元130接收第一结果。例如，选择器160根据从选择器(未示出)的控制单元发送的控制信号，选择性地向通信I/F 170输出从捕获处理单元120和第一DNN处理单元130接收的数据。
通信I/F 170包括发送单元171和接收单元172。固态成像装置100经由发送单元171向信息处理装置200发送数据。固态成像装置100经由接收单元172从信息处理装置200接收数据。
通信控制单元180控制通信I/F 170。因此，通信I/F 170向信息处理装置200发送数据，并从信息处理装置200接收数据。例如，通信控制单元180可以加密数据。当执行加密时，通信控制单元180可以使用公共密钥加密系统，例如，数据加密标准(DES)和高级加密标准(AES)。通信控制单元180可以使用密码模式，例如，电子码本(ECB)、密码块链接(CBC)、密码反馈(CFB)、输出反馈(OFB)和计数器(CTR)。
信息处理装置200包括通信I/F 210、通信控制单元220、第二DNN处理单元230、第二存储器240和第二控制单元250。在第一实施例中，例如，信息处理装置200是应用处理器。
通信I/F 210包括接收单元211和发送单元212。信息处理装置200经由接收单元211从固态成像装置100接收数据。信息处理装置200经由发送单元212向固态成像装置100发送数据。
通信控制单元220控制通信I/F 210。因此，通信I/F 210向信息处理装置200发送数据，并从信息处理装置200接收数据。例如，通信控制单元220可以加密数据，以便与固态成像装置100通信。当执行加密时，通信控制单元220可以使用公共密钥加密系统，例如，DES和AES。通信控制单元220可以使用密码模式，例如，ECB、CBC、CFB、OFB和CTR。
第二DNN处理单元230基于存储在第二存储器240中的DNN模型，对从固态成像装置100输入的第一结果执行例如DNN，以便执行图像数据中包括的对象的识别处理。具体地，第二DNN处理单元230对已经从固态成像装置100接收的第一结果执行第二DNN，以便执行构成DNN模型的算法中的剩余部分，该剩余部分不在第一DNN中执行。因此，第二DNN处理单元230输出第二结果。具体地，第二DNN处理单元230识别图像数据中包括的对象，作为第二结果。第二DNN处理单元230将第一结果和第二结果彼此合并，以便例如执行ROI和对象分类。当第二DNN的执行已经完成时，第二DNN处理单元230向第二控制单元250输出完成通知。例如，第二DNN处理单元230向外部装置输出第二结果。
具体地，例如，第二DNN处理单元230对从捕获处理单元120接收的图像数据执行卷积运算、偏置加法、激活运算和池化处理，以便执行对象检测处理。
作为由第二DNN处理单元230在激活操作中使用的激活函数，可以例示例如恒等函数、sigmoid函数、softmax函数、阶跃函数、ReLU函数和Tanh函数。
例如，在学习期间，第二DNN处理单元230计算误差和损失函数值。第二DNN处理单元230通过使用诸如梯度下降法、随机梯度下降法、牛顿法、拟牛顿法和误差反向传播法等方法来计算目标DNN模型的误差。第二DNN处理单元230通过使用诸如最小平方误差和交叉熵误差的方法来计算损失函数值。
例如，在第二存储器240中存储将由第二DNN处理单元230执行的至少一个DNN模型。存储在固态成像装置100的第一存储器140中的DNN模型和存储在第二存储器240中的DNN模型彼此组合，以构成一个DNN算法。因此，通过使用固态成像装置100和信息处理装置200这两个装置来执行一个DNN算法。换言之，在本实施例中，一个DNN算法能够被分成固态成像装置100和信息处理装置200这两个装置来执行。第二存储器240能够由诸如RAM、ROM和闪存的半导体存储元件实现。
例如，第二控制单元250控制第二DNN处理单元230。具体地，例如，第二控制单元250控制第二DNN处理单元230，以执行第二DNN的中断或停止。第二控制单元250从固态成像装置100的第一控制单元150接收第一控制信息，并且例如基于接收的第一控制信息控制第二DNN处理单元230。例如，第二控制单元250生成第二控制信息。例如，第二控制单元250将生成的第二控制信息传输到固态成像装置100。第二控制信息包括例如由第二DNN处理单元230对第一结果执行的第二DNN的信息。例如，第二控制信息包括同步信号。例如，第二控制单元250向固态成像装置100发送第二DNN处理单元230的执行完成通知。第二控制单元250可以控制第二DNN处理单元230，以便以流水线方式对图像数据执行DNN算法。具体地，第二控制单元250对特定的第一结果执行第二DNN，以便生成第二结果。第二结果可以被发送到除了第二DNN处理单元230之外的处理装置，并且可以控制第二DNN处理单元230，以便在从另一处理装置接收对第二结果执行的处理的完成通知之前，对下一个第一结果执行第二DNN。因此，根据本实施例，可以对多个第一结果有效地执行DNN处理。
参考图4，将说明第一DNN处理单元130和第二DNN处理单元230的处理。图4是示出第一DNN处理单元130和第二DNN处理单元230的处理的示图。
首先，第一DNN处理单元130从捕获处理单元120接收图像数据(步骤S1)。第一DNN处理单元130接收例如包括狗D和人M的图像数据。
接下来，第一DNN处理单元130对在步骤S1接收的图像数据执行第一DNN处理(步骤S2)。在本文中，第一DNN处理单元130对图像数据执行第一DNN处理，以便生成诸如中间层的特征图，作为第一结果。在特征图中，指示在R1区域和R2区域中以高概率存在某种对象。第一DNN处理单元130将特征图输出到第二DNN处理单元230。第一DNN处理单元130可以将整个特征图输出到第二DNN处理单元230，或者可以单独输出对应于区域R1和区域R2的特征图。换言之，第一DNN处理单元130编码由成像单元110捕获的图像数据，并将编码的图像数据输出到第二DNN处理单元230。因此，从第一DNN处理单元130输出的数据不包括由成像单元110捕获的狗D和人M的原始图像数据，从而可以保护个人信息。此外，特征图的体积小于图像数据的体积，使得可以减少从固态成像装置100传输到信息处理装置200的数据量。
第二DNN处理单元230对在步骤S2获得的特征图(第一结果)执行第二DNN(步骤S3)。因此，第二DNN处理单元230能够识别出在特征图的区域R1中存在狗D，并且在特征图的区域R2中存在人M。
换言之，在本实施例中，第一DNN处理单元130执行DNN算法的一部分，第二DNN处理单元230执行其剩余部分，以便执行图像数据中包括的对象的识别处理。换言之，第一DNN处理单元130和第二DNN处理单元230这两个DNN处理单元执行一个DNN算法。
[1-2.DNN算法的配置]
参考图5，将解释DNN算法的配置示例。图5是示出DNN算法的配置示例的示图。
图5是示出对象检测算法20的结构的一个示例的示图。
首先，对象检测算法20对图像数据执行卷积神经网络。具体地，图像数据I被输入到卷积层C1。卷积层C1对整个图像数据I执行CNN，以便输出特征图FM1。迄今为止的处理是使用CNN 21的图像处理。
在下一步骤中，在特征图FM1上执行对象区域识别算法。在特征图FM上执行对象区域识别算法，以便提取候选区域，在该候选区域中，呈现包括在特征图中的对象。具体而言，在图5所示的示例中，从特征图FM1提取RoI1、RoI2和RoI3，作为呈现对象的候选区域。迄今为止的处理是使用对象区域识别算法22的图像处理。
在下一步骤中，将RoI1、RoI2和RoI3叠加在特征图FM1上，以生成RoI特征图FM2，并且将生成的RoI特征图FM2存储在池化层中。RoI池化层对重叠了RoI1、RoI2和RoI3的特征图FM1执行RoI池化。RoI池化是一个提取包括RoI1、RoI2和RoI3在内的区域作为单独特征图的过程。因此，包括RoI1、RoI2和RoI3的区域被分别提取为特征图FM3、特征图FM4和特征图FM5。特征图FM3、特征图FM4和特征图FM5被输入到全连接层31。
在下一步骤中，分类层33和矩形回归层34彼此共享输入到全连接层31的特征图FM3、特征图FM4和特征图FM5。
分类层33对包括在特征图FM3、特征图FM4和特征图FM5中的对象的类型进行分类。分类层33输出分类结果44。矩形回归层34生成包围包括在特征图FM3、特征图FM4和特征图FM5中的对象的矩形。
特征图FM3、特征图FM4和特征图FM5与分类层33和矩形回归层34的处理并行地被输入到全卷积网络(FCN)32。具体而言，由要输入到FCN 32的特征图FM3、特征图FM4和特征图FM5上的RoIAlign层来执行RoIAlign。RoIAlign是通过使用双线性内插方法来校正当从图像数据I生成RoI特征图FM2时出现的舍入误差的过程。
FCN 32被配置为对包括在特征图中的对象进行分类，生成围绕对象的矩形，并且针对特征图FM3、特征图FM4和特征图FM5中的每一个对对象执行掩蔽。FCN 32为每个特征图输出分类结果41、矩形框42和掩模结果43。迄今为止的处理是对象检测算法20。
在本实施例中，第一DNN处理单元130和第二DNN处理单元230可以执行从图5所示的DNN算法中包括的处理中任意划分的处理，只要这些处理被划分，以被执行。例如，第一DNN处理单元130可以执行用于生成特征图FM1的处理之前的处理，并且第二DNN处理单元230可以执行剩余的处理。例如，在对象检测算法20中，第一DNN处理单元130可以执行在用于提取特征图FM3、特征图FM4和特征图FM5的处理之前的处理；并且第二DNN处理单元230可以单独执行FCN 32的处理。由第一DNN处理单元130执行的处理可以任意决定。例如，可以根据第一DNN处理单元130的性能来决定由第一DNN处理单元130执行哪个处理。
参考图6，将解释由第一DNN处理单元130和第二DNN处理单元230执行的处理的一个示例。图6是示出将由第一DNN处理单元130和第二DNN处理单元230执行的处理的一个示例的示图。
首先，在图6所示的处理中，例如，多条图像数据从捕获处理单元120输入到第一DNN处理单元130(步骤S11)。
接下来，第一DNN处理单元130对从捕获处理单元120接收的图像数据执行图像识别处理，以便识别图像数据中包括的对象(步骤S12)。具体地，第一DNN处理单元130对每条图像数据执行CNN，以便识别图像数据中包括的对象。第一DNN处理单元130从针对每条图像数据的CNN的执行结果生成元数据。
接下来，第二DNN处理单元230通过使用递归神经网络(RNN)来识别由第一DNN处理单元130生成的元数据的关系(步骤S13)。具体地，第二DNN处理单元230通过使用长短期存储器(LSTM)网络来识别元数据的关系。
第二DNN处理单元230识别元数据的关系，以便执行字幕(步骤S14)。例如，第二DNN处理单元230对图像数据执行字幕，例如，“男孩”、“玩”和“高尔夫”。
如上所述，当对象识别和LSTM彼此组合时，能够识别图像帧之间的关系。在这种情况下，在本实施例中，由第一DNN处理单元130执行对象识别，由第二DNN处理单元230执行LSTM，并且分割并执行单个DNN算法。在本文中，已经说明了输入多个静止图像的情况，在本实施例中，类似于此，可以对视频执行识别处理。
[1-3.根据第一实施例的固态成像系统的处理]
参考图7，将解释固态成像装置100和信息处理装置200的处理。图7是示出固态成像装置100和信息处理装置200的处理流程的序列图。
首先，固态成像装置100控制第一DNN处理单元130(步骤S101)。具体地，固态成像装置100使第一控制单元150控制第一DNN处理单元130。
接下来，固态成像装置100对输入图像数据执行第一DNN(步骤S102)。具体地，固态成像装置100使第一DNN处理单元130对输入图像数据执行第一DNN，并输出第一结果。
接下来，固态成像装置100生成第一控制信息(步骤S103)。具体地，固态成像装置100使第一控制单元150生成第一控制信息。
接下来，固态成像装置100将第一结果和第一控制信息发送到信息处理装置200(步骤S104)。具体地，固态成像装置100使发送单元171将第一结果和第一控制信息发送到信息处理装置200。发送单元171可以在执行第二DNN处理单元230之前将第一结果发送到信息处理装置200。
接下来，信息处理装置200控制第二DNN处理单元230(步骤S105)。具体地，基于第一控制信息，信息处理装置200使第二控制单元250控制第二DNN处理单元230。
接下来，信息处理装置200对第一结果执行第二DNN(步骤S106)。具体地，信息处理装置200使第二DNN处理单元230执行第二DNN，以便生成第二结果。
接下来，信息处理装置200生成第二控制信息(步骤S107)。具体地，信息处理装置200使第二控制单元250生成第二控制信息。
接下来，信息处理装置200将第二结果发送到外部装置(步骤S108)。具体地，信息处理装置200使第二DNN处理单元230将第二结果发送到外部装置。注意，在步骤S108中，已经说明了信息处理装置200向外部装置发送第二结果的情况；然而，这仅仅是一个示例，并不旨在限制本公开。例如，在步骤S108中，信息处理装置200可以保存第二结果，而不向外部装置输出第二结果。
信息处理装置200向固态成像装置100发送第二控制信息(步骤S109)。具体地，信息处理装置200使发送单元212向固态成像装置100发送第二控制信息。
参考图8，将更具体地说明固态成像装置100和信息处理装置200的处理。图8是示出将由第一DNN处理单元130、第一控制单元150、第二DNN处理单元230和第二控制单元250执行的处理过程的一个示例的序列图。
首先，第一控制单元150向第一DNN处理单元130输出第一DNN处理单元控制信息(步骤S201)。通过使用第一DNN处理单元控制信息，第一控制单元150使第一DNN处理单元130执行DNN、中断DNN或停止DNN。
接下来，根据第一DNN处理单元控制信息，第一DNN处理单元130对输入图像数据执行第一DNN处理(步骤S202)。
接下来，当对图像数据的第一DNN的执行已经完成时，第一DNN处理单元130向第一控制单元150输出完成通知(步骤S203)。
接下来，当接收到完成通知时，第一控制单元150向第二控制单元250发送第一控制信息(步骤S204)。具体地，第一控制信息从发送单元171发送到接收单元211。第二控制单元250从接收单元211接收第一控制信息。
接下来，第一DNN处理单元130向第二DNN处理单元230发送作为第一DNN的执行结果的第一结果(步骤S205)。具体地，第一结果从发送单元171发送到接收单元211。第二DNN处理单元230从接收单元211接收第一结果。
接下来，基于第一控制信息，第二控制单元250向第二DNN处理单元230输出第二DNN处理单元控制信息(步骤S206)。
接下来，根据第二DNN处理单元控制信息，第二DNN处理单元230对输入的第一结果执行第二DNN(步骤S207)。
接下来，当对第一结果的第二DNN的执行已经完成时，第二DNN处理单元230向第二控制单元250输出完成通知(步骤S208)。
接下来，第二DNN处理单元230向其外部发送作为第二DNN的执行结果的第二结果(步骤S209)。注意，在步骤S209中，已经说明了第二DNN处理单元230将第二结果发送到其外部的情况；然而，这仅仅是一个示例，并不旨在限制本公开。例如，在步骤S209中，第二DNN处理单元230可以保持第二结果，而不将第二结果输出到其外部。
接下来，第二控制单元250向第一控制单元150发送第二控制信息(步骤S210)。具体地，第二控制信息从发送单元212发送到接收单元172。第一控制单元150从接收单元172接收第一控制信息。
(2.第二实施例)
[2-1.根据第二实施例的固态成像系统的配置]
参考图9，将解释根据第二实施例的固态成像系统的配置。图9是示出根据第二实施例的固态成像系统的配置的一个示例的框图。
如图9所示，固态成像系统1A包括固态成像装置100和信息处理装置200A。构成固态成像系统1A的装置的配置元件和操作类似于根据第一实施例的固态成像系统1的配置元件和操作，因此省略其说明。
如图10所示，例如，固态成像装置100和信息处理装置200A连接，以能够经由互联网通信网络300彼此通信。在这种情况下，连接固态成像装置100的通信I/F 170和信息处理装置200A的通信I/F 210以能够经由互联网通信网络300彼此通信就足够了。此外，固态成像装置100的通信I/F 170和信息处理装置200A的通信I/F 210可以连接，以能够通过使用无线通信来彼此通信。图10所示的固态成像系统1A包括单个固态成像装置100和单个信息处理装置200A；然而，这仅仅是一个示例，并不旨在限制本公开。固态成像系统1A可以包括多个固态成像装置100和多个信息处理装置200A。此外，固态成像系统1A中包括的固态成像装置100的数量和信息处理装置200A的数量可以彼此不同。在第二实施例中，信息处理装置200A是连接到固态成像装置100的云服务器，以能够例如经由互联网通信网络300或以无线方式彼此通信。例如，固态成像系统1A可以应用于工厂自动化(FA)或监控摄像机。
[2-2.根据第二实施例的固态成像系统的修改的配置]
参考图11，将解释根据本公开第二实施例的固态成像系统的修改。图11是示出根据本公开第二实施例的固态成像系统的连接关系的修改的示图。
固态成像系统1A-1包括固态成像装置100-1、固态成像装置100-2、…和固态成像装置100-N(N是等于或大于3的整数)以及信息处理装置200A-1、信息处理装置200A-2、…和信息处理装置200-N。换言之，在固态成像系统1A-1中，多个固态成像装置和多个信息处理装置连接，以能够经由互联网通信网络300彼此通信。在固态成像系统1A-1中，固态成像装置的数量和信息处理装置的数量可以彼此相等，或者可以彼此不同。
固态成像系统1A-1包括多个固态成像装置和多个信息处理装置；然而，这仅仅是一个示例，并不旨在限制本公开。例如，固态成像系统1A-1可以由单个固态成像装置和多个信息处理装置构成。此外，例如，固态成像系统1A-1可以由多个固态成像装置和单个信息处理装置构成。
(3.硬件配置)
例如，根据上述实施例的固态成像装置100和信息处理装置200由具有图12所示的配置的计算机1000实现。在下文中，将在例示根据第一实施例的固态成像装置100的同时提供解释。图12是示出实现固态成像装置100的功能的计算机1000的一个示例的硬件配置的示图。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的单元通过总线1050相互连接。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，以便控制这些单元。例如，CPU 1100将存储在ROM 1300或HDD 1400中的程序扩展到RAM 1200中，以便执行对应于各种程序的处理。
在ROM 1300中存储在计算机1000启动时由CPU 1100执行的基本输入输出系统(BIOS)的引导程序以及取决于计算机1000的硬件的程序。
HDD 1400是计算机可读记录介质，在其中非临时记录将由CPU 1100执行的程序和将由程序使用的数据。具体地，HDD 1400是记录根据本公开的程序的记录介质，该程序是程序数据1450的一个示例。
通信接口1500是用于计算机1000连接到外部网络1550(例如，互联网)的接口。例如，经由通信接口1500，CPU 1100被配置为从另一装置接收数据，或者将由CPU 1100生成的数据发送到另一装置。
输入/输出接口1600是用于将输入/输出装置1650和计算机1000彼此连接的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘和鼠标的输入装置接收数据。CPU 1100经由输入/输出接口1600向诸如显示器、扬声器和打印机的输出装置传输数据。输入/输出接口1600可以用作读取记录在预定记录介质(介质)中的程序等的介质接口。在本文中，介质是例如光学存储介质(例如，数字多功能盘(DVD)和相变可重写盘(PD))、磁光记录介质(例如，磁光盘(MO))、磁带介质、磁记录介质、半导体存储器等。
例如，当计算机1000用作根据第一实施例的固态成像装置100时，计算机1000的CPU 1100执行加载在RAM 1200上的程序，以实现构成固态成像装置100的单元的功能。根据本公开，在HDD 1400中存储程序。CPU 1100从HDD 1400读取程序数据1450，并执行读取的程序数据1450；然而，在另一示例中，CPU 1100可以经由外部网络1550从另一装置获取这些程序。
(4.内窥镜手术系统的应用实例)
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以应用于内窥镜手术系统。
图13是示出应用根据本公开的技术(本技术)的内窥镜手术系统的示意性配置的一个示例的示图。
在图13中，示出了操作者(医生)11131通过使用内窥镜手术系统11000对病床11133上的患者11132进行手术的状态。如图13所示，内窥镜手术系统11000由内窥镜11100、诸如气腹管11111和能量处理设备11112的其他手术器械11110、支撑内窥镜1100的支撑臂装置11120以及其上安装有用于内窥镜手术的各种装置的推车11200构成。
内窥镜11100由透镜镜筒11101和与透镜镜筒11101的基端连接的摄像头11102构成，透镜镜筒11101的从其前端具有预定长度的部分将被插入患者11132的体腔中。在图示的示例中，例示了被配置为包括刚性镜筒11101的刚性内窥镜的内窥镜11100；然而，内窥镜11100可以被配置为包括柔性镜筒的柔性内窥镜。
透镜镜筒11101的前端设有开口，物镜固定在该开口上。内窥镜11100与光源装置11203连接，因此由光源装置11203产生的光经由沿着镜筒11101的内部延伸的光导被引导至镜筒的前端，以便经由物镜将产生的光朝向患者11132体腔中的观察目标照射。注意，内窥镜11100可以是前视内窥镜、前斜视内窥镜和侧视内窥镜中的任何一种。
光学系统和成像元件设置在摄像头11102的内部，来自观察目标的反射光(观察光)通过光学系统聚集到成像元件。成像元件对观察光进行光电转换，以产生对应于观察光的电信号，即对应于观察图形的图像信号。上述图像信号以原始数据的形式传输到相机控制单元(CCU)11201。
CCU 11201由中央处理单元(CPU)、图形处理单元(GPU)等构成，以便全面控制内窥镜11100和显示器11202的操作。此外，CCU 11201从摄像头11102接收图像信号，并对图像信号执行各种图像处理，用于显示基于图像信号的图像，例如，显影处理(去马赛克处理)。
在CCU 11201的控制下，显示器11202显示基于由CCU 11201对其执行图像处理的图像信号的图像。
光源装置11203由诸如发光二极管(LED)的光源构成，以向内窥镜11100提供捕获手术部位等时的照射光。
输入装置11204是关于内窥镜手术系统11000的输入接口。经由输入装置11204并且向内窥镜手术系统11000，用户能够输入各种信息并给出输入指令。例如，用户能够输入用于改变内窥镜11100的捕获条件(照射光的类型、放大率和焦距等)的指令。
治疗工具控制器11205控制能量处理设备11112的操作，用于烧灼和切割组织、密封血管等。为了给患者11132的体腔充气，以确保内窥镜11100的视野和操作者的工作空间，气腹装置11206通过气腹管11111将气体输送到体腔中。记录器11207是能够记录各种操作信息的装置。打印机11208是能够以文本、图像、图形等形式打印关于操作的各种信息的装置。
光源装置11203向内窥镜11100提供用于捕获手术部位的照射光，该光源装置11203例如可以由包括LED、激光源或其组合的白色光源构成。当白色光源由RGB激光光源的组合构成时，能够以高精度控制每种颜色(每种波长)的输出强度和输出时间，使得可以通过使用光源装置11203来调整捕获图像的白平衡。在这种情况下，激光可以从每个RGB激光源分时照射到观察目标，并且可以与相应的照射时间同步地控制摄像头11102的成像元件的操作，以分时捕获对应于各个RGB的图像。通过采用上述方法，可以获得彩色图像，而无需向成像元件提供滤色器。
此外，可以控制光源装置11203的操作，使得以预定的时间间隔改变输出光的强度。摄像头11102的成像元件的操作与光强度的改变时间同步地控制，以便在分时的基础上获取图像，并且所获取的图像合成，以能够生成具有高动态范围而没有黑色缺陷和光晕的图像。
光源装置11203可以被配置为能够提供对应于特殊光观察的预定波长带内的光。在特殊光观察中，通过使用身体组织中的光吸收率的波长依赖性，例如，照射具有比在普通观察中使用的照射光(即，白光)更窄的带的光，以便以高对比度捕获粘膜表面中的预定组织，例如，血管，即，执行窄带光观察(窄带成像)。或者在特殊光观察中，可以执行荧光观察，其中，通过使用由激发光的照射生成的荧光来获得图像。在荧光观察中，例如，将激发光照射到身体组织，以观察来自身体组织的荧光(自发荧光观察)，或者将诸如吲哚菁绿(ICG)等试剂局部注射到身体组织中，并将对应于该试剂的荧光波长的激发光照射到身体组织，以获得荧光图像。光源装置11203可以被配置为提供对应于这种特殊光观察的窄带光和/或激发光。
图14是示出图13所示的摄像头11102和CCU 11201的功能配置的一个示例的框图。
摄像头11102包括镜头单元11401、成像单元11402、驱动单元11403、通信单元11404和摄像头控制单元11405。CCU 11201包括通信单元11411、图像处理单元11412和控制单元11413。摄像头11102和CCU 11201连接成能够通过传输电缆11400相互通信。
镜头单元11401是设置在与透镜镜筒11101的连接部分处的光学系统。从透镜镜筒11101的前端捕获的观察光被引导到摄像头11102，以入射到镜头单元11401上。镜头单元11401由包括变焦透镜和聚焦透镜的多个组合透镜构成。
成像单元11402由成像元件构成。构成成像单元11402的成像元件的数量可以是一个(即，单板类型)或两个或更多个(即，多板类型)。例如，当成像单元11402具有多板类型时，成像元件可以生成分别对应于RGB的图像信号，并且所生成的图像信号可以彼此合成，以获得彩色图像。或者成像单元11402可以被配置为包括一对成像元件，用于获取对应于三维(3D)显示的右眼和左眼的相应图像信号。当执行3D显示时，操作者11131能够更精确地掌握手术部分中的生物组织的深度。注意，当成像单元11402具有多板类型时，也可以根据各个成像元件来提供多个镜头单元11401。
成像单元11402可以不总是设置在摄像头11102中。例如，成像单元11402可以被设置在透镜镜筒11101中的物镜的正后方。
驱动单元11403由致动器构成，并且由摄像头控制单元11405的控制引起，沿着光轴将镜头单元11401的变焦镜头和聚焦镜头移动预定距离。因此，适当地调整由成像单元11402捕获的捕获图像的放大率和焦点。
通信单元11404由用于向CCU 11201发送和从CCU 11201接收各种信息的通信装置构成。通信单元11404以原始数据的形式将从成像单元11402获得的图像信号经由传输电缆11400传输到CCU 11201。
通信单元11404从CCU 11201接收用于控制摄像头11102的操作的控制信号，并将接收到的控制信号提供给摄像头控制单元11405。控制信号包括关于捕获条件的信息，例如，指定捕获图像的帧速率的信息、指定捕获中的曝光值的信息、和/或指定捕获图像的放大率和焦点的信息。
上述帧速率、曝光值、放大率、焦点等的捕获条件可以由用户适当指定，或者可以由CCU 11201的控制单元11413基于获取的图像信号自动设置。在后一种情况下，即，可以对内窥镜11100实现自动曝光(AE)功能和自动白平衡(AWB)功能。
摄像头控制单元11405基于从CCU 11201发送并经由通信单元11404接收的控制信号来控制摄像头11102的操作。
通信单元11411由向摄像头11102发送和从摄像头11102接收各种信息的通信装置构成。通信单元11411接收经由传输电缆11400从摄像头11102传输的图像信号。
通信单元11411向摄像头11102发送用于控制摄像头11102的操作的控制信号。图像信号和控制信号通过使用电通信或光通信来传输。
图像处理单元11412对从摄像头11102发送的原始数据的图像信号执行各种图像处理。
控制单元11413对内窥镜11100捕获手术部位等和显示通过捕获手术部位等获得的捕获图像执行各种控制。例如，控制单元11413生成用于控制摄像头11102的操作的控制信号。
基于图像处理单元11412对其执行图像处理的图像信号，控制单元11413使显示器11202显示其上出现手术部位等的捕获图像。在这种情况下，控制单元11413可以通过使用各种图像识别技术来识别捕获图像中的各种对象。例如，控制单元11413可以检测捕获的图像中包含的对象的边缘的形状、颜色等，以便在使用能量处理设备11112时识别外科器械(例如，镊子)、特定生物部位、出血、薄雾。当使显示器11202显示捕获的图像时，控制单元11413可以显示手术部位的图像，同时通过使用识别结果在其上叠加各种操作辅助信息。当操作辅助信息以叠加的方式显示，以呈现给操作者11131时，能够减轻操作者11131的负担，并且操作者11131能够可靠地执行他/她的操作。
将摄像头11102和CCU 11201彼此连接的传输电缆11400可以是对应于电信号通信的电信号电缆、对应于光通信的光纤或其组合电缆。
在图示的示例中，通过使用传输电缆11400以有线方式进行通信；然而，摄像头11102和CCU 11201之间的通信可以无线执行。
在下文中，已经解释了应用根据本公开的技术的内窥镜手术系统的一个示例。根据本公开的技术可以应用于例如上述配置中的内窥镜11100、摄像头11102的成像单元11402、CCU 11201的图像处理单元11412等。具体地，根据本公开的固态成像装置100可以应用于内窥镜11100、摄像头11102的成像单元11402、CCU 11201的图像处理单元11412等。当根据本公开的技术应用于此时，能够提高内窥镜手术系统的性能。例如，当采用动态范围扩大的固态成像装置100时，可以获得高清晰度的捕获图像。具体而言，即使在亮度差异大的位置的情况下，在捕获活体的内部和外部时也容易识别对象。此外，实现了固态成像装置的快速操作，使得可以缩短从检测到对象的时间到控制摄像头11102等的时间的操作所需的时间间隔。
(5.移动体的应用示例)
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以实现为设置在诸如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动装置、飞机、无人机、船只和机器人的移动体中的装置。
图15是示出车辆控制系统的示意性配置的一个示例的框图，该车辆控制系统是将应用根据本公开的技术的移动体控制系统的一个示例。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电气控制单元。在图15所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车载信息检测单元12040和集成控制单元12050。作为集成控制单元12050的功能配置，示出了微型计算机12051、音频/视频输出单元12052和车载网络I/F(接口)12053。
驱动系统控制单元12010根据各种程序控制与车辆驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作生成车辆驱动力的驱动力生成装置(例如，内燃机和驱动马达)、将驱动力传递到车轮的驱动力传递机构、调节车辆的转向角的转向机构、生成车辆的制动力的制动装置等的控制器。
车身系统控制单元12020根据各种程序控制设置在车身中的各种装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置或各种灯(例如，前灯、后灯、刹车灯、闪光灯或雾灯)的控制器。在这种情况下，从替代按键的便携式装置发送的电波或各种开关的信号可以输入到车身系统控制单元12020。车身系统控制单元12020接收这些电波或信号的输入，以便控制车辆的门锁装置、电动车窗装置、灯等。
车外信息检测单元12030检测设置有车辆控制系统12000的车辆外部的信息。例如，车外信息检测单元12030连接到成像单元12031。车外信息检测单元12030使成像单元12031捕获车辆外部的图像，并进一步接收捕获的图像。基于接收到的图像，车外信息检测单元12030可以执行用于检测诸如人、汽车、障碍物、标志和路面上的字母的物体的检测处理；或者距离检测处理。
成像单元12031是接收光的光传感器，并且根据接收到的光的光量输出电信号。成像单元12031可以输出电信号，作为图像，或者作为关于测量距离的信息。成像单元12031接收的光可以是可见光或诸如红外线的不可见光。
车载信息检测单元12040检测车辆内部的信息。车载信息检测单元12040连接到例如检测驾驶员状态的驾驶员状态检测单元12041。驾驶员状态检测单元12041可以包括例如捕获驾驶员的相机，并且基于从驾驶员状态检测单元12041输入的检测信息，车载信息检测单元12040可以计算驾驶员的疲劳程度或集中程度，或者可以确定驾驶员是否打盹。
基于由车外信息检测单元12030或车载信息检测单元12040获取的关于车辆外部和/或内部的信息，微型计算机12051可以计算驱动力生成装置、转向机构或制动装置的控制目标值，以便向驱动系统控制单元12010输出控制命令。例如，微型计算机12051能够执行协作控制，以实现高级驾驶员辅助系统(ADAS)的功能，包括车辆的碰撞避免或减震、基于车辆间距离的跟随驾驶、恒速驾驶、车辆的碰撞警告或车辆的车道偏离警告。
微型计算机12051基于由车外信息检测单元12030或车载信息检测单元12040获取的关于车辆周边的信息来控制驱动力生成装置、转向机构、制动装置等，以便执行用于自主驾驶的协作控制，该自主驾驶独立于驾驶员的操作而自主驾驶。
基于由车外信息检测单元12030获取的关于车辆外部的信息，微型计算机12051向车身系统控制单元12020输出控制命令。例如，根据由车外信息检测单元12030检测到的前方车辆或迎面而来的汽车的位置，微型计算机12051控制前灯，以便执行用于防眩的协作控制，例如，将远光变为近光。
音频/视频输出单元12052将声音和图像中的一种形式的输出信号发送到能够视觉或听觉地向车辆乘员或车辆外部提供信息的输出装置。在图15所示的示例中，音频扬声器12061、显示器12062和仪表板12063被例示为输出装置。例如，显示器12062可以包括机载显示器和平视显示器中的至少一个。
图16是示出成像单元12031的布置位置的一个示例的示图。
在图16中，车辆12100包括成像单元12101、12102、12103、12104和12105，作为成像单元12031。
例如，成像单元12101、12102、12103、12104和12105布置在车辆12100中的位置，例如，车辆内部的前鼻、侧镜、后保险杠、后门、挡风玻璃的上部等。布置在前鼻处的成像单元12101和布置在车辆内部挡风玻璃上部的成像单元12105主要获取车辆12100前方的图像。布置在侧镜处的成像单元12102和12103主要获取车辆12100的侧图像。布置在后保险杠或后门处的成像单元12104获取车辆12100后部的图像。由成像单元12101和12105获取的前方图像主要用于检测前方车辆、行人、障碍物、交通灯、路标、车道等。
在图16中，示出了成像单元12101至12104的捕获范围的一个示例。捕获范围12111表示布置在前鼻处的成像单元12101的捕获范围，捕获范围12112和12113表示布置在相应侧镜处的成像单元12102和12103的捕获范围，捕获范围12114表示布置在后保险杠或后门处的成像单元12104的捕获范围。例如，由成像单元12101至12104获得的图像数据彼此重叠，以获得从车辆12100上方观看的鸟瞰图像。
成像单元12101至12104中的至少一个可以具有获取距离信息的功能。例如，成像单元12101至12104中的至少一个可以是由多个成像元件构成的立体相机，或者可以是包括用于检测相位差的像素的成像元件。
例如，基于从成像单元12101至12104获得的距离信息，微计算机12051获得捕获范围12111至12114中直到三维物体的距离以及该距离中的时间变化(相对于车辆12100的相对速度)，以能够提取存在于车辆12100的行驶道路上并且最靠近车辆12100的三维物体，作为前方车辆，并且在类似于车辆12100的方向上以预定速度(例如，等于或大于0km/h)行驶。此外，微型计算机12051可以设置保持到前方车辆的车间距，以便执行自动制动控制(包括后续停止控制)、自动加速控制(包括后续启动控制)等。如上所述，能够独立于驾驶员等的操作而针对自主行驶的自主驾驶执行协作控制。
例如，基于从成像单元12101至12104获得的距离信息，微计算机12051将三维对象上的三维对象分类并提取为摩托车、标准尺寸车辆、大型车辆、行人、另一三维对象(例如，电线杆)，以便能够将其用于自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物确定为能够被车辆12100的驾驶员视觉识别的障碍物或者视觉识别困难的障碍物。微型计算机12051确定指示与每个障碍物的碰撞风险的碰撞风险，并且在碰撞风险等于或大于设定值并且存在碰撞可能性的情况下，使音频扬声器12061或显示器12062向驾驶员输出警告，或者使驱动系统控制单元12010执行强制减速或回避转向，以便帮助驾驶，以避免碰撞。
成像单元12101至12104中的至少一个可以是检测红外线的红外相机。例如，微计算机12051确定在成像单元12101至12104的捕获图像中是否存在行人，以便能够识别行人。行人的上述识别由例如用于从作为红外相机的成像单元12101至12104的捕获图像中提取特征点的过程以及用于对指示对象轮廓的一系列特征点执行模式匹配处理以便确定是否存在行人的过程构成。当微型计算机12051确定在成像单元12101至12104的捕获图像中存在行人以识别行人时，音频/视频输出单元12052控制显示器12062，使得用于强调的矩形轮廓以叠加的方式显示在识别的行人上。音频/视频输出单元12052可以控制显示器12062，使得指示行人的图标等显示在期望的位置。
如上所述，已经解释了应用根据本公开的技术的车辆控制系统的一个示例。根据本公开的技术可以应用于上述配置的成像单元12031。具体地，根据本公开的固态成像装置100可以应用于成像单元12031。当根据本公开的技术应用于成像单元12031时，能够提高车辆控制系统的性能。例如，通过使用动态范围扩大的固态成像装置100，能够获得高清晰度的捕获图像。具体而言，即使在捕获车辆外部和内部时亮度差异较大的位置，物体的识别也变得容易。此外，实现了固态成像装置的快速操作，使得可以缩短从检测到物体的时间到车辆控制的时间的操作所需的时间间隔。
在本说明书中描述的效果仅仅是解释或范例，而不是限制。换言之，根据本公开的技术可以发挥其他效果。
以下配置也属于本公开的技术范围。
(1)一种固态成像系统，包括：
固态成像装置；以及
信息处理装置，其中，
所述固态成像装置包括：
第一深度神经网络(DNN)处理单元，通过第一DNN对图像数据执行DNN算法的一部分，以生成第一结果，并且
所述信息处理装置包括：
第二DNN处理单元，基于从固态成像装置获取的第一结果，通过第二DNN执行DNN算法的剩余部分，以生成第二结果。
(2)根据(1)所述的固态成像系统，其中，
第一结果包括从DNN算法的中间层输出的特征图。
(3)根据(1)或(2)所述的固态成像系统，其中，
所述固态成像装置还包括：
第一存储器，至少存储有用于执行第一DNN的DNN算法的一部分，并且
所述信息处理装置还包括：
第二存储器，至少存储有用于执行第二DNN的DNN算法的剩余部分。
(4)根据(3)所述的固态成像系统，其中，
要对图像数据执行的DNN算法存储在第一存储器和第二存储器中。
(5)根据(1)至(4)中任一项所述的固态成像系统，其中，
所述固态成像装置还包括：
第一控制单元，控制第一DNN处理单元，并且
所述信息处理装置还包括：
第二控制单元，控制第二DNN处理单元。
(6)根据(5)所述的固态成像系统，其中，
第一控制单元生成包括关于第一DNN的信息的第一控制信息，并将生成的第一控制信息发送到第二控制单元，并且
第二控制单元生成包括关于第二DNN的信息的第二控制信息，并将生成的第二控制信息发送到第一控制单元。
(7)根据(5)或(6)所述的固态成像系统，其中，
第一控制单元基于第二控制信息控制第一DNN处理单元，并且
第二控制单元基于第一控制信息控制第二DNN处理单元。
(8)根据(5)至(7)中任一项所述的固态成像系统，其中，
第一控制单元向第二控制单元发送第一DNN处理单元的执行完成通知，并且
第二控制单元向第一控制单元发送第二DNN处理单元的执行完成通知。
(9)根据(1)至(8)中任一项所述的固态成像系统，其中，
信息处理装置包括应用处理器和云服务器中的一个。
(10)一种固态成像装置，包括：
DNN处理单元，被配置为：
对图像数据执行DNN算法的一部分；并且
生成第一结果，以发送到执行DNN算法的剩余部分的信息处理装置。
(11)根据(10)所述的固态成像装置，其中，
第一结果包括从DNN算法的中间层输出的特征图。
(12)根据(10)或(11)所述的固态成像装置，还包括：
存储器，至少存储有DNN算法的一部分。
(13)一种信息处理装置，包括：
DNN处理单元，被配置为：
从固态成像装置接收对图像数据执行DNN算法的一部分的第一结果；并且
对第一结果执行DNN算法的剩余部分，以生成第二结果。
(14)根据(13)所述的信息处理装置，还包括：
存储器，至少存储有将对第一结果执行的DNN算法的剩余部分。
(15)一种图像处理方法，允许处理器执行以下步骤：
对图像数据执行DNN算法的一部分；并且
生成第一结果，以发送到执行DNN算法的剩余部分的信息处理装置。
(16)一种信息处理方法，允许处理器执行以下步骤：
从固态成像装置接收对图像数据执行DNN算法的一部分的第一结果；并且
对第一结果执行DNN算法的剩余部分，以生成第二结果。
(17)一种程序，允许计算机用作：
DNN处理单元，被配置为：
对图像数据执行DNN算法的一部分；并且
生成第一结果，以发送到执行DNN算法的剩余部分的信息处理装置。
(18)一种程序，允许计算机用作：
DNN处理单元，被配置为：
从固态成像装置接收对图像数据执行DNN算法的一部分的第一结果；并且
对第一结果执行DNN算法的剩余部分，以生成第二结果。
附图标记列表
1固态成像系统
10壳体
11第一衬底
12第二衬底
100固态成像装置
110成像单元
120捕获处理单元
130第一DNN处理单元
140第一存储器
150第一控制单元
160选择器
170、210通信I/F
171、212发送单元
172、211接收单元
180、220通信控制单元
200信息处理装置
230第二DNN处理单元
240第二存储器
250第二控制单元。

Claims (18)

1.一种固态成像系统，包括：
固态成像装置；以及
信息处理装置，其中，
所述固态成像装置包括：
第一深度神经网络(DNN)处理单元，通过第一DNN对图像数据执行DNN算法的一部分，以生成第一结果，并且
所述信息处理装置包括：
第二DNN处理单元，基于从所述固态成像装置获取的所述第一结果，通过第二DNN执行所述DNN算法的剩余部分，以生成第二结果。
2.根据权利要求1所述的固态成像系统，其中，
所述第一结果包括从所述DNN算法的中间层输出的特征图。
3.根据权利要求1所述的固态成像系统，其中，
所述固态成像装置还包括：
第一存储器，至少存储有用于执行所述第一DNN的所述DNN算法的一部分，并且
所述信息处理装置还包括：
第二存储器，至少存储有用于执行所述第二DNN的所述DNN算法的剩余部分。
4.根据权利要求3所述的固态成像系统，其中，
要对所述图像数据执行的所述DNN算法存储在所述第一存储器和所述第二存储器中。
5.根据权利要求1所述的固态成像系统，其中，
所述固态成像装置还包括：
第一控制单元，控制所述第一DNN处理单元，并且
所述信息处理装置还包括：
第二控制单元，控制所述第二DNN处理单元。
6.根据权利要求5所述的固态成像系统，其中，
所述第一控制单元生成包括关于所述第一DNN的信息的第一控制信息，并将生成的第一控制信息发送到所述第二控制单元，并且
所述第二控制单元生成包括关于所述第二DNN的信息的第二控制信息，并将生成的第二控制信息发送到所述第一控制单元。
7.根据权利要求6所述的固态成像系统，其中，
所述第一控制单元基于所述第二控制信息控制所述第一DNN处理单元，并且
所述第二控制单元基于所述第一控制信息控制所述第二DNN处理单元。
8.根据权利要求5所述的固态成像系统，其中，
所述第一控制单元向所述第二控制单元发送所述第一DNN处理单元的执行完成通知，并且
所述第二控制单元向所述第一控制单元发送所述第二DNN处理单元的执行完成通知。
9.根据权利要求1所述的固态成像系统，其中，
所述信息处理装置包括应用处理器和云服务器中的一个。
10.一种固态成像装置，包括：
DNN处理单元，被配置为：
对图像数据执行DNN算法的一部分；并且
生成第一结果，以发送到执行所述DNN算法的剩余部分的信息处理装置。
11.根据权利要求10所述的固态成像装置，其中，
所述第一结果包括从所述DNN算法的中间层输出的特征图。
12.根据权利要求10所述的固态成像装置，还包括：
存储器，至少存储有所述DNN算法的一部分。
13.一种信息处理装置，包括：
DNN处理单元，被配置为：
从固态成像装置接收对图像数据执行DNN算法的一部分的第一结果；并且
对所述第一结果执行所述DNN算法的剩余部分，以生成第二结果。
14.根据权利要求13所述的信息处理装置，还包括：
存储器，至少存储有将对所述第一结果执行的所述DNN算法的剩余部分。
15.一种图像处理方法：
对图像数据执行DNN算法的一部分；并且
生成第一结果，以发送到执行所述DNN算法的剩余部分的信息处理装置。
16.一种信息处理方法：
从固态成像装置接收对图像数据执行DNN算法的一部分的第一结果；并且
对所述第一结果执行所述DNN算法的剩余部分，以生成第二结果。
17.一种程序，允许计算机用作：
DNN处理单元，被配置为：
对图像数据执行DNN算法的一部分；并且
生成第一结果，以发送到执行所述DNN算法的剩余部分的信息处理装置。
18.一种程序，允许计算机用作：
DNN处理单元，被配置为：
从固态成像装置接收对图像数据执行DNN算法的一部分的第一结果；并且
对所述第一结果执行所述DNN算法的剩余部分，以生成第二结果。
CN201980060063.7A 2018-09-21 2019-08-30 固态成像系统、固态成像装置、信息处理装置、图像处理方法、信息处理方法和程序 Active CN112703726B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018177311A JP6695947B2 (ja) 2018-09-21 2018-09-21 固体撮像システム、画像処理方法及びプログラム
JP2018-177311 2018-09-21
PCT/JP2019/034127 WO2020059464A1 (ja) 2018-09-21 2019-08-30 固体撮像システム、固体撮像装置、情報処理装置、画像処理方法、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN112703726A true CN112703726A (zh) 2021-04-23
CN112703726B CN112703726B (zh) 2024-08-09

Family

ID=69888776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980060063.7A Active CN112703726B (zh) 2018-09-21 2019-08-30 固态成像系统、固态成像装置、信息处理装置、图像处理方法、信息处理方法和程序

Country Status (5)

Country Link
US (2) US12079712B2 (zh)
EP (1) EP3855726A4 (zh)
JP (1) JP6695947B2 (zh)
CN (1) CN112703726B (zh)
WO (1) WO2020059464A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6695947B2 (ja) * 2018-09-21 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、画像処理方法及びプログラム
JP7518609B2 (ja) * 2019-11-07 2024-07-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11989888B2 (en) * 2021-08-04 2024-05-21 Sony Semiconductor Solutions Corporation Image sensor with integrated efficient multiresolution hierarchical deep neural network (DNN)
KR20230065519A (ko) * 2021-11-05 2023-05-12 고려대학교 산학협력단 스플릿 러닝을 이용한 영상처리 시스템 및 영상처리방법
WO2023095666A1 (ja) * 2021-11-29 2023-06-01 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および信号処理方法、並びに固体撮像素子
JP2023134172A (ja) 2022-03-14 2023-09-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および情報処理プログラム、ならびに、情報処理システム
WO2023218935A1 (ja) * 2022-05-10 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、情報処理方法、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017187850A (ja) * 2016-04-01 2017-10-12 株式会社リコー 画像処理システム、情報処理装置、プログラム
US20180150740A1 (en) * 2016-11-30 2018-05-31 Altumview Systems Inc. Convolutional neural network (cnn) system based on resolution-limited small-scale cnn modules
CN108399409A (zh) * 2018-01-19 2018-08-14 北京达佳互联信息技术有限公司 图像分类方法、装置及终端
JP2018527660A (ja) * 2015-07-29 2018-09-20 ノキア テクノロジーズ オーユー ニューラルネットワークによるオブジェクト検出

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6320112B2 (ja) * 2014-03-27 2018-05-09 キヤノン株式会社 情報処理装置、情報処理方法
US9665802B2 (en) * 2014-11-13 2017-05-30 Nec Corporation Object-centric fine-grained image classification
US10832138B2 (en) * 2014-11-27 2020-11-10 Samsung Electronics Co., Ltd. Method and apparatus for extending neural network
US10210418B2 (en) * 2016-07-25 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Object detection system and object detection method
US20180039853A1 (en) * 2016-08-02 2018-02-08 Mitsubishi Electric Research Laboratories, Inc. Object Detection System and Object Detection Method
WO2018035805A1 (en) * 2016-08-25 2018-03-01 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
CN109691079B (zh) 2016-09-16 2021-05-14 索尼半导体解决方案公司 成像装置和电子设备
WO2018094295A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Adaptive attention model for image captioning
US10467458B2 (en) * 2017-07-21 2019-11-05 Altumview Systems Inc. Joint face-detection and head-pose-angle-estimation using small-scale convolutional neural network (CNN) modules for embedded systems
CN110062934B (zh) * 2016-12-02 2023-09-01 谷歌有限责任公司 使用神经网络确定图像中的结构和运动
WO2018099473A1 (zh) * 2016-12-02 2018-06-07 北京市商汤科技开发有限公司 场景分析方法和系统、电子设备
WO2018102918A1 (en) * 2016-12-05 2018-06-14 Avigilon Corporation System and method for cnn layer sharing
JP6832155B2 (ja) * 2016-12-28 2021-02-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN110914836A (zh) * 2017-05-09 2020-03-24 纽拉拉股份有限公司 在跨联网计算边缘连续运行应用程序的人工智能和深度学习中实现连续的存储器有界学习的系统和方法
WO2018218651A1 (en) * 2017-06-02 2018-12-06 Nokia Technologies Oy Artificial neural network
US10751548B2 (en) * 2017-07-28 2020-08-25 Elekta, Inc. Automated image segmentation using DCNN such as for radiation therapy
CN108229479B (zh) * 2017-08-01 2019-12-31 北京市商汤科技开发有限公司 语义分割模型的训练方法和装置、电子设备、存储介质
US11200665B2 (en) * 2017-08-02 2021-12-14 Shanghai Sixth People's Hospital Fundus image processing method, computer apparatus, and storage medium
US10282589B2 (en) * 2017-08-29 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
US20190079533A1 (en) * 2017-09-13 2019-03-14 TuSimple Neural network architecture method for deep odometry assisted by static scene optical flow
KR101977174B1 (ko) * 2017-09-13 2019-05-10 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램
JP2019096006A (ja) * 2017-11-21 2019-06-20 キヤノン株式会社 情報処理装置、情報処理方法
JP6985121B2 (ja) * 2017-12-06 2021-12-22 国立大学法人 東京大学 物体間関係認識装置、学習済みモデル、認識方法及びプログラム
JP6943295B2 (ja) * 2017-12-14 2021-09-29 日本電気株式会社 学習装置、学習方法、および学習プログラム
US11544348B2 (en) * 2018-03-05 2023-01-03 Tata Consultancy Services Limited Neural network based position estimation of target object of interest in video frames
CN108681743B (zh) * 2018-04-16 2019-12-06 腾讯科技（深圳）有限公司 图像对象识别方法和装置、存储介质
US10878592B2 (en) * 2018-05-23 2020-12-29 Apical Limited Video data processing
CN108932508B (zh) * 2018-08-13 2022-03-18 杭州大拿科技股份有限公司 一种题目智能识别、批改的方法和系统
US11429824B2 (en) * 2018-09-11 2022-08-30 Intel Corporation Method and system of deep supervision object detection for reducing resource usage
JP6695947B2 (ja) * 2018-09-21 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、画像処理方法及びプログラム
EP3627379A1 (en) * 2018-09-24 2020-03-25 Siemens Aktiengesellschaft Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018527660A (ja) * 2015-07-29 2018-09-20 ノキア テクノロジーズ オーユー ニューラルネットワークによるオブジェクト検出
JP2017187850A (ja) * 2016-04-01 2017-10-12 株式会社リコー 画像処理システム、情報処理装置、プログラム
US20180150740A1 (en) * 2016-11-30 2018-05-31 Altumview Systems Inc. Convolutional neural network (cnn) system based on resolution-limited small-scale cnn modules
CN108399409A (zh) * 2018-01-19 2018-08-14 北京达佳互联信息技术有限公司 图像分类方法、装置及终端

Also Published As

Publication number Publication date
EP3855726A4 (en) 2021-11-17
JP2020047191A (ja) 2020-03-26
EP3855726A1 (en) 2021-07-28
US20220058411A1 (en) 2022-02-24
JP6695947B2 (ja) 2020-05-20
US12079712B2 (en) 2024-09-03
CN112703726B (zh) 2024-08-09
WO2020059464A1 (ja) 2020-03-26
US20240346299A1 (en) 2024-10-17

Similar Documents

Publication Publication Date Title
CN112703726B (zh) 固态成像系统、固态成像装置、信息处理装置、图像处理方法、信息处理方法和程序
CN110622315B (zh) 成像装置、固态图像传感器和电子设备
US10872998B2 (en) Chip size package, method of manufacturing the same, electronic device, and endoscope
CN112004039B (zh) 飞行时间传感器
CN110431668B (zh) 固态摄像装置和电子设备
US10915009B2 (en) Compound-eye camera module and electronic device
WO2020045539A1 (ja) 固体撮像装置、情報処理装置、情報処理システム、情報処理方法及びプログラム
US11750932B2 (en) Image processing apparatus, image processing method, and electronic apparatus
US20230018706A1 (en) Solid-state imaging device, method of manufacturing solid-state imaging device, and electronic equipment
WO2020027229A1 (ja) 固体撮像装置および電子機器
JP6646347B2 (ja) 固体撮像装置および電子機器
JPWO2018180570A1 (ja) 固体撮像素子、電子機器、および半導体装置
WO2019188131A1 (ja) 半導体装置および半導体装置の製造方法
WO2021240982A1 (ja) 半導体装置とその製造方法、及び電子機器
WO2021075116A1 (ja) 固体撮像装置及び電子機器
WO2020045202A1 (ja) 撮像装置、補正方法及びコンピュータプログラム
WO2020100697A1 (ja) 固体撮像素子、固体撮像装置及び電子機器
WO2023157651A1 (ja) 撮像装置および信号処理方法
JP7513023B2 (ja) 撮像装置、電子機器、情報処理方法及びプログラム
WO2022196210A1 (ja) 撮像装置、撮像方法及び電子機器
KR20240151179A (ko) 촬상 장치 및 신호 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant