CN114788257A - 信息处理装置、信息处理方法、程序、成像装置和成像系统 - Google Patents

信息处理装置、信息处理方法、程序、成像装置和成像系统 Download PDF

Info

Publication number
CN114788257A
CN114788257A CN202080085878.3A CN202080085878A CN114788257A CN 114788257 A CN114788257 A CN 114788257A CN 202080085878 A CN202080085878 A CN 202080085878A CN 114788257 A CN114788257 A CN 114788257A
Authority
CN
China
Prior art keywords
image data
unnecessary light
light source
light generation
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080085878.3A
Other languages
English (en)
Inventor
中山智词
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114788257A publication Critical patent/CN114788257A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

这个信息处理装置包括图像处理单元，该图像处理单元检测由摄像装置拍摄的图像数据中的光源的位置，并且基于检测到的光源的位置来估计图像数据中产生非必需光的位置。该图像处理单元对于由共享部分视野的多个摄像装置分别拍摄的多条图像数据检测光源的位置，并基于检测到的光源的位置来估计非必需光的产生位置，合成由所述多个摄像装置中的每个分别拍摄的共享的部分视野的图像数据，并且生成去除或减少了非必需光的非必需光产生位置的图像数据。

Description

信息处理装置、信息处理方法、程序、成像装置和成像系统
技术领域
本技术涉及信息处理装置、信息处理方法、程序、成像装置和成像系统。
背景技术
成像装置有时拍摄其中由于诸如太阳光的亮光在透镜或镜筒中反射而产生诸如重影和眩光的非必需光的图像。在拍摄图像中产生的这种非必需光的图像降低了图像质量。特别是，这导致降低了诸如从图像数据中检测特定对象的图像处理的精度。
用于降低因非必需光的反射而引起的画质劣化的技术包括例如这样的技术：构成视角的像素组被分割，因此通过一个成像元件拍摄视差图像，并且通过使用该视差图像来降低或除去非必需光(例如，参照专利文献1、2)。
引文列表
专利文献
专利文献1：日本专利申请公开号2017-126883
专利文献2：日本专利申请公开号2013-179564
发明内容
技术问题
然而，在上述公知技术中，对于去除非必需光也存在限制。另外，能够充分满足诸如从图像数据中检测特定被摄体的图像处理的精度的去除方法还不为人所知。
鉴于上述情况，本技术的目的是提供一种成像系统、成像方法、信息处理装置和程序，通过它们可以从捕获的图像数据中有意义地去除或减少非必需光。
问题的解决方法
为了解决上述问题，根据本技术的信息处理装置包括图像处理单元，该图像处理单元检测由成像装置捕获的图像数据中的光源的位置，并且基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
该图像处理单元可以被配置为对于多条图像数据检测光源的位置，并基于检测到的光源的位置来估计非必需光产生位置，所述多条图像数据是由具有部分共同视野的多个成像装置分别捕获的，并且组合由所述多个成像装置分别捕获的共同视野部分的图像数据，并且生成去除或减少了非必需光的非必需光产生位置的图像数据。
该图像处理单元可以被配置为比较分别针对所述多条图像数据的共同视野部分估计的非必需光产生位置，并基于比较结果调整用于组合的混合比。
该信息处理装置还可以包括存储单元，该存储单元预先存储关于相对于图像数据中的光源的位置的非必需光产生位置的信息，其中，图像处理单元可以被配置为基于检测到的光源的位置和由存储单元存储的信息来估计非必需光产生位置。
该图像处理单元可以被配置为基于检测到的光源位置和预先固定地确定的非必需光产生预测位置之间的距离，确定所估计的非必需光产生位置是否是有意义的非必需光产生位置。
该图像处理单元可以被配置为从由成像装置捕获的图像数据中识别特定目标，并且生成识别结果连同该识别结果的可靠度，并且根据所估计的非必需光产生位置的有/无或者所识别的目标的位置与非必需光产生位置之间的重合度来更新可靠度。
此外，作为本技术的另一个方面的信息处理方法包括：检测由成像装置捕获的图像数据中的光源的位置；以及基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
作为本技术的另一个方面的程序是使计算机执行以下操作的程序：检测由成像装置捕获的图像数据中的光源的位置；以及基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
作为本技术的再一个方面的成像装置包括：成像元件单元，捕获图像数据；以及图像处理单元，该图像处理单元检测由成像元件单元捕获的图像数据中的光源的位置，以及基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
此外，作为本技术的另一个方面的成像系统包括：成像装置，捕获图像数据；以及图像处理单元，该图像处理单元检测由成像元件单元捕获的图像数据中的光源的位置，以及基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
作为本技术的再另一个方面的成像系统包括：具有部分共同视野的多个成像装置；以及图像处理单元，该图像处理单元对于多条图像数据检测光源的位置，并且基于检测到的光源的位置来估计非必需光产生位置，所述多条图像数据是由所述多个成像装置分别捕获的，以及组合由所述多个成像装置分别捕获的共同视野部分的图像数据，并且生成去除或减少了非必需光的非必需光产生位置的图像数据。
附图说明
[图1]示出根据本实施例的信息处理装置的配置的框图。
[图2]示出多个成像装置的相应成像视野2、3和与各成像视野2、3分别对应的多条图像数据21、22的示例的图。
[图3]用于说明多条图像数据21、22的典型的组合方法的图。
[图4]用于说明根据本实施例的组合方法的图。
[图5]示出所拍摄的图像数据的示例的图。
[图6]用于说明从图5的图像数据检测光源的位置的方法的图。
[图7]示出非必需光产生位置的计算方法的图。
[图8]示出光源图像的中心位置与非必需光产生位置的中心位置的对应表的图。
[图9]示出对应表的另一示例的图。
[图10]示出对应表的又一示例的图。
[图11]描述确定源自眩光的非必需光产生位置的方法的图。
[图12]描述当确定源自眩光的非必需光产生位置时也使用的数据库的图。
[图13]在将由多个成像装置获得的多条图像数据组合成去除或减少了非必需光的虚拟单视点图像时的操作的流程图。
[图14]不进行插值的组合处理的流程图。
[图15]示出安装在车辆上的八个成像装置的相应视野的图。
[图16]示出在平面图上彼此重叠的图15的各个成像装置的视野的图。
[图17]示出能够从由成像装置8获得的图像数据中识别诸如行人的特定目标并基于非必需光产生位置的估计结果校正识别结果的可靠度的图像处理单元6A的配置的框图。
[图18]示出包括安装图17的图像处理单元6A的多个成像装置的成像系统的配置的框图。
[图19]图18的成像系统的处理的流程图。
[图20]示出图18的成像系统的修改示例的图。
[图21]示出作为能够应用本发明的技术的移动体控制系统的示例的车辆控制系统7000的概略结构的示例的框图。
[图22]示出成像部分7410和车外信息检测部分7420的设置位置的示例的图。
具体实施方式
在下文中，将参考附图描述本技术的实施例。
<第一实施例>
图1是示出根据本技术的第一实施例的信息处理装置1的配置的框图。
根据本实施例的信息处理装置1包括图像处理单元6，其检测由成像装置4和5捕获的多条图像数据中的光源的位置，并且基于检测到的光源的位置计算多条图像数据中的非必需光产生位置。
信息处理装置1以及成像装置4和5构成单个成像系统。
成像装置4和5具有彼此部分共同的成像视野，并且分别包括具有透镜单元41和51的成像元件单元42和52、对通过透镜单元41和51进入它们的成像光进行光电转换的电荷耦合器件(CCD)、诸如互补金属氧化物半导体(CMOS)的成像元件、根据在成像元件处生成的电信号生成多条图像数据的信号处理电路等。
存储单元7用于图像处理单元6的图像处理，并且能够存储数据库等。
图像处理单元6通过使用存储单元7处理由具有彼此部分共同的成像视野的多个成像装置4和5获得的多条图像数据。图像处理单元6具有光源位置检测单元61、非必需光产生位置检测单元62和图像组合单元63。
光源位置检测单元61从图像数据检测与诸如太阳、车头灯等光源对应的图像，进行检测光源图像的位置、尺寸等的处理。
基于由光源位置检测单元61检测的关于光源图像的位置和尺寸等的信息以及预先存储在存储单元7的数据库等中的用于非必需光产生位置估计的信息，非必需光产生位置检测单元62检测由于光源的光在成像装置4和5的透镜单元41和51或镜筒中的漫反射而在图像数据中产生的非必需光的图像的位置(在下文中，称为“非必需光产生位置”)。
图像组合单元63组合由多个成像装置4和5获得的多条图像数据的共同视野部分的图像数据，从而生成去除或减少了非必需光的虚拟单视点图像。
由图像处理单元6生成的虚拟单视点图像被经由外部接口通过传输信道被输出到外部监视器等的显示单元。
近年来，为了实现自驾驶而监视车辆周围，从由安装在车辆上的多个成像装置获得的多条图像数据来获取信息。此时，在亮光从诸如阳光和另一车辆的车灯的光源进入成像装置的情况下，存在对于诸如重影和眩光的非必需光被反射在图像上并且降低检测目标(诸如道路上的白线和用于自驾驶的行人)的精度的担心。
此外，图像上反射非必需光的位置根据从成像装置可以看到的光源的位置而变化。因此，例如，通过在假定在固定位置处生成非必需光的图像处理(诸如通常使用的透镜灰尘检测和缺陷像素校正等)，难以去除非必需光。另外，尽管可以通过对比度调整等来减少由于非必需光而导致的可视性的降低，但是在这种情况下，在非必需光的周围的对象的可视性降低。
图2是表示多个成像装置的相应成像视野2、3和与各个成像视野2、3对应的图像数据21、22的示例的图。在各条图像数据21、22中，光源11存在于不同的位置。在各条图像数据21、22中，在与光源11的位置对应的位置产生作为非必需光的重影23、24。
将考虑将这两条图像数据21和22组合成虚拟单视点图像的情况。
如图3所示，在典型的组合方法中，对于由两个成像装置生成的两条相应的图像数据21和22，首先，生成用于实现单视点的投影图像25和26，并且组合相应的投影图像25和26，并且生成单视点图像27。在组合时，两个投影图像25和26中的共同视野部分28和29以预定的混合比被组合。标号30表示共同视野部分28和29的组合结果。然而，利用这种典型的组合方法，在组合之后，保留了图像数据21和22中存在的非必需光(诸如重影23和24)。
在根据本实施例的组合方法中，如图4所示，针对由两个成像装置4和5生成的两条相应的图像数据21和22，图像处理单元6检测关于太阳等的光源图像12的位置和尺寸等的信息，并且基于关于光源图像12的位置和尺寸等的该信息以及预先存储在数据库中的用于非必需光产生位置估计的信息，估计多条图像数据21和22中的非必需光产生位置31和32。可以基于例如光源图像12的位置与成像装置4和5的光轴中心之间的位置关系等来执行非必需光产生位置31和32的这种估计。即，特别地，由于透镜结构，重影通常出现在连接光源图像12的位置与成像装置的光轴中心的直线上，并且在直线上的哪个位置出现重影取决于成像装置4和5的结构和类型，并且此外，在光源是车头灯的情况下，还取决于成像装置4和5的光轴的取向、安装位置等。此外，根据成像装置4和5的结构和类型，重影有时出现在除了连接光源图像12的位置和成像装置4、5的光轴中心的直线上的位置以外的位置上。因此，对于上述的各个条件，将用于表示相对于光源图像的位置在哪个位置上出现重影的非必需光产生位置估计的信息存储在数据库中，并且在组合时参照该信息。
另外，由于透镜表面上的污垢或损坏或者镜筒中的灰尘而产生的重影被称为“眩光”。通常，对于成像装置4和5中的每一个，眩光的产生位置是固定的。鉴于此，在使用其中可以产生眩光的成像装置4和5的情况下，在数据库中存储关于成像装置4和5中的每一个特有的眩光产生位置的信息并且在估计非必需光产生位置时参考该信息就足够了。
应当注意，数据库可以是在成像系统的存储单元7中提供的数据库，或者可以是成像系统能够访问的网络中的数据库。
在图像处理单元6估计非必需光产生位置31、32后，图像处理单元6对由两个成像装置4、5生成的两条图像数据21、22分别生成用于实现单视点的投影图像25'、26'。图像处理单元6将这些投影图像25'、26'组合而生成虚拟的单视点图像33。此时，对于各投影图像25'、26'中的共同的视野部分28'、29'，按每个像素调整组合时的混合比，使得非必需光产生位置31、32的非必需光不太显眼。附图标记34表示共同视野部分28和29的组合结果。
[非必需光产生估计位置的计算方法]
图5至图8是描述确定非必需光产生估计位置的方法的图。
图5是由成像装置获得的图像数据的示例。在该示例中，光源是汽车的左车头灯和右车头灯，并且重影35和36在左车头灯和右车头灯的点对称位置处被反射。
首先，如图6所示，图像处理单元6将映射在N(垂直)乘M(水平)的网格坐标空间中的多条图像数据二值化为阈值，并从二值化的多条图像数据检测每个光源图像(两个车头灯的光的图像)的中心位置和直径。光源图像的直径可以是例如光源图像的最大直径，或者可以是垂直和水平直径的平均值。
接着，图像处理单元6基于光源的中心位置和直径以及存储在数据库中的用于非必需光产生位置估计的信息来估计非必需光产生位置。存储在数据库中的用于非必需光产生位置估计的信息由光源的中心位置和非必需光产生位置的中心位置的对应表、非必需光产生位置与光源图像的直径的尺寸比(系数A)等构成。例如，如图7所示，在由非必需光产生位置31和32占据的区域的形状是圆形的情况下，相对于两个相应的光源图像如下计算非必需光产生位置的直径DF1和DF2。
DF1＝A×D1
DF2＝A×D2
其中，D1和D2表示两个光源图像各自的直径，A表示非必需光产生位置与光源图像的直径的尺寸比(系数A)。
图8是用于描述光源图像的中心位置和非必需光产生位置的中心位置的对应表的图。如该图所示，该对应表示出了通过以N×M等分一条图像数据来表示的坐标空间中的光源的中心位置(XL，YL)和非必需光产生位置的中心位置(XF，YF)之间的关系，作为矢量数据。
根据成像装置的结构，存在针对各光源同时生成多个重影的情况。在这种情况下，如图9所示，准备将多个非必需光产生位置的中心位置与每个光源的中心位置相关联的表就足够了。另外，在这种情况下，通过在数据库中存储多个非必需光产生位置与每个非必需光产生位置处的光源图像的直径的尺寸比(系数A1、A2)，可以改变相对于单个光源的多个非必需光产生位置的尺寸。
另外，如图10所示，相对于光源中心位置的每个非必需光产生位置可被指定为在例如N(垂直)×M(水平)的网格坐标空间中的、可通过连接多个顶点(例如四个顶点)形成的区域。
另外，指定非必需光产生位置的信息可以是各种格式。
[将眩光产生区域估计为无用发光位置的方法]
在此，已经描述了将根据光源位置而变化的重影产生区域估计为非必需光产生位置的方法。然而，在由于透镜表面上的污垢或损坏或者镜筒中的灰尘而产生眩光的情况下，在视角中的固定位置处产生非必需光，而与光源位置无关。由于眩光而产生的非必需光的亮度更高，并且随着光源更靠近成像装置，非必需光在图像中更显眼。因此，与重影产生区域同样，这样的眩光产生区域(特别是高亮度眩光被反射的区域)可以被估计为非必需光产生位置，并且可以进行向虚拟的单视点图像的组合。
图11和图12是描述确定源自眩光的非必需光产生位置的方法的图。
在使用可能存在源自眩光的非必需光产生位置的成像装置的情况下，如图12所示，图像数据中的眩光中心位置(XF，YF)和眩光尺寸DF以及与其对应的光源-眩光位置距离阈值LTH_F1被预先存储在数据库中。
首先，图像处理单元6检测由成像装置获得的图像数据中的光源的位置(中心位置)和尺寸(直径)。接下来，如图11所示，图像处理单元6基于所检测的光源位置(中心位置)和尺寸(直径)以及存储在数据库中的眩光中心位置(XF，YF)和眩光尺寸DF 1确定光源-眩光边缘距离La。这里，光源-眩光边缘距离La是根据下式算出的。
La＝L-(D/2)-(DF1/2)
其中L表示光源的位置(中心位置)和眩光中心位置(XF，YF)之间的距离。
接着，在La等于或小于距离阈值LTH_F1的情况下，图像处理单元6确定从光源导出的眩光产生区域是非必需光产生位置，并且在La大于距离阈值DTH_F1的情况下，图像处理单元6确定从光源导出的眩光产生位置不是非必需光产生位置。
即，由于光源在真实空间中越靠近成像装置，眩光的亮度就越高并且眩光就越显著，因此通过在组合成虚拟单视点图像时仅将这种情况下的眩光产生位置确定为非必需光产生位置并且忽略对图像可见度具有较小影响的眩光，可以省略非必需的处理。
接下来，将使用图13的流程图描述在将通过具有彼此部分共同的成像视野的多个成像装置获得的多条图像数据组合成去除或减少了非必需光的虚拟单视点图像时的操作。
首先，当多个成像装置4和5被激活时，图像处理单元6开始组合由多个成像装置4和5获得的多条图像数据，并且还开始检测在每条图像数据上反映出的光源的位置和尺寸(步骤S101)。在由各个成像装置4和5获得的每条图像数据中没有检测到光源的情况下(步骤S102中为否)，当图像处理单元6将多条图像数据组合成虚拟单视点图像时，图像处理单元6以预定的正常稳定混合比组合各个成像装置4和5的共同视野部分的图像数据(步骤S103)。
此外，当在各个成像装置4和5的共同视野部分的至少一条图像数据中检测到光源的情况下(步骤S102中为是)，图像处理单元6针对每条图像数据检测光源的位置和尺寸，并基于这样的检测信息和存储在数据库中的用于非必需光产生位置估计的信息来估计每条图像数据中的非必需光产生位置(步骤S104)。
接下来，对于由多个成像装置获得的每条图像数据，图像处理单元6生成用于组合成单视点图像的投影图像，并且例如逐像素地比较各个投影图像中的共同视野部分的非必需光产生位置(步骤S105)。
图像处理单元6根据比较结果调整每条图像数据的混合比(步骤S106)。此时，对于仅有一条图像数据在该像素处属于非必需光产生位置的像素，调整关于每条图像数据的混合比，使得该非必需光产生位置的非必需光图像被减少。例如，关于属于非必需光产生位置的一条图像数据的混合比的值被降低，并且关于不属于非必需光产生位置的另一条图像数据的混合比的值被增加。当降低混合比的值时，混合比的值可以被设定为0％，并且当增加混合比的值时，混合比的值可以被设定为100％。
应当注意，对于两条图像数据在该像素处都属于非必需光产生位置的像素，可以使用关于相邻像素确定的组合值来执行插值。
图像处理单元6以相对于每条图像数据以上述方式调整的混合比组合各条图像数据的共同视野部分的各条图像数据(步骤S107)。因此，获得了去除或减少了非必需光的组合图像。
此外，根据本实施例，例如，可以基于存储在存储单元7的数据库中的用于非必需光产生位置估计的信息等来正确地估计其位置和尺寸取决于成像装置的特性的非必需光产生位置，因此获得了可用性优异并且具有高的非必需光去除效果的成像系统。因此，例如，能够准确且稳定地检测车辆周围的目标。
<修改示例1>
在上述实施例中，在多条图像数据的非必需光产生位置在多条图像数据中组合的共同视野部分中彼此重叠地存在的情况下，使用相邻像素的值来内插非必需光产生位置彼此重叠的部分的图像。本技术不限于此。
图14是其中不发生这种插值的组合处理的流程图。
在该变形例中，如步骤S105A所示，其特征是，在多条图像数据的非必需光产生位置分离地存在于在多条图像数据的投影图像中组合的共同视野部分中的情况下，图像处理单元6调整针对各条图像数据的混合比，并组合共同视野部分。在多条图像数据的非必需光产生位置没有分离地存在的情况下，在步骤S103中执行以预定混合比的组合。
[其中多个成像装置覆盖车辆的整个周边的车载相机系统的应用]
为了由自动驾驶或自由视点进行周边监视等，假定安装多个成像装置使得它们的视野覆盖车辆的整个周边的情况。在这种情况下，可以通过提供各个成像装置使得每个成像装置的视野与一个或多个其他成像装置的视野部分重叠来应用本技术。
图15是示出安装在车辆上的八个成像装置的视野的图，并且图16是在平面图中以重叠方式示出这些成像装置的视野的图。
在这些图中，A至H分别表示八个成像装置的各个视野。在此，视野A与视野C部分地重叠，并且在视野B与视野D、视野C与视野E、视野C与视野F、视野E与视野D、视野E与视野G、视野F与视野D、视野F与视野H的关系中，视野部分地彼此重叠。在这种情况下，通过将本技术应用于具有部分地重叠的视野的成像装置的各个组合，得到了在车辆的整个周边除去非必需光的组合图像，并且能够提高车辆周边的监视精度。
<修改示例2>
[目标识别结果的可靠度的计算的应用]
这里已经描述了从由成像装置获得的图像数据中去除诸如重影和眩光的非必需光的情况。然而，在本技术中，非必需光产生位置的检测结果可以应用于其它处理。
例如，将考虑以下情况：利用本技术来校正可靠度，该可靠度是从由成像装置获得的图像数据识别的诸如行人的特定目标的识别结果的可能性的指标值。
图17是示出包括图像处理单元6A的信息处理装置1A的配置的框图，该图像处理单元能够从由成像装置8获得的图像数据中识别诸如行人之类的特定目标，并校正识别结果的可靠度。
图像处理单元6A具有光源位置检测单元61A、非必需光产生位置检测单元62A、目标识别单元65A和识别结果输出单元64。
光源位置检测单元61A和非必需光产生位置检测单元62A与以上在图1中描述的那些相同，因此在此省略了重复描述。
目标识别单元65A执行从图像数据中识别诸如行人的特定目标的处理。在该识别时，目标识别单元65A生成匹配分数作为指示识别结果的可能性的可靠度，并将该可靠度与目标的识别结果一起输出到识别结果输出单元64。
基于非必需光产生位置检测单元62A对非必需光产生位置的估计结果，识别结果输出单元64A更新目标识别单元65A输入的识别结果的可靠度，并将包括更新后的可靠度的识别结果输出到高阶处理单元。
在该修改示例中，例如，在检测到非必需光产生位置的情况下，图像处理单元6A将相对于识别目标的识别结果的可靠度校正为较低。或者，可以计算图像数据中的识别目标的位置与非必需光产生位置之间的重合度，并且随着重合度变得更高，可以将关于识别目标的识别结果的可靠度校正为更低。
高阶处理单元被配置为基于可靠度来评估识别结果，并且基于该评估结果执行取决于识别结果的控制。例如，在可靠度小于阈值的情况下，可以使目标的识别结果无效。因此，可以降低由于非必需光而导致的目标的误识别的可能性，并且可以提高监视精度。
图18是示出成像系统的配置的框图，该成像系统包括分别安装在车辆上并具有彼此部分共同的视野的多个成像装置9、…、9中的具有图17的配置的图像处理单元6A，并且该成像系统从各个成像装置9、…、9向识别结果整合单元100输出包括可靠度的目标识别结果，并在识别结果整合单元100处基于可靠度执行这些目标识别结果的整合处理。
图19是该成像系统的处理的流程图。
启动各自包括图像处理单元6A的多个成像装置9，在多个成像装置9中的每一个的图像处理单元6A中开始从图像数据搜索诸如行人的目标，并且开始检测图像数据中的光源的位置(步骤S201)。
多个成像装置9中的每一个都包括图像处理单元6A。在已经检测到光源的情况下(步骤S203中的是)，每个图像处理单元6A基于存储在数据库中的关于检测到的光源的位置和尺寸的信息来估计非必需光产生位置(步骤S204)。接下来，图像处理单元6A根据非必需光产生位置的估计结果来更新目标的识别结果的可靠度(步骤S205)。例如，如果估计存在非必需光产生位置，则图像处理单元6A将可靠度更新为更低。
接下来，多个成像装置9的各个图像处理单元6A将包括可靠度的目标识别结果输出到识别结果整合单元100。识别结果整合单元100对多个输入的目标搜索结果和可靠度执行整合处理，例如采用具有最高可靠度的目标识别结果作为整合结果(步骤S206)，并将该目标识别结果输出到更高级装置(步骤S207)。
应当注意，尽管在修改示例2中在各个成像装置9、…、9中所包括的图像处理单元6A中执行图像处理，但是如图20所示，可以在单个图像处理单元6B中一起处理多个成像装置9、…、9的多条图像数据。
[应用示例]
根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以被实现为安装到任何类型的移动体上的装置，该移动体例如是汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人、施工机械和农业机械(拖拉机)。
图21是表示作为能够应用本发明的实施例的技术的移动体控制系统的示例的车辆控制系统7000的概要结构的示例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图21所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车体系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是例如符合任意标准的车载通信网络，例如控制器局域网(CAN)、局域互连网络(LIN)、局域网(LAN)、FlexRay等。
每个控制单元包括：根据各种程序执行算术处理的微计算机；存储部分，其存储由微计算机执行的程序、用于各种操作的参数等；以及驱动电路，其驱动各种控制对象装置。每个控制单元还包括：网络接口(I/F)，用于经由通信网络7010与其他控制单元进行通信；以及通信I/F，用于通过有线通信或无线电通信与车辆内和车辆外的装置、传感器等进行通信。图21中所示的集成控制单元7600的功能配置包括微计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位部分7640、信标接收部分7650、车载装置I/F7660、声音/图像输出部分7670、车载网络I/F 7680和存储部分7690。其它控制单元类似地包括微计算机、通信I/F、存储部分等。
驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元7100具有用于控制以下装置的控制装置的功能：用于产生车辆的驱动力产生装置(如内燃机、驱动电动机等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于产生车辆的制动力的制动装置等。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制装置的功能。
驱动系统控制单元7100与车辆状态检测部分7110连接。车辆状态检测部分7110例如包括陀螺仪传感器、加速度传感器和传感器中的至少一个，所述陀螺仪传感器检测车体的轴向旋转运动的角速度，所述加速度传感器检测车辆的加速度，所述传感器用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等。驱动系统控制部分7100使用从车辆状态检测部分7110输入的信号进行运算处理，并控制内燃机、驱动电动机、电动助力转向装置、制动装置等。
车体系统控制单元7200根据各种程序控制设置到车体的各种装置的操作。例如，主体系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如头灯、倒车灯、刹车灯、转向信号、雾灯等的各种灯的控制装置。在这种情况下，可以将从作为按键或各种开关的替代的移动装置发送的无线电波的信号输入到主体系统控制单元7200。主体系统控制单元7200接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动窗装置、灯等。
电池控制单元7300根据各种程序控制作为用于驱动电动机的电源的二次电池7310。例如，从包括二次电池7310的电池装置向电池控制单元7300提供关于电池温度、电池输出电压、电池中剩余的电荷量等的信息。电池控制单元7300使用这些信号执行算术处理，并且执行用于调节二次电池7310的温度的控制或控制提供给电池装置的冷却装置等。
车外信息检测部分7400检测包括车辆控制系统7000的车辆外部的信息。例如，车外信息检测部分7400与成像部分7410和车外信息检测部分7420中的至少一个连接。成像部分7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其它相机中的至少一个。车外信息检测部分7420例如包括用于检测当前大气状况或天气状况的环境传感器和用于检测包括车辆控制系统7000的车辆周边上的另一车辆、障碍物、行人等的周边信息检测传感器中的至少一个。
例如，环境传感器可以是检测雨的雨滴传感器、检测雾的雾传感器、检测日照程度的日照传感器和检测降雪的雪传感器中的至少一个。周边信息检测传感器可以是超声波传感器、雷达装置和LIDAR装置(光检测和测距装置，或激光成像检测和测距装置)中的至少一个。成像部分7410和车外信息检测部分7420可以分别作为独立的传感器或装置而设置，也可以作为集成了多个传感器或装置的装置而设置。
图22是表示成像部分7410和车外信息检测部分7420的设置位置的示例的图。成像部分7910、7912、7914、7916和7918例如被布置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置和车辆内部内的挡风玻璃的上部上的位置中的至少一个位置处。设置在前机头上的成像部分7910和设置在车辆内部的挡风玻璃的上部的成像部分7918主要获得车辆7900的前部的图像。设置在侧视镜上的成像部分7912和7914主要获得车辆7900侧面的图像。设置在后保险杠或后门上的成像部分7916主要获取车辆7900的后方的图像。设置在车辆内部的挡风玻璃的上部的成像部分7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图22描述了各个成像部分7910、7912、7914和7916的拍摄范围的示例。成像范围A表示设置到前鼻的成像部分7910的成像范围。成像范围B和C分别表示提供给侧视镜的成像部分7912和7914的成像范围。成像范围D表示设置在后保险杠或后门上的成像部分7916的成像范围。例如，通过叠加由成像部分7910、7912、7914和7916成像的图像数据，可以获得从上面观察的车辆7900的鸟瞰图像。
设置在车辆7900的前部、后部、侧部和角落以及车辆内部的挡风玻璃的上部的车外信息检测部分7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达装置。设置在车辆7900的前端、后保险杠、车辆7900的后门以及车辆内部的挡风玻璃的上部的车外信息检测部分7920、7926和7930可以是例如LIDAR装置。这些车外信息检测部分7920到7930主要用于检测前方车辆、行人、障碍物等。
返回到图21，继续进行说明。车外信息检测部分7400使成像部分7410对车外的图像进行成像，并接收所成像的图像数据。另外，车外信息检测部分7400从与车外信息检测部分7400连接的车外信息检测部分7420接收检测信息。在车外信息检测部分7420是超声波传感器、雷达装置、LIDAR装置的情况下，车外信息检测部分7400发送超声波、电磁波等，接收所接收的反射波的信息。车外信息检测部分7400也可以基于接收到的信息，进行检测人、车辆、障碍物、标志、路面上的文字等物体的处理或检测与其之间的距离的处理。车外信息检测部分7400也可以基于接收到的信息，进行识别降雨、雾、路面状况等的环境识别处理。车外信息检测部分7400也可以基于接收到的信息，计算与车外物体之间的距离。
另外，车外信息检测部分7400也可以基于接收到的图像数据，进行识别人、车辆、障碍物、标志、路面上的文字等的图像识别处理或检测与它们之间的距离的处理。车外信息检测部分7400可以对所接收的图像数据进行畸变校正或位置对准等处理，并将由多个不同的成像部分7410拍摄到的图像数据组合，生成鸟瞰图像或全景图像。车外信息检测部分7400也可以使用由包括不同的成像部分的成像部分7410拍摄到的图像数据，进行视点转换处理。
车载信息检测部分7500检测车辆内部的信息。车载信息检测部分7500例如与检测驾驶员的状态的驾驶员状态检测部分7510连接。驾驶员状态检测部分7510可以包括对驾驶员进行成像的摄像机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器例如被设置在座椅表面、方向盘等中，并且检测坐在座椅中的乘员或握住方向盘的驾驶员的生物信息。车载信息检测部分7500可以根据从驾驶员状态检测部分7510输入的检测信息，计算驾驶员的疲劳度或集中度，或者判断驾驶员是否在打瞌睡。车载信息检测部分7500也可以对通过声音的收集而得到的声音信号进行噪声消除处理等处理。
集成控制单元7600根据各种程序控制车辆控制系统7000内的总体操作。集成控制单元7600与输入部分7800连接。输入部分7800由能够由乘客进行输入操作的装置实现，例如，诸如触摸面板、按钮、麦克风、开关、控制杆等。可以向集成控制单元7600提供通过对经由麦克风输入的语音进行语音识别而获得的数据。输入部分7800可以是例如使用红外线或其它无线电波的远程控制装置，或者是支持车辆控制系统7000的操作的外部连接装置，例如移动电话、个人数字助理(PDA)等。输入部分7800可以是例如照相机。在这种情况下，乘员可以通过手势输入信息。或者，可以输入通过检测乘员穿戴的可穿戴装置的移动而获得的数据。此外，输入部分7800可以例如包括输入控制电路等，其基于乘员等使用上述输入部分7800输入的信息产生输入信号，并将产生的输入信号输出到集成控制单元7600。乘员等通过操作输入部分7800，向车辆控制系统7000输入各种数据或给出用于处理操作的指令。
存储部分7690可以包括存储由微计算机执行的各种程序的只读存储器(ROM)和存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。另外，存储部分7690可以由诸如硬盘驱动器(HDD)等的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等来实现。
通用通信I/F 7620是广泛使用的通信I/F，该通信I/F作为与存在于外部环境7750中的各种设备的通信的媒介。通用通信I/F 7620可以实现蜂窝通信协议，例如全球移动通信系统(GSM)、全球微波接入互操作性(WiMAX)、长期演进(LTE)、LTE高级(LTE-A)等或者例如无线LAN(也称为无线保真(Wi-Fi)、蓝牙等的另一无线通信协议。通用通信I/F 7620可以例如经由基站或接入点连接到存在于外部网络(例如，因特网、云网络或公司专用网络)上的装置(例如，应用服务器或控制服务器)。另外，通用通信I/F 7620可以使用例如点对点(P2P)技术连接到存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或者是机器类型通信(MTC)终端)。
专用通信I/F 7630是支持为在车辆中使用而开发的通信协议的通信I/F。专用通信I/F 7630可以实现标准协议，例如，诸如车辆环境中的无线接入(WAVE)(其是作为较低层的电气和电子工程师协会(IEEE)802.11p和作为较高层的IEEE 1609的组合)、专用短程通信(DSRC)或蜂窝通信协议。专用通信I/F 7630通常执行V2X通信，其概念包括车辆和车辆之间的通信(车辆到车辆)、道路和车辆之间的通信(车辆到基础设施)、车辆和家庭之间的通信(车辆到家庭)、以及行人和车辆之间的通信(车辆到行人)中的一个或多个。
例如，定位部分7640通过接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)来执行定位，并且生成包括车辆的纬度、经度和海拔的位置信息。顺便提及，定位部分7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话、个人手持电话系统(PHS)或具有定位功能的智能电话的终端获得位置信息。
信标接收部分7650例如接收从安装在道路等上的无线电台发送的无线电波或电磁波，从而获得关于当前位置、拥堵、封闭道路、必要时间等的信息。顺便提及，信标接收部分7650的功能可以被包括在上述的专用通信I/F 7630中。
车载装置I/F 7660是作为微计算机7610和车辆内存在的各种车载装置7760之间的连接的中介的通信接口。车载装置I/F 7660可以使用诸如无线LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)的无线通信协议来建立无线连接。另外，车载装置I/F 7660可以通过通用串行总线(USB)、高清晰多媒体接口(HDMI)、移动高清晰度链路(MHL)等经由图中未示出的连接端子(以及必要时的电缆)建立有线连接。车载装置7760可以例如包括由乘员拥有的移动装置和可穿戴装置中的至少一个以及携带到车辆中或附接到车辆的信息装置。车载装置7760还可以包括搜索到任意目的地的路径的导航装置。车载装置I/F 7660与这些车载装置7760交换控制信号或数据信号。
车载网络I/F 7680是作为微计算机7610和通信网络7010之间的通信媒介的接口。车载网络I/F 7680依照通信网络7010所支持的预定协议来发送和接收信号等。
集成控制单元7600的微计算机7610基于经由通用通信I/F7620、专用通信I/F7630、定位部分7640、信标接收部分7650、车载装置I/F 7660和车载网络I/F 7680中的至少一个获得的信息，根据各种程序来控制车辆控制系统7000。例如，微计算机7610可以基于所获得的关于车辆内部和外部的信息来计算用于驱动力产生装置、转向机构或制动装置的控制目标值，并且将控制命令输出到驱动系统控制单元7100。例如，微计算机7610可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括车辆的碰撞避免或冲击减轻、基于跟随距离的跟随驾驶、车速维持驾驶、车辆碰撞的警告、车辆偏离车道的警告等。另外，微计算机7610可以基于所获得的关于车辆周围的信息，通过控制驱动力产生装置、转向机构、制动装置等，执行旨在用于自动驾驶的协作控制，这使得车辆自主行驶而不依赖于驾驶员的操作等。
微计算机7610可以基于经由通用通信I/F 7620、专用通信I/F7630、定位部分7640、信标接收部分7650、车载装置I/F 7660和车载网络I/F 7680中的至少一个获得的信息，来生成车辆与诸如周围结构、人等的物体之间的三维距离信息，并且生成包括与车辆的当前位置的周围环境有关的信息的本地地图信息。另外，微计算机7610可以基于所获得的信息预测危险，例如车辆的碰撞、行人等的接近、进入封闭道路等，并且生成警告信号。警告信号例如可以是用于产生警告声音或点亮警告灯的信号。
声音/图像输出部分7670将声音和图像中的至少一个的输出信号发送到能够在视觉上或听觉上向车辆的乘员或车辆的外部通知信息的输出装置。在图21的示例中，作为输出装置，例示了音频扬声器7710、显示部分7720和仪表板7730。显示部分7720可以例如包括板上显示器和平视显示器中的至少一个。显示部分7720可以具有增强现实(AR)显示功能。输出装置可以是除了这些装置之外的装置，并且可以是诸如耳机、诸如由乘员等佩戴的眼镜型显示器的可佩戴装置、投影仪、灯等的另一装置。在输出装置是显示装置的情况下，显示装置以诸如文本、图像、表格、图表等各种形式可视地显示通过由微计算机7610执行的各种处理获得的结果或从另一控制单元接收的信息。另外，在输出装置是音频输出装置的情况下，音频输出装置将由再现的音频数据或声音数据等构成的音频信号转换成模拟信号，并且在听觉上输出该模拟信号。
顺便提及，在图21所示的示例中，经由通信网络7010彼此连接的至少两个控制单元可以被集成到一个控制单元中。或者，每个单独的控制单元可以包括多个控制单元。此外，车辆控制系统7000可以包括图中未示出的另一控制单元。另外，可以将上述控制单元之一所执行的部分或全部功能分配给另一控制单元。即，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的运算处理。类似地，连接到控制单元之一的传感器或装置可以连接到另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。
应当注意，上面已经使用图1描述的用于实现根据本实施例的信息处理装置1的各个功能的计算机程序可以在任何控制单元等上实现。此外，还可以提供计算机可读的记录介质，其中存储了这样的计算机程序。记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以在不使用记录介质的情况下经由例如网络传送。
在上述车辆控制系统7000中，使用图1描述的根据本实施例的信息处理装置100可以应用于根据图21所示的应用示例的集成控制单元7600。例如，信息处理装置100的图像处理单元6对应于集成控制单元7600的微计算机7610、存储部分7690和车载网络I/F 7680。例如，集成控制单元7600可以被配置为在如图22所示由安装在车辆7900上的成像部分7910、7912、7914、7916和7918捕获的图像数据片段中检测光源的位置，并基于检测到的光源位置估计非必需光产生位置。因此，可以从由多个成像部分7910、7912、7914、7916和7918获得的多条图像数据片段中，生成从具有部分公共视野的多个图像数据片段移除或减少非必需光的合成图像。此外，集成控制单元7600的微计算机7610能够基于非必需光产生位置的估计结果更新目标的识别结果的可靠度，并以更高的精度获得可靠度。可以降低由于非必需光而导致的目标误识别概率，并且提高监视精度。
此外，上述使用图1的信息处理装置100的至少一些组件可以在图21所示的集成控制单元7600的模块(例如，由单个芯片构成的集成电路模块)中实现。或者，上述使用图1的信息处理装置100可以通过图21所示的车辆控制系统7000的多个控制单元来实现。
此外，本技术不仅限于上述实施例，并且可以在不脱离本发明要点的情况下进行各种修改。
本技术还可以采用以下配置。
(1).一种信息处理装置，包括
图像处理单元，该图像处理单元
检测由成像装置捕获的图像数据中的光源的位置，并且
基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
(2).根据(1)所述的信息处理装置，其中
所述图像处理单元
对于多条图像数据检测光源的位置，并基于检测到的光源的位置来估计非必需光产生位置，所述多条图像数据是由具有部分共同视野的多个成像装置分别捕获的，并且
组合由所述多个成像装置分别捕获的共同视野部分的图像数据，并且生成去除或减少了非必需光的非必需光产生位置的图像数据。
(3).根据(1)或(2)所述的信息处理装置，其中
图像处理单元比较分别针对所述多条图像数据的共同视野部分估计的非必需光产生位置，并基于比较结果调整用于组合的混合比。
(4).根据(1)到(3)中任意一项所述的信息处理装置，还包括
存储单元，预先存储关于相对于图像数据中的光源的位置的非必需光产生位置的信息，其中
图像处理单元基于检测到的光源的位置和由存储单元存储的信息来估计非必需光产生位置。
(5).根据(1)到(4)中任意一项所述的信息处理装置，其中
图像处理单元基于检测到的光源位置和预先固定地确定的非必需光产生预测位置之间的距离，确定所估计的非必需光产生位置是否是有意义的非必需光产生位置。
(6).根据(1)所述的信息处理装置，其中
图像处理单元
从由成像装置捕获的图像数据中识别特定目标，并且生成识别结果连同该识别结果的可靠度，并且
根据所估计的非必需光产生位置的有无或者所识别的目标的位置与非必需光产生位置之间的重合度来更新可靠度。
(7).一种信息处理方法，包括：
检测由成像装置捕获的图像数据中的光源的位置；以及
基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
(8).根据(7)所述的信息处理方法，还包括：
对于多条图像数据检测光源的位置，并基于检测到的光源的位置来估计非必需光产生位置，所述多条图像数据是由具有部分共同视野的多个成像装置分别捕获的，并且
组合由所述多个成像装置分别捕获的共同视野部分的图像数据，并且生成去除或减少了非必需光的非必需光产生位置的图像数据。
(9).根据(7)或(8)所述的信息处理方法，还包括：
比较分别针对所述多条图像数据的共同视野部分估计的非必需光产生位置，并基于比较结果调整用于组合的混合比。
(10).根据(7)到(9)中任意一项所述的信息处理方法，还包括
基于检测到的光源的位置和预先存储在存储单元中的信息来估计非必需光产生位置，该信息关于相对于图像数据中的光源的位置的非必需光产生位置。
(11).根据(7)到(10)中任意一项所述的信息处理方法，其中
基于检测到的光源位置和预先固定地确定的非必需光产生预测位置之间的距离，确定所估计的非必需光产生位置是否是有意义的非必需光产生位置。
(12).根据(7)所述的信息处理方法，还包括
从由成像装置捕获的图像数据中识别特定目标，并且生成识别结果连同该识别结果的可靠度，并且
根据所估计的非必需光产生位置的有无或者所识别的目标的位置与非必需光产生位置之间的重合度来更新可靠度。
(13).一种程序，使计算机执行：
检测由成像装置捕获的图像数据中的光源的位置；以及
基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
(14).根据(13)所述的程序，使计算机执行：
对于多条图像数据检测光源的位置，并基于检测到的光源的位置来估计非必需光产生位置，所述多条图像数据是由具有部分共同视野的多个成像装置分别捕获的，并且
组合由所述多个成像装置分别捕获的共同视野部分的图像数据，并且生成去除或减少了非必需光的非必需光产生位置的图像数据。
(15).根据(13)或(14)所述的程序，使计算机执行：
比较分别针对所述多条图像数据的共同视野部分估计的非必需光产生位置，并基于比较结果调整用于组合的混合比。
(16).根据(13)到(15)中任意一项所述的程序，使计算机执行：
基于检测到的光源的位置和预先存储在存储单元中的信息来估计非必需光产生位置，该信息关于相对于图像数据中的光源的位置的非必需光产生位置。
(17).根据(13)到(16)中任意一项所述的程序，使计算机执行：
基于检测到的光源位置和预先固定地确定的非必需光产生预测位置之间的距离，确定所估计的非必需光产生位置是否是有意义的非必需光产生位置。
(18).根据(13)所述的程序，使计算机执行：
从由成像装置捕获的图像数据中识别特定目标，并且生成识别结果连同该识别结果的可靠度，并且
根据所估计的非必需光产生位置的有无或者所识别的目标的位置与非必需光产生位置之间的重合度来更新可靠度。
(19).一种成像装置，包括：
成像元件单元，捕获图像数据；以及
图像处理单元，该图像处理单元
检测由成像元件单元捕获的图像数据中的光源的位置，以及
基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
(20).根据(19)所述的成像装置，其中
所述图像处理单元
对于多条图像数据检测光源的位置，并基于检测到的光源的位置来估计非必需光产生位置，所述多条图像数据是由具有部分共同视野的多个成像装置分别捕获的，并且
组合由所述多个成像装置分别捕获的共同视野部分的图像数据，并且生成去除或减少了非必需光的非必需光产生位置的图像数据。
(21).根据(19)或(20)所述的成像装置，其中
图像处理单元比较分别针对所述多条图像数据的共同视野部分估计的非必需光产生位置，并基于比较结果调整用于组合的混合比。
(22).根据(19)到(21)中任意一项所述的成像装置，还包括
存储单元，预先存储关于相对于图像数据中的光源的位置的非必需光产生位置的信息，其中
图像处理单元基于检测到的光源的位置和由存储单元存储的信息来估计非必需光产生位置。
(23).根据(19)到(22)中任意一项所述的成像装置，其中
图像处理单元基于检测到的光源位置和预先固定地确定的非必需光产生预测位置之间的距离，确定所估计的非必需光产生位置是否是有意义的非必需光产生位置。
(24).根据(19)所述的成像装置，其中
图像处理单元
从由成像装置捕获的图像数据中识别特定目标，并且生成识别结果连同该识别结果的可靠度，并且
根据所估计的非必需光产生位置的有无或者所识别的目标的位置与非必需光产生位置之间的重合度来更新可靠度。
(25).一种成像系统，包括：
成像装置，捕获图像数据；以及
图像处理单元，该图像处理单元
检测由成像元件单元捕获的图像数据中的光源的位置，以及
基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
(26).根据(15)所述的成像系统，其中
所述图像处理单元
对于多条图像数据检测光源的位置，并基于检测到的光源的位置来估计非必需光产生位置，所述多条图像数据是由具有部分共同视野的多个成像装置分别捕获的，并且
组合由所述多个成像装置分别捕获的共同视野部分的图像数据，并且生成去除或减少了非必需光的非必需光产生位置的图像数据。
(27).根据(25)或(26)所述的成像系统，其中
图像处理单元比较分别针对所述多条图像数据的共同视野部分估计的非必需光产生位置，并基于比较结果调整用于组合的混合比。
(28).根据(25)到(27)中任意一项所述的成像系统，还包括
存储单元，预先存储关于相对于图像数据中的光源的位置的非必需光产生位置的信息，其中
图像处理单元基于检测到的光源的位置和由存储单元存储的信息来估计非必需光产生位置。
(29).根据(25)到(28)中任意一项所述的成像系统，其中
图像处理单元基于检测到的光源位置和预先固定地确定的非必需光产生预测位置之间的距离，确定所估计的非必需光产生位置是否是有意义的非必需光产生位置。
(30).根据(25)所述的成像系统，其中
图像处理单元
从由成像装置捕获的图像数据中识别特定目标，并且生成识别结果连同该识别结果的可靠度，并且
根据所估计的非必需光产生位置的有无或者所识别的目标的位置与非必需光产生位置之间的重合度来更新可靠度。
(31).一种成像系统，包括：
具有部分共同视野的多个成像装置；以及
图像处理单元，该图像处理单元
对于多条图像数据检测光源的位置，并且基于检测到的光源的位置来估计非必需光产生位置，所述多条图像数据是由所述多个成像装置分别捕获的，以及
组合由所述多个成像装置分别捕获的共同视野部分的图像数据，并且生成去除或减少了非必需光的非必需光产生位置的图像数据。
(32).根据(31)所述的成像系统，其中
所述图像处理单元
对于多条图像数据检测光源的位置，并基于检测到的光源的位置来估计非必需光产生位置，所述多条图像数据是由具有部分共同视野的多个成像装置分别捕获的，并且
组合由所述多个成像装置分别捕获的共同视野部分的图像数据，并且生成去除或减少了非必需光的非必需光产生位置的图像数据。
(33).根据(31)或(32)所述的成像系统，其中
图像处理单元比较分别针对所述多条图像数据的共同视野部分估计的非必需光产生位置，并基于比较结果调整用于组合的混合比。
(34).根据(31)到(33)中任意一项所述的成像系统，还包括
存储单元，预先存储关于相对于图像数据中的光源的位置的非必需光产生位置的信息，其中
图像处理单元基于检测到的光源的位置和由存储单元存储的信息来估计非必需光产生位置。
(35).根据(31)到(34)中任意一项所述的成像系统，其中
图像处理单元基于检测到的光源位置和预先固定地确定的非必需光产生预测位置之间的距离，确定所估计的非必需光产生位置是否是有意义的非必需光产生位置。
(36).根据(31)所述的成像系统，其中
图像处理单元
从由成像装置捕获的图像数据中识别特定目标，并且生成识别结果连同该识别结果的可靠度，并且
根据所估计的非必需光产生位置的有无或者所识别的目标的位置与非必需光产生位置之间的重合度来更新可靠度。
(37).一种成像系统，包括：
多个成像装置，每个成像装置包括
成像元件单元，捕获图像数据，以及
图像处理单元，该图像处理单元
从由成像元件捕获的图像数据中识别特定目标并计算识别结果的可靠度，
从由成像元件捕获的图像数据检测光源的位置，并且基于检测到的光源的位置估计图像数据中的非必需光产生位置，以及
根据所估计的非必需光产生位置的有无或者所识别的目标的位置与非必需光产生位置之间的重合度来更新可靠度；以及
整合处理单元，基于可靠度对由所述多个成像装置的图像处理单元分别生成的多个目标的识别结果进行整合，其中，
所述多个成像装置的各自的成像元件单元具有彼此部分共同的视野。
(38).根据(37)所述的成像系统，其中
所述图像处理单元
对于多条图像数据检测光源的位置，并基于检测到的光源的位置来估计非必需光产生位置，所述多条图像数据是由具有部分共同视野的多个成像装置分别捕获的，并且
组合由所述多个成像装置分别捕获的共同视野部分的图像数据，并且生成去除或减少了非必需光的非必需光产生位置的图像数据。
(39).根据(37)或(38)所述的成像系统，其中
图像处理单元比较分别针对所述多条图像数据的共同视野部分估计的非必需光产生位置，并基于比较结果调整用于组合的混合比。
(40).根据(37)到(39)中任意一项所述的成像系统，还包括
存储单元，预先存储关于相对于图像数据中的光源的位置的非必需光产生位置的信息，其中
图像处理单元基于检测到的光源的位置和由存储单元存储的信息来估计非必需光产生位置。
(41).根据(37)到(40)中任意一项所述的成像系统，其中
图像处理单元基于检测到的光源位置和预先固定地确定的非必需光产生预测位置之间的距离，确定所估计的非必需光产生位置是否是有意义的非必需光产生位置。
(42).根据(37)所述的成像系统，其中
图像处理单元
从由成像装置捕获的图像数据中识别特定目标，并且生成识别结果连同该识别结果的可靠度，并且
根据所估计的非必需光产生位置的有无或者所识别的目标的位置与非必需光产生位置之间的重合度来更新可靠度。
附图标记列表
1 信息处理装置
2，3 成像视野
4，5 成像装置
6 图像处理单元
7 存储单元
8、9 成像装置
31、32 非必需光产生位置
35、36 重影
61 光源位置检测单元
62 非必需光产生位置检测单元
63 图像组合单元
64 识别结果输出单元
100 识别结果整合单元

Claims (13)

1.一种信息处理装置，包括
图像处理单元，该图像处理单元
检测由成像装置捕获的图像数据中的光源的位置，并且
基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
2.根据权利要求1所述的信息处理装置，其中
所述图像处理单元
对于多条图像数据检测光源的位置，并基于检测到的光源的位置来估计非必需光产生位置，所述多条图像数据是由具有部分共同视野的多个成像装置分别捕获的，并且
组合由所述多个成像装置分别捕获的共同视野部分的图像数据，并且生成去除或减少了非必需光的非必需光产生位置的图像数据。
3.根据权利要求2所述的信息处理装置，其中
图像处理单元比较分别针对所述多条图像数据的共同视野部分估计的非必需光产生位置，并基于比较结果调整用于组合的混合比。
4.根据权利要求3所述的信息处理装置，还包括
存储单元，预先存储关于相对于图像数据中的光源的位置的非必需光产生位置的信息，其中
图像处理单元基于检测到的光源的位置和由存储单元存储的信息来估计非必需光产生位置。
5.根据权利要求4所述的信息处理装置，其中
图像处理单元基于检测到的光源位置和预先固定地确定的非必需光产生预测位置之间的距离，确定所估计的非必需光产生位置是否是有意义的非必需光产生位置。
6.根据权利要求1所述的信息处理装置，其中
图像处理单元
从由成像装置捕获的图像数据中识别特定目标，并且生成识别结果连同该识别结果的可靠度，并且
根据所估计的非必需光产生位置的有无或者所识别的目标的位置与非必需光产生位置之间的重合度来更新可靠度。
7.一种信息处理方法，包括：
检测由成像装置捕获的图像数据中的光源的位置；以及
基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
8.一种程序，其使计算机执行：
检测由成像装置捕获的图像数据中的光源的位置；以及
基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
9.一种成像装置，包括：
成像元件单元，捕获图像数据；以及
图像处理单元，该图像处理单元
检测由成像元件单元捕获的图像数据中的光源的位置，以及
基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
10.一种成像系统，包括：
成像装置，捕获图像数据；以及
图像处理单元，该图像处理单元
检测由成像元件单元捕获的图像数据中的光源的位置，以及
基于检测到的光源的位置来估计图像数据中的非必需光产生位置。
11.一种成像系统，包括：
具有部分共同视野的多个成像装置；以及
图像处理单元，该图像处理单元
对于多条图像数据检测光源的位置，并且基于检测到的光源的位置来估计非必需光产生位置，所述多条图像数据是由所述多个成像装置分别捕获的，以及
组合由所述多个成像装置分别捕获的共同视野部分的图像数据，并且生成去除或减少了非必需光的非必需光产生位置的图像数据。
12.一种成像系统，包括：
具有部分共同视野的多个成像装置；以及
图像处理单元，该图像处理单元
从由所述多个成像装置分别捕获的多条图像数据中识别特定目标，并且生成识别结果连同该识别结果的可靠度，以及
根据所估计的非必需光产生位置的有无或者所识别的目标的位置与非必需光产生位置之间的重合度来更新可靠度。
13.一种成像系统，包括：
多个成像装置，每个成像装置包括
成像元件单元，捕获图像数据，以及
图像处理单元，该图像处理单元
从由成像元件捕获的图像数据中识别特定目标并计算识别结果的可靠度，
从由成像元件捕获的图像数据检测光源的位置，并且基于检测到的光源的位置估计图像数据中的非必需光产生位置，以及
根据所估计的非必需光产生位置的有无或者所识别的目标的位置与非必需光产生位置之间的重合度来更新可靠度；以及
整合处理单元，基于可靠度对由所述多个成像装置的图像处理单元分别生成的多个目标的识别结果进行整合，其中，
所述多个成像装置的各自的成像元件单元具有彼此部分共同的视野。
CN202080085878.3A 2019-12-18 2020-12-11 信息处理装置、信息处理方法、程序、成像装置和成像系统 Pending CN114788257A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019228454 2019-12-18
JP2019-228454 2019-12-18
PCT/JP2020/046242 WO2021125076A1 (ja) 2019-12-18 2020-12-11 情報処理装置、情報処理方法、プログラム、撮像装置及び撮像システム

Publications (1)

Publication Number Publication Date
CN114788257A true CN114788257A (zh) 2022-07-22

Family

ID=76478741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080085878.3A Pending CN114788257A (zh) 2019-12-18 2020-12-11 信息处理装置、信息处理方法、程序、成像装置和成像系统

Country Status (4)

Country Link
US (1) US20230013424A1 (zh)
EP (1) EP4080869A4 (zh)
CN (1) CN114788257A (zh)
WO (1) WO2021125076A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12010411B2 (en) * 2022-02-03 2024-06-11 SmartWitness Holdings, Inc. Telematics camera system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130120614A1 (en) * 2011-03-23 2013-05-16 Ichiro Oyama Image processing device, imaging device, and image processing method
US20170208311A1 (en) * 2016-01-14 2017-07-20 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, and storage medium for storing image processing program
CN110023952A (zh) * 2016-12-13 2019-07-16 索尼半导体解决方案公司 数据处理装置、数据处理方法、程序和电子装置
US20190356873A1 (en) * 2018-05-21 2019-11-21 Gopro, Inc. Image signal processing for reducing lens flare
JP2019212321A (ja) * 2015-06-17 2019-12-12 パナソニックＩｐマネジメント株式会社 意味情報生成方法、意味情報生成装置、およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4448304B2 (ja) * 2003-09-11 2010-04-07 セコム株式会社 顔検知装置
JP4970516B2 (ja) * 2009-09-30 2012-07-11 日立オートモティブシステムズ株式会社 周囲確認支援装置
US9020281B2 (en) * 2010-03-01 2015-04-28 Konika Minolta Advanced Layers, Inc. Ghost detection device and imaging device using the same, ghost detection method and ghost removal method
JP2013179564A (ja) 2012-02-01 2013-09-09 Canon Inc 画像処理方法、画像処理装置および撮像装置
JP6124703B2 (ja) * 2013-06-21 2017-05-10 キヤノン株式会社 撮像装置およびその制御方法
JP7146461B2 (ja) * 2018-06-06 2022-10-04 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130120614A1 (en) * 2011-03-23 2013-05-16 Ichiro Oyama Image processing device, imaging device, and image processing method
JP2019212321A (ja) * 2015-06-17 2019-12-12 パナソニックＩｐマネジメント株式会社 意味情報生成方法、意味情報生成装置、およびプログラム
US20170208311A1 (en) * 2016-01-14 2017-07-20 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, and storage medium for storing image processing program
CN110023952A (zh) * 2016-12-13 2019-07-16 索尼半导体解决方案公司 数据处理装置、数据处理方法、程序和电子装置
US20190356873A1 (en) * 2018-05-21 2019-11-21 Gopro, Inc. Image signal processing for reducing lens flare

Also Published As

Publication number Publication date
EP4080869A4 (en) 2023-05-31
WO2021125076A1 (ja) 2021-06-24
US20230013424A1 (en) 2023-01-19
EP4080869A1 (en) 2022-10-26

Similar Documents

Publication Publication Date Title
US10970877B2 (en) Image processing apparatus, image processing method, and program
US10957029B2 (en) Image processing device and image processing method
US11076141B2 (en) Image processing device, image processing method, and vehicle
US10587863B2 (en) Image processing apparatus, image processing method, and program
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
US20200349367A1 (en) Image processing device, image processing method, and program
US11585898B2 (en) Signal processing device, signal processing method, and program
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
JP2018032986A (ja) 情報処理装置および方法、車両、並びに情報処理システム
CN109644241B (zh) 图像处理设备和图像处理方法
JP2019145021A (ja) 情報処理装置、撮像装置、及び撮像システム
CN111868778B (zh) 图像处理装置、图像处理方法以及存储介质
US20230013424A1 (en) Information processing apparatus, information processing method, program, imaging apparatus, and imaging system
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
US11438517B2 (en) Recognition device, a recognition method, and a program that easily and accurately recognize a subject included in a captured image
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20230412923A1 (en) Signal processing device, imaging device, and signal processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination