CN110012215B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN110012215B
CN110012215B CN201811453540.XA CN201811453540A CN110012215B CN 110012215 B CN110012215 B CN 110012215B CN 201811453540 A CN201811453540 A CN 201811453540A CN 110012215 B CN110012215 B CN 110012215B
Authority
CN
China
Prior art keywords
image
processing apparatus
distance
image processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811453540.XA
Other languages
English (en)
Other versions
CN110012215A (zh
Inventor
杉本宪明
深川大辅
内田真史
森朋宏
藤泽知市
松原义明
佐藤光雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Semiconductor Solutions Corp
Original Assignee
Sony Corp
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Semiconductor Solutions Corp filed Critical Sony Corp
Publication of CN110012215A publication Critical patent/CN110012215A/zh
Application granted granted Critical
Publication of CN110012215B publication Critical patent/CN110012215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供图像处理装置和图像处理方法。能够更适当地合成由第一摄像部取得的彩色图像和由第二摄像部取得的黑白图像，该第二摄像部从与第一摄像部不同的视点位置进行摄像。图像处理装置具备：第一摄像部，通过对被摄体进行摄像来取得彩色图像；第二摄像部，通过从与所述第一摄像部不同的视点位置对所述被摄体进行摄像来取得黑白图像；以及合成控制部，对于所述彩色图像与所述黑白图像的合成，使所述彩色图像的合成比率高于所述黑白图像的合成比率。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及图像处理装置和图像处理方法。
背景技术
以往，在便携式的电子设备、例如智能手机等信息处理终端中，为了小型化或薄型化而与单镜头反光相机等相比摄像部的画质下降。因此，例如在专利文献1中应用了一种技术：利用无线通信将由能够相对于信息处理终端拆装的相机生成的图像提供给信息处理终端。此外，在专利文献2中公开了一种技术：设置多个摄像部，同时生成画质不同的多个图像、例如第一视角的图像和比第一视角窄的第二视角的图像。
专利文献1：日本专利公开公报特开2015-088824号
专利文献2：日本专利公开公报特开2013-219525号
然而，利用包括上述专利文献1或专利文献2公开的技术等在内的现有技术，无法适当地合成从互不相同的视点位置摄像的图像。例如，与远景相比在近景的像素中，因与一方的摄像图像的关注像素对应的像素超出视差检测的搜索范围而无法正确地得到对应点，因此有时合成图像的画质劣化。
发明内容
因此，本发明是鉴于上述问题而完成的，本发明的目的在于提供新型且进行了改进的图像处理装置和图像处理方法，能够更适当地合成由第一摄像部取得的彩色图像和由第二摄像部取得的黑白图像，该第二摄像部从与第一摄像部不同的视点位置进行摄像。
根据本发明，提供一种图像处理装置，具备：第一摄像部，通过对被摄体进行摄像来取得彩色图像；第二摄像部，通过从与所述第一摄像部不同的视点位置对所述被摄体进行摄像来取得黑白图像；以及合成控制部，对于所述彩色图像与所述黑白图像的合成，使所述彩色图像的合成比率高于所述黑白图像的合成比率。
此外，根据本发明，提供一种由计算机执行的图像处理方法，具有：通过对被摄体进行摄像来取得彩色图像；通过从不同的视点位置对所述被摄体进行摄像来取得黑白图像；以及对于所述彩色图像与所述黑白图像的合成，使所述彩色图像的合成比率高于所述黑白图像的合成比率。
此外，根据本发明，提供一种图像处理装置，具备：第一摄像部，通过对被摄体进行摄像来取得彩色图像；第二摄像部，通过从与所述第一摄像部不同的视点位置对所述被摄体进行摄像来取得黑白图像；以及合成控制部，通过使用了规定的传感器信息的处理对所述彩色图像与所述黑白图像的合成进行控制。
此外，根据本发明，提供一种由计算机执行的图像处理方法，具有：通过对被摄体进行摄像来取得彩色图像；通过从不同的视点位置对所述被摄体进行摄像来取得黑白图像；以及通过使用了规定的传感器信息的处理对所述彩色图像与所述黑白图像的合成进行控制。
如以上说明的那样，根据本发明，能够更适当地合成彩色图像和黑白图像，该彩色图像由第一摄像部取得，该黑白图像由从与第一摄像部不同的视点位置进行摄像的第二摄像部取得。
另外，并不限定于上述效果，可以在上述效果的基础上或代替上述效果，起到本说明书所述的任意一种效果或者能够从本说明书掌握的其他效果。
附图说明
图1是表示本实施方式的图像处理装置100的具体例的图。
图2是用于说明通过合成处理得到的画质的图。
图3是表示以黑白图像为基准时的遮挡的图。
图4是表示本实施方式的图像处理装置100的功能构成例的框图。
图5是例示第一摄像部110和第二摄像部120的像素排列的图。
图6是用于说明基于像面相位差传感器的画质劣化有无的判定处理的图。
图7是用于说明基于像面相位差传感器的画质劣化有无的判定处理的图。
图8是用于说明基于像面相位差传感器的画质劣化有无的判定处理的图。
图9是表示合成处理部150和画质劣化判定部180的功能构成例的框图。
图10是例示视差直方图的图。
图11是用于说明视差差绝对值的图。
图12是例示视差间隙直方图的图。
图13是用于说明基于视差间隙特征量和搜索范围超出特征量的画质劣化有无的判定处理的图。
图14是用于说明亮度差小色差大区域的图。
图15是表示合成处理部150和画质劣化判定部180的功能构成例的框图。
图16是表示Y/C分散比率处理部156的功能构成例的框图。
图17是用于说明基于Y/C分散比率的画质劣化有无的判定处理的图。
图18是表示Y/C边缘分量比率处理部157的功能构成例的框图。
图19是用于说明基于Y/C边缘分量比率的画质劣化有无的判定处理的图。
图20是表示画质劣化有无的判定处理和合成处理的一例的流程图。
图21是表示变形例的图像处理装置100的功能构成例的框图。
图22是用于说明基于3D深度传感器的画质劣化有无的判定处理的图。
图23是用于说明基于3D深度传感器的画质劣化有无的判定处理的图。
图24是用于说明基于用户对被摄体的关注状况的合成可否的判定处理的图。
图25是表示变形例的画质劣化有无的判定处理和合成处理的一例的流程图。
图26是用于说明利用电子变焦放大画质劣化了的区域的图。
图27是表示车辆控制系统的简要构成的一例的框图。
图28是表示车外信息检测部和摄像部的设置位置的一例的说明图。
附图标记说明：
100 图像处理装置
110 第一摄像部
120 第二摄像部
130 第一前处理部
140 第二前处理部
150 合成处理部
151 视差直方图处理部
152 视差分布特征量计算部
153 搜索范围超出特征量计算部
154 视差间隙特征量计算部
155 信号提取部
156 Y/C 分散比率处理部
156a Y 分散值计算部
156b Cb 分散值计算部
156c Cr 分散值计算部
156d 比较部
156e Y/C 分散比率计算部
157 Y/C 边缘分量比率处理部
157a Y 边缘分量检测部
157b Cb 边缘分量检测部
157c Cr 边缘分量检测部
157d 比较部
157e Y/C 边缘分量比率计算部
160 焦点控制部
170 距离传感器
180 画质劣化判定部
181 近距离特征量判定部
182 亮度差小色差大特征量判定部
190 3D 深度传感器
具体实施方式
以下，参照附图对本发明的优选实施方式进行详细说明。另外，在本说明书和附图中，对具有实质上相同的功能构成的构成要素标注相同的附图标记，由此省略反复说明。
另外，通过以下的顺序来进行说明。
1.实施方式
1.1.概要
1.2.功能构成例
1.3.画质劣化有无的判定例
1.4.处理流程例
2.变形例
2.1.基于3D深度传感器的判定
2.2.基于用户对被摄体的关注状况的判定
2.3.基于电子变焦的判定
2.4.局部的合成控制
3.应用例
4.总结
<1.实施方式>
(1.1.概要)
首先，对本发明的实施方式的概要进行说明。
本实施方式的图像处理装置100具备：第一摄像部110，通过对被摄体进行摄像来取得彩色图像；以及第二摄像部120，通过从与第一摄像部110不同的视点位置对被摄体进行摄像来取得黑白图像。例如，如图1的图1A所示，图像处理装置100是智能手机，如图1B所示，第一摄像部110和第二摄像部120设置于该智能手机背面的互不相同的位置。
并且，图像处理装置100通过进行合成彩色图像和黑白图像的处理来生成合成图像。更具体地说，由于在从互不相同的位置摄像的彩色图像和黑白图像中产生视差，所以图像处理装置100通过各图像的匹配来搜索相互对应的点(对应点)，以对应点为基准使各图像的位置一致，由此生成合成图像。由此，图像处理装置100能够与在第二摄像部120中使用的镜头和传感器的特性相应地提高亮度，因此即使在低照度下也能够生成感光度高的图像。
然而，利用包括上述专利文献1或专利文献2中公开的技术等在内的现有技术，无法适当地合成从互不相同的视点位置摄像的图像。图2是用于说明通过以往的图像处理装置的合成处理得到画质的图。例如，与远景相比在近景的像素中，因与一方的摄像图像的关注像素对应的像素超过视差检测的搜索范围而无法正确地得到对应点，因此有时合成图像的画质劣化。
此外，与远景相比在近景中遮挡增加。图3表示以由第二摄像部120取得的黑白图像为基准时的遮挡。如果因视差而产生遮挡，则在由第一摄像部110取得的彩色图像中不存在与遮挡区域对应的图像数据。因此，无法正确地得到对应点，或者是在由合成处理生成的合成图像的遮挡区域中颜色信息欠缺。
此外，通常在对应点的计算中使用亮度信号时，在亮度信号的灰度等级低且色差信号的灰度等级高的区域(以下称为“亮度差小色差大区域”)中无法正确地得到对应点，因此有时由合成处理得到的合成图像的画质劣化。
并且，开发了对无法正确地得到对应点的区域不进行合成的技术、以及在判定为近景的情况下不进行合成的技术等。但是，由于这些技术大多仅基于摄像图像的分析结果来进行是否能够合成的判定，所以有时精度不够。
本发明的发明人鉴于上述情况而研究出了本发明。本发明的图像处理装置100不仅通过摄像图像的分析结果，而且通过例如使用了距离传感器、焦点传感器、像面相位差传感器等的各种传感器信息的处理，对彩色图像和黑白图像的合成进行控制。更具体地说，图像处理装置100通过使用了各种传感器信息的处理，判定合成图像的画质是否劣化，在判定为画质劣化的情况下，使黑白图像的合成比率大致为零(或零)。由此，图像处理装置100能够提高合成图像的画质。
另外，“使黑白图像的合成比率大致为零(或零)”的目的在于将合成图像的画质的劣化降低到用户无法识别的程度。以下，为了便于说明，有时将使黑白图像的合成比率大致为零(或零)表现为“不合成(或合成关闭)”。此外，在判定为合成图像的画质未劣化的情况下，有时将进行彩色图像和黑白图像的合成表现为“合成(或合成打开)”。即，图像处理装置100在判定为合成图像的画质劣化的情况下，不合成彩色图像和黑白图像(合成关闭)，在判定为合成图像的画质未劣化的情况下，合成彩色图像和黑白图像(合成打开)。另外，图像处理装置100在判定为画质劣化的情况下，可以并不是不合成彩色图像和黑白图像，而是通过仅降低黑白图像的合成比率来缓和画质劣化。
(1.2.功能构成例)
在上述说明中，对本发明的实施方式的概要进行了说明。接着，参照图4对图像处理装置100的功能构成例进行说明。
如图4所示，图像处理装置100具备：第一摄像部110、第二摄像部120、第一前处理部130、第二前处理部140、合成处理部150、焦点控制部160、距离传感器170和画质劣化判定部180。
(第一摄像部110、第二摄像部120)
第一摄像部110和第二摄像部120使用CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)图像传感器等摄像元件而构成，进行由镜头(未图示)取入的光的光电转换，生成摄像图像数据。此外，第一摄像部110和第二摄像部120具有特性差。
图5例示了第一摄像部110和第二摄像部120的像素排列。图5A表示第一摄像部110的像素排列。第一摄像部110由彩色滤光片构成，该彩色滤光片例如将红色(R)像素、蓝色(B)像素和绿色(G)像素形成为拜耳阵列。在拜耳阵列中，在2×2像素的像素单位中对角位置的两个像素是绿色(G)像素，剩余的像素是红色(R)像素和蓝色(B)像素。即，第一摄像部110的各像素由彩色像素构成，该彩色像素输出基于红色、蓝色和绿色中任一个的颜色分量的入射光量的电信号。因此，第一摄像部110生成各像素表示三原色(RGB)分量中任一个的彩色图像数据。
图5B表示第二摄像部120的像素排列。第二摄像部120的全部像素由W(白色)像素构成，该W(白色)像素输出基于可见光的全波长区域的入射光量的电信号。因此，第二摄像部120生成黑白图像数据。
另外，以下说明的焦点控制部160通过变更第一摄像部110和第二摄像部120所具备的规定的镜头的位置来实现自动对焦。并且，第一摄像部110和第二摄像部120将与焦点对准状态的镜头位置相关的信息(以下称为“焦点位置信息”)提供给画质劣化判定部180。画质劣化判定部180通过对焦点位置信息进行分析，能够计算图像处理装置100与被摄体之间的距离(以下为了便于说明而称为“被摄体距离”)。
(第一前处理部130、第二前处理部140)
第一前处理部130对由第一摄像部110取得的彩色图像数据实施镜头失真校正、缺陷像素校正、增益控制、白平衡校正或噪声降低等的校正处理、去马赛克处理或者缩放处理等。第一前处理部130将前处理后的彩色图像数据提供给合成处理部150。
第二前处理部140对由第二摄像部120取得的黑白图像数据实施镜头失真校正、缺陷像素校正、增益控制或噪声降低等的校正处理、或者缩放处理等。第二前处理部140将校正后的黑白图像数据提供给合成处理部150。
(焦点控制部160)
焦点控制部160是当由第一摄像部110和第二摄像部120进行摄像处理时实现自动对焦的功能构成。更具体地说，焦点控制部160基于图像数据的对比度、来自像面相位差传感器的信息实现自动对焦。
对基于图像数据的对比度的自动对焦进行说明，焦点控制部160从第一摄像部110和第二摄像部120取得彩色图像数据和黑白图像数据，并且通过分析这些数据计算对比度值。然后，焦点控制部160使用对比度值来判定焦点是否对准，在焦点未对准的情况下，使用图像数据的对比度值来确定镜头的聚焦方向，并通过驱动镜头来对准焦点。换句话说，在对比度值未成为大致最大值的情况下，焦点控制部160通过驱动镜头而使对比度值成为大致最大值，由此对准焦点。
对基于来自像面相位差传感器的信息的自动对焦进行说明，在像面相位差传感器以在芯片上混合存在的状态配置有实施了光瞳分割的两种摄像元件。由此，像面相位差传感器能够基于得到的视差信息计算被摄体距离，焦点控制部160通过将镜头驱动到与所得到的被摄体距离对应的位置来对准焦点。
焦点控制部160使用图像数据的对比度或来自像面相位差传感器的信息中的至少一方来实现自动对焦。另外，自动对焦的实现方法并不限定于此。
(距离传感器170)
距离传感器170是能够通过规定的方式测量被摄体距离的传感器。例如，距离传感器170包括光源(例如LED或激光二极管等)和受光元件，该光源能够照射可见光或不可见光(例如红外线等)。并且，距离传感器170在从光源照射光之后，由受光元件接收被被摄体反射的光，对该反射的光进行评价、计算，并换算成距离进行输出。
另外，被摄体距离的测量原理可以是将受光元件的成像位置换算成距离的三角测距方式或飞行时间方式等，该飞行时间方式测量从照射光到接收到光为止的极短的时间并将该时间差换算成距离，但是并不限定于此。此外，作为测量对象的被摄体，例如假定位于视角的中央附近的被摄体，但是并不限定于此。距离传感器170将被摄体距离数据(也称为“距离传感器信息”)提供给画质劣化判定部180。
(画质劣化判定部180)
画质劣化判定部180是通过使用了各种传感器信息的处理进行画质劣化有无的判定，从而作为合成控制部发挥功能的功能构成。画质劣化有无的判定能够通过各种方法实现，详细内容在“1.3.画质劣化有无的判定例”中进行说明。
(合成处理部150)
合成处理部150是控制彩色图像和黑白图像的合成处理，作为合成控制部发挥功能的功能构成。更具体地说，在利用画质劣化判定部180判定为合成图像的画质劣化的情况下，合成处理部150使黑白图像的合成比率大致为零(或零)。由此，合成处理部150能够生成具有高画质的合成图像。另外，如上所述，在判定为合成图像的画质劣化的情况下，合成处理部150也可以不是使黑白图像的合成比率大致为零(或零)，而是通过仅降低黑白图像的合成比率来缓和画质劣化。
此外，合成处理部150通过对从第一前处理部130和第二前处理部140取得的彩色图像数据和黑白图像数据进行分析，计算用于判定起因于视差的画质劣化的图像特征量。另外，合成处理部150可以将摄像图像整体作为图像特征量的计算对象区域，也可以在摄像图像中除了上下左右的端部侧的区域以外来设定计算对象区域。由此，如果除了端部侧的区域以外来设定计算对象区域，则能够防止例如因关注像素是侧端的位置而无法进行视差或后述的视差间隙距离等的计算，从而能够精度良好地计算图像特征量。此外，能够降低直方图的生成等的运算成本。
并且，合成处理部150将所提取的图像特征量提供给画质劣化判定部180，由此，画质劣化判定部180能够利用该图像特征量来进行画质劣化有无的判定。另外，由于使用由第一摄像部110和第二摄像部120所具备的图像传感器生成的摄像图像数据输出该图像特征量，所以利用该图像特征量来进行画质劣化有无的判定可以认为是通过使用了来自图像传感器的传感器信息的处理进行画质劣化有无的判定。处理的详细情况在“1.3.画质劣化有无的判定例”中进行说明。
以上，对图像处理装置100的功能构成例进行了说明。另外，利用图4说明了的上述功能构成仅为一例，图像处理装置100的功能构成并不限定于这种例子。例如，图像处理装置100并不是必须具有图4所示的全部功能构成。此外，能够根据规格和应用来灵活地对图像处理装置100的功能构成进行变形。
(1.3.画质劣化有无的判定例)
在上述说明中，对图像处理装置100的功能构成例进行了说明。接着，说明由图像处理装置100的画质劣化判定部180进行的画质劣化有无的判定方法的例子。可以使用任意一种以下说明的各种画质劣化有无的判定方法，也可以对它们进行组合来使用。
(基于ISO感光度的判定)
在像本实施方式的图像处理装置100那样合成彩色图像和黑白图像的情况下，有时要求将彩色图像和黑白图像的亮度调节成相同程度。此时，如果第一摄像部110和第二摄像部120的ISO(International Organization for Standardization：国际标准化组织)感光度的差大于规定值，则合成图像的画质劣化(或无法合成)。
使第一摄像部110和第二摄像部120的快门速度大致相同，将第一摄像部110的增益设定为大致最小值时的第一摄像部110的ISO感光度设为ISOmin1，将第二摄像部120的增益设定为大致最小值时的第二摄像部120的ISO感光度设为ISOmin2。此时，在作为目标的ISO感光度包含在以下数式(1)的范围内的情况下，第一摄像部110和第二摄像部120无法将相互的ISO感光度设定为大致相同。
[数式1]
0＜ISO＜max(ISOmin1，ISOmin2)···(1)
※max(ISOmin1,ISOmin2)是指ISOmin1或ISOmin2中大的一方。
因此，画质劣化判定部180从第一摄像部110和第二摄像部120取得各自的ISO感光度信息，在任意一方的ISO感光度包含在上述数式(1)所示的范围内的情况下，画质劣化判定部180判定为合成图像的画质劣化(或画质劣化的可能性高)，合成处理部150使黑白图像的合成比率大致为零。
另外，画质劣化判定部180可以设定以下数式(2)所示的滞后d。由此，画质劣化判定部180能够防止频繁地切换合成打开状态和合成关闭状态。
[数式2]
ISOin-ISOout＝d…(2)
※ISOout是指在合成打开状态下ISO＜ISOout成立时成为合成关闭的值。
※ISOin是指在合成关闭状态下ISO＞ISOin成立时成为合成打开的值。
(基于距离传感器170的判定)
画质劣化判定部180可以通过使用了从距离传感器170提供的传感器信息的处理，判定合成图像的画质是否劣化。更具体地说，距离传感器170以上述方式通过规定的方法来测量被摄体距离。并且，画质劣化判定部180通过对从距离传感器170提供的被摄体距离数据与规定的阈值进行比较，判定该被摄体距离是否是引起画质劣化的程度的近距离。并且，在判定为该被摄体距离是引起画质劣化的程度的近距离时，合成处理部150使黑白图像的合成比率大致为零。
另外，能够适当地变更上述处理。例如，在一同提供被摄体距离数据的可靠性时(或能够利用规定的处理计算可靠性时)，画质劣化判定部180可以仅在该可靠性比规定值高时，基于被摄体距离数据进行画质劣化有无的判定。
(基于焦点位置信息的判定)
画质劣化判定部180可以基于分别从第一摄像部110和第二摄像部120提供的焦点位置信息(与焦点对准状态的镜头位置相关的信息)，判定合成图像的画质是否劣化。更具体地说，画质劣化判定部180能够将该焦点位置信息换算成被摄体距离。另外，将焦点位置信息换算成被摄体距离的方法没有特别限定，能够使用公知的方法。
并且，画质劣化判定部180通过对被摄体距离与规定的阈值进行比较，判定被摄体距离是否是引起画质劣化的程度的近距离，在判定为该被摄体距离是引起画质劣化的程度的近距离时，合成处理部150使黑白图像的合成比率大致为零。
另外，画质劣化判定部180可以设定由以下数式(3)表示的滞后d。在此，“lenspos”表示焦点对准状态的镜头位置。由此，画质劣化判定部180能够防止频繁地切换合成打开状态和合成关闭状态。
[数式3]
lensposin-lensposout＝d…(3)
※lensposout是指在合成打开状态下lenspos＜lensposout成立时成为合成关闭的值。
※lensposin是指在合成关闭状态下lenspos＞lensposin成立时成为合成打开的值。
(基于像面相位差传感器的判定)
画质劣化判定部180可以基于从第一摄像部110或第二摄像部120所具备的像面相位差传感器提供的信息，判定合成图像的画质是否劣化。像面相位差传感器能够输出表示画面内各区域中的被摄体距离的距离映射。因而，画质劣化判定部180能够基于从像面相位差传感器提供的距离映射进行画质劣化有无的判定。例如，如图6所示，画面被划分为纵向七个、横向九个的区域，像面相位差传感器能够以区域为单位输出被摄体距离。此时，画质劣化判定部180能够基于从像面相位差传感器提供的距离映射，识别在区域10(画面的左下部分的区域)中拍摄了被摄体距离近的被摄体，进行画质劣化有无的判定。
但是，由于距离映射的精度可能因被摄体的对比度而大幅度变化，所以通常不仅输出距离映射，还一同输出表示该距离映射的可靠性的可靠性映射(距离映射或可靠性映射也称为“像面相位差传感器信息”)。在此，图7的7A表示从像面相位差传感器提供的距离映射的一例，图7的7B表示一同提供的可靠性映射的一例。各映射表示所摄像的一个图像的各区域中的被摄体距离及其可靠性，各映射的区域与图6所示的区域对应。并且，画质劣化判定部180通过使用了距离映射和可靠性映射进行以下的处理，由此进行画质劣化有无的判定。
首先，画质劣化判定部180从所取得的可靠性映射中提取具有规定值Rmin以上的可靠性的区域，并且提取与该区域对应的距离映射中的数据。然后，画质劣化判定部180从所提取的距离映射中的数据中搜索值最低的数据(换句话说被摄体距离最近的数据)，将该数据设为Dmin。接着，画质劣化判定部180按照以下数式(4)，计算假定为包含位于最接近的位置的被摄体的距离D的范围。
[数式4]
Dmin＜D＜Dmin·a…(4)
※a是指调整值。
然后，画质劣化判定部180从在上述说明中提取的距离映射中的数据中提取包含在上述数式(4)所示的距离D的范围内的数据。然后，如图8所示，画质劣化判定部180按照距离顺序对所提取的数据进行排序。另外，图8还表示与距离对应的可靠性。在此，将排序后的数据中的第i个距离设为Di，并且将与该Di对应的可靠性设为Ri。
接着，画质劣化判定部180将切实值得信赖的可靠性设为Rmax，从排序后的数据中提取可靠性为Rmax以上的数据，并且将所提取的数据中距离最远的数据的编号设为N。假设在排序后的数据中不存在Rmax以上的数据的情况下，将排序后的数据中距离最远的数据的编号设为N。然后，画质劣化判定部180通过进行以下数式(5)的运算，推定假定为包含位于最接近的位置的被摄体的距离Dobj。换句话说，画质劣化判定部180基于可靠性将进行了加权平均的值计算为距离Dobj。
[数式5]
Figure BDA0001887187440000141
然后，画质劣化判定部180通过将距离Dobj与规定的阈值进行比较，判定距离Dobj是否是引起画质劣化的程度的近距离，在判定为该距离Dobj是引起画质劣化的程度的近距离时，合成处理部150使黑白图像的合成比率大致为零。
另外，能够适当地变更上述处理。例如，在像动态图像、静止图像的预览显示那样稳定动作的系统中，画质劣化判定部180可以对从像面相位差传感器提供的距离映射应用时间平滑过滤。由此，提高了距离映射的精度。另外，此时，在从像面相位差传感器提供的可靠性映射中不存在具有规定值Rmin以上的可靠性的数据时，画质劣化判定部180无法对距离映射应用时间平滑过滤，因此，无法基于像面相位差传感器进行画质劣化有无的判定。在这种情况下，画质劣化判定部180可以从时间平滑过滤的应用对象中排除无法进行画质劣化有无的判定的帧。或者，画质劣化判定部180也可以仅在上述情况下进行基于焦点位置信息的画质劣化有无的判定。换句话说，画质劣化判定部180可以根据像面相位差传感器的可靠性，利用来自像面相位差传感器的信息以及焦点位置信息切换用于画质劣化有无的判定的信息。
(基于近距离被摄体的图像特征量的判定)
画质劣化判定部180可以基于被摄体距离为规定值以下的被摄体(以下称为“近距离被摄体”)的图像特征量，判定合成图像的画质是否劣化。更具体地说，合成处理部150通过对彩色图像和黑白图像进行分析，计算视差分布特征量、搜索范围超出特征量或视差间隙特征量，画质劣化判定部180可以通过判定这些图像特征量是否与近距离被摄体的图像特征量相符来判定画质劣化有无。
在此，参照图9说明本判定方法的合成处理部150和画质劣化判定部180的功能构成例。如图9所示，合成处理部150具备：视差直方图处理部151、视差分布特征量计算部152、搜索范围超出特征量计算部153和视差间隙特征量计算部154，画质劣化判定部180包括近距离特征量判定部181。
视差直方图处理部151基于从第一前处理部130和第二前处理部140提供的黑白图像数据和彩色图像数据来进行视差检测，并且生成表示检测出的视差的视差信息。由于第一摄像部110和第二摄像部120如图1的1B所示从不同的视点位置进行摄像，所以由第一摄像部110和第二摄像部120取得的摄像图像成为具有视差的图像。因而，视差直方图处理部151基于从第一前处理部130和第二前处理部140提供的摄像图像数据，生成表示每个像素的视差的视差信息。
视差直方图处理部151利用块匹配等对应点检测处理来生成视差信息。例如，视差直方图处理部151将由第一摄像部110和第二摄像部120中任意一方取得的摄像图像设为基准摄像图像，并且检测与将基准摄像图像上的关注位置作为基准的基准块区域最类似的另一方的摄像图像上的块区域。视差直方图处理部151计算视差矢量，该视差矢量表示检测的块区域与基准块区域的位置的差。视差直方图处理部151将基准摄像图像上的各像素作为关注位置来进行视差的计算，并且输出针对每个像素计算出的视差矢量。
然后，视差直方图处理部151利用针对计算对象区域的各像素计算出的视差矢量来生成直方图。另外，图10例示了视差直方图，图10的(a)例示了被摄体处于接近同一平面的状态的摄像图像的视差直方图，图10的(b)例示了距被摄体的距离不同的摄像图像的视差直方图。在该视差直方图中，因距离不同而在从视差“0”起朝负方向分开的位置产生峰值。图10的(c)例示了产生了距被摄体的距离不同的多个视差，并且处于因被摄体接近而产生大的视差的状态的摄像图像的视差直方图。在该视差直方图中，与图10的(b)相比，由于被摄体接近而产生了大的视差，所以在相比图10的(b)朝负方向进一步分开的位置产生了峰值。
进而，视差直方图处理部151生成视差间隙直方图。图11是用于说明用于生成视差间隙直方图的视差差绝对值的图。如图11所示，视差直方图处理部151计算从计算对象区域的关注像素的位置水平分开“-(PARALLAX_DIFF_DISTANCE/2)”的像素量的位置的视差PV1。此外，视差直方图处理部151计算从关注像素位置水平分开“(PARALLAX_DIFF_DISTANCE/2)”的像素量的位置的视差PV2，计算数式(6)所示的视差差绝对值PVapd。另外，预先设定视差间隙距离(PARALLAX_DIFF_DISTANCE)。
[数式6]
PVapd＝ABS(PV1-PV2)···(6)
视差差绝对值PVapd例如在被摄体处于接近同一平面的状态时，由于视差PV1与视差PV2的差小，所以视差差绝对值PVapd的值变小。此外，对于视差差绝对值PVapd，例如在距被摄体的距离不同、关注像素是距离不同的被摄体的边界时，视差PV1与视差PV2的差大，因此视差差绝对值PVapd的值变大。视差直方图处理部151生成视差间隙直方图，该视差间隙直方图是将计算对象区域的各像素作为关注像素计算出的视差差绝对值PVapd的直方图。另外，图12例示了视差间隙直方图。
视差分布特征量计算部152根据由视差直方图处理部151生成的视差直方图，计算出表示视差分布的特征的统计量来作为视差分布特征量。视差分布特征量计算部152例如作为表示视差分布特征的统计量计算标准偏差，并且将计算出的标准偏差设为视差分布特征量FVfsd。例如将根据图10的(a)的直方图计算出的视差分布特征量设为“FVfsd-a”，将根据图10的(b)的直方图计算出的视差分布特征量设为“FVfsd-b”，并且将根据图10的(c)的直方图计算出的视差分布特征量设为“FVfsd-c”。在这种情况下，视差分布特征量为“FVfsd-a＜FVfsd-b，FVfsd-c”。这样，视差分布特征量计算部152通过计算视差直方图的标准偏差来作为视差分布特征量FVfsd，能够基于视差分布特征量FVfsd，判定被摄体是否接近同一平面或是否具有多个视差。
搜索范围超出特征量计算部153计算搜索范围超出特征量FVosr，该搜索范围超出特征量FVosr表示产生根据由视差直方图处理部151生成的视差直方图而预先设定的搜索范围以上的视差的度数(over_search_range_counter)相对于全度数(counter)的比例。搜索范围超出特征量计算部153利用视差直方图来进行数式(7)的运算，计算搜索范围超出特征量FVosr。
[数式7]
Figure BDA0001887187440000171
例如，将由图10的(a)的直方图计算出的搜索范围超出特征量设为“FVosr-a”。此外，将由图10的(b)的直方图计算出的搜索范围超出特征量设为“FVosr-b”，并且将由图10的(c)的直方图计算出的搜索范围超出特征量设为“FVosr-c”。在这种情况下，搜索范围超出特征量为“FVosr-a，FVosr-b＜FVosr-c”。这样，搜索范围超出特征量计算部153能够计算搜索范围超出特征量FVosr，由此基于搜索范围超出特征量FVosr判定是否拍摄产生大的视差的被摄体。即，能够检测匹配精度下降的(或无法匹配的)近距离被摄体。
视差间隙特征量计算部154根据由视差直方图处理部151生成的视差间隙直方图，计算视差间隙特征量FVpd。视差间隙特征量计算部154计算视差间隙特征量FVpd，该视差间隙特征量FVpd表示产生根据视差间隙直方图而预先设定的最大视差间隙距离以上的视差间隙的度数(large_parallax_diff_counter)相对于全度数(counter)的比例。视差间隙特征量计算部154利用视差间隙直方图来进行数式(8)的运算，计算视差间隙特征量FVpd。
[数式8]
Figure BDA0001887187440000181
这样，由视差间隙特征量计算部154计算出的视差间隙特征量FVpd表示产生最大视差间隙距离的像素的比例。在此，由于处于同一平面的被摄体的视差间隙小，在距离不同的被摄体的图像边界部分上视差间隙大，所以能够判定距离大幅度不同的被摄体的图像边界的产生状况。
并且，近距离特征量判定部181基于使用了视差分布特征量计算部152、搜索范围超出特征量计算部153和视差间隙特征量计算部154计算出的各图像特征量，进行画质劣化有无的判定。
在此，参照图13说明由近距离特征量判定部181进行的画质劣化有无的判定方法的一例。在图13中表示了将纵轴设为视差间隙特征量FVpd、将横轴设为搜索范围超出特征量FVosr时，在各种场景下进行摄像时的画质劣化有无的结果和判定曲线20等。更具体地说，首先，用户利用图像处理装置100一边变更被摄体的位置等一边进行各种场景的摄像，输出合成图像、视差间隙特征量FVpd和搜索范围超出特征量FVosr。此后，用户目视确认画质劣化有无，针对每个场景判定是否需要进行合成关闭。并且，图像处理装置100通过使用了将该判定结果的集合用作学习用教师数据的机器学习(所谓的有监督学习)，输出作为能够最适当地分离画质劣化有无的曲线的判定曲线。另外，机器学习的方法并不限定于此。此外，可以利用“深度学习(Deep Learning)”、各种模拟技术等来输出判定曲线。
并且，画质劣化判定部180将由从摄像图像中提取的视差间隙特征量FVpd和搜索范围超出特征量FVosr表示的点与判定曲线进行比较。并且，在该点表示比判定曲线高的值时(点位于图13的箭头22的区域时)，画质劣化判定部180判定为合成图像的画质劣化(或画质劣化的可能性高)，合成处理部150使黑白图像的合成比率大致为零。
另外，画质劣化判定部180可以设定由图13的曲线21所示的滞后。并且，在合成打开的状态下，由从新的摄像图像中提取的图像特征量所示的点表示比曲线21低的值时(点位于图13的箭头23的区域时)，画质劣化判定部180切换为合成关闭的状态。由此，画质劣化判定部180能够防止频繁地切换为合成打开状态和合成关闭状态。
此外，在上述说明中，在画质劣化有无的判定中使用了视差间隙特征量FVpd和搜索范围超出特征量FVosr，但是也可以一同使用视差分布特征量FVfsd。更具体地说，用户利用图像处理装置100通过与上述相同的方法来进行各种场景的摄像，计算合成图像、视差间隙特征量FVpd、搜索范围超出特征量FVosr和视差分布特征量FVfsd。此后，用户目视确定画质劣化有无，针对每个场景判定是否需要进行合成关闭，通过使用将该判定结果的集合用作学习用教师数据的机器学习来输出判定曲面。在此，判定曲面是在将图13的进深方向设为视差分布特征量FVfsd的三维坐标上表示的曲面。并且，画质劣化判定部180通过将由从摄像图像提取的视差间隙特征量FVpd、搜索范围超出特征量FVosr和视差分布特征量FVfsd表示的点与判定曲面进行比较，判定图像劣化的有无。
这样，画质劣化判定部180通过组合多个图像特征量来进行处理，由此能够提高画质劣化有无的判定精度。当然，用于处理的图像特征量的组合是自由的，可以仅使用任意一个图像特征量。另外，在上述说明中，说明了根据视差直方图或视差间隙直方图计算各图像特征量的例子，但是也可以基于根据彩色图像和黑白图像得到的视差图计算各图像特征量。
(基于亮度差小色差大区域的特征量的判定)
画质劣化判定部180可以基于亮度差小色差大区域(亮度信号的灰度等级低且色差信号的灰度等级高的区域)的特征量，判定画质劣化有无。例如，如图14所示，在显示画面中红色系统区域30和蓝色系统区域31相邻(换句话说色差信号的灰度等级高)，区域30和区域31的亮度差比规定值小(换句话说亮度信号的灰度等级低)。在这种情况下，可以认为包含区域30和区域31的相邻部分的区域32是亮度差小色差大区域。
在此，由于通常利用亮度信号来进行视差推定，所以在亮度信号的灰度等级低的区域中，视差的推定精度下降。即使假设输出了错误的视差，由于在色差信号的灰度等级低的区域中，Y信号、Cb信号和Cr信号各自的变化不大，所以合成时的画质劣化的程度也较小。另一方面，在输出了错误的视差且色差信号的灰度等级高的区域中，合成时的画质劣化的程度变大。因此，在画质劣化判定部180检测到比规定面积大的亮度差小色差大区域的情况下，合成处理部150使黑白图像的合成比率大致为零。
在此，参照图15说明本判定方法的合成处理部150和画质劣化判定部180的功能构成例。如图15所示，合成处理部150具备信号提取部155、Y/C分散比率处理部156和Y/C边缘分量比率处理部157，画质劣化判定部180具备亮度差小色差大特征量判定部182。在亮度差小色差大区域中，存在C信号(其中，C信号是指Cb信号或Cr信号)的分散值相对于Y信号的分散值的比率(以下称为“Y/C分散比率”)、以及C信号的边缘分量相对于Y信号的边缘分量的比率(以下称为“Y/C边缘分量比率”)的特征量变大的趋势。因此，合成处理部150利用信号提取部155从彩色图像数据中提取Y信号、Cb信号和Cr信号，通过将这些信号输入至Y/C分散比率处理部156和Y/C边缘分量比率处理部157，计算上述各特征量。并且，亮度差小色差大特征量判定部182基于各特征量来进行画质劣化有无的判定。
首先，对基于Y/C分散比率的处理进行说明。图16是表示Y/C分散比率处理部156的功能构成例的图。如图16所示，Y/C分散比率处理部156包括Y分散值计算部156a、Cb分散值计算部156b、Cr分散值计算部156c、比较部156d和Y/C分散比率计算部156e。
Y分散值计算部156a、Cb分散值计算部156b和Cr分散值计算部156c分别将画面整体分割为固定尺寸的区域，计算各区域中的Y信号、Cb信号和Cr信号的分散值。由于分散值的计算方法是普通的方法，所以省略了说明。此后，比较部156d对Cb信号的分散值和Cr信号的分散值进行比较，将具有相对大的值的分散值提供给Y/C分散比率计算部156e。然后，Y/C分散比率计算部156e计算C信号的分散值(Cb信号的分散值和Cr信号的分散值中具有相对大的值的分散值)相对于Y信号的分散值的比率，并且将该比率提供给亮度差小色差大特征量判定部182。亮度差小色差大特征量判定部182基于Y/C分散比率来进行画质劣化有无的判定。
在此，参照图17说明基于Y/C分散比率的画质劣化有无的判定方法的一例。首先，用户利用图像处理装置100一边变更被摄体的位置等一边进行各种场景的摄像，输出合成图像和Y/C分散比率。此后，用户目视确认画质劣化有无，针对每个场景判定是否需要进行合成关闭。然后，图像处理装置100通过使用了将该判定结果的集合用作学习用教师数据的机器学习等，输出容易产生画质劣化的Y/C分散比率的特征。例如，在图17中表示了将纵轴设为C信号的分散值、将横轴设为Y信号的分散值的情况下，在各种场景中进行摄像时的画质劣化有无的结果、以及与容易产生画质劣化的Y/C分散比率的特征对应的区域40(换句话说在Y/C分散比率在区域40内的情况下容易产生画质劣化)。并且，亮度差小色差大特征量判定部182判定根据摄像图像计算的各区域的Y/C分散比率是否在区域40内。在Y/C分散比率在区域40内的区域存在规定数量以上的情况下，亮度差小色差大特征量判定部182判定为合成图像的画质劣化(或画质劣化的可能性高)，合成处理部150使黑白图像的合成比率大致为零。
另外，上述处理仅为一例，能够进行适当变更。例如，可以通过使用机器学习以外的技术，输出容易产生画质劣化的Y/C分散比率的特征。
接着，对基于Y/C边缘分量比率的处理进行说明。图18是表示Y/C边缘分量比率处理部157的功能构成例的图。如图18所示，Y/C边缘分量比率处理部157包括Y边缘分量检测部157a、Cb边缘分量检测部157b、Cr边缘分量检测部157c、比较部157d和Y/C边缘分量比率计算部157e。
Y边缘分量检测部157a、Cb边缘分量检测部157b和Cr边缘分量检测部157c分别检测各像素中的Y信号、Cb信号和Cr信号的各边缘分量(换句话说，检测各信号中敏锐地变化的部位或不连续变化的部位)。边缘分量的检测方法(检测算法等)没有特别限定，能够使用公知的技术。此后，比较部157d对Cb信号的边缘分量与Cr信号的边缘分量进行比较，将具有相对大的值的边缘分量提供给Y/C边缘分量比率计算部157e。然后，Y/C边缘分量比率计算部157e计算C信号的边缘分量(Cb信号的边缘分量和Cr信号的边缘分量中具有相对大的值的边缘分量)相对于Y信号的边缘分量的比率，并将该比率提供给亮度差小色差大特征量判定部182。亮度差小色差大特征量判定部182基于Y/C边缘分量比率来进行画质劣化有无的判定。
在此，参照图19说明基于Y/C边缘分量比率的画质劣化有无的判定方法的一例。首先，用户利用图像处理装置100一边变更被摄体的位置等一边进行各种场景的摄像，输出合成图像和Y/C边缘分量比率。此后，用户目视确认画质劣化有无，针对每个场景判定是否需要进行合成关闭。然后，图像处理装置100通过使用了将该判定结果的集合用作学习用教师数据的机器学习等，输出容易产生画质劣化的Y/C边缘分量比率的特征。例如，在图19中表示了将纵轴设为C信号的边缘分量、将横轴设为Y信号的边缘分量的情况下，在各种场景中进行摄像时的画质劣化有无的结果、以及与容易产生画质劣化的Y/C边缘分量比率的特征对应的区域50(换句话说，Y/C边缘分量比率在区域50内时容易产生画质劣化)。然后，亮度差小色差大特征量判定部182判定根据摄像图像计算出的各像素的Y/C边缘分量比率是否在区域50内。当Y/C边缘分量比率在区域50内的像素存在规定像素以上时，亮度差小色差大特征量判定部182判定为合成图像的画质劣化(或画质劣化的可能性高)，合成处理部150使黑白图像的合成比率大致为零。
另外，上述处理仅为一例，能够进行适当变更。例如，可以通过使用机器学习以外的技术，输出容易产生画质劣化的Y/C边缘分量比率的特征。
(1.4.处理流程的例子)
在上述说明中，说明了由图像处理装置100的画质劣化判定部180进行的画质劣化有无的判定方法的例子。接着，参照图20说明由图像处理装置100的各功能构成的处理流程的例子。如上所述，图像处理装置100能够组合上述说明的各种画质劣化的判定方法来控制合成处理，在这种情况下，图20表示组合了上述说明的全部判定方法时的处理流程。
首先，在步骤S1000中，图像处理装置100的画质劣化判定部180基于ISO感光度来判定是否产生了画质劣化。更具体地说，画质劣化判定部180从第一摄像部110和第二摄像部120取得各自的ISO感光度信息，基于任意一个ISO感光度是否包含在上述数式(1)所示的范围内，判定是否产生画质劣化。在判定为产生了画质劣化的情况下(步骤S1000/是)，在步骤S1004中，合成处理部150使黑白图像的合成比率大致为零(换句话说成为合成关闭状态。或者降低黑白图像的合成比率)。
在判定为未产生画质劣化的情况下(步骤S1000/否)，在步骤S1008中，画质劣化判定部180通过使用了从距离传感器170提供的传感器信息的处理，判定是否产生画质劣化。更具体地说，画质劣化判定部180通过对从距离传感器170提供的被摄体距离数据进行分析，判定被摄体距离是否是引起画质劣化的程度的近距离。当判定为被摄体距离是产生画质劣化的程度的近距离时(步骤S1008/是)，在步骤S1004中，合成处理部150使黑白图像的合成比率大致为零(换句话说成为合成关闭状态。或者降低黑白图像的合成比率)。
当判定为被摄体距离不是产生画质劣化的程度的近距离时(步骤S1008/否)，在步骤S1012中，画质劣化判定部180基于从第一摄像部110和第二摄像部120分别提供的焦点位置信息，判定是否产生了画质劣化。更具体地说，画质劣化判定部180将焦点位置信息换算成被摄体距离，判定被摄体距离是否是引起画质劣化的程度的近距离。当判定为被摄体距离是产生画质劣化程度的近距离时(步骤S1012/是)，在步骤S1004中，合成处理部150使黑白图像的合成比率大致为零(换句话说成为合成关闭状态。或者降低黑白图像的合成比率)。
当判定为被摄体距离不是产生了画质劣化程度的近距离时(步骤S1012/否)，在步骤S1016中，画质劣化判定部180基于从像面相位差传感器提供的信息，判定是否产生了画质劣化。更具体地说，画质劣化判定部180使用从像面相位差传感器提供的距离映射和可靠性映射进行数式(5)来计算距离Dobj，判定距离Dobj是否是引起画质劣化的程度的近距离。当判定为距离Dobj是产生画质劣化程度的近距离时(步骤S1016/是)，在步骤S1004中，合成处理部150使黑白图像的合成比率大致为零(换句话说成为合成关闭状态。或者降低黑白图像的合成比率)。
当判定为距离Dobj不是产生画质劣化的程度的近距离时(步骤S1016/否)，在步骤S1020中，画质劣化判定部180基于近距离被摄体的图像特征量，判定是否产生了画质劣化。更具体地说，合成处理部150利用黑白图像数据和彩色图像数据，输出视差间隙特征量FVpd、搜索范围超出特征量FVosr或视差分布特征量FVfsd，画质劣化判定部180基于这些图像特征量是否与近距离被摄体的图像特征量相符来判定是否产生了画质劣化。当判定为图像特征量与近距离被摄体的图像特征量相符时(步骤S1020/是)，在步骤S1004中，合成处理部150使黑白图像的合成比率大致为零(换句话说成为合成关闭状态。或者降低黑白图像的合成比率)。
当判定为图像特征量不与近距离被摄体的图像特征量相符时(步骤S1020/否)，在步骤S1024中，画质劣化判定部180基于亮度差小色差大区域的图像特征量来判定是否产生了画质劣化。更具体地说，合成处理部150利用摄像图像输出Y/C分散比率或Y/C边缘分量比率这样的图像特征量，画质劣化判定部180基于这些图像特征量是否与亮度差小色差大区域的图像特征量相符来判定是否产生了画质劣化。当判定为这些图像特征量与亮度差小色差大区域的图像特征量相符时(步骤S1024/是)，在步骤S1004中，合成处理部150使黑白图像的合成比率大致为零(换句话说成为合成关闭状态。或者降低黑白图像的合成比率)。当判定为这些图像特征量不与亮度差小色差大区域的图像特征量相符时(步骤S1024/否)，在步骤S1028中，合成处理部150不使黑白图像的合成比率大致为零，而对彩色图像和黑白图像进行合成(换句话说成为合成打开状态)，由此使一系列的处理结束。
假定针对每个摄像图像反复进行图20的处理，但是并不限定于此。另外，图20所示的流程图中的各步骤并不是必须按照记载的顺序进行时间系列处理。即，流程图中的各步骤可以按照与记载的顺序不同的顺序进行处理，也可以并行处理。此外，如上所述，可以适当省略流程图中的各步骤。
<2.变形例>
在上述说明中，对本发明的一实施方式进行了说明。接着，对本发明的变形例进行说明。
(2.1.基于3D深度传感器的判定)
在上述说明中，说明了通过使用了来自距离传感器170的传感器信息的处理，进行画质劣化有无的判定的例子。如图21所示，变形例的图像处理装置100也可以代替距离传感器170转而具备3D深度传感器190，图像处理装置100通过使用了来自3D深度传感器190的传感器信息的处理，进行画质劣化有无的判定。另外，其他构成与图4相同。
如图22所示，3D深度传感器190例如包括红外线的发光部191和受光部192，发光部191向被摄体照射红外线，受光部192接收由被摄体反射的红外线。并且，3D深度传感器190能够测量从照射红外线起到接收光为止的极短的时间，并且利用将该时间差换算成距离的飞行时间方式来制作距离映射。图23表示了如图22所示被摄体是足球的情况下由3D深度传感器190制作的距离映射的一例。如图23所示，距离映射例如以颜色的浓淡来表示被摄体距离，颜色越浓表示被摄体距离越近。画质劣化判定部180从3D深度传感器190取得距离映射，并且通过对该距离映射进行分析，确定最近的被摄体距离(以下称为“最近距离60”。参照图23)。
在画质劣化判定部180判定为最近距离60是引起画质劣化程度的近距离时，合成处理部150使黑白图像的合成比率大致为零。由于距离传感器170基本上是输出包含在画面中的某一点的被摄体距离，所以难以输出最近距离60。另一方面，由于本变形例基于画面整体的距离映射来输出最近距离60，所以能够更高精度地实现画质劣化有无的判定。
另外，上述处理仅为一例，能够进行适当变更。例如，3D深度传感器190照射的光的种类、距离映射的制作方法或距离映射的内容等没有特别限定。
(2.2.基于用户对被摄体的关注状况的判定)
用户越关注被摄体，越容易发觉该被摄体的画质劣化。因此，画质劣化判定部180当以上述方式利用从3D深度传感器190提供的距离映射进行画质劣化有无的判定时，可以进行距离映射的校正，以便越接近面部等的识别位置、对焦位置、关注位置(例如画面的中心或通过视线的分析确定的位置等)则距离映射中的距离越容易成为近距离。
在此，参照图24说明将画面的中心设为关注位置时的距离映射的校正处理的具体例。图24A表示了校正前的距离映射(其中，该距离映射与图23所示的距离映射相同)。图24B表示在图24A的距离映射上引出的直线71的值。
将图24C所示的系数函数定义为，越接近作为关注位置的画面的中心，则输出越高的距离映射的值(换句话说距离映射中的距离越近)。并且，画质劣化判定部180通过将图24B所示的校正前的距离映射的各值乘以图24C所示的系数函数的各值，输出图24D所示的校正后的距离映射。此后，画质劣化判定部180通过对校正后的距离映射进行分析来确定最近距离60，在判定为该最近距离60是引起画质劣化的程度的近距离时，合成处理部150使黑白图像的合成比率大致为零。
由此，画质劣化判定部180能够也将用户对被摄体的关注状况考虑在内判定用户是否容易发觉画质劣化。另外，上述处理仅为一例，能够进行适当变更。例如，可以根据图24C所示的内容适当变更系数函数。
然而，当由焦点控制部160控制的焦点与远景匹配时，用户关注的被摄体的被摄体距离远的可能性高。此时，即使近距离被摄体进入视角，用户也不会关注该近距离被摄体，因此用户发觉该画质劣化的可能性低(换句话说有可能允许画质劣化)。
因而，画质劣化判定部180也可以将图20所示的流程图如图25那样变更。图25中包含图20所示的流程图中不存在的步骤S1108。更具体地说，在步骤S1108中，画质劣化判定部180将焦点位置信息换算成被摄体距离，在通过焦点与远景匹配而判定为用户关注的被摄体的被摄体距离远时(步骤S1108/是)，在步骤S1132中，合成处理部150不使黑白图像的合成比率大致为零而对彩色图像和黑白图像进行合成(换句话说成为合成打开状态)。另一方面，画质劣化判定部180当判定为用户关注的被摄体的被摄体距离近时(步骤S1108/否)，执行步骤S1112以后的处理(与图20的步骤S1008以后的处理相同)。由此，能够利用合成处理来提高用户关注的远景部分的画质。
(2.3.基于电子变焦的判定)
通常，大多在包含合成处理的图像处理的后半部分进行电子变焦。假设在由于合成处理而画质劣化之后进行电子变焦，则如图26所示，由于画质劣化的区域被放大而导致画质劣化更显眼。在图26A中表示了画质劣化的合成图像，在26B中表示了利用合成处理后的电子变焦使画质劣化的区域放大的图像。因而，画质劣化判定部180可以根据电子变焦的倍率来变更在上述画质劣化有无的判定中使用的阈值。
此外，在包含合成处理的图像处理的后半部分进行电子变焦时，由于进行合成处理的视角与电子变焦后的视角不同，所以在电子变焦后的视角中，有可能仅在未反映到画面的区域内产生画质劣化。但是，由于对画面整体进行上述说明的画质劣化有无的判定，所以即使因电子变焦而在未反映到画面的区域中产生了画质劣化的情况下，也设定为合成关闭状态。
因此，变形例的图像处理装置100仅在电子变焦后的视角的区域内提取画面特征量的区域。更具体地说，合成处理部150取得与电子变焦相关的信息(例如电子变焦的起点和倍率等的能够确定电子变焦后的视角区域的信息)，并且基于该信息计算电子变焦后的视角区域中的各种画面特征量。然后，画质劣化判定部180基于这些画面特征量来进行画质劣化有无的判定。由此，即使在产生画质劣化的情况下，当该产生位置在电子变焦后的视角的区域外时，图像处理装置100也能够继续进行合成处理。
(2.4.局部的合成控制)
在上述说明中，由于图像处理装置100以帧为单位进行画质劣化有无的判定和是否能够进行合成的判定，所以例如即使产生画质劣化的区域小时(例如区域面积在规定值以下时)，也有可能不进行合成。另一方面，变形例的图像处理装置100可以仅将产生画质劣化的区域(或其附近的区域)设为不进行合成的区域，将该区域以外设为要进行合成的区域。
更具体地说，如图6所示，在画面被划分为多个区域时，图像处理装置100能够以该区域为单位进行画质劣化有无的判定和是否能够进行合成的判定。此外，图像处理装置100可以在能够识别摄像图像中被摄体的轮廓时，以被摄体为单位进行画质劣化有无的判定和是否能够进行合成的判定。由此，图像处理装置100能够防止因在一部分区域中产生画质劣化而不进行画面整体的合成(或相反)。
<3.应用例>
本发明的技术能够应用于各种产品。例如，本发明的技术可以作为搭载于汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动终端、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机)等的任意一种移动体的装置来实现。
图27是表示能够应用作为本发明的技术的移动体控制系统一例的车辆控制系统7000的简要构成例的框图。车辆控制系统7000具备经由通信网络7010连接的多个电子控制单元。在图27所示的例子中，车辆控制系统7000具备驱动系统控制单元7100、车身系统控制单元7200、蓄电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500以及综合控制单元7600。连接这些多个控制单元的通信网络7010例如可以是CAN(Controller AreaNetwork，控制器局域网路)、LIN(Local Interconnect Network，本地互连网络)、LAN(Local Area Network，局域网)或FlexRay(注册商标)等的符合任意标准的车载通信网络。
各控制单元具备：微型计算机，按照各种程序来执行运算处理；存储部，存储由微型计算机执行的程序或用于各种运算的参数等；以及驱动电路，驱动各种控制对象的装置。各控制单元具备网络I/F，该网络I/F用于经由通信网络7010与其他控制单元之间进行通信，并且具备通信I/F，该通信I/F用于在与车内外的装置或传感器等之间通过有线通信或无线通信进行通信。在图27中，作为综合控制单元7600的功能构成图示了微型计算机7610、通用通信I/F7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F7660、声音图像输出部7670、车载网络I/F7680以及存储部7690。其他控制单元也同样具备微型计算机、通信I/F以及存储部等。
驱动系统控制单元7100按照各种程序，对与车辆的驱动系统相关的装置的动作进行控制。例如，驱动系统控制单元7100作为内燃机或者驱动用马达等的用于产生车辆驱动力的驱动力产生装置、用于将驱动力向车轮传递的驱动力传递机构、调节车辆的转向角的转向机构、以及产生车辆的制动力的制动装置等的控制装置发挥功能。驱动系统控制单元7100也可以具有作为ABS(Antilock Brake System，防抱死制动系统)或者ESC(ElectronicStability Control，电子稳定控制系统)等的控制装置的功能。
驱动系统控制单元7100与车辆状态检测部7110连接。在车辆状态检测部7110中例如具备：检测车身的轴旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器、或者用于检测油门踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速或车轮的旋转速度等的传感器中的至少一个。驱动系统控制单元7100利用从车辆状态检测部7110输入的信号来进行运算处理，对内燃机、驱动用马达、电动动力转向装置或制动装置等进行控制。
车身系统控制单元7200按照各种程序对装备于车身的各种装置的动作进行控制。例如，车身系统控制单元7200作为无钥匙进入系统、智能钥匙系统、电动车窗装置或者前照灯、尾灯、刹车灯、指示灯或者雾灯等各种灯的控制装置发挥功能。在这种情况下，能够向车身系统控制单元7200输入从代替钥匙的移动设备发送的电波或者各种开关信号。车身系统控制单元7200接受这些电波或信号的输入，对车辆的门锁装置、电动车窗装置以及灯等进行控制。
蓄电池控制单元7300按照各种程序对作为驱动用马达的电源的二次电池7310进行控制。例如，从具备二次电池7310的蓄电池装置向蓄电池控制单元7300输入蓄电池温度、蓄电池输出电压或者蓄电池的剩余容量等信息。蓄电池控制单元7300利用这些信号来进行运算处理，进行二次电池7310的温度调节控制或者蓄电池装置所具备的冷却装置等的控制。
车外信息检测单元7400检测搭载有车辆控制系统7000的车辆外部的信息。例如，在车外信息检测单元7400连接有摄像部7410和车外信息检测部7420中的至少一方。在摄像部7410中包括ToF(Time Of Flight，飞行时间)相机、立体相机、单目相机、红外线相机和其他相机中的至少一个。在车外信息检测部7420中例如包括用于检测当前的天气或气象的环境传感器或者周围信息检测传感器中的至少一个，该周围信息检测传感器用于检测搭载有车辆控制系统7000的车辆周围的其他车辆、障碍物或行人等。
环境传感器例如可以是检测雨天的雨滴传感器、检测雾的雾传感器、检测日照强度的日照传感器和检测降雪的雪传感器中的至少一个。周围信息检测传感器也可以是超声波传感器、雷达装置和LIDAR(Light Detection and Ranging、Laser Imaging Detectionand Ranging，光探测和测距、激光成像探测和测距)装置中的至少一个。这些摄像部7410和车外信息检测部7420可以作为分别独立的传感器或装置而设置，也可以作为集成有多个传感器或装置的装置而设置。
在此，图28表示摄像部7410和车外信息检测部7420的设置位置的例子。摄像部7910、7912、7914、7916、7918例如设置在车辆7900的前保险杠、侧后视镜、后保险杠、后背箱门以及车厢内的前挡风玻璃的上部中的至少一个位置。安装于前保险杠的摄像部7910和安装于车厢内的前挡风玻璃上部的摄像部7918主要取得车辆7900前方的图像。安装于侧后视镜的摄像部7912、7914主要取得车辆7900侧方的图像。安装于后保险杠或后背箱门的摄像部7916主要取得车辆7900后方的图像。安装于车厢内的挡风玻璃上部的摄像部7918主要用于检测前方车辆或行人、障碍物、信号灯、交通标识或车道等。
另外，在图28中表示了各摄像部7910、7912、7914、7916的摄像范围的一例。摄像范围a表示设置于前保险杠的摄像部7910的摄像范围，摄像范围b、c分别表示设置于侧后视镜的摄像部7912、7914的摄像范围，摄像范围d表示设置于后保险杠或后备箱门的摄像部7916的摄像范围。例如，由摄像部7910、7912、7914、7916拍摄到的图像数据重叠，由此能够得到从上方观察车辆7900的俯瞰图像。
设置于车辆7900的前、后、侧、角部和车厢内的前挡风玻璃的上部的车外信息检测部7920、7922、7924、7926、7928、7930例如可以是超声波传感器或雷达装置。设置于车辆7900的前保险杠、后保险杠、后备箱门和车厢内的前挡风玻璃的上部的车外信息检测部7920、7926、7930例如可以是LIDAR装置。这些车外信息检测部7920～7930主要用于检测前方车辆、行人或障碍物等。
返回到图27来继续进行说明。车外信息检测单元7400使摄像部7410拍摄车外的图像，并且接收拍摄到的图像数据。此外，车外信息检测单元7400从连接的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器、雷达装置或LIDAR装置的情况下，车外信息检测单元7400发送超声波或电磁波等，并且接收被反射的反射波的信息。车外信息检测单元7400可以基于接收到的信息，进行人、车、障碍物、标识或路面上的文字等的物体检测处理或距离检测处理。车外信息检测单元7400可以基于接收到的信息，进行识别降雨、雾或路面状况等的环境识别处理。车外信息检测单元7400也可以基于接收到的信息，计算到车外的物体的距离。
此外，车外信息检测单元7400可以基于接收到的图像数据，进行识别人、车、障碍物、标识或路面上的文字等的图像识别处理或距离检测处理。车外信息检测单元7400可以对接收到的图像数据进行失真校正或定位等处理，并且对由不同的摄像部7410拍摄到的图像数据进行合成，生成俯瞰图像或全景图像。车外信息检测单元7400也可以利用由不同的摄像部7410拍摄到的图像数据，进行视点转换处理。
车内信息检测单元7500检测车内的信息。车内信息检测单元7500例如与检测驾驶员状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以具备：拍摄驾驶员的相机、检测驾驶员的生物信息的生物传感器或采集车厢内的声音的麦克风等。生物传感器例如设置于座椅表面或方向盘等，检测就坐于座位的乘客或手握方向盘的驾驶员的生物信息。车内信息检测单元7500可以基于从驾驶员状态检测部7510输入的检测信息，计算驾驶员的疲劳程度或集中程度，也可以判定驾驶员是否打瞌睡。车内信息检测单元7500可以对采集的声音信号进行降噪处理等处理。
综合控制单元7600按照各种程序对车辆控制系统7000内的整体动作进行控制。综合控制单元7600与输入部7800连接。输入部7800例如由以下装置实现：触摸面板、按钮、麦克风、开关或操作杆等能够由乘客进行输入操作的装置。可以向综合控制单元7600输入通过对由麦克风输入的声音进行声音识别而得到的数据。输入部7800例如可以是利用红外线或其他电波的遥控器，也可以是与车辆控制系统7000的操作对应的便携式电话或PDA(Personal Digital Assistant，个人数字助理)等外部连接设备。输入部7800例如可以是相机，在这种情况下，乘客能够通过手势输入信息。或者可以输入通过检测乘客穿戴的佩带装置的动作而得到的数据。此外，输入部7800例如可以包括输入控制电路等，该输入控制电路等基于乘客等通过上述输入部7800输入的信息生成输入信号，并向综合控制单元7600输出。乘客等通过对该输入部7800进行操作，向车辆控制系统7000输入各种数据或指示处理动作。
存储部7690可以包括存储由微型计算机执行的各种程序的ROM(Read OnlyMemory，只读存储器)、以及存储各种参数、运算结果或传感器值等的RAM(Random AccessMemory，随机存取存储器)。此外，存储部7690可以通过以下设备实现：HDD(Hard DiscDrive，硬盘驱动器)等的磁存储设备、半导体存储设备、光存储设备或磁光存储设备等。
通用通信I/F7620是通用的通信I/F，对与存在于外部环境7750的各种设备之间的通信进行中介。通用通信I/F7620可以安装GSM(注册商标)(Global System of Mobilecommunications，全球移动通信系统)、WiMAX(全球微波互联接入)(注册商标)、LTE(注册商标)(Long Term Evolution，长期演进技术)或LTE-A(LTE-Advanced，长期演进技术升级版)等蜂窝通信协议、或无线LAN(也称为Wi-Fi(注册商标))、Bluetooth(蓝牙)(注册商标)等其他无线通信协议。通用通信I/F7620例如可以通过基站或接入点与存在于外部网络(例如互联网、云网络或运营商固有的网络)上的设备(例如应用服务器或控制服务器)连接。此外，通用通信I/F7620例如可以利用P2P(Peer To Peer点对点)技术与存在于车辆附近的终端(例如驾驶员、行人或店铺的终端或MTC(Machine Type Communication机器类型通信)终端)连接。
专用通信I/F7630是通信I/F，支持以在车辆中的使用为目的而制定的通信协议。专用通信I/F7630例如可以安装作为下位层IEEE802.11p和上位层IEEE1609组合的WAVE(Wireless Access in Vehicle Environment，车辆环境中的无线接入)、DSRC(DedicatedShort Range Communications，专用短程通信)或蜂窝通信协议这样的标准协议。专用通信I/F7630通常进行V2X通信，该V2X通信是包含车车间(Vehicle to Vehicle)通信、路车间(Vehicle to Infrastructure)通信、车辆与家之间(Vehicle to Home)的通信和行人车辆间(Vehicle to Pedestrian)通信中的一个以上的概念。
定位部7640例如接收来自GNSS(Global Navigation Satellite System，全球导航卫星系统)卫星的GNSS信号(例如来自GPS(Global Positioning System，全球定位系统)卫星的GPS信号)来进行定位，生成包含车辆的维度、经度和高度的位置信息。另外，定位部7640可以通过与无线接入点的信号交换来确定当前位置，或者是可以从具有定位功能的便携式电话、PHS或智能手机这样的终端取得位置信息。
信标接收部7650例如接收从设置在道路上的无线站等发送的电波或电磁波，取得当前位置、交通阻塞、禁止通行或所需时间等信息。另外，信标接收部7650的功能可以包含在上述专用通信I/F7630中。
车内设备I/F7660是通信接口，对微型计算机7610与存在于车内的各种车内设备7760之间的连接进行中介。车内设备I/F7660可以利用无线LAN、Bluetooth(注册商标)、NFC(Near Field Communication，近场通信)或WUSB(Wireless USB无线USB)这种无线通信协议来构建无线连接。此外，车内设备I/F7660可以通过未图示的连接端子(和必要时的电缆)来构建USB(Universal Serial Bus，通用串行总线)、HDMI(注册商标)(High-DefinitionMultimedia Interface，高清多媒体接口或MHL(Mobile High-definition Link，移动高清链接)等有线连接。车内设备7760例如可以包括乘客所具有的移动设备或佩带设备、或者放入或安装在车辆内的信息设备中的至少一个。此外，车内设备7760可以包括进行到达任意目的地的路径搜索的导航设备。车内设备I/F7660在与这些车内设备7760之间交换控制信号或数据信号。
车载网络I/F7680是对微型计算机7610与通信网络7010之间的通信进行中介的接口。车载网络I/F7680按照由通信网络7010支持的规定的协议来收发信号等。
综合控制单元7600的微型计算机7610基于经由通用通信I/F7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F7660和车载网络I/F7680中的至少一个取得的信息，按照各种程序来控制车辆控制系统7000。例如，微型计算机7610可以基于取得的车内外的信息，计算驱动力产生装置、转向机构或制动装置的控制目标值，并且向驱动系统控制单元7100输出控制指令。例如，微型计算机7610可以进行协调控制，该协调控制以实现ADAS(Advanced Driver Assistance System，高级驾驶辅助系统)的功能为目的，该ADAS具备：车辆的碰撞避免或冲击缓和、基于车间距离的跟随行驶、车速保持行驶、车辆碰撞警告或车辆偏离路径警告等。此外，微型计算机7610能够基于取得的车辆周围的信息，对驱动力产生装置、转向机构或制动装置等进行控制，由此进行以不依赖于驾驶员的操作而自主地行驶的自动驾驶等为目的的协调控制。
微型计算机7610可以基于通过通用通信I/F7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F7660和车载网络I/F7680中的至少一个取得的信息，生成车辆与周边的构造物、人物等的物体之间的三维距离信息，并制作包含车辆的当前位置的周边信息的本地地图信息。此外，微型计算机7610可以基于取得的信息，预测车辆碰撞、行人等的接近或进入禁止通行的道路等的危险状况，并生成警告用信号。警告用信号例如可以是用于发出警告音或使警告灯点亮的信号。
声音图像输出部7670向输出装置发送声音和图像中至少一方的输出信号，该输出装置能够以视觉或听觉的方式向车辆的乘客或车外通知信息。在图27的例子中，作为输出装置例示了音频扬声器7710、显示部7720和仪表板7730。显示部7720例如可以包括车载显示器和平视显示器中的至少一个。显示部7720可以具有AR(Augmented Reality，增强现实)显示功能。输出装置可以是除了这些装置以外的耳机、乘客佩戴的眼镜式显示器等佩带设备、投影仪或灯等其他装置。当输出装置是显示装置时，显示装置以文本、图像、表格、曲线图等各种形式通过视觉方式，显示从由微型计算机7610进行的各种处理得到的结果或其他控制单元接收的信息。此外，当输出装置是声音输出装置时，声音输出装置将由播放的声音数据或音响数据等构成的音频信号转换为模拟信号并以视觉方式输出。
另外，在图27所示的例子中，可以将经由通信网络7010连接的至少两个控制单元一体化为一个控制单元。或者是各控制单元可以由多个控制单元构成。进而，车辆控制系统7000可以包括未图示的其他的控制单元。此外，在上述说明中，可以使其他控制单元具备任意一个控制单元所承担的功能的一部分或全部。也就是说，只要经由通信网络7010进行信息的收发，则可以由任意一个控制单元进行规定的运算处理。同样，与任意一个控制单元连接的传感器或装置也可以与其他控制单元连接，并且多个控制单元经由通信网络7010相互收发检测信息。
另外，能够将用于实现利用图4说明的本实施方式的图像处理装置100的各功能的计算机程序安装于任意一个控制单元等。此外，也可以提供存储有这种计算机程序的可由计算机读取的存储介质。存储介质例如是磁盘、光盘、磁光盘、闪存器等。此外，上述计算机程序也可以不使用存储介质而例如经由网络分发。
在以上说明的车辆控制系统7000中，利用图4说明的本实施方式的图像处理装置100能够应用于图27所示的应用例的综合控制单元7600。
此外，利用图4说明的图像处理装置100的至少一部分的构成要素可以在用于图27所示的综合控制单元7600的模块(例如由一个管芯构成的集成电路模块)中实现。或者，利用图4说明的图像处理装置100可以由图27所示的车辆控制系统7000的多个控制单元实现。
<4.总结>
如上所述，本发明的图像处理装置100不仅利用摄像图像的分析结果，例如也通过使用了距离传感器、焦点传感器、像面相位差传感器等各种传感器信息的处理，控制彩色图像和黑白图像的合成。更具体地说，图像处理装置100通过使用了各种传感器信息的处理，判定合成图像的画质是否劣化，当判定为画质劣化的情况下，使黑白图像的合成比率大致为零(或零)。由此，图像处理装置100能够提高合成图像的画质。
以上，参照附图对本发明的优选实施方式进行了详细说明，但是本发明的技术范围并不限定于上述例子。如果是本发明的技术领域的普通技术人员，则能够在权利要求记载的技术思想的范围内想到各种变更例或修正例，并且可以理解为这些当然也属于本发明的技术范围。
例如，本发明的技术也能够用于相机的切换时。更具体地说，在用户为了变更摄像图像的视角而切换并视角不同的两台相机进行使用的情况下，当切换相机时，存在用户因视点移动而感到不适的可能性。为了避免上述情况发生，根据本发明，可以通过在切换时对两台相机的摄像图像进行合成来实现顺畅的切换。并且，在判定为因对两台相机的摄像图像进行合成而产生了画质劣化的情况下，可以不进行合成(换句话说可以仅输出任意一个视角(广角或窄角)的摄像图像)。由此，能够实现无画质劣化的切换。
此外，本说明书记载的效果仅是说明或例示而并不是限定性的。即，本发明的技术可以在上述效果的基础上或代替上述效果而起到本领域技术人员从本说明书的记载显而易见的其他效果。
另外，以下的构成也属于本发明的技术范围。
(1)一种图像处理装置，具备：
第一摄像部，通过对被摄体进行摄像来取得彩色图像；
第二摄像部，通过从与所述第一摄像部不同的视点位置对所述被摄体进行摄像来取得黑白图像；以及
合成控制部，对于所述彩色图像与所述黑白图像的合成，使所述彩色图像的合成比率高于所述黑白图像的合成比率。
(2)在所述(1)所记载的图像处理装置中，
所述合成控制部在基于使用了规定的传感器信息的处理判定为通过所述合成而生成的合成图像的画质劣化的情况下，使所述彩色图像的合成比率高于所述黑白图像的合成比率。
(3)在所述(2)所记载的图像处理装置中，
所述合成控制部在判定为所述画质劣化的情况下，使所述黑白图像的合成比率大致为零。
(4)在所述(2)或(3)所记载的图像处理装置中，
所述合成控制部基于通过使用了所述传感器信息的处理计算出的距所述被摄体的距离，判定所述画质是否劣化。
(5)在所述(4)所记载的图像处理装置中，
通过使用了距离传感器信息的处理计算距所述被摄体的距离。
(6)在所述(4)所记载的图像处理装置中，
基于使用所述传感器信息进行对焦时的焦点位置信息计算距所述被摄体的距离。
(7)在所述(4)所记载的图像处理装置中，
通过使用了像面相位差传感器信息的处理计算距所述被摄体的距离。
(8)在所述(7)所记载的图像处理装置中，
在所述像面相位差传感器信息中包含与距离相关的信息和与可靠性相关的信息，
通过基于所述可靠性的加权平均处理计算距所述被摄体的距离。
(9)在所述(2)或(3)所记载的图像处理装置中，
所述合成控制部基于通过使用了由图像传感器生成的所述黑白图像或所述彩色图像的处理计算出的特征量，判定所述画质是否劣化。
(10)在所述(9)所记载的图像处理装置中，
基于所述彩色图像与所述黑白图像的视差计算所述特征量。
(11)在所述(10)所记载的图像处理装置中，
所述特征量是表示每个像素的所述视差的偏差的统计量、在每个所述像素的所述视差中超过规定范围的视差量的像素的比例、或者针对每个所述像素计算从该像素朝视差方向分开规定距离的像素与朝相反方向分开所述规定距离的像素之间的视差差绝对值时所述视差差绝对值超过规定量的像素的比例中的至少任意一个。
(12)在所述(9)所记载的图像处理装置中，
基于从所述彩色图像中提取的亮度信号和色差信号计算所述特征量。
(13)在所述(12)所记载的图像处理装置中，
所述特征量是所述色差信号的偏差相对于所述亮度信号的偏差的比率、所述色差信号的边缘分量相对于所述亮度信号的边缘分量的比率中的至少任意一个。
(14)一种图像处理方法，由计算机执行，具有：
通过对被摄体进行摄像来取得彩色图像；
通过从不同的视点位置对所述被摄体进行摄像来取得黑白图像；以及
对于所述彩色图像与所述黑白图像的合成，使所述彩色图像的合成比率高于所述黑白图像的合成比率。
(15)一种图像处理装置，具备：
第一摄像部，通过对被摄体进行摄像来取得彩色图像；
第二摄像部，通过从与所述第一摄像部不同的视点位置对所述被摄体进行摄像来取得黑白图像；以及
合成控制部，通过使用了规定的传感器信息的处理对所述彩色图像与所述黑白图像的合成进行控制。
(16)在所述(15)所记载的图像处理装置中，
所述合成控制部通过使用了所述传感器信息的处理对所述彩色图像与所述黑白图像的合成比率进行控制。
(17)在所述(16)所记载的图像处理装置中，
所述合成控制部在基于使用了所述传感器信息的处理判定为通过所述合成而生成的合成图像的画质劣化的情况下，对所述合成比率进行变更。
(18)在所述(17)所记载的图像处理装置中，
所述合成控制部在判定为所述画质劣化的情况下，使所述彩色图像的合成比率高于所述黑白图像的合成比率。
(19)在所述(18)所记载的图像处理装置中，
所述合成控制部在判定为所述画质劣化的情况下，使所述黑白图像的合成比率大致为零。
(20)在所述(15)至(19)中任一个所记载的图像处理装置中，
所述合成控制部基于通过使用了所述传感器信息的处理计算出的距所述被摄体的距离对所述合成进行控制。
(21)在所述(20)所记载的图像处理装置中，
通过使用了距离传感器信息的处理计算距所述被摄体的距离。
(22)在所述(20)所记载的图像处理装置中，
基于使用所述传感器信息对准焦点时的焦点位置信息计算距所述被摄体的距离。
(23)在所述(20)所记载的图像处理装置中，
通过使用了像面相位差传感器信息的处理计算距所述被摄体的距离。
(24)在所述(23)所记载的图像处理装置中，
在所述像面相位差传感器信息中包含与距离相关的信息和与可靠性相关的信息，
通过基于所述可靠性的加权平均处理计算距所述被摄体的距离。
(25)在所述(15)至(19)中任一个所记载的图像处理装置中，
所述合成控制部基于通过使用了由图像传感器生成的所述黑白图像或所述彩色图像的处理计算出的特征量对所述合成进行控制。
(26)在所述(25)所记载的图像处理装置中，
基于所述彩色图像与所述黑白图像的视差计算所述特征量。
(27)在所述(26)所记载的图像处理装置中，
所述特征量是表示每个像素的所述视差的偏差的统计量、在每个所述像素的所述视差中超过规定范围的视差量的像素的比例、或者针对每个所述像素计算从该像素朝视差方向分开规定距离的像素与朝相反方向分开所述规定距离的像素之间的视差差绝对值时所述视差差绝对值超过规定量的像素的比例中的至少任意一个。
(28)在所述(25)所记载的图像处理装置中，
基于从所述彩色图像中提取的亮度信号和色差信号计算所述特征量。
(29)在所述(28)所记载的图像处理装置中，
所述特征量是所述色差信号的偏差相对于所述亮度信号的偏差的比率、所述色差信号的边缘分量相对于所述亮度信号的边缘分量的比率中的至少任意一个。
(30)一种图像处理方法，由计算机执行，具有：
通过对被摄体进行摄像来取得彩色图像；
通过从不同的视点位置对所述被摄体进行摄像来取得黑白图像；以及
通过使用了规定的传感器信息的处理对所述彩色图像与所述黑白图像的合成进行控制。

Claims (29)

1.一种图像处理装置，其特征在于，具备：
第一摄像部，通过对被摄体进行摄像来取得彩色图像；
第二摄像部，通过从与所述第一摄像部不同的视点位置对所述被摄体进行摄像来取得黑白图像；以及
合成控制部，对于所述彩色图像与所述黑白图像的合成，在判定通过所述合成而生成的合成图像的画质劣化的情况下，使所述彩色图像的合成比率高于所述黑白图像的合成比率。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述合成控制部在基于使用了规定的传感器信息的处理判定为通过所述合成而生成的合成图像的画质劣化的情况下，使所述彩色图像的合成比率高于所述黑白图像的合成比率。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述合成控制部在判定为所述画质劣化的情况下，使所述黑白图像的合成比率大致为零。
4.根据权利要求2所述的图像处理装置，其特征在于，
所述合成控制部基于通过使用了所述传感器信息的处理计算出的距所述被摄体的距离，判定所述画质是否劣化。
5.根据权利要求4所述的图像处理装置，其特征在于，
通过使用了距离传感器信息的处理计算距所述被摄体的距离。
6.根据权利要求4所述的图像处理装置，其特征在于，
基于使用所述传感器信息进行对焦时的焦点位置信息计算距所述被摄体的距离。
7.根据权利要求4所述的图像处理装置，其特征在于，
通过使用了像面相位差传感器信息的处理计算距所述被摄体的距离。
8.根据权利要求7所述的图像处理装置，其特征在于，
在所述像面相位差传感器信息中包含与距离相关的信息和与可靠性相关的信息，
通过基于所述可靠性的加权平均处理计算距所述被摄体的距离。
9.根据权利要求2所述的图像处理装置，其特征在于，
所述合成控制部基于通过使用了由图像传感器生成的所述黑白图像或所述彩色图像的处理计算出的特征量，判定所述画质是否劣化。
10.根据权利要求9所述的图像处理装置，其特征在于，
基于所述彩色图像与所述黑白图像的视差计算所述特征量。
11.根据权利要求10所述的图像处理装置，其特征在于，
所述特征量是表示每个像素的所述视差的偏差的统计量、在每个所述像素的所述视差中超过规定范围的视差量的像素的比例、或者针对每个所述像素计算从该像素朝视差方向分开规定距离的像素与朝相反方向分开所述规定距离的像素之间的视差差绝对值时所述视差差绝对值超过规定量的像素的比例中的至少任意一个。
12.根据权利要求9所述的图像处理装置，其特征在于，
基于从所述彩色图像中提取的亮度信号和色差信号计算所述特征量。
13.根据权利要求12所述的图像处理装置，其特征在于，
所述特征量是所述色差信号的偏差相对于所述亮度信号的偏差的比率、所述色差信号的边缘分量相对于所述亮度信号的边缘分量的比率中的至少任意一个。
14.一种图像处理方法，由计算机执行，其特征在于，具有：
通过对被摄体进行摄像来取得彩色图像；
通过从不同的视点位置对所述被摄体进行摄像来取得黑白图像；以及
对于所述彩色图像与所述黑白图像的合成，在判定通过所述合成而生成的合成图像的画质劣化的情况下，使所述彩色图像的合成比率高于所述黑白图像的合成比率。
15.一种图像处理装置，其特征在于，具备：
第一摄像部，通过对被摄体进行摄像来取得彩色图像；
第二摄像部，通过从与所述第一摄像部不同的视点位置对所述被摄体进行摄像来取得黑白图像；以及
合成控制部，通过使用了规定的传感器信息的处理判定通过所述合成而生成的合成图像的画质是否劣化，并在判定通过所述合成图像的画质劣化的情况下，使所述彩色图像的合成比率高于所述黑白图像的合成比率。
16.根据权利要求15所述的图像处理装置，其特征在于，
所述合成控制部通过使用了所述传感器信息的处理对所述彩色图像与所述黑白图像的合成比率进行控制。
17.根据权利要求16所述的图像处理装置，其特征在于，
所述合成控制部在基于使用了所述传感器信息的处理判定为通过所述合成而生成的合成图像的画质劣化的情况下，对所述合成比率进行变更。
18.根据权利要求15所述的图像处理装置，其特征在于，
所述合成控制部在判定为所述画质劣化的情况下，使所述黑白图像的合成比率大致为零。
19.根据权利要求15所述的图像处理装置，其特征在于，
所述合成控制部基于通过使用了所述传感器信息的处理计算出的距所述被摄体的距离对所述合成进行控制。
20.根据权利要求19所述的图像处理装置，其特征在于，
通过使用了距离传感器信息的处理计算距所述被摄体的距离。
21.根据权利要求19所述的图像处理装置，其特征在于，
基于使用所述传感器信息进行对焦时的焦点位置信息计算距所述被摄体的距离。
22.根据权利要求19所述的图像处理装置，其特征在于，
通过使用了像面相位差传感器信息的处理计算距所述被摄体的距离。
23.根据权利要求22所述的图像处理装置，其特征在于，
在所述像面相位差传感器信息中包含与距离相关的信息和与可靠性相关的信息，
通过基于所述可靠性的加权平均处理计算距所述被摄体的距离。
24.根据权利要求15所述的图像处理装置，其特征在于，
所述合成控制部基于通过使用了由图像传感器生成的所述黑白图像或所述彩色图像的处理计算出的特征量对所述合成进行控制。
25.根据权利要求24所述的图像处理装置，其特征在于，
基于所述彩色图像与所述黑白图像的视差计算所述特征量。
26.根据权利要求25所述的图像处理装置，其特征在于，
所述特征量是表示每个像素的所述视差的偏差的统计量、在每个所述像素的所述视差中超过规定范围的视差量的像素的比例、或者针对每个所述像素计算从该像素朝视差方向分开规定距离的像素与朝相反方向分开所述规定距离的像素之间的视差差绝对值时所述视差差绝对值超过规定量的像素的比例中的至少任意一个。
27.根据权利要求24所述的图像处理装置，其特征在于，
基于从所述彩色图像中提取的亮度信号和色差信号计算所述特征量。
28.根据权利要求27所述的图像处理装置，其特征在于，
所述特征量是所述色差信号的偏差相对于所述亮度信号的偏差的比率、所述色差信号的边缘分量相对于所述亮度信号的边缘分量的比率中的至少任意一个。
29.一种图像处理方法，由计算机执行，其特征在于，具有：
通过对被摄体进行摄像来取得彩色图像；
通过从不同的视点位置对所述被摄体进行摄像来取得黑白图像；以及
通过使用了规定的传感器信息的处理判定通过所述合成而生成的合成图像的画质是否劣化，并在判定通过所述合成图像的画质劣化的情况下，使所述彩色图像的合成比率高于所述黑白图像的合成比率。
CN201811453540.XA 2017-12-08 2018-11-30 图像处理装置和图像处理方法 Active CN110012215B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017236175 2017-12-08
JP2017-236175 2017-12-08

Publications (2)

Publication Number Publication Date
CN110012215A CN110012215A (zh) 2019-07-12
CN110012215B true CN110012215B (zh) 2022-08-16

Family

ID=66750149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811453540.XA Active CN110012215B (zh) 2017-12-08 2018-11-30 图像处理装置和图像处理方法

Country Status (2)

Country Link
CN (1) CN110012215B (zh)
WO (1) WO2019111529A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301974B2 (en) * 2019-05-27 2022-04-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image capturing apparatus, and storage medium
US11765309B2 (en) * 2019-12-13 2023-09-19 Sony Group Corporation Video capturing subject using IR light
CN113992868A (zh) * 2021-11-30 2022-01-28 维沃移动通信有限公司 图像传感器、摄像模组和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662694A (zh) * 2008-08-29 2010-03-03 深圳华为通信技术有限公司 视频的呈现方法、发送、接收方法及装置和通信系统
CN106161925A (zh) * 2015-05-14 2016-11-23 聚晶半导体股份有限公司 图像获取装置及其复合式的图像处理方法
CN106506950A (zh) * 2016-10-27 2017-03-15 成都西纬科技有限公司 一种图像处理方法及装置
WO2017154293A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157499A (en) * 1990-06-29 1992-10-20 Kabushiki Kaisha N A C High-speed video camera using solid-state image sensor
WO2001091098A1 (fr) * 2000-05-24 2001-11-29 Hitachi, Ltd. Terminal portable et afficheur commutable entre couleur et noir-et-blanc
JP5816015B2 (ja) * 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
JP2013026844A (ja) * 2011-07-21 2013-02-04 Nikon Corp 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
JP2013183353A (ja) * 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
JP5978737B2 (ja) * 2012-04-25 2016-08-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP6608148B2 (ja) * 2015-02-24 2019-11-20 キヤノン株式会社 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム
CN106447641A (zh) * 2016-08-29 2017-02-22 努比亚技术有限公司 图像生成装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662694A (zh) * 2008-08-29 2010-03-03 深圳华为通信技术有限公司 视频的呈现方法、发送、接收方法及装置和通信系统
CN106161925A (zh) * 2015-05-14 2016-11-23 聚晶半导体股份有限公司 图像获取装置及其复合式的图像处理方法
WO2017154293A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN106506950A (zh) * 2016-10-27 2017-03-15 成都西纬科技有限公司 一种图像处理方法及装置

Also Published As

Publication number Publication date
CN110012215A (zh) 2019-07-12
WO2019111529A1 (ja) 2019-06-13

Similar Documents

Publication Publication Date Title
US10957029B2 (en) Image processing device and image processing method
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
US10704957B2 (en) Imaging device and imaging method
CN110463194B (zh) 图像处理装置和图像处理方法以及图像捕获装置
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
JP6977722B2 (ja) 撮像装置、および画像処理システム
JP6816769B2 (ja) 画像処理装置と画像処理方法
JP6816768B2 (ja) 画像処理装置と画像処理方法
CN110012215B (zh) 图像处理装置和图像处理方法
US20190355097A1 (en) Image processing apparatus, image processing method, and program
US20230013424A1 (en) Information processing apparatus, information processing method, program, imaging apparatus, and imaging system
US11438517B2 (en) Recognition device, a recognition method, and a program that easily and accurately recognize a subject included in a captured image
WO2019111651A1 (ja) 撮像システム、画像処理装置、及び、画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant