CN111630837A - 图像处理装置、输出信息控制方法以及程序 - Google Patents

图像处理装置、输出信息控制方法以及程序 Download PDF

Info

Publication number
CN111630837A
CN111630837A CN201880086889.6A CN201880086889A CN111630837A CN 111630837 A CN111630837 A CN 111630837A CN 201880086889 A CN201880086889 A CN 201880086889A CN 111630837 A CN111630837 A CN 111630837A
Authority
CN
China
Prior art keywords
image
unit
quality
composite
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880086889.6A
Other languages
English (en)
Other versions
CN111630837B (zh
Inventor
渡部刚史
后藤浩尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN111630837A publication Critical patent/CN111630837A/zh
Application granted granted Critical
Publication of CN111630837B publication Critical patent/CN111630837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

一种输出引导信息的设备和方法，该引导信息用于使得能够捕捉高图像质量的合成图像，并且并排显示合成图像和彩色图像等，并且使得用户能够选择要记录的图像。本发明具有：合成图像生成部，其通过合成从不同视点捕捉的彩色图像和黑白图像来生成合成图像；以及显示信息控制部，其执行在显示部上显示关于合成图像的辅助信息的控制。当被摄体太近或由于障碍物而不能生成高图像质量的合成图像时，显示信息控制部输出接近警告或障碍物警告，作为警告信息，并显示合成图像适应水平。本发明还并排显示合成图像和彩色图像等，并使得用户能够选择要记录的图像。

Description

图像处理装置、输出信息控制方法以及程序
技术领域
本公开涉及图像处理装置、输出信息控制方法以及程序。更具体地，本公开涉及选择性地输出由多个成像单元捕捉的两个图像中的任一个或这两个图像的合成图像的图像处理装置、输出信息控制方法以及程序。
背景技术
众所周知，具有不同图像质量的多个图像合成，以生成高质量图像。
例如，专利文献1(日本专利申请公开号2015-197745)公开了一种配置，在该配置中，通过使用彩色图像的颜色信息和黑白图像的亮度信息来合成彩色图像和黑白图像，以生成高质量图像。
引文列表
专利文献
专利文献1：日本专利申请公开号2015-197745
发明内容
本发明要解决的问题
上述专利文献1公开了一种配置，在该配置中，彩色图像和黑白图像合成，以生成高质量图像。
然而，不能保证合成图像具有比单目彩色图像更高的质量。根据拍摄条件，合成图像可能具有更高的质量，或者彩色图像可能具有更高的质量。
此外，也存在用户希望在存储器中记录任何图像而不管其质量如何的情况。
即使在用户将相机(图像处理装置)的成像模式设置为合成图像输出模式的情况下，也可以选择并记录具有以下配置的彩色图像，在该配置中，相机分析彩色图像和黑白图像的特征量，并根据分析结果，从合成图像、彩色图像和黑白图像中选择并输出具有最高质量的图像。
例如，在彩色图像和黑白图像之间的视差大的情况下，该设备判定难以生成高质量的合成图像。在这种情况下，该设备停止输出和记录合成图像，并输出和记录彩色图像。
因此，如果设备自动判定要生成和输出合成图像、彩色图像和黑白图像中的哪一个，则在某些情况下，可能不会记录(或显示)用户期望的图像。
本公开旨在解决这样的问题，并且本公开的目的是提供图像处理装置、输出信息控制方法以及程序，该图像处理装置被配置为呈现用于捕捉高质量合成图像的引导信息，并且还能够记录(或显示)用户期望的图像。
问题的解决方案
本公开的第一方面是一种图像处理装置，包括：
合成图像生成单元，执行对从不同视点捕捉的彩色图像和黑白图像的合成处理，以生成合成图像；以及
显示信息控制单元，执行控制使得在显示单元上显示关于合成图像的辅助信息。
此外，本公开的第二方面是一种在图像处理装置中执行的输出信息控制方法，图像处理装置包括合成图像生成单元，合成图像生成单元执行对从不同视点捕捉的彩色图像和黑白图像的合成处理，以生成合成图像，方法包括：
促使显示信息控制单元执行控制，使得在显示单元上显示关于合成图像的辅助信息。
此外，本公开的第三方面是一种控制图像处理装置中的信息输出处理的程序，图像处理装置包括合成图像生成单元，合成图像生成单元执行对从不同视点捕捉的彩色图像和黑白图像的合成处理，以生成合成图像，程序使：
显示信息控制单元执行控制，使得在显示单元上显示关于合成图像的辅助信息。
注意，根据本公开的程序是可以通过例如存储介质或通信介质提供的程序，存储介质或通信介质以计算机可读形式提供给可以执行各种程序代码的信息处理设备或计算机系统。由于以计算机可读形式提供这种程序，所以在信息处理设备或计算机系统上实现对应于该程序的处理。
基于稍后将描述的本公开的实施方式和附图，根据更详细的描述，本公开的其他目的、特征和优点将变得显而易见。注意，在本说明书中，术语“系统”是指多个装置的逻辑集合配置，不限于每个配置的装置在同一外壳中的配置。
本发明的效果
根据本公开的实施方式的配置，实现了一种装置和方法，其中，输出用于使得能够捕捉高质量合成图像的引导信息，此外，并列显示合成图像、彩色图像等，以使得用户能够选择要记录的图像。
具体地，例如，包括合成图像生成单元，其执行对从不同视点捕捉的彩色图像和黑白图像进行合成的处理，以生成合成图像；以及显示信息控制单元，其执行控制，使得在显示单元上显示关于合成图像的辅助信息。在被摄体太近的情况下或者在由于障碍物而不能生成高质量合成图像的情况下，显示信息控制单元输出接近警告或障碍物警告，作为警告信息，并且还显示合成图像适应水平。此外，并列显示合成图像、彩色图像等，使得用户可以选择要记录的图像。
根据本配置，实现了一种装置和方法，其中，输出用于使得能够捕捉高质量合成图像的引导信息，此外，并列显示合成图像、彩色图像等，以使得用户能够选择要记录的图像。
注意，在本说明书中描述的效果仅仅是说明性的，而不是限制性的，并且还可以实现额外的效果。
附图说明
图1是示出图像处理装置的外部配置的示例的示图。
图2是示出图像处理装置的配置示例的示图。
图3是示出成像元件的配置示例的示图。
图4是示出黑白图像的图像质量的示图。
图5是示出彩色图像的图像质量的示图。
图6是示出遮挡的示图。
图7是示出图像处理单元的配置示例的示图。
图8是示出参考图像判定处理的示例的示图。
图9是示出参考图像判定处理的示例的示图。
图10是示出特征量计算单元和图像质量判定单元的详细配置和处理示例的示图。
图11是示出视差差值绝对值直方图的示图。
图12是示出基于图像质量判定来判定输出图像的示例及其问题的示图。
图13是示出基于图像质量判定来判定输出图像的示例及其问题的示图。
图14是示出根据本公开的图像处理装置要执行的处理的示图。
图15是示出根据本公开的图像处理装置要执行的处理的示图。
图16是示出根据本公开的图像处理装置要执行的处理的示图。
图17是示出根据本公开的图像处理装置的配置示例的示图。
图18是示出图像处理单元的配置示例的示图。
图19是示出根据本公开的图像处理装置的状态转换示例的示图。
图20示出了描述根据本公开的图像处理装置要执行的处理序列的流程图。
图21示出了描述根据本公开的图像处理装置要执行的处理序列的流程图。
图22示出了描述根据本公开的图像处理装置要执行的处理序列的流程图。
具体实施方式
下面将参考附图描述根据本公开的图像处理装置、输出信息控制方法和程序的细节。注意，将根据以下项提供描述。
1.图像处理装置的配置示例
2.图像处理单元要执行的合成图像生成处理
3.输出图像自动选择处理中的问题
4.关于输出用于获得高质量合成图像的引导信息并且还能够实现输出图像选择的根据本公开的图像处理装置的配置和处理
5.其他示例
6.本公开的配置概述
[1.图像处理装置的配置示例]
图1是示出根据本公开的图像处理装置的配置示例的示图。图1示出了具有相机功能的信息处理终端(智能手机)，其是根据本公开的图像处理装置的示例。
注意，例如，根据本公开的图像处理装置不限于这种信息处理终端(智能手机)，而是还包括成像装置，例如，相机。
图1的(a)示出了图像处理装置10的正面。显示单元11和操作单元12设置在图像处理装置10的正面。图1的(b)示出了图像处理装置10的背面。多个成像单元(即，彩色图像捕捉单元21和黑白图像捕捉单元22)设置在图像处理装置10的背面。
图2示出了分别包括彩色图像捕捉单元111和黑白图像捕捉单元112的通用双镜头型图像处理装置的配置示例。
图像处理装置100包括彩色图像捕捉单元111、黑白图像捕捉单元112和图像处理单元120。彩色图像捕捉单元111和黑白图像捕捉单元112包括在成像单元110中。图像处理装置100还包括显示单元(触摸面板)131和存储单元132，作为由图像处理单元120处理的图像的输出单元130。
此外，图像处理装置100包括传感器单元141、操作单元142、控制单元150和通信单元160。
如图1的(b)所示，彩色图像捕捉单元111和黑白图像捕捉单元112设置在图像处理装置100的同一表面侧。彩色图像捕捉单元111和黑白图像捕捉单元112均包括成像元件，例如，互补金属氧化物半导体(CMOS)图像传感器。彩色图像捕捉单元111和黑白图像捕捉单元112均执行由透镜(未示出)捕捉的光的光电转换。因此，彩色图像捕捉单元111和黑白图像捕捉单元112均生成捕捉图像的图像数据，并将图像数据输出到图像处理单元120。此外，彩色图像捕捉单元111和黑白图像捕捉单元112之间的特性存在差异。
图3示出了成像单元的像素阵列的示例。图3的(a)示出了黑白图像捕捉单元112的像素阵列。黑白图像捕捉单元112中包括的所有像素都是白色(W)像素，每个白色(W)像素基于可见光的整个波长范围中的入射光量输出电信号。因此，黑白图像捕捉单元112生成黑白图像的图像数据。
图3的(b)示出了彩色图像捕捉单元111的像素阵列。彩色图像捕捉单元111包括滤色器，该滤色器包括例如排列成拜耳阵列的红色(R)像素、蓝色(B)像素和绿色(G)像素。在拜耳阵列中，两个绿色(G)像素对角地位于2×2像素的每个像素单元中，并且每个像素单元中的其余像素对应于红色(R)像素和蓝色(B)像素。即，彩色图像捕捉单元111包括彩色像素，每个彩色像素基于红色、蓝色和绿色分量中的相应一个的入射光量输出电信号。因此，彩色图像捕捉单元111生成彩色图像的图像数据，其中，每个像素代表三原色(RGB)分量中的一个。
图像处理单元120通过使用由彩色图像捕捉单元111和黑白图像捕捉单元112获得的捕捉图像来生成合成图像。即，图像处理单元120通过使用由彩色图像捕捉单元111和黑白图像捕捉单元112获得的捕捉图像来执行图像处理，并且生成由彩色图像捕捉单元111和黑白图像捕捉单元112获得的相应捕捉图像的高质量合成图像。然后，图像处理单元120将生成的合成图像输出到输出单元130中的显示单元(触摸面板)131和存储单元132。注意，稍后将详细描述图像处理单元120的配置和操作。
传感器单元141包括陀螺仪传感器等，并且检测图像处理装置100中产生的颤动。传感器单元141向控制单元150输出关于检测到的颤动的信息。
通信单元160通过诸如局域网(LAN)或互联网等网络与装置通信。
显示单元(触摸面板)131基于从图像处理单元120提供的图像数据显示捕捉的图像，并且还基于来自控制单元150的信息信号显示菜单画面、各种应用画面等。注意，显示单元(触摸面板)131的显示表面被构造为触摸面板，使得可以使用GUI功能。
操作单元142包括操作开关等，生成对应于用户操作的操作信号，并将操作信号输出到控制单元150。
存储单元132存储由图像处理装置100生成的信息(例如，从图像处理单元120提供的图像数据)以及用于在图像处理装置100中执行通信和应用的各种类型的信息。
控制单元150包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)(未示出)等。控制单元150执行存储在ROM或RAM中的程序，以控制每个单元的操作，使得根据在显示单元(触摸面板)131中包括的触摸面板上或在操作单元142上执行的用户操作，在图像处理装置100中执行操作。
注意，图像处理装置100不限于具有图2所示的配置的装置，并且还可以包括例如编码图像数据并将编码图像数据存储在存储单元132中的编码处理单元、将图像数据调整为显示单元的分辨率的分辨率转换单元等。
[2.图像处理单元要执行的合成图像生成处理]
接下来，下面描述图像处理单元120要执行的合成图像生成处理。
图2所示的图像处理单元120通过使用由黑白图像捕捉单元112获得的黑白图像和由彩色图像捕捉单元111获得的彩色图像来执行图像合成处理。
图4是用于示出通过其中黑白图像用作参考图像的图像合成处理获得的图像质量的示图。例如，在执行图像合成，以生成合成图像的情况下，在通过使用黑白图像作为参考图像来执行位置调整，使得彩色图像的位置与黑白图像的位置一致之后，可以根据黑白图像捕捉单元112中使用的透镜和传感器的特性精确地再现亮度。
同时，图5是用于示出通过其中彩色图像用作参考图像的图像合成处理获得的图像质量的示图。例如，在执行图像合成，以生成合成图像的情况下，在通过使用彩色图像作为参考图像来执行位置调整，使得黑白图像的位置与彩色图像的位置一致之后，在合成图像中不会引起颜色偏移。这是因为彩色图像用作参考图像。因此，可以根据黑白图像捕捉单元112中使用的透镜和传感器的特性精确地再现亮度。
然而，黑白图像捕捉单元112和彩色图像捕捉单元111基于不同的视点。因此，颜色偏移的风险在近视图中比在远视图中更高。此外，与远视图相比，近视图中遮挡区域的数量增加。
遮挡区域是指由于例如障碍物靠近成像单元等仅在一个图像中捕捉而在另一图像中未捕捉的区域。
图6示出了在使用由黑白图像捕捉单元112获得的黑白图像作为参考图像的情况下的遮挡区域。在由视差引起遮挡的情况下，在由彩色图像捕捉单元111获得的彩色图像中没有对应于遮挡区域的图像数据。因此，在由图像合成处理生成的合成图像中的遮挡区域中缺少颜色信息。此外，与远视图中的像素相比，一个捕捉图像中的与目标像素相对应的近视图中的像素也可能超出视差检测的搜索范围，因此，不能计算视差矢量。因此，在某些情况下，通过图像合成处理获得的合成图像可能具有比通过彩色图像捕捉单元111获得的彩色图像更低的图像质量。
此外，黑白图像捕捉单元112比使用滤色器的彩色图像捕捉单元111具有更高的灵敏度。因此，当被摄体的亮度增加时，在黑白图像捕捉单元112中比在彩色图像捕捉单元111中更可能发生像素饱和。因此，当黑白图像中饱和像素的数量增加时，获得图像质量劣化的彩色图像，作为合成图像，其中，被摄体的高亮度部分比由彩色图像捕捉单元111获得的彩色图像更饱和。
为此，图像处理单元120基于捕捉的图像，执行关于图像质量是否由于视差或像素饱和而劣化的图像合成判定。图像处理单元120根据图像合成判定的结果生成以下两种类型的合成图像中的任一种：
使用由彩色图像捕捉单元111获得的彩色图像作为参考图像的合成图像，以及
使用由黑白图像捕捉单元112获得的黑白图像作为参考图像的合成图像。
图7是示出图像处理单元120的详细配置示例的示图。
图像处理单元120包括预处理单元121和122、视差检测单元123、特征量计算单元124、图像质量判定单元125、合成图像生成单元126和输出图像生成单元(选择/合成)127。
预处理单元121和122对由彩色图像捕捉单元111和黑白图像捕捉单元112获得的捕捉图像的图像数据执行图像校正处理，例如，镜头失真校正、缺陷像素校正和白平衡调整。校正后的图像数据输出到视差检测单元123、特征量计算单元124、图像质量判定单元125、合成图像生成单元126和输出图像生成单元(选择/合成)127。
视差检测单元123基于从预处理单元121和122提供的黑白图像数据和彩色图像数据执行视差检测。
如图1的(b)所示，黑白图像捕捉单元112和彩色图像捕捉单元111从不同的视点位置捕捉图像。因此，由黑白图像捕捉单元112获得的捕捉图像和彩色图像捕捉单元111获得的捕捉图像具有视差。
视差检测单元123通过执行诸如块匹配等对应点检测处理来检测像素单元中的视差。关于检测的信息输出到特征量计算单元124。
特征量计算单元124输入由视差检测单元123检测的两个图像数据的像素单元或图像区域单元中的视差信息，并且计算图像特征量，具体地，视差的部分分布、遮挡区域的大小(占用率)等。
稍后将描述特征量计算单元124的具体配置示例和处理。
关于由特征量计算单元124计算的特征量的特征量信息输出到图像质量判定单元125。
图像质量判定单元125基于关于由特征量计算单元124计算的特征量的特征量信息来判定合成图像的图像质量等。具体地，图像质量判定单元125判定例如以下图像的图像质量：
(a)基于彩色图像的合成图像，
(b)基于黑白图像的合成图像，
(c)由彩色图像捕捉单元111捕捉的单目彩色图像，以及
(d)由黑白图像捕捉单元112捕捉的单目黑白图像。
判定的结果输出到合成图像生成单元126和输出图像生成单元(选择/合成)127。
稍后还将描述图像质量判定单元125的具体配置和处理。
基于图像质量判定单元125的判定结果，合成图像生成单元126生成以下合成图像中的任一个：
(a)基于彩色图像的合成图像，以及
(b)基于黑白图像的合成图像。
参考图像是指生成合成图像时用作基础的图像。
在彩色图像被设置为参考图像的情况下，合成图像生成单元126通过使用从预处理单元121提供的彩色图像数据作为基础，基于从黑白图像获得的亮度信息来执行像素值校正，并生成合成图像。
同时，在黑白图像被设置为参考图像的情况下，合成图像生成单元126通过使用从预处理单元122提供的黑白图像数据作为基础，基于从彩色图像获得的颜色信息来执行像素值校正，并生成合成图像。
图像质量判定单元125判定以下两种类型的合成图像中的哪一种可以是高质量合成图像：
通过使用黑白图像作为参考图像而生成的合成图像，以及
通过使用彩色图像作为参考图像而生成的合成图像。
在下文中，将描述判定处理的具体示例。
图像质量判定单元125使用从特征量计算单元124输入的特征量信息来判定彩色图像和黑白图像中的哪一个将被设置为参考图像。
具体地，基于例如两条图像数据的视差信息和遮挡区域检测信息，图像质量判定单元125判定彩色图像和黑白图像中的哪一个将被设置为参考图像。
将参考图8描述参考图像判定处理的示例。
在图8所示的曲线图中，遮挡平方度量在水平轴上，视差在垂直轴上。
水平轴上的遮挡平方度量对应于由彩色图像捕捉单元111捕捉的彩色图像和由黑白图像捕捉单元112捕捉的黑白图像这两个图像的图像区域中包括的遮挡区域的占用率(％)。
垂直轴上的视差是由彩色图像捕捉单元111捕捉的彩色图像和由黑白图像捕捉单元112捕捉的黑白图像这两个图像的视差(例如，像素数)。
参考图像判定单元124首先以由于分割图像而获得的分割区域为单位计算上述遮挡区域占用率和视差。
将参考图9描述该处理。
图9示出了由彩色图像捕捉单元111捕捉的彩色图像或者由黑白图像捕捉单元112捕捉的黑白图像。
参考图像判定单元124选择两个图像中的任一个，并在选择的图像中设置多个分割区域。图9中由虚线划分的区域对应于划分的区域。
参考图像判定单元124计算每个分割区域的遮挡区域占用率和视差(平均值)。
例如，在图9所示的示例中设置了40个(8×5＝40)分割区域，从而计算40个遮挡区域占用率和40个视差(平均值)。
在图8所示的示图上绘制40个遮挡区域占用率和40个视差(平均值)。
即，当如下定义x和y时，在图8所示的示图上绘制坐标(x，y)：
遮挡区域占用率＝x，并且
视差(平均值)＝y。
通过该处理，例如，如果50％或更多的坐标包括在基于彩色图像的区域中，则彩色图像用作参考图像。
此外，如果50％或更多的坐标包括在基于黑白图像的区域中，则黑白图像用作参考图像。
参考图像判定单元124通过这种处理来判定参考图像。
注意，上述处理示例是示例，并且其他处理也是可能的。
例如，还可以执行判定参考图像的处理，同时在图像的中心区域中的分割区域上设置更大的权重，使得在参考图像的判定中更大程度地反映中心区域的遮挡区域占用率和视差(平均值)。
或者，可以执行这样的处理，其中，判定参考图像，同时在其中已经检测到面部区域的分割区域上设置更高的权重。
从图8所示的曲线图可以理解，在遮挡平方度量占用率低于阈值Thx并且视差低于视差阈值Thy的情况下，黑白图像用作参考图像。
同时，在遮挡平方度量占用率等于或高于阈值Thx或者视差等于或高于视差阈值Thy的情况下，彩色图像用作参考图像。
图像质量判定单元125通过这种处理来判定参考图像。
在遮挡平方度量占用率小并且视差小的情况下，通过在使用黑白图像作为参考图像的同时，将黑白图像的精确亮度信息应用于整个图像，可以生成高质量图像。
即，在遮挡平方度量占用率小并且视差小的情况下，由于遮挡而不能从彩色图像获得颜色信息的区域小。此外，颜色偏移不太可能由视差引起。因此，当黑白图像用作参考图像时，通过将黑白图像的精确亮度信息应用于整个图像，来生成高质量的基于黑白图像的合成图像。
同时，在遮挡平方度量占用率大或者视差大的情况下，存在由于遮挡而不能从彩色图像获得颜色信息的区域大或者在大区域中的视差导致颜色偏移的问题这一可能性。因此，当彩色图像用作参考图像时，生成基于彩色图像的合成图像，从而减少这些问题。
注意，在生成基于彩色图像的合成图像时，也执行了应用黑白图像的亮度信息的合成图像生成处理。
注意，参考图8和图9描述的参考图像判定处理是示例，并且图像质量判定单元125使用其他图像特征量来判定以下图像的图像质量：
(a)基于彩色图像的合成图像，
(b)基于黑白图像的合成图像，
(c)由彩色图像捕捉单元111捕捉的单目彩色图像，以及
(d)由黑白图像捕捉单元112捕捉的单目黑白图像。
关于判定结果的信息也输出到输出图像生成单元(选择/合成)127。基于判定结果，输出图像生成单元(选择/合成)127选择或合成由合成图像生成单元126生成的以下图像中的任何一个，并将选择或合成的图像输出到显示单元(触摸面板)131和存储单元132：
(a)基于彩色图像的合成图像，
(b)基于黑白图像的合成图像，
(c)由彩色图像捕捉单元111捕捉的单目彩色图像，或者
(d)由黑白图像捕捉单元112捕捉的单目黑白图像。
注意，在捕捉并输出运动图像的情况下，输出图像生成单元(选择/合成)127执行逐渐切换上述图像(A)至(D)的处理。
例如，在从彩色图像切换到基于彩色图像的合成图像并输出基于彩色图像的合成图像的情况下，输出图像生成单元(选择/合成)127依次输出图像帧，同时逐渐改变每个图像的合成比率，从100％彩色图像的图像到基于100％彩色图像的合成图像的图像。该处理使得图像观察者难以察觉图像的切换。
接下来，下面描述特征量计算单元124和图像质量判定单元125的配置的具体示例。图10示出了特征量计算单元124和图像质量判定单元125的配置的示例。
特征量计算单元124计算图像特征量，用于判定由于视差和像素饱和导致的图像质量劣化。特征量计算单元124包括视差直方图生成单元201、视差分布特征量计算单元202、超搜索范围特征量计算单元203、视差间隙直方图生成单元204和视差间隙特征量计算单元205，作为计算用于判定由于视差导致的图像质量劣化的图像特征量的功能块。此外，特征量计算单元124包括饱和判定直方图生成单元206和饱和特征量计算单元207，作为计算用于判定由于像素饱和导致的图像质量劣化的图像特征量的功能块。
视差直方图生成单元201通过使用针对计算目标区域中的每个像素计算的视差矢量来生成视差直方图。视差分布特征量计算单元202根据视差直方图生成单元201生成的视差直方图来计算视差分布特征量FVfsd，该视差分布特征量FVfsd是指示视差分布特征的统计量。
超搜索范围特征量计算单元203根据视差直方图生成单元201生成的视差直方图来计算超搜索范围特征量FVosr，指示超过预设搜索范围的视差的出现频率(over_search_range_counter)与总频率(计数器)的比率。超搜索范围特征量计算单元203通过使用视差直方图来执行下面等式(1)的算术运算，计算超搜索范围特征量FVosr，。
FVosr＝over_search_range_counter/counter×100···(1)
因此，如果超搜索范围特征量计算单元203计算超搜索范围特征量FVosr，则可以基于超搜索范围特征量FVosr来判定是否已经对导致大视差的被摄体成像。即，可以判定发生遮挡的区域的生成状态。
视差间隙直方图生成单元204生成视差间隙直方图。
图11的(A)是示出用于生成视差间隙直方图的视差差值绝对值的示图。视差间隙直方图生成单元204计算视差PV1和视差PV2，以计算视差差值绝对值PVapd，该视差差值绝对值是视差PV1和PV2之间的视差差值的绝对值。如图11的(A)所示，视差PV1是在与计算目标区域中的目标像素位置的水平地距离“-(PARALLAX_DIFF_DISTANCE/2)”的像素对应的位置中的视差。视差PV2是在与目标像素位置的水平地距离“(PARALLAX_DIFF_DISTANCE/2)”的像素对应的位置中的视差。
计算由下面的等式(2)表示的视差差值绝对值PVapd。注意，预先设置视差间隙距离(PARALLAX_DIFF_DISTANCE)。
PVapd＝ABS(PV1－PV2)···(2)
例如，在被摄体基本上在同一平面上的情况下，视差PV1和视差PV2之间的差异很小。因此，视差差值绝对值PVapd的值很小。此外，在例如到被摄体的距离不同并且目标像素在不同距离的被摄体之间的边界处的情况下，视差PV1和视差PV2之间的差异很大。因此，视差差值绝对值PVapd的值很大。视差间隙直方图生成单元204生成视差间隙直方图，该视差间隙直方图是通过使用计算目标区域的每个像素作为目标像素来计算的视差差值绝对值PVapd的直方图。注意，图11的(B)示出了视差间隙直方图的示例。
视差间隙特征量计算单元205根据视差间隙直方图生成单元204生成的视差间隙直方图来计算视差间隙特征量FVpd。视差间隙特征量计算单元375根据视差间隙直方图计算视差间隙特征量FVpd，其指示等于或大于预设最大视差间隙距离的视差间隙的出现频率(large_parallax_diff_counter)与总频率(计数器)的比率。视差间隙特征量计算单元375通过使用视差间隙直方图来执行等式(3)的算术运算，计算视差间隙特征量FVpd。
FVpd＝large_parallax_diff_counter/counter×100···(3)
因此，由视差间隙特征量计算单元205计算的视差间隙特征量FVpd指示其中产生最大视差间隙距离的像素的比例。在此处，对于同一平面上的被摄体，视差间隙小，并且在不同距离的被摄体的图像之间的边界部分处，视差间隙大。因此，可以判定在显著不同距离的被摄体的图像之间的边界的生成状态。
饱和判定直方图生成单元206基于从预处理单元122提供的黑白图像数据生成表示每个像素值的频率(像素数)的像素值直方图。此外，饱和判定直方图生成单元206通过预处理单元121提供的彩色图像数据的颜色空间转换来生成亮度数据，并且基于所生成的亮度数据来生成表示每个像素值的频率(像素数)的像素值直方图。
饱和特征量计算单元207基于饱和判定直方图生成单元206生成的亮度值直方图来计算饱和特征量FVsat。
图像质量判定单元125基于由特征量计算单元124计算的图像特征量和从控制单元获得的拍摄条件信息50等，执行判定以下四种图像中的哪一种具有最高图像质量的处理：
(a)基于彩色图像的合成图像，
(b)基于黑白图像的合成图像，
(c)由彩色图像捕捉单元111捕捉的单目彩色图像，以及
(d)由黑白图像捕捉单元112捕捉的单目黑白图像。
关于判定的信息输出到合成图像生成单元126和输出图像生成单元(选择/合成)127。
此外，图像质量判定单元125基于由特征量计算单元124计算的图像特征量在时间方向上的变化量，来确定上述图像(a)至(d)的切换速度。
例如，在从变化量判定单元211d至214d提供的任何单独判定结果中变化量超过变化量阈值的情况下，切换速度被设置为高于预先设置的预定速度的速度。在其他情况下，应使用指定的切换速度。
关于切换速度的信息输出到输出图像生成单元(选择/合成)127。
图像质量判定单元125包括单独的判定单元211至215、变化量判定单元211d至215d以及集成判定处理单元220，作为与关于图像质量是否劣化的判定以及图像特征量在时间方向上的变化量相关的功能块。
单独的判定单元211基于视差分布特征量计算单元202计算的视差分布特征量来判定合成图像等的图像质量。单独的判定单元211将视差分布特征量FVfsd与针对视差分布特征量预先设置的判定阈值Thfsd进行比较。在视差分布特征量FVfsd大于判定阈值Thfsd的情况下，单独的判定单元211判定合成图像的图像质量劣化。单独的判定单元211向集成判定处理单元220输出单独的判定结果。
变化量判定单元211d计算由视差分布特征量计算单元202计算的视差分布特征量的时间变化量(FVfsd(i)－FVfsd(i-1))。注意，“i”表示图像质量判定单元125对其判定图像质量是否劣化的帧。变化量判定单元211d将计算出的变化量的绝对值与预设的变化量阈值Thdfsd进行比较，并将比较结果输出到集成判定处理单元220。
单独的判定单元212基于由超搜索范围特征量计算单元203计算的超搜索范围特征量FVosr来判定合成图像等的图像质量。单独的判定单元212将超搜索范围特征量FVosr与针对超搜索范围特征量预先设置的判定阈值Thosr进行比较。在超搜索范围特征量FVosr大于判定阈值Thosr的情况下，单独的判定单元212判定合成图像的图像质量劣化。单独的判定单元212向集成判定处理单元220输出单独的判定结果。
变化量判定单元212d计算由超搜索范围特征量计算单元203计算的超搜索范围特征量的时间变化量(FVosr(i)－FVosr(i-1))。此外，变化量判定单元212d将计算出的变化量的绝对值与预设的变化量阈值Thdosr进行比较，并将比较结果输出到集成判定处理单元220。
单独的判定单元213基于由视差间隙特征量计算单元205计算的视差间隙特征量FVpd来判定合成图像等的图像质量。单独的判定单元213将视差间隙特征量FVpd与针对视差间隙特征量预先设置的判定阈值Thpd进行比较。在视差间隙特征量FVpd大于判定阈值Thpd的情况下，单独的判定单元213判定合成图像的图像质量劣化。单独的判定单元213向集成判定处理单元220输出单独的判定结果。
变化量判定单元213d计算由视差间隙特征量计算单元205计算的视差间隙特征量的时间变化量(FVpd(i)－FVpd(i-1))。变化量判定单元213d将计算出的变化量的绝对值与预设的变化量阈值Thdlpd进行比较，并将比较结果输出到集成判定处理单元220。
单独的判定单元214基于由饱和特征量计算单元207计算的饱和特征量FVsat来判定合成图像等的图像质量。单独的判定单元214将饱和特征量FVsat与针对饱和特征量预先设置的判定阈值Thsat进行比较。在饱和特征量FVsat大于判定阈值Thsat的情况下，单独的判定单元214判定合成图像的图像质量劣化。单独的判定单元214向集成判定处理单元220输出单独的判定结果。
变化量判定单元214d计算由饱和特征量计算单元207计算的饱和特征量的时间变化量(FVsat(i)－FVsat(i-1))。变化量判定单元214d将计算出的变化量的绝对值与预设的变化量阈值Thdsat进行比较，并将比较结果输出到集成判定处理单元220。
单独的判定单元215基于拍摄条件信息50来判定例如合成图像的图像质量是否劣化。拍摄条件信息50是拍摄设置信息，例如，亮度信息、曝光信息、被摄体距离信息、聚焦和变焦信息以及ISO感光信息。单独的判定单元215将拍摄条件信息50与针对拍摄条件信息50预先设置的判定阈值进行比较，并判定合成图像的图像质量是否劣化。单独的判定单元215向集成判定处理单元220输出单独的判定结果。
集成判定处理单元220通过使用从单独的判定单元211至215提供的单独的判定结果来执行图像判定。例如，集成判定处理单元220使用从单独的判定单元211至215提供的单独的判定结果来执行判定以下四种类型的图像中的哪一种具有最高图像质量的处理：
(a)基于彩色图像的合成图像，
(b)基于黑白图像的合成图像，
(c)由彩色图像捕捉单元111捕捉的单目彩色图像，以及
(d)由黑白图像捕捉单元112捕捉的单目黑白图像。
判定的结果输出到合成图像生成单元126和输出图像生成单元(选择/合成)127。
注意，具体地，在例如被摄体处于短距离并且彩色图像和黑白图像之间的视差大的情况下，在判定存在许多遮挡区域等的情况下，判定合成图像的图像质量劣化。在这种情况下，例如，执行判定由彩色图像捕捉单元111捕捉的(c)单目彩色图像具有最高图像质量的处理。
此外，集成判定处理单元220基于从变化量判定单元211d至215d提供的变化量和变化量阈值之间的比较结果来判定切换上述图像(a)至(d)的速度。关于速度的信息输出到输出图像生成单元(选择/合成)127。
基于图像质量判定单元125的判定结果，输出图像生成单元(选择/合成)127选择被假设为具有最高质量的图像的以下图像中的一个，并将所选择的图像输出到显示单元(触摸面板)131和存储单元132：
(a)基于彩色图像的合成图像，
(b)基于黑白图像的合成图像，
(c)由彩色图像捕捉单元111捕捉的单目彩色图像，以及
(d)由黑白图像捕捉单元112捕捉的单目黑白图像。
此外，集成判定处理单元220基于从变化量判定单元211d至214d提供的变化量和指定的变化量阈值之间的比较结果来判定切换上述图像(a)至(d)的速度。
例如，在从变化量判定单元211d至214d提供的任何单独判定结果中变化量超过变化量阈值的情况下，切换速度被设置为高于预先设置的预定速度的速度。在其他情况下，应使用指定的切换速度。
关于切换速度的信息输出到输出图像生成单元(选择/合成)127。
输出图像生成单元(选择/合成)127根据切换速度执行切换上述图像(a)至(d)的处理。具体地，当例如捕捉运动图像时，基于从每个成像帧检测到的结果的变化量来改变切换图像的速度，使得缓慢地执行图像的切换，除非输出图像的图像质量快速劣化。
注意，输出图像生成单元(选择/合成)127例如如下执行运动图像的图像切换处理。
例如，在执行从彩色图像切换到基于彩色图像的合成图像的处理的情况下，在每个图像的合成比率从100％彩色图像的图像逐渐改变为基于100％彩色图像的合成图像的图像的同时执行切换。
基于从变化量判定单元211d至214d提供的变化量来设置该速度。
注意，图10示出了图像质量判定单元125的配置和处理，其中，执行基于由彩色图像捕捉单元111捕捉的彩色图像和由黑白图像捕捉单元112捕捉的黑白图像之间的遮挡和视差来选择输出图像的处理。然而，该图像判定处理是一个示例，并且还可以采用其中基于各种其他图像特征和拍摄条件信息不选择高质量图像的配置。
[3.输出图像自动选择处理中的问题]
在输出图像选择的上述配置中，即，在参考例如图10描述的由图像质量判定单元125执行的输出图像选择的示例中，基于由彩色图像捕捉单元111捕捉的彩色图像和由黑白图像捕捉单元112捕捉的黑白图像之间的遮挡和视差来自动选择输出图像。
然而，可能存在记录与由图像质量判定单元125选择的图像不同的图像的用户请求。
此外，如上所述，在例如被摄体处于短距离并且彩色图像和黑白图像之间的视差大的情况下，在判定存在许多遮挡区域等的情况下，判定合成图像的图像质量劣化。在这种情况下，判定“由彩色图像捕捉单元111捕捉的单目彩色图像”具有最高的图像质量。
结果，输出图像生成单元(选择/合成)127基于图像质量判定单元125的判定结果选择并输出“由彩色图像捕捉单元111捕捉的单目彩色图像”。即，执行在显示单元(触摸面板)131上显示“由彩色图像捕捉单元111捕捉的单目彩色图像”并将“由彩色图像捕捉单元111捕捉的单目彩色图像”存储在存储单元132中的处理。
即使在用户在通过图像处理装置100的操作单元142或在显示单元(触摸面板)131中包括的触摸面板将合成图像生成模式设置为ON之后开始捕捉图像的情况下，如果图像质量判定单元125的判定结果指示合成图像的图像质量劣化，则不输出合成图像，并且输出“由彩色图像捕捉单元111捕捉的单目彩色图像”。
图像质量判定单元125的判定结果在每种情况下并不总是正确的。
例如，考虑这样一种情况，其中，近距离被摄体在黑暗环境(例如，在晚上)中成像。
图12是水平轴上的被摄体距离和垂直轴上的亮度的曲线图。
例如，在区域A中，即，在具有足够亮度的明亮区域中，图像质量判定单元125判定彩色图像或合成图像是具有最高质量的图像，并且选择性地输出图像。
此外，在区域B中等于或大于预定阈值Th1的被摄体距离成像的情况下，即，在亮度不足的黑暗环境中，例如，在夜晚或室内，判定由于将黑白图像的亮度信息与彩色图像合成而获得的合成图像具有比彩色图像更高的图像质量，并且输出合成图像。
然而，在区域C中以低于预定阈值Th1的被摄体距离对近距离被摄体成像的情况下，即，在亮度不足的黑暗环境中，例如，在夜晚或室内，进行特征量判定，例如，判定彩色图像和黑白图像之间的视差大或者判定遮挡区域的数量增加。因此，图像质量判定单元125判定合成图像的图像质量劣化，并选择和输出“由彩色图像捕捉单元111捕捉的单目彩色图像”。
然而，区域C的亮度不够，并且“由彩色图像捕捉单元111捕捉的单目彩色图像”可能不是高质量图像。
即，有可能获得如图13所示的结果。
图13示出了在图12所示的区域C中，即，在亮度不足的黑暗环境中，例如，在夜晚或室内，以低于预定阈值Th1的被摄体距离捕捉近距离被摄体的(1)单目彩色图像和(2)合成图像的示例。
(1)单目彩色图像整体上是由于亮度不足的暗图像。相反，(2)合成图像是由于将黑白图像的亮度信息与彩色图像合成而生成的图像。因此，在(2)合成图像中输出的亮度信息比在(1)单目彩色图像中更清晰。
因此，图像质量判定单元125的判定结果在每种情况下并不总是正确的。
此外，也存在用户可能希望记录合成图像、单目彩色图像和单目黑白图像中的任何一种而不管图像质量如何的情况。
在下文中，将描述用于解决该问题的配置。
[4.关于输出用于获得高质量合成图像的引导信息并且还能够选择输出图像的根据本公开的图像处理装置的配置和处理]
下面描述输出用于获得高质量合成图像的辅助信息(例如，引导信息)并且还能够选择输出图像的根据本公开的图像处理装置的配置和处理。
首先，将参考图14和随后的附图描述根据本公开的图像处理装置要执行的具体处理示例。
当在显示单元(触摸面板)131上显示捕捉的图像(直通图像)时，根据本公开的图像处理装置还显示以下信息(辅助信息)中的每一个。
(A)合成图像捕捉引导信息
(B)合成图像适应水平指示符
(A)合成图像捕捉引导信息是用于捕捉高质量合成图像的引导信息。
如图14所示，例如，根据摄像状况切换以下三种类型的显示。
(显示示例1)接近警告[被摄体太近]
(显示示例2)障碍物警告[存在障碍物]
(显示示例3)合成处理＝ON[可以捕捉到好图像]
(显示示例1)接近警告[被摄体太近]
在以下情况下提供该显示。被摄体太近，因此，由彩色图像捕捉单元111获得的彩色图像和由黑白图像捕捉单元112获得的黑白图像之间的视差很大，从而判定难以生成合成图像，即，不可能生成高质量的合成图像。注意，由图像质量判定单元125做出该判定。被摄体是指例如捕捉图像中的焦点控制(聚焦)被摄体。
(显示示例2)障碍物警告[存在障碍物]
在以下情况下提供该显示。在被摄体前方存在障碍物，因此，在由彩色图像捕捉单元111获得的彩色图像和由黑白图像捕捉单元112获得的黑白图像中的每一个中产生许多遮挡区域，从而判定难以生成合成图像，即，不可能生成高质量的合成图像。注意，由图像质量判定单元125做出该判定。
(显示示例3)合成处理＝ON[可以捕捉到好图像]
在以下情况下提供该显示。被摄体不太近，也没有障碍物。此外，视差小，并且遮挡区域的数量也小。因此，判定可以生成高质量的合成图像。注意，由图像质量判定单元125做出该判定。
注意，当用户移动相机或改变其方向时，自动切换三种类型的显示。
例如，在提供显示“(显示示例1)接近警告[被摄体太近]”的情况下，当具有相机的用户移动远离被摄体时，接近警告切换到显示“障碍物警告”或“合成处理＝ON”。
此外，在提供显示“(显示示例2)障碍物警告[存在障碍物]”的情况下，当具有相机的用户改变相机的方向或位置时，障碍物警告切换到显示“合成处理＝ON”或“接近警告”。
同时，(B)合成图像适应水平指示符是指示关于当前拍摄条件的合成图像捕捉适应水平的指示符。
如图所示，设置指示符，使得显示从水平“合成图像捕捉不适应”到水平“合成图像捕捉适应(良好)”的水平。由图像质量判定单元125计算这些水平。
此外，在(B)合成图像适应水平指示符上显示以下三种类型的图像，作为根据合成图像适应水平的最佳输出图像的类型：
单目彩色图像，
基于彩色图像的合成图像，以及
基于黑白图像的合成图像。
在附图所示的示例中，当前合成图像适应水平对应于水平“合成图像捕捉适应(良好)”，从而表明基于黑白图像的合成图像是要生成的最佳图像。
用户可以配置相机的设置，使得可以通过查看与显示单元(触摸面板)131上的捕捉图像(直通图像)一起显示的这些信息(即，以下信息)来捕捉高质量的合成图像：
(A)合成图像捕捉引导信息，以及
(B)合成图像适应水平指示符。
此外，用户可以估计要生成的合成图像的图像质量。
此外，用户还可以选择要输出的图像，即，要输出到显示单元(触摸面板)131的图像或者要存储在存储单元132中的图像。
例如，当操作(触摸)图中所示的显示切换部分303时，画面切换到图15中所示的输出图像选择画面。
图15示出了并列显示以下三种类型的图像的示例：
由彩色图像捕捉单元111获得的彩色图像，
由黑白图像捕捉单元112获得的黑白图像，以及
合成图像生成单元126在合并彩色图像和黑白图像的过程中生成的合成图像。
用户可以通过触摸这三种类型的图像中的任何一种，从这三种类型的图像中选择输出图像，即，输出到显示单元(触摸面板)131的图像或者存储在存储单元132中的图像。
此外，当操作(触摸)图中所示的显示切换部分303时，画面切换到图16中所示的输出图像选择画面。
图16示出了单个图像(直通图像)分成三个的示例，并且显示相应的分割区域，作为以下三种类型的图像：
由彩色图像捕捉单元111获得的彩色图像，
由黑白图像捕捉单元112获得的黑白图像，以及
合成图像生成单元126在合成彩色图像和黑白图像的过程中生成的合成图像。
即，在图16所示的示例中，以通过将单个图像划分成三个而获得的分割区域为单位，显示三种类型的图像。
用户可以通过触摸这些图像中的任何一个，从这些图像中选择输出图像的类型，即，输出到显示单元(触摸面板)131的图像或者存储在存储单元132中的图像。
将参考图17描述实现参考图14至16描述的处理的根据本公开的图像处理装置的配置。
图17所示的图像处理装置400包括显示信息控制单元401，该显示信息控制单元401不包括在上面参考图2描述的图像处理装置100的配置中。
显示信息控制单元401输入拍摄条件信息50，并且还输入由图像处理单元120做出的图像质量判定的结果。然后，显示信息控制单元401生成并在显示单元(触摸面板)131上显示上面参考图14描述的以下信息：
(A)合成图像捕捉引导信息，以及
(B)合成图像适应水平指示符。
此外，显示信息控制单元401向图像处理单元120输入用于指定要输出到显示单元(触摸面板)131的图像的信息，并使图像处理单元120显示例如图14至16中所示的各种设置的图像。
注意，如上所述，拍摄条件信息50是成像设置信息，例如，亮度信息、曝光信息、被摄体距离信息、聚焦和变焦信息以及ISO感光信息。
注意，尽管为了易于理解描述，显示信息控制单元401在图17中被示为独立的组成元件，但是显示信息控制单元401可以与控制单元150集成。即，也可以采用控制单元150执行下面将描述的显示信息控制单元401的处理的配置。
然后，用户经由显示单元(触摸面板)131或操作单元142的触摸面板输入的图像指定信息421经由控制单元150输入到图像处理单元120，从而选择要输出到输出单元130(例如，显示单元(触摸面板)131和存储单元132)的图像。
图18示出了图像处理单元120的详细配置示例。该配置基本上类似于上面参考图7描述的配置。
然而，在图像处理单元120和显示信息控制单元401之间执行各种类型的信息的输入/输出。
例如，关于由图像处理单元120的图像质量判定单元125做出的图像质量判定结果的信息输出到显示图像控制单元401。
此外，显示图像切换请求从显示信息控制单元401输入到图像处理单元1230的输出图像生成单元127，从而输出上面参考图14至16描述的各种类型的信息和图像。
然后，用户经由显示单元(触摸面板)131的触摸面板或操作单元142输入的图像指定信息421经由控制单元150输入到图像处理单元120的输出图像生成单元127，从而选择要输出到输出单元130(例如，显示单元(触摸面板)131和存储单元132)的图像。
接下来，将参考图19和随后的附图描述根据本公开的图像处理装置400的状态转换序列。
根据本公开的图像处理装置400在图19所示的三种类型的状态之间进行转换。即，图像处理装置400在以下状态之间进行转换：
(状态1)高质量合成图像输出使能状态，
(状态2)障碍物警告输出状态，以及
(状态3)接近警告输出状态。
这三种状态对应于上面参考图14描述的合成图像捕捉引导信息的三种显示示例的显示状态。即，在(状态1)高质量合成图像输出使能状态的状态下提供(显示示例3)合成处理ON[可以捕捉好图像]的显示。
此外，在(状态2)障碍物警告输出状态的状态下提供(显示示例2)障碍物警告[存在障碍物]的显示。
在(状态3)接近警告输出状态下提供(显示示例1)接近警告[被摄体太近]的显示。
如图19所示，根据本公开的图像处理装置400的控制单元150和显示信息控制单元401促使根据情况在这三种类型的状态之间转换。例如，以经由图像处理装置的成像单元输入的图像帧为单位或者以多个预定帧为单位进行状态转换。
将参考图20的流程图和随后的附图来描述该转换序列。
首先，在图像处理装置400处于(状态1)高质量合成图像输出使能状态的情况下，即，在显示单元(触摸面板)131上显示参考图14描述的信息(显示示例3)合成处理＝ON[可以捕捉好图像]的情况下，下面参考图20所示的流程描述处理序列。
注意，图20的流程图和随后的附图中所示的处理可以根据存储在图像处理装置400的存储单元中的程序来执行，并且例如可以由具有程序执行功能的处理器(例如，CPU)执行，作为程序执行处理。
在下文中，将描述图20的流程图中所示的每个步骤的处理。
(步骤S101)
在图像处理装置(相机)的控制单元处于“(状态1)高质量合成图像输出使能状态”的情况下，控制单元首先在步骤S101中判定在相机捕捉的图像中的被摄体前方是否存在障碍物或者被摄体距离是否过短。
拍摄条件信息50或从图像处理单元120的图像质量判定单元125和特征量计算单元124获得的信息对于这些判定是必要的。
注意，被摄体是指例如捕捉图像中的焦点控制(聚焦)的被摄体。
例如，基于彩色图像和黑白图像之间的视差量来判定被摄体距离是否太短。即，基于例如关于彩色图像和黑白图像之间的视差量是否小于生成高质量合成图像所需的视差阈值的判定来做出判定。从图像处理单元120的图像质量判定单元125和特征量计算单元124获得该判定所需的信息。
此外，基于例如包括在彩色图像和黑白图像中的每一个中的遮挡区域的平方度量来判定被摄体前方是否存在障碍物。即，基于例如关于彩色图像和黑白图像中的每一个的遮挡区域是否小于生成高质量合成图像所需的阈值的判定来做出判定。从图像处理单元120的图像质量判定单元12 5和特征量计算单元124获得该判定所需的信息。
在步骤S101中判定在由相机捕捉的图像中的被摄体前方存在障碍物或者被摄体距离太短的情况下，处理进行到步骤S103。
在上述两种情况下都做出否判定的情况下，处理进行到步骤S102。
(步骤S102)
在步骤S101中判定在由相机捕捉的图像中的被摄体前方没有障碍物并且被摄体距离不太短的情况下，处理进行到步骤S102。
在步骤S102中，“(状态1)高质量合成图像输出使能状态”继续。
注意，在这种状态下，执行显示信息“合成处理＝ON[可以捕捉好图像]”的处理，作为上面参考图14描述的(A)合成图像捕捉引导信息。
(步骤S103)
同时，在步骤S101中判定在由相机捕捉的图像中的被摄体前方存在障碍物或者被摄体距离太短的情况下，处理进行到步骤S103。
在步骤S103中，判定被摄体距离是否太短。
拍摄条件信息50或从图像处理单元120的图像质量判定单元125和特征量计算单元124获得的信息对于该判定是必要的。
在步骤S103中判定被摄体距离太短的情况下，处理进行到步骤S104。
在判定被摄体距离不太短的情况下，处理进行到步骤S105。
(步骤S104)
在步骤S103中判定被摄体距离太短的情况下，处理进行到步骤S104。
在步骤S104中，控制单元改变状态，以从当前状态＝“(状态1)高质量合成图像输出使能状态”转换到“(状态3)接近警告输出状态”。
在(状态3)接近警告输出状态的状态下，执行显示信息“接近警告[被摄体太近]”的处理，作为上面参考图14描述的(A)合成图像捕捉引导信息。
(步骤S105)
同时，在步骤S103中判定被摄体距离不太短的情况下，处理进行到步骤S105。
在步骤S105中，控制单元改变状态，以从当前状态＝“(状态1)高质量合成图像输出使能状态”转换到“(状态2)障碍物警告输出状态”。
在(状态2)障碍物警告输出状态的状态下，执行显示信息“障碍物警告[存在障碍物]”的处理，作为上面参考图14描述的(A)合成图像捕捉引导信息。
注意，以经由图像处理装置的成像单元输入的图像帧为单位或者以多个预定帧为单位重复执行根据图20所示的流程的处理。
接下来，在图像处理装置400处于(状态2)障碍物警告输出状态的情况下，即，在显示单元(触摸面板)131上显示参考图14描述的信息(显示示例2)障碍物警告[存在障碍物]的情况下，下面参考图21所示的流程描述处理序列。
(步骤S121)
在图像处理装置(相机)的控制单元处于“(状态2)障碍物警告输出状态”的情况下，控制单元首先在步骤S121中判定在相机捕捉的图像中的被摄体前方是否存在障碍物。
拍摄条件信息50或从图像处理单元120的图像质量判定单元125和特征量计算单元124获得的信息对于该判定是必要的。
在步骤S121中判定在由相机捕捉的图像中的被摄体前方存在障碍物的情况下，处理进行到步骤S122。
在判定不存在障碍物的情况下，处理进行到步骤S123。
(步骤S122)
在步骤S121中判定在由相机捕捉的图像中的被摄体前方存在障碍物的情况下，处理进行到步骤S122。
在步骤S122中，“(状态2)障碍物警告输出状态”继续。
注意，在这种状态下，执行显示信息“障碍物警告[存在障碍物]”的处理，作为上面参考图14描述的(A)合成图像捕捉引导信息。
(步骤S123)
同时，在步骤S121中判定在由相机捕捉的图像中的被摄体前方没有障碍物的情况下，处理进行到步骤S123。
控制单元在步骤S123中判定被摄体距离是否太短。
拍摄条件信息50或从图像处理单元120的特征量计算单元124和图像质量判定单元125获得的信息对于该判定是必要的。
在步骤S123中判定被摄体距离太短的情况下，处理进行到步骤S124。
在判定被摄体距离不太短的情况下，处理进行到步骤S125。
(步骤S124)
在步骤S123中判定被摄体距离太短的情况下，处理进行到步骤S124。
在步骤S124中，控制单元改变状态，以从当前状态＝“(状态2)障碍物警告输出状态”转变为“(状态3)接近警告输出状态”。
在(状态3)接近警告输出状态的状态下，执行显示信息“接近警告[被摄体太近]”的处理，作为上面参考图14描述的(A)合成图像捕捉引导信息。
(步骤S125)
同时，在步骤S123中判定被摄体距离不太短的情况下，处理进行到步骤S125。
在步骤S125中，控制单元改变状态，以从当前状态＝“(状态2)障碍物警告输出状态”转换到“(状态1)高质量合成图像输出使能状态”。
在(状态1)高质量合成图像输出使能状态的状态下，执行显示信息“合成处理＝ON[可以捕捉好图像]”的处理，作为上面参考图14描述的(A)合成图像捕捉引导信息。
注意，以经由图像处理装置的成像单元输入的图像帧为单位或者以多个预定帧为单位重复执行根据图21所示的流程的处理。
接下来，在图像处理装置400处于(状态3)接近警告输出状态的情况下，即，在显示单元(触摸面板)131上显示参考图14描述的信息(显示示例3)接近警告[被摄体太近]的情况下，下面参考图22所示的流程描述处理序列。
(步骤S141)
在图像处理装置(相机)的控制单元处于“(状态3)接近警告输出状态”的情况下，控制单元首先在步骤S141中判定相机捕捉的图像中到被摄体的距离是否太短。
拍摄条件信息50或从图像处理单元120的特征量计算单元124和图像质量判定单元125获得的信息对于该判定是必要的。
在步骤S141中判定被摄体太近的情况下，处理进行到步骤S142。
在判定被摄体不是太近的情况下，处理进行到步骤S143。
(步骤S142)
在步骤S141中判定由相机捕捉的图像中的被摄体太近的情况下，处理进行到步骤S142。
在步骤S142中，“(状态3)接近警告输出状态”继续。
注意，在这种状态下，执行显示信息“接近警告[被摄体太近]”的处理，作为上面参考图14描述的(A)合成图像捕捉引导信息。
(步骤S143)
同时，在步骤S141中判定相机捕捉的图像中到被摄体的距离不太短的情况下，处理进行到步骤S143。
在步骤S143中，控制单元判定被摄体前方是否存在障碍物。
拍摄条件信息50或从图像处理单元120的特征量计算单元124和图像质量判定单元125获得的信息对于该判定是必要的。
在步骤S143中判定被摄体前方存在障碍物的情况下，处理进行到步骤S144。
在判定不存在障碍物的情况下，处理进行到步骤S145。
(步骤S144)
在步骤S143中判定被摄体前方存在障碍物的情况下，处理进行到步骤S144。
在步骤S144中，控制单元改变状态，以从当前状态＝“(状态3)接近警告输出状态”转换到“(状态2)障碍物警告输出状态”。
在(状态2)障碍物警告输出状态的状态下，执行显示信息“障碍物警告[存在障碍物]”的处理，作为上面参考图14描述的(A)合成图像捕捉引导信息。
(步骤S145)
同时，在步骤S143中判定不存在障碍物的情况下，处理进行到步骤S145。
在步骤S145中，控制单元改变状态，以从当前状态＝“(状态3)接近警告输出状态”转换到“(状态1)高质量合成图像输出使能状态”。
在(状态1)高质量合成图像输出使能状态的状态下，执行显示信息“合成处理＝ON[可以捕捉好图像]”的处理，作为上面参考图14描述的(A)合成图像捕捉引导信息。
注意，以经由图像处理装置的成像单元输入的图像帧为单位或者以多个预定帧为单位重复执行根据图22所示的流程的处理。
[5.其他示例]
在上述实施方式中，已经描述了配置示例，其中，执行判定以下四种类型的图像中的哪一种具有最高图像质量的处理，以使得能够输出高质量的图像：
(a)基于彩色图像的合成图像，
(b)基于黑白图像的合成图像，
(c)由彩色图像捕捉单元111捕捉的单目彩色图像，以及
(d)由黑白图像捕捉单元112捕捉的单目黑白图像。
本公开的配置不限于这四种类型的图像的选择性输出，而是也适用于例如仅以下两种类型的图像的选择性输出的配置：
合成图像，以及
彩色图像。
此外，本公开的配置可以应用于选择性地输出两种或更多种类型的各种不同图像的配置。
此外，在通过应用本发明的配置判定输出图像的情况下，可以通过停止除了与图像相关的成像单元和图像处理单元之外的成像单元和图像处理单元，来减少图像处理装置的功耗。
[6.本公开的配置概述]
上面已经参考具体示例详细描述了本公开的实施方式。然而，显而易见的是，本领域技术人员可以在不脱离本公开的主旨的情况下对实施方式进行修改和替换。换言之，已经以示例的形式公开了本发明，并且不应该限制性地解释本发明。为了判断本公开的主旨，应该考虑“权利要求”部分。
注意，本说明书中公开的技术可以采用以下配置。
(1)一种图像处理装置，包括：
合成图像生成单元，执行对从不同视点捕捉的彩色图像和黑白图像的合成处理，以生成合成图像；以及
显示信息控制单元，执行控制使得在显示单元上显示关于所述合成图像的辅助信息。
(2)根据(1)所述的图像处理装置，其中，
在被摄体太近以至于不能生成高质量的合成图像的情况下，所述显示信息控制单元在所述显示单元上显示警告所述被摄体太近的接近警告。
(3)根据(1)或(2)所述的图像处理装置，其中，
在由于被摄体前方的障碍物而不能生成高质量的合成图像的情况下，所述显示信息控制单元在所述显示单元上显示警告在所述被摄体前方存在所述障碍物的障碍物警告。
(4)根据(1)至(3)中任一项所述的图像处理装置，其中，
在能够生成高质量的合成图像的情况下，所述显示信息控制单元在所述显示单元上显示指示能够捕捉高质量的合成图像的通知信息。
(5)根据(1)至(4)中任一项所述的图像处理装置，其中，
所述显示信息控制单元在所述显示单元上显示合成图像适应水平指示符，所述合成图像适应水平指示符指示当前拍摄条件是否适于生成高质量的合成图像。
(6)根据(1)至(5)中任一项所述的图像处理装置，其中，
所述显示信息控制单元在所述显示单元上并列显示包括合成图像和合成前的彩色图像的多个图像。
(7)根据(1)至(5)中任一项所述的图像处理装置，其中，
所述显示信息控制单元在所述显示单元上显示以通过分割单个图像所获得的分割区域为单位组合多个图像而成的图像，所述多个图像包括合成图像和合成前的彩色图像。
(8)根据(1)至(7)中任一项所述的图像处理装置，其中，
所述图像处理单元基于用户输入的图像指定信息，从包括合成图像和合成前的彩色图像的多个图像中选择要记录的图像，并输出所选择的要记录的图像。
(9)根据(1)至(8)中任一项所述的图像处理装置，其中，
所述图像处理单元包括：
图像质量判定单元，判定是否能够生成高质量的合成图像，并且
所述显示信息控制单元在所述显示单元上显示引导信息，所述引导信息用于使得能够基于所述图像质量判定单元的判定信息来生成高质量的合成图像。
(10)根据(1)至(9)中任一项所述的图像处理装置，其中，
所述图像处理装置根据情况在以下三种状态(a)至(c)之间进行转换：
(a)高质量的合成图像输出使能状态，所述高质量的合成图像输出使能状态是能够捕捉高质量的合成图像的状态，在所述显示单元上进行指示能够捕捉合成图像的显示；
(b)障碍物警告输出状态，所述障碍物警告输出状态是由于被摄体前方存在障碍物而不能捕捉高质量的合成图像的状态，在所述显示单元上显示关于存在所述障碍物的警告；以及
(c)接近警告输出状态，所述接近警告输出状态是被摄体太近以至于不能捕捉高质量的合成图像的状态，在所述显示单元上显示所述被摄体太近的警告。
(11)一种在图像处理装置中执行的输出信息控制方法，所述图像处理装置包括合成图像生成单元，所述合成图像生成单元执行对从不同视点捕捉的彩色图像和黑白图像的合成处理，以生成合成图像，所述方法包括：
促使显示信息控制单元执行控制，使得在显示单元上显示关于所述合成图像的辅助信息。
(12)一种控制图像处理装置中的信息输出处理的程序，所述图像处理装置包括合成图像生成单元，所述合成图像生成单元执行对从不同视点捕捉的彩色图像和黑白图像的合成处理，以生成合成图像，所述程序使：
显示信息控制单元执行控制，使得在显示单元上显示关于所述合成图像的辅助信息。
此外，说明书中描述的一系列处理可以通过硬件、软件或硬件和软件相结合的配置来实现。在通过软件实现处理的情况下，在将程序安装在包含在专用硬件中的计算机的存储器中或者将程序安装在能够执行各种类型的处理的通用计算机上之后，可以执行其中记录了处理序列的程序。例如，程序可以预先记录在记录介质上。除了从记录介质安装在计算机上之外，程序还可以经由诸如局域网(LAN)或互联网等网络接收，并安装在记录介质(例如，内置硬盘)上。
注意，说明书中描述的各种处理不仅可以根据说明书以时间序列执行，还可以根据执行处理的装置的处理能力或根据需要并列或单独执行。此外，在本说明书中，术语“系统”是指多个装置的逻辑集合配置，并且不限于每个配置的装置在同一外壳中的配置。
工业适用性
如上所述，根据本公开的实施方式的配置，实现了装置和方法，其中，输出用于使得能够捕捉高质量合成图像的引导信息，此外，并列显示合成图像、彩色图像等，以使得用户能够选择要记录的图像。
具体地，例如，包括合成图像生成单元，其执行合并从不同视点捕捉的彩色图像和黑白图像的处理，以生成合成图像；以及显示信息控制单元，其执行控制，使得在显示单元上显示关于合成图像的辅助信息。在被摄体太近的情况下或者在由于障碍物而不能生成高质量合成图像的情况下，显示信息控制单元输出接近警告或障碍物警告，作为警告信息，并且还显示合成图像适应水平。此外，并列显示合成图像、彩色图像等，使得用户可以选择要记录的图像。
根据本配置，实现了一种装置和方法，其中，输出用于使得能够捕捉高质量合成图像的引导信息，此外，并列显示合成图像、彩色图像等，以使得用户能够选择要记录的图像。
附图标记列表
10 图像处理装置
11 显示单元
12 操作单元
21 彩色图像捕捉单元
22 黑白图像捕捉单元
50 拍摄条件信息
100 图像处理装置
110 成像单元
111 彩色图像捕捉单元
112 黑白图像捕捉单元
120 图像处理单元
121、122 预处理单元
123 视差检测单元
124 特征量计算单元
125 图像质量判定单元
126 合成图像生成单元
127 输出图像生成单元(选择/合成)
130 输出单元
131 显示单元(触摸面板)
132 存储单元
141 传感器单元
142 操作单元
150 控制单元
160 通信单元
301 合成图像捕捉引导信息
302 合成图像适应水平指示符
303 显示切换部分
401 显示信息控制单元。

Claims (12)

1.一种图像处理装置，包括：
合成图像生成单元，执行对从不同视点捕捉的彩色图像和黑白图像的合成处理，以生成合成图像；以及
显示信息控制单元，执行控制使得在显示单元上显示关于所述合成图像的辅助信息。
2.根据权利要求1所述的图像处理装置，其中，
在被摄体太近以至于不能生成高质量的合成图像的情况下，所述显示信息控制单元在所述显示单元上显示警告所述被摄体太近的接近警告。
3.根据权利要求1所述的图像处理装置，其中，
在由于被摄体前方的障碍物而不能生成高质量的合成图像的情况下，所述显示信息控制单元在所述显示单元上显示警告在所述被摄体前方存在所述障碍物的障碍物警告。
4.根据权利要求1所述的图像处理装置，其中，
在能够生成高质量的合成图像的情况下，所述显示信息控制单元在所述显示单元上显示指示能够捕捉高质量的合成图像的通知信息。
5.根据权利要求1所述的图像处理装置，其中，
所述显示信息控制单元在所述显示单元上显示合成图像适应水平指示符，所述合成图像适应水平指示符指示当前拍摄条件是否适于生成高质量的合成图像。
6.根据权利要求1所述的图像处理装置，其中，
所述显示信息控制单元在所述显示单元上并列显示包括合成图像和合成前的彩色图像的多个图像。
7.根据权利要求1所述的图像处理装置，其中，
所述显示信息控制单元在所述显示单元上显示以通过分割单个图像所获得的分割区域为单位组合多个图像而成的图像，所述多个图像包括合成图像和合成前的彩色图像。
8.根据权利要求1所述的图像处理装置，其中，
所述图像处理单元基于用户输入的图像指定信息，从包括合成图像和合成前的彩色图像的多个图像中选择要记录的图像，并输出所选择的要记录的图像。
9.根据权利要求1所述的图像处理装置，其中，
所述图像处理单元包括：
图像质量判定单元，判定是否能够生成高质量的合成图像，并且
所述显示信息控制单元在所述显示单元上显示引导信息，所述引导信息用于使得能够基于所述图像质量判定单元的判定信息来生成高质量的合成图像。
10.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置根据情况在以下三种状态(a)至(c)之间进行转换：
(a)高质量的合成图像输出使能状态，所述高质量的合成图像输出使能状态是能够捕捉高质量的合成图像的状态，在所述显示单元上进行指示能够捕捉合成图像的显示；
(b)障碍物警告输出状态，所述障碍物警告输出状态是由于被摄体前方存在障碍物而不能捕捉高质量的合成图像的状态，在所述显示单元上显示关于存在所述障碍物的警告；以及
(c)接近警告输出状态，所述接近警告输出状态是被摄体太近以至于不能捕捉高质量的合成图像的状态，在所述显示单元上显示所述被摄体太近的警告。
11.一种在图像处理装置中执行的输出信息控制方法，所述图像处理装置包括合成图像生成单元，所述合成图像生成单元执行对从不同视点捕捉的彩色图像和黑白图像的合成处理，以生成合成图像，所述方法包括：
促使显示信息控制单元执行控制，使得在显示单元上显示关于所述合成图像的辅助信息。
12.一种控制图像处理装置中的信息输出处理的程序，所述图像处理装置包括合成图像生成单元，所述合成图像生成单元执行对从不同视点捕捉的彩色图像和黑白图像的合成处理，以生成合成图像，所述程序使：
显示信息控制单元执行控制，使得在显示单元上显示关于所述合成图像的辅助信息。
CN201880086889.6A 2018-01-25 2018-11-16 图像处理装置、输出信息控制方法以及程序 Active CN111630837B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018010642 2018-01-25
JP2018-010642 2018-01-25
PCT/JP2018/042408 WO2019146226A1 (ja) 2018-01-25 2018-11-16 画像処理装置、および出力情報制御方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN111630837A true CN111630837A (zh) 2020-09-04
CN111630837B CN111630837B (zh) 2022-08-09

Family

ID=67395370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880086889.6A Active CN111630837B (zh) 2018-01-25 2018-11-16 图像处理装置、输出信息控制方法以及程序

Country Status (6)

Country Link
US (2) US11159719B2 (zh)
EP (1) EP3745704B1 (zh)
JP (1) JP7285791B2 (zh)
KR (1) KR102638565B1 (zh)
CN (1) CN111630837B (zh)
WO (1) WO2019146226A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
KR102638565B1 (ko) * 2018-01-25 2024-02-19 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
CN110769152A (zh) * 2019-09-27 2020-02-07 华为技术有限公司 摄像处理方法、装置、终端设备及存储介质
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189829A1 (en) * 2003-03-25 2004-09-30 Fujitsu Limited Shooting device and shooting method
US6809771B1 (en) * 1999-06-29 2004-10-26 Minolta Co., Ltd. Data input apparatus having multiple lens unit
JP2006067108A (ja) * 2004-08-25 2006-03-09 Ricoh Co Ltd 画像処理装置、ファクシミリ装置及び画像形成装置
CN102340631A (zh) * 2010-07-14 2012-02-01 日本胜利株式会社 控制装置、立体影像摄像装置以及控制方法
CN103081483A (zh) * 2010-09-08 2013-05-01 日本电气株式会社 摄影设备和摄影方法
US9414037B1 (en) * 2014-09-26 2016-08-09 Amazon Technologies, Inc. Low light image registration
US20160234437A1 (en) * 2015-02-06 2016-08-11 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method
CN106101682A (zh) * 2008-07-24 2016-11-09 皇家飞利浦电子股份有限公司 通用3‑d画面格式
CN106664356A (zh) * 2014-08-14 2017-05-10 三星电子株式会社 图像拍摄装置、通过使用多个图像拍摄装置执行拍摄的图像拍摄系统及其图像拍摄方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4363207B2 (ja) * 2004-02-05 2009-11-11 住友電気工業株式会社 画像処理方法、画像処理システムおよび画像処理装置
US7469097B2 (en) * 2005-12-15 2008-12-23 Hewlett-Packard Development Company, L.P. Method and apparatus for coping with condition in which subject is too close to digital imaging device for acceptable focus
JP2007208346A (ja) * 2006-01-31 2007-08-16 Fujifilm Corp 撮像システムおよびその制御方法
US9208550B2 (en) * 2012-08-15 2015-12-08 Fuji Xerox Co., Ltd. Smart document capture based on estimated scanned-image quality
JP2015197745A (ja) 2014-03-31 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2017011504A (ja) * 2015-06-22 2017-01-12 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
KR102638565B1 (ko) * 2018-01-25 2024-02-19 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6809771B1 (en) * 1999-06-29 2004-10-26 Minolta Co., Ltd. Data input apparatus having multiple lens unit
US20040189829A1 (en) * 2003-03-25 2004-09-30 Fujitsu Limited Shooting device and shooting method
JP2006067108A (ja) * 2004-08-25 2006-03-09 Ricoh Co Ltd 画像処理装置、ファクシミリ装置及び画像形成装置
CN106101682A (zh) * 2008-07-24 2016-11-09 皇家飞利浦电子股份有限公司 通用3‑d画面格式
CN102340631A (zh) * 2010-07-14 2012-02-01 日本胜利株式会社 控制装置、立体影像摄像装置以及控制方法
CN103081483A (zh) * 2010-09-08 2013-05-01 日本电气株式会社 摄影设备和摄影方法
CN106664356A (zh) * 2014-08-14 2017-05-10 三星电子株式会社 图像拍摄装置、通过使用多个图像拍摄装置执行拍摄的图像拍摄系统及其图像拍摄方法
US9414037B1 (en) * 2014-09-26 2016-08-09 Amazon Technologies, Inc. Low light image registration
US20160234437A1 (en) * 2015-02-06 2016-08-11 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method

Also Published As

Publication number Publication date
KR102638565B1 (ko) 2024-02-19
US11159719B2 (en) 2021-10-26
US20210067695A1 (en) 2021-03-04
EP3745704A1 (en) 2020-12-02
WO2019146226A1 (ja) 2019-08-01
CN111630837B (zh) 2022-08-09
KR20200110320A (ko) 2020-09-23
US11606496B2 (en) 2023-03-14
JP7285791B2 (ja) 2023-06-02
EP3745704A4 (en) 2021-01-06
JPWO2019146226A1 (ja) 2021-02-04
EP3745704B1 (en) 2024-03-06
US20210409597A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
CN111630837B (zh) 图像处理装置、输出信息控制方法以及程序
CN108028895B (zh) 有缺陷的图像传感器元件的校准
JP4904440B2 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
EP2608527B1 (en) Image pickup apparatus, control method for image pickup apparatus, and storage medium
US11089211B2 (en) Image processing apparatus, image processing method, and program for switching between two types of composite images
US9300867B2 (en) Imaging apparatus, its control method, and storage medium
US20130222376A1 (en) Stereo image display device
US11330177B2 (en) Image processing apparatus and image processing method
US10943328B2 (en) Image capturing apparatus, method for controlling same, and storage medium
EP4216539A2 (en) Image processing apparatus, image processing method, and program
JP2018054815A (ja) 領域判別装置、その制御方法、および制御プログラム、並びに撮像装置
JP2017182668A (ja) データ処理装置、撮像装置、及びデータ処理方法
JP2014127964A (ja) 画像処理装置、画像処理方法及びプログラム
JP2013115754A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant