CN116419050A - 图像处理装置、图像处理方法和存储介质 - Google Patents

图像处理装置、图像处理方法和存储介质 Download PDF

Info

Publication number
CN116419050A
CN116419050A CN202310018566.6A CN202310018566A CN116419050A CN 116419050 A CN116419050 A CN 116419050A CN 202310018566 A CN202310018566 A CN 202310018566A CN 116419050 A CN116419050 A CN 116419050A
Authority
CN
China
Prior art keywords
distance information
image
data
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310018566.6A
Other languages
English (en)
Inventor
北村和也
西田德朗
中村广辉
长谷川启行
竹内健悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN116419050A publication Critical patent/CN116419050A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了图像处理装置、图像处理方法和存储介质。该图像处理装置包括：图像获取单元，其被配置为经由镜头单元获取包含被摄体的图像；距离信息获取单元，其被配置为获取指示到被摄体的距离的距离信息；协助数据生成单元，其被配置为生成与所述距离信息有关的协助数据；数据流生成单元，其被配置为生成叠加了所述图像、所述距离信息和所述协助数据的数据流；以及输出单元，其被配置为向外部输出所述数据流。

Description

图像处理装置、图像处理方法和存储介质
技术领域
本公开涉及图像处理装置、图像处理方法和存储介质。
背景技术
近年来，作为通常用于电影或电视的图像合成技术，存在使图像的特定颜色部分透明并在透明的特定颜色部分中对不同的图像进行合成的被称为色键(chroma-key)合成的方法。当拍摄用于色键合成的图像时，需要准备诸如绿色背景或蓝色背景等的特定的颜色背景。还需要如下的工作：平滑褶皱使得在背景中不会出现颜色不均匀，并调整照明。
当在被摄体中示出从绿色背景反射的光时，在一些情况下不能熟练地进行背景分离。因此，还需要通过摄像后的后处理来进行诸如消除反射光的反射等的工作。
另一方面，作为近来使用的图像合成技术，存在基于与到被摄体的距离有关的距离信息将被摄体与背景分离并且将被摄体与其他图像进行合成的方法。当使用这些方法时，不需要准备诸如绿色背景等的背景，并且不需要为上述色键进行麻烦的工作。
作为生成与到被摄体的距离有关的距离信息的方法，例如，存在使用除了拍摄图像的摄像装置之外还包括距离传感器的装置来测量到被摄体的距离的方法。在该情况下，由于在装置之间视角或分辨率不同，因此为了通过后处理来合成图像，有必要在摄像之前进行校准工作。
另一方面，日本特开2021-48560公开了通过使用具有符合摄像面差方案的距离测量功能的图像传感器来生成用于指示摄像装置和被摄体之间的距离的距离信息的技术。当使用该技术时，可以用一个图像传感器同时进行图像拍摄和距离信息的生成。因此，没有必要进行上述校准工作。
然而，在日本特开2021-48560中，没有考虑如何输出距离信息以通过后处理进行图像合成等。
鉴于这样的情形，本领域需要提供适于向外部输出可用于图像合成等的距离信息等的图像处理装置。
发明内容
为了解决上述问题，根据本公开的一个方面，一种图像处理装置，包括：图像获取单元，其被配置为经由镜头单元获取包含被摄体的图像；至少一个处理器，其被配置为用作：距离信息获取单元，其被配置为获取指示到被摄体的距离的距离信息；协助数据生成单元，其被配置为生成与所述距离信息有关的协助数据；数据流生成单元，其被配置为生成叠加了所述图像、所述距离信息和所述协助数据的数据流；以及输出单元，其被配置为向外部输出所述数据流。
通过以下参考附图对实施例的说明，本公开的更多特征将变得明显。
附图说明
图1是示出根据第一实施例的图像处理装置的框图。
图2A是示出图像传感器的光接收面上所布置的示例性滤色器的图，以及图2B是示出以与图2A的滤色器阵列相对应的方式在各个像素中布置两个光电转换单元(光电二极管)的示例的图。
图3是示出根据第一实施例的生成距离信息的处理的流程图。
图4是示出当在没有噪声的理想状态下一对图像信号行之间的相关性高时式(1)的计算结果的图。
图5是示出当式(1)应用于存在噪声的微小块时的计算结果的图。
图6是示出根据第一实施例的SDI结构的图。
图7是示出根据第一实施例的距离信息的叠加示例的图。
图8是示出根据第一实施例的叠加在消隐(blanking)区域上的辅助数据的包结构的图。
图9是示出根据第一实施例的流生成处理的流程图。
图10是示出根据第二实施例的处理示例的流程图，在该处理示例中，输出距离信息使得在显示器上容易观看该距离信息。
图11是示出根据第二实施例的距离信息的叠加示例的图。
图12是示出根据第二实施例的距离信息的显示示例的图。
图13是示出根据第二实施例的距离信息的另一显示示例的图。
图14是示出根据第三实施例的SDI结构的图。
图15是示出根据第三实施例的流生成处理的流程图。
图16是示出根据第三实施例的距离信息的叠加示例的图。
图17是示出根据第四实施例的距离信息的输出模式选择处理的示例的流程图。
图18是示出根据第五实施例的距离信息的输出模式选择处理的流程图。
图19是示出根据第五实施例的高精度距离信息输出模式中的距离信息的叠加示例的图。
图20是示出根据第五实施例的灰度输出模式中的距离信息的叠加示例的图。
图21是示出根据第五实施例的距离信息的显示示例的图。
图22是示出根据第五实施例的热图输出模式中的距离信息的叠加示例的图。
具体实施方式
在下文中，参考附图，将使用实施例来描述本公开的有利模式。在各个图中，相同的附图标记应用于相同的构件或元件，并且将省略或简化重复的描述。
在实施例中，将描述应用数字照相机作为图像处理装置的示例。然而，图像处理装置包括诸如网络照相机、具有照相机的智能手机、带有照相机的平板电脑、车载照相机、无人机照相机或安装在机器人上的照相机等的具有摄像功能的电子装置。实施例中的图像不仅可以是静止图像，也可以是诸如运动图像等的视频。
第一实施例
图1是示出根据第一实施例的图像处理装置的框图。在图1中，图像处理装置100是能够输入、输出和记录图像的装置，并且被配置为例如数字照相机。
在图1中，用作计算机的CPU 102、ROM 103、RAM 104、图像处理单元105、镜头单元106、摄像单元107、网络模块108和图像输出单元109连接到内部总线101。
记录介质接口(I/F)110和物体检测单元115等连接到内部总线101。连接到内部总线101的块被配置为经由内部总线101彼此发送和接收数据。
图1中示出的一些块通过使图像处理装置中包括的用作计算机的CPU执行诸如用作存储介质的ROM等的存储器中所存储的计算机程序来实现。然而，一部分或所有的块可以由硬件实现。
作为硬件，可以使用专用电路(ASIC)或处理器(可重配置处理器或DSP)等。图1中所示的块可以不包含在相同壳体中，或者可以配置有经由信号线彼此连接的其他装置。
镜头单元106是由包括变焦透镜和调焦透镜的透镜组、光圈机构和驱动马达形成的单元。通过镜头单元106的光学图像形成在摄像单元107的光接收面上。摄像单元107用作用于获取包含被摄体的图像的图像获取单元，并且包括诸如CCD图像传感器或CMOS图像传感器等的图像传感器。
在图像传感器的光接收面上形成的光学图像被转换成摄像信号，并且进一步被转换成数字信号以被输出。根据本实施例的图像传感器是具有像面相位差检测功能的传感器，下面将描述图像传感器的细节。
用作计算机的CPU 102根据ROM 103中所存储的计算机程序，使用RAM104作为工作存储器来控制图像处理装置100的各个单元。
根据ROM 103中所存储的计算机程序来进行图3、图9、图10、图15、图17和图18的流程图的处理。ROM 103是非易失性半导体存储器，其中在非易失性半导体存储器上记录有使CPU 102操作的计算机程序和各种调整参数等。
RAM 104是易失性半导体存储器，并且使用比帧存储器111速度更慢或容量更小的存储器。帧存储器111是能够临时存储图像信号并在必要时读取图像信号的半导体存储器。
因为图像信号是大量的数据，所以需要具有高带宽和大容量的存储器。这里，使用双倍数据速率4同步动态RAM(DDR4-SDRAM)等。通过使用帧存储器111，可以进行例如将时间上不同的图像进行合成或仅切出区域的处理。
图像处理单元105在CPU 102的控制下，对来自摄像单元107的数据或帧存储器111或记录介质112中所存储的图像数据进行各种类型的图像处理。由图像处理单元105进行的图像处理包括图像数据的像素插值、编码处理、压缩处理、解码处理、扩大/缩小处理(调整大小)、降噪处理和颜色转换处理。
图像处理单元105进行诸如校正摄像单元107的像素的特性的变化、校正缺陷像素、校正白平衡、校正亮度、或校正由于镜头的特性而出现的失真或周边光量减少等的校正处理。
图像处理单元105生成距离图。距离图的细节将在下面描述。图像处理单元105可以配置有用于进行特定图像处理的专用电路块。取决于图像处理的类型，CPU 102也可以根据程序进行图像处理，而不使用图像处理单元105。
基于图像处理单元105中的图像处理结果，CPU 102控制镜头单元106，使得调整用于调整焦距或光量的光圈或图像的光学扩大等。可以通过在与光轴垂直的平面上移动透镜组的一部分来进行照相机抖动校正。
附图标记113表示用作与装置外部的接口并接收用户操作的操作单元。操作单元113配置有诸如机械按钮或开关等的元件，并且包括电源开关和模式切换开关。
附图标记114表示用于显示图像的显示单元。例如，可以确认由图像处理单元105处理的图像、设置菜单或图像处理装置100的操作状态。作为显示单元114，使用诸如液晶显示器(LCD)或有机电致发光(EL)显示器等的小型且功耗小的装置。
此外，可以使用电阻膜型或静电电容型薄膜元件等的触摸面板结构作为操作单元113的一部分。
CPU 102生成用于向用户通知图像处理装置100的设置状态等的文本串或用于设置图像处理装置100的菜单、将要叠加的文本串或菜单叠加在由图像处理单元105处理后的图像上、使显示单元114显示图像上所叠加的文本串或菜单。除了文本信息之外，可以叠加诸如直方图、矢量示波器、波形监视器、斑纹、峰化或伪色等的摄像协助显示。
附图标记109表示图像输出单元。使用串行数字接口(SDI)或高清晰度多媒体接口(HDMI：注册商标)等作为接口。可替代地，可以使用诸如DisplayPort(注册商标)等的接口。实时图像可以经由图像输出单元109显示在外部显示装置(显示器)上。
还包括能够发送除图像之外的控制信号的网络模块108。网络模块108是用于输入和输出图像信号或音频信号的接口。网络模块108还可以经由互联网等与外部装置通信，以发送和接收诸如文件或命令等的各种类型的数据。网络模块108可以是无线或有线网络模块。
图像处理装置100除了向外部输出图像之外，还具有在机体内进行记录的功能。记录介质112可以记录图像数据或各种类型的设置数据，记录介质112是诸如硬盘驱动器(HDD)或固态驱动器(SSD)等的大容量存储元件，并且可以安装在记录介质I/F 110上。
物体检测单元115是检测物体的块。例如，以使用神经网络的深度学习为代表的人工智能被用于检测物体。当通过深度学习而检测物体时，CPU 102将ROM 103中所存储的用于处理的程序、SSD、YOLO的网络结构或权重参数等发送到物体检测单元115。
“SSD”是“single shot multibox detector(单发多框检测器)”的缩写，“YOLO”是“you only look once(你只看一次)”的缩写。物体检测单元115基于从CPU 102获得的各种参数进行从图像信号中检测物体的处理，并将处理结果加载到RAM 104上。
图2A是示出图像传感器的光接收面上所布置的示例性滤色器的图。在图2A中，示出红色(R)、蓝色(B)和绿色(Gb和Gr)的拜耳阵列。在图像传感器中，多个像素二维布置。如图2A那样，R、B、Gb和Gr的滤色器中的一个滤色器放置在各个像素的前面上。
在图2A中，仅示出两行的滤色器阵列，但是滤色器阵列在垂直扫描方向上每两行重复布置。
微透镜布置在图像传感器的各个像素的前面所布置的滤色器的前面。各个像素包括在水平扫描方向上按行布置的两个光电转换单元(光电二极管A和光电二极管B)。
图2B是示出在各个像素中布置两个光电转换单元(光电二极管)以与图2A的滤色器阵列相对应的示例的图。在图2B中，各个像素配置有一对光电二极管A和光电二极管B，并且相同颜色的滤色器布置在两对光电二极管中。
光电二极管A和光电二极管B各自经由微透镜接收来自光学系统的不同出射光瞳的光束。
在根据本实施例的图像传感器中，可以从在行方向上排列的像素的多个光电二极管A获取A图像信号。类似地，可以从在行方向上排列的像素的多个光电二极管B获取B图像信号。A图像信号和B图像信号作为用于相位差检测的信号被处理。
也就是说，CPU 102或图像处理单元105进行A图像信号和B图像信号的相关性计算、检测A图像信号和B图像信号之间的相位差、并基于相位差来计算被摄体距离。也就是说，CPU 102或图像处理单元105用作用于获取指示到被摄体的距离的距离信息的距离信息获取单元。
通过将各个像素的两个光电二极管A和光电二极管B的信号相加，可以获取用于图像的信号(A图像信号+B图像信号)。相加后的用于图像的信号作为根据图2A所示的拜耳阵列的颜色图像信号被图像处理单元105处理。
摄像单元107可以针对各个像素输出用于相位差检测的信号(A图像信号和B图像信号)，并且还可以输出通过将多个相邻的A图像信号相加并平均以及将多个相邻的B图像信号相加并平均而获得的值。通过输出相加并平均后的值，可以缩短从摄像单元107读取信号的时间或者减小内部总线101的带宽。
CPU 102或图像处理单元105使用从图像传感器中所包括的摄像单元107输出的信号来进行两个图像信号的相关性计算，并基于两个图像信号之间的相位差来计算诸如散焦量、视差信息或各种可靠度等的信息。
基于A图像信号和B图像信号之间的偏差(相位差)来计算光接收面上的散焦量。散焦量具有正值或负值。根据散焦量是正值还是负值，可以理解为前焦点或后焦点。
根据散焦量的绝对值，可以了解聚焦程度。当散焦量为0时，实现聚焦。也就是说，CPU 102基于正散焦量或负散焦量来计算用于指示前焦点或后焦点的信息，并基于散焦量的绝对值来计算作为聚焦程度(聚焦偏离量)的聚焦程度信息。
当散焦量超过预定值时，输出用于指示前焦点或后焦点的信息。当散焦量的绝对值在预定值内时，输出用于指示实现聚焦的信息。
CPU 102根据散焦量来控制镜头单元106，使得进行聚焦调整。
CPU 102根据相位差信息和镜头单元106的镜头信息，使用三角测量原理来计算到被摄体的距离。
在图2A和图2B中，已经描述了用作光电转换单元的两个光电二极管布置在一个微透镜中的像素以阵列形式布置的示例。然而，可以配置针对各个微透镜布置三个或多于三个用作光电转换单元的光电二极管的各个像素。并非所有像素都具有前述配置。例如，用于距离检测的像素可以离散地布置在以二维形式布置的用于图像检测的多个像素内。
在该情况下，如上所述，用于距离检测的像素可以具有包括两个光电二极管的结构，或者可以具有用于距离检测的各个像素仅包括光电二极管A和光电二极管B的结构。
当仅包括光电二极管A和光电二极管B中的一个时，光电二极管A和光电二极管B被布置成使得入射镜头单元的不同光瞳区域(出射光瞳)的图像。可替代地，光束中的一个被阻挡。
以该方式，根据本实施例的摄像单元107可以具有获得两个信号的配置，其中，利用这两个图像信号可以检测A图像信号和B图像信号等之间的相位差，并且本实施例不限于前述像素结构。摄像单元107可以是包括具有视差的两个图像传感器的所谓的立体照相机。
接下来，将参考图3至图5描述生成距离信息的处理。图3是示出根据第一实施例的生成距离信息的处理的流程图。
用作计算机的CPU 102执行用作存储介质的ROM 103中所存储的计算机程序，以进行图3的流程图的各个步骤的操作。
在图3的流程图中，首先，在步骤S300中，从摄像单元107分别读取并获取用于相位差检测的A图像信号和用于摄像的(A图像信号和B图像信号)两个信号。
随后，在步骤S301中，图像处理单元105通过获得A图像信号和(A图像信号和B图像信号)之间的差来计算用于相位差检测的B图像信号。
已经描述了在前述步骤S300和S301中通过读取A图像信号和(A图像信号+B图像信号)并计算A图像信号来计算B信号的示例。然而，A图像信号和B图像信号可以各自从摄像单元107读取。
当包括两个图像传感器(诸如立体照相机)时，从图像传感器输出的图像信号可以被设置为要处理的A图像信号和B图像信号。
在步骤S302中，对用于相位差检测的A图像信号和用于相位差检测的B图像信号各自进行光学阴影校正。
在步骤S303中，对用于相位差检测的A图像信号和用于相位差检测的B图像信号各自进行滤波处理。例如，由配置有FIR的高通滤波器来截除低通。各个信号可以通过滤波器系数被改变的带通滤波器或低通滤波器。
随后，在步骤S304中，在步骤S303中经过了滤波处理的用于相位差检测的A图像信号和用于相位差检测的B图像信号被分割成微小块，并且进行相关性计算。对微小块的大小或形状没有限制，并且在相邻块之间可以叠加区域。
在下文中，将描述对作为一对图像的A图像信号和B图像信号的相关性计算。所关注的像素位置处的A图像信号的信号行被写为E(1)至E(m)，所关注的像素位置处的B图像信号的信号行被写为F(1)至F(m)。
在将B图像信号的信号行F(1)至F(m)从A图像信号的信号行E(1)至E(m)相对偏移的情况下，使用式(1)计算两个信号行之间的偏移量k中的相关量C(k)。
C(k)＝∑|E(n)-F(n+k)|...(1)
式(1)，Σ计算意味着针对n计算总和的计算。在Σ计算中，n和n+K之间的范围被限制在1至m之间的范围。偏移量k是整数值，并且是使用一对数据的检测间距作为单位而测量的相对偏移量。
图4是示出当在没有噪声的理想状态下一对图像信号行之间的相关性高时式(1)的计算结果的图。
如图4所示，在一对图像信号行之间的相关性高的偏移量(其中k＝kj＝0)处，作为差分的相关量C(k)变得最小。在下文中，当理想相关量C(k)最小时的k被写为kj。通过式(2)至(4)中表示的3点插值处理，计算针对连续相关量给出最小值C(x)的偏移量x。偏移量x是实数值，并且单位是像素。
Figure BDA0004040910220000101
Figure BDA0004040910220000102
SLOP＝MAX{C(kj+1)-C(kj)，C(kj-1)-C(kj)}…(4)
在式(4)中，SLOP指示最小或最大相关量或相邻相关量的变化的斜率。在图4中，以下被设置为具体示例。
C(kj)-C(0)＝1000
C(kj-1)＝C(-1)＝1700
C(kj+1)＝C(1)＝1830
在该示例中，设置了kj＝0。根据式(2)到(4)，获得以下内容。
SLOP＝830
x＝-0.078像素
在聚焦状态的情况下，A图像的信号行到B图像的信号行的偏移量的理想值是0.00。
另一方面，图5是示出当式(1)应用于存在噪声的微小块时的计算结果的图。
如图5所示，随机分布的噪声的影响劣化了A图像的信号行和B图像的信号行之间的相关性。相关量C(k)的最小值大于图4所示的最小值。相关量的曲线具有总体平坦的形状(最大值和最小值之间的差分绝对值小的形状)。
在图5中，以下被设置为具体示例。
C(kj)-C(0)＝1300
C(kj-1)＝C(-1)＝1480
C(kj+1)＝C(1)＝1800
在该示例中，设置了kj＝0。根据式(2)到(4)，获得以下内容。
SLOP＝500
x＝-0.32像素
也就是说，与没有如图4所示的噪声的状态下的计算结果相比，偏移量x与理想值分离。
当一对图像信号序列之间的相关性低时，相关量C(k)的变化量增加，并且相关量的曲线具有总体平坦的形状。因此，SLOP的值增加。即使当被摄体图像具有低对比度时，相关量的曲线也形成为平坦形状。
基于该特性，可以利用SLOP的值来判断所计算出的偏移量x的可靠度。也就是说，当SLOP的值大时，可以判断为该一对图像信号序列之间的相关性高。当SLOP的值小时，可以判断为没有获得该一对图像信号序列之间的有意义的相关性。
在本实施例中，由于式(1)被用于相关性计算，所以一对图像信号序列之间的相关性最高的偏移量中的相关量C(k)变为最小值或最大值。然而，可以使用在一对图像信号序列之间的相关性最高的偏移量处、使相关量C(k)最大化或最小化的相关性计算方法。
随后，在步骤S305中计算可靠度。如上所述，在如上所述的步骤S304中计算出的SLOP的值被定义为可靠度。
随后，在步骤S306中进行插值处理。在步骤S304中已经进行了相关性计算。然而，由于在步骤S305中计算出的可靠度低，所以在一些情况下不能采用该可靠度作为偏移量。
在该情况下，根据利用相邻像素计算出的偏移量来进行插值。作为插值方法，可以应用中值滤波器，或者可以进行用于缩小偏移量的数据然后再次扩大偏移量的数据的计算。可以从用于摄像的(A图像信号+B图像信号)中提取颜色数据，并且可以使用颜色数据对偏移量进行插值。
随后，在步骤S307中，参考在步骤S304中计算出的偏移量x来计算散焦量。具体地，散焦量(被写为DEF)可以通过下面的式(5)获得。
DEF＝P·x…(5)
在式(5)中，P是根据检测间距(像素布置间距)和一对视差图像中的左右两个视点之间的投影中心之间的距离而确定的转换系数，并且单位是分/像素(min/pixel)。
随后，在步骤S308中，根据在步骤S307中计算出的散焦量来计算距离。当Da是到被摄体的距离，Db是焦点位置，F是焦距时，下面的式(6)近似成立。
Figure BDA0004040910220000121
因此，在式(7)中表示到被摄体的距离Da。
Figure BDA0004040910220000122
因此，当在DEF＝0的情况下Db0是Db时，式(7)变成式(8)。
Figure BDA0004040910220000131
因此，可以获得到被摄体的绝对距离。
另一方面，因为相对距离是Da-Da’，所以可以从式(7)和式(8)获得下面的式(9)。
Figure BDA0004040910220000132
如上所述，当根据图3的流程图进行相关性计算时，可以从用于相位差检测的A图像信号和用于相位差检测的B图像信号计算诸如距离数据、偏移量和散焦量等的距离信息。也就是说，可以基于多个光电转换单元的输出之间的相位差来获取距离信息。根据本实施例的距离信息可以是距离数据本身，或者可以是偏移量或散焦量。距离信息包括距离数据本身、偏移量和散焦量。
在本实施例中，如上所述计算出的距离信息和与距离信息有关的协助数据等被叠加以生成数据流，并且该数据流经由用作输出单元的图像输出单元109被输出。因此，可以通过外部装置高效且精确地进行高精度计算机图形(CG)图像的合成等。协助数据的细节将在下面描述。
在下文中，将描述符合SDI的传输标准向外部输出距离信息和与距离信息有关的协助数据的方法的示例。由于在SDI的传输标准中有禁止码，一部分距离信息被转换成叠加的，使得禁止码不会出现。
首先，将参考图6描述当帧频为29.97fps、水平分辨率为1920、垂直分辨率为1080时的HD-SDI数据流的结构。在SMPTEST292-1中定义HD-SDI数据流。
图6是示出根据第一实施例的SDI结构的图。如所示出的，一行数据流被划分成一个字有10位的两个数据流。在一个帧中，数据流有1125行。Y(亮度)流和C(颜色)流包括2200个字，其中1个字有10位。
在数据中，从第1920个字起叠加用于识别图像信号的分离位置的标识符EAV(有效视频的结束)，并且连续地叠加行号(LN)和作为用于传输错误校验的数据的循环冗余校验码(CRCC)。
辅助数据(协助数据)被叠加，与268个字相对应的正确数据区域(以下称为消隐区域)继续。此后，如在EAV中那样，叠加用于辨别图像信号的分离位置的标识符SAV(有效视频的开始)。
然后，与1920个字相对应的Y数据(亮度数据)和C数据(颜色数据)被叠加以被发送。当帧频改变时，一行的字数也改变。因此，消隐区域中的字数被改变。
接下来，将参考图7描述根据本实施例的叠加距离信息的处理。
图7是示出根据第一实施例的距离信息的叠加示例的图。在图6中Y数据和C数据的叠加位置处，指示了如何针对各个字叠加距离信息。
图7示出在图3的步骤S308中针对各个像素计算高精度距离信息的情况的示例，其中该高精度距离信息具有从用作叠加在Y数据上的距离信息的D[17]至D[9]至用作叠加在C数据上的距离信息的D[8]至D[0]的合计18位。距离信息被分割并叠加在多个数据流上。
在SDI的传输标准中，0、1、2和3以及1020、1021、1022和1023用作禁止码。因此，如图7那样，作为通过将D[17]反转而获得的值的～D[17]叠加在Y[9]的位置处，并且D[17]至D[9]的值叠加在Y[8]至Y[0]的位置处。
作为通过将D[8]反转而获得的值的～D[8]叠加在C[9]的位置处，并且D[8]至D[0]的值叠加在C[8]至C[0]的位置处，因此距离信息被转换和叠加，使得禁止码不会出现。
这里，已经描述了距离信息是18位高精度距离信息的情况的示例，但是距离信息的位深度可以具有18位或少于18位。即使在该情况下，类似地，通过将叠加在Y[8]的位置处的值反转而获得的值被用作叠加在Y[9]的位置处的值，以及通过将叠加在C[8]的位置处的值反转而获得的值被用作叠加在C[9]的位置处的值。因此，可以叠加距离信息，使得禁止码不会出现。
如上所述，在本实施例中，在距离信息中附带各种协助数据作为元数据来输出。例如，当外部装置进行诸如CG图像合成等的后处理时，优选获取例如各种设置数据和与图像处理装置的状态有关的数据作为协助数据(辅助数据)，以精确地使用距离信息。
这里，图像处理装置的各种设置数据包括例如曝光设置信息。与图像处理装置的状态有关的数据包括例如诸如斜率等的数据。
此外，协助数据优选地包括与镜头单元106有关的镜头信息(例如，镜头单元106的焦距、聚焦位置和光圈信息中的至少一个)。
此外，协助数据优选地包括用于将拍摄的图像与距离信息(例如，时间码)同步的数据以及指示在计算距离信息之前进行的各种校正处理的有无的信息。
优选地还包括用于指示距离信息的属性的数据。这里，距离信息的属性包括例如指示距离信息是数据本身、散焦信息还是偏移量数据的信息。
当输出散焦信息作为距离信息时，为了根据散焦量计算被摄体距离，与镜头单元的焦距有关的信息作为协助数据是必要的。当偏移量作为距离信息而输出时，与偏移量k有关的信息也需要作为协助数据。
距离信息的属性信息包括距离信息的有效位数(位深度)、指示距离信息是绝对距离还是相对距离的信息、以及当距离信息具有小数点时指示哪个位是小数点或更小的信息。
距离信息的属性包括指示当距离信息是相对距离时距离信息是否有符号的信息、指示距离信息的1LSB是几cm的信息、以及当在相对距离中没有进行有符号的表现时聚焦位置的距离。
协助数据优选地包括最近距离(到最近被摄体的距离)和最远距离(到最远被摄体的距离)的值以及诸如可测量的分辨率等的信息。
此外，当叠加前述图像、距离信息或协助数据作为要从图像处理装置100输出的协助数据时，需要包括与所叠加的数据流的数据结构(数据格式)有关的信息。
作为根据本实施例的叠加，可以进行复用(例如，插入到诸如消隐时段等的间隙中)，或者可以对数据进行相互混合和编码。根据本实施例的叠加包括任一方法。
根据本实施例的数据流不限于诸如由多个帧形成的运动图像数据等的数据流。例如，还包括仅一个帧的静止图像数据。
因此，在本实施例中，如上所述，当输出距离信息时，除了距离信息之外，还附加输出上述各种信息(以下称为协助数据或辅助数据)。因此，可以提高诸如图像合成等的后处理的精度或效率。
根据本实施例，各种协助数据被封装并叠加在消隐区域上以与距离信息一起输出，因此传输是高效的。
图8是示出根据第一实施例的叠加在消隐区域上的辅助数据的包结构的图。示出用于存储SMPTE ST 291中定义的协助数据(辅助数据)的包结构。
协助数据(辅助数据)存储在图8所示的类型2(Type 2)的辅助数据包(ANC数据包)中的用户数据字(User Data Words)中，其中各个用户数据字有10位。存储的数据格式可以是任何格式，只要信息可以作为值被获取即可。
上述数据存储在用户数据字中。在作为用于识别辅助数据包的类型的头区域的数据ID(DID)和次级数据ID(SDID)中，为各个包设置用于指示与正被发送的数据有关的信息的预定值。
在一个辅助数据包中，最多可以存储255个字的用户数据字。然而，上述协助数据被分割并叠加在要输出的多个辅助数据包中，而无需存储多达255个字。
图9是示出根据第一实施例的流生成处理的流程图。接下来，将参考图9描述根据第一实施例的流生成处理。用作计算机的CPU 102在RAM 104上加载并执行用作存储介质的ROM 103等上所存储的计算机程序，以进行图9的流程图的各个步骤的操作。
在图9中，在步骤S901中，CPU 102根据SMPTE ST 292-1生成并叠加EAV、LN和CRCC。在步骤S902中，CPU 102判断是否叠加上述各个协助数据(辅助数据)中所存储的辅助数据包。
由于各个辅助数据包的叠加位置不同，在步骤S903中，在预定的行中和预定的采样定时，叠加预定的辅助数据包。这里，步骤S903用作生成与距离信息有关的协助数据的协助数据生成步骤(协助数据生成单元)。
在步骤S904中，指示图像信号的黑电平的数据被叠加在没有叠加辅助数据包的消隐区域中。指示黑电平的数据例如是Y数据的数量是64并且C数据的数量是512的数据。在步骤S905中，CPU 102根据SMPTE ST 292-1生成并叠加SAV。
在步骤S906中，CPU 102判断行是否是有效像素数据叠加行。例如，对于逐行扫描的图像，第42行是有效像素数据叠加行的开始行，并且有效像素数据叠加行持续直到第1121行为止。
对于隔行扫描的图像，第一字段的有效像素数据叠加行是从第21行至第560行的行，并且第二字段的有效像素数据叠加行是从第584行至第1123行的行。当行是有效像素数据叠加行时，处理进行到步骤S907。相反，当行不是有效像素数据叠加行时，CPU 102使处理进行到步骤S908。
在步骤S907中，如参考图7所述，叠加距离信息等。在步骤S908中，如步骤S904中那样叠加黑数据(black data)。对各个行进行上述处理。此外，进行如下的步骤：对数据进行串行化并输出，使得定义SMPTE ST 292-1。
因此，图像处理装置100可以将图像、距离信息和协助数据叠加并经由图像输出单元109输出到外部。这里，步骤S1301至S1308用作生成叠加了图像、距离信息和协助数据的数据流的数据流生成步骤(数据流生成单元)。
在本实施例中，已经描述了输出距离信息本身的示例。然而，例如，可以输出偏移量而不是距离信息本身，并且指示正在输出的信息不是距离信息而是偏移量的信息以及根据偏移量计算距离信息所需的信息可以作为协助数据被输出。以该方式，可以通过后处理来计算距离信息。
第二实施例
在第一实施例中，通过输出图像合成等所需的距离信息和协助数据，可以通过后处理来进行图像合成，但是即使输出连接到外部显示器，合成图像也没有被显示为人可以容易地辨别距离信息的图像。因此，在第二实施例中，将描述连接外部显示器并输出距离信息使得用户可以容易地确认距离信息的获取状态的示例。
图10是示出根据第二实施例的处理示例的流程图，在该处理示例中，输出距离信息使得在显示器上容易观看距离信息。通过使CPU 102在RAM 104上加载并执行ROM 103中所存储的程序来实现流程图中的各个处理。
在本实施例中，相同的附图标记被给予与第一实施例的配置和步骤相同或相似的配置和步骤，并且将省略重复描述。
在步骤S1001中，CPU 102对在图3的步骤S308中计算出的距离信息的高10位进行限制处理以进行转换，使得禁止码不会出现。具体地，当距离信息的高10位是0、1、2和3时，设置4。当高10位是1023、1022、1021和1020时，设置1019。
在步骤S1002中，在图6中的Y数据的叠加位置处，如图11那样，CPU 102叠加针对各个字经过限制处理的距离信息的高10位(D’[9]至D’[0])。图11是示出根据第二实施例的距离信息的叠加示例的图。
另一方面，在C数据的叠加位置处，例如将诸如1等的固定值叠加在作为最高有效位的C[9]的位置处，并且将诸如0等的固定值叠加在除此之外的C[8]至C[0]的位置处。
通过进行前述处理并使图像处理装置100根据SMPTE ST 292-1的定义经由图像输出单元109输出距离信息，可以在能够接收HD-SDI的显示器上以如图12那样的灰度显示距离信息。图12是示出根据第二实施例的距离信息的显示示例的图。
在图12所示的示例中，距离越近，被摄体的亮度越高。距离越远，被摄体的亮度越低。由于以该方式用亮度的强度来表现距离信息，所以用户可以容易地观看距离信息的获取状态。
在本实施例中，已经描述了在Y数据的位置处叠加距离信息的示例。然而，在步骤S1002中，如图13那样，距离信息可以叠加在C数据的位置处，并且固定值可以叠加在Y数据的位置处。图13是示出根据第二实施例的距离信息的另一显示示例的图。
当如图13那样距离信息叠加在C数据的位置处时，可以在外部显示器上以诸如热图等的颜色强度显示距离信息。
这里，当用于传输的图像格式是YCbCr422时，设置针对各个字Cb和Cr交替叠加在C数据上的格式。因此，例如，通过在Cb中叠加固定值并且仅在Cr中叠加距离信息，距离信息的水平分辨率减半。然而，可以在外部显示器上显示距离信息的红色渐变。
相反，通过在Cr中叠加固定值并且仅在Cb中叠加距离信息，可以在外部显示器上显示距离信息的蓝色渐变。
可替代地，当设置预定阈值并且距离信息超过该阈值时，可以在Cb中叠加距离信息，并且可以在Cr中叠加固定值。当距离信息小于阈值时，可以在Cr中叠加距离信息，并且可以在Cb中叠加固定值。
相反，当距离信息超过阈值时，可以在Cr中叠加距离信息，并且可以在Cb中叠加固定值。当距离信息小于阈值时，可以在Cb中叠加距离信息，并且可以在Cr中叠加固定值。
可替代地，距离信息可以叠加在Y数据和C数据这两者的位置处。在该情况下，在外部显示器上显示根据距离信息的值而改变的亮度和颜色这两者。
第三实施例
在第一实施例和第二实施例中，已经描述了在现有技术中在叠加图像信号的位置处叠加距离信息并发送距离信息的方法。然而，在这些情况下，有必要与用于输出距离信息的端子分开准备输出端子。因此，在第三实施例中，将描述利用一个系统的输出端子来输出图像信号、距离信息和协助数据的示例。
图14是示出根据第三实施例的SDI结构的图。将参考图14描述当帧频为29.97fps、水平分辨率为1920、垂直分辨率为1080时3G-SDI的数据流的结构。在SMPTE ST 425-1中定义了3G-SDI的数据流。
如图14所示，一行数据流被划分成四个数据流，其中一个字有10位。在一个帧中，数据流有1125行。R流、G流、B流和A流包括2200个字，其中1个字有10位。
A流与阿尔法通道的数据流相对应。在本实施例中，距离信息叠加在作为阿尔法通道的数据流的A流上。
在数据中，从第1920个字起叠加EAV，并且连续地叠加LN和CRCC。与268个字相对应的消隐区域继续。此后，叠加SAV。与1920个字相对应的R(红色)数据、G(绿色)数据、B(蓝色)数据和A(距离信息)数据被叠加以被发送。当帧频改变时，一行的字数也改变。因此，消隐区域中的字数被改变。
图15是示出根据第三实施例的流生成处理的流程图。图16是示出根据第三实施例的距离信息的叠加示例的图。
将参考图15的流程图和图16的叠加示例来描述根据第三实施例的流生成处理。通过使CPU 102在RAM 104上加载并执行ROM 103中所存储的程序来实现流程图中的各个处理。在本实施例中，相同的附图标记被给予与第二实施例的配置和步骤相同或相似的配置和步骤，并且将省略重复描述。
在步骤S1501中，如图16所示，CPU 102在图14中的A(距离信息)数据的叠加位置处，叠加针对各个字经过限制处理的距离信息的高10位(D’[9]至D’[0])。另一方面，在各个RGB数据的叠加位置处，以RGB格式按原样叠加图像信号。
通过进行和输出符合SMPTE ST 425-1的定义的上述处理，可以用一个系统的输出端子输出图像信号、距离信息和协助数据。在本实施例中，已经描述了以RGB格式叠加图像信号的示例。然而，图像信号可以以YCbCR等而不是RGB的格式进行叠加，并且距离信息可以作为A数据如图16那样被叠加并输出。
第四实施例
在第一实施例和第二实施例中，已经各自描述了输出距离信息的方法的示例。然而，用户可以选择这样的方法，并且图像处理装置100可以被配置为使得可以进行适合于用户目的的输出。因此，在第四实施例中，将描述各个实施例中的输出方法被切换用于输出的示例。
图17是示出根据第四实施例的距离信息的输出模式选择处理的示例的流程图。通过使CPU 102在RAM 104上加载并执行ROM 103中所存储的程序来实现流程图中的各个处理。
当用户操作操作单元113以向电源单元(未示出)供电时，在步骤S1701中，CPU 102进行摄像等待处理。在摄像等待处理中，CPU 102使摄像单元107进行摄像，并在显示单元114上显示通过图像处理单元105的图像处理获得的图像、或者用于设置图像处理装置100的菜单。
在步骤S1702中，用户在观看显示单元114的情况下操作操作单元113来进行各种设置。CPU 102接收响应于该操作的设置，并在图像处理装置100的各个处理单元中进行相应的处理。这里，用户可以使用用作选择单元的操作单元113来设置距离信息的输出模式。
也就是说，用户可以选择例如高精度距离信息输出模式等的设置作为输出模式。如第一实施例中所述，高精度距离信息输出模式是距离信息被分割并叠加在要输出的多个数据流上的模式。
用户可以使用操作单元113来选择距离信息是否叠加在阿尔法通道的数据流(A流)上。假设用户能够选择是将如第二实施例中所述的用于灰度显示的灰度输出模式还是用于热图显示的热图显示模式设置为除了高精度距离信息输出模式之外的输出模式。
以该方式，在本实施例中，可以利用用作选择单元的操作单元113来选择是将距离信息分割并叠加在多个数据流上还是在一个数据流上。此外，当距离信息叠加在一个数据流上时，可以利用操作单元113选择是将距离信息叠加在亮度的数据流上还是颜色的数据流上。
在步骤S1703中，CPU 102判断在步骤S1702中选择的模式是否是高精度距离信息输出模式。当输出距离信息的模式是高精度距离信息输出模式时，处理进行到步骤S1704。当模式不是高精度距离信息输出模式时，处理进行到步骤S1705。
在步骤S1704中，进行第一实施例中描述的处理，以将指示输出距离信息的模式是高精度距离信息输出模式的信息和与要输出的数据结构有关的协助数据如图7所示叠加在距离信息上，并从图像输出单元109输出叠加后的距离信息。也就是说，在步骤S1704中，距离信息被分割并叠加在Y(亮度)数据和C(颜色)数据的多个数据流上。
相反，在步骤S1705中，CPU 102判断在步骤S1702中选择的模式是灰度输出模式还是热图输出模式。当选择的模式是灰度输出模式时，处理进行到步骤S1706。当选择的模式是热图输出模式时，处理进行到步骤S1707。
在步骤S1706中，进行第二实施例中描述的处理，以将指示所选择的模式是灰度输出模式的信息和与要输出的数据结构有关的协助数据如图11所示叠加在距离信息上，并从图像输出单元109输出叠加后的距离信息。也就是说，在步骤S1706中，距离信息被叠加在亮度的数据流上。
在步骤S1707中，进行第二实施例中描述的处理，以将指示所选择的模式是热图输出模式的信息和与要输出的数据结构有关的协助数据如图13所示叠加在距离信息上，并从图像输出单元109输出叠加后的距离信息。也就是说，在步骤S1707中，距离信息被叠加在颜色的数据流上。
通过进行上述处理，用户可以以期望的格式输出距离信息。在本实施例中，已经描述了选择第一实施例和第二实施例中描述的输出方案以用于输出的示例。此外，可以选择第三实施例中描述的输出方案以用于输出。
第五实施例
在第一实施例至第四实施例中，已经描述了输出10位或18位距离信息的示例。然而，例如，当进行后处理的图像合成的处理是在多个所摄像的被摄体之间插入CG图像的处理、并且使用输出具有比10位更小的位深度的信息作为距离信息的方式时，更容易进行后处理。
可替代地，当使用减少位深度的方式时，很容易观看外部显示器上所显示的信息。因此，在第五实施例中，将描述用户使用操作单元113来改变位深度(有效位数)并且输出与所设置的位深度相对应的距离信息的示例。
图18是示出根据第五实施例的距离信息的输出模式选择处理的流程图。通过使CPU 102在RAM 104上加载并执行ROM 103中所存储的程序来实现流程图中的各个处理。在本实施例中，相同的附图标记被给予与第四实施例的配置和步骤相同或相似的配置和步骤，并且将省略重复描述。
在步骤S1801中，用户在观看显示单元114的情况下操作操作单元113来改变距离信息的位深度(有效位数)。CPU 102响应于图像处理装置100的各个处理单元中的操作来进行设置或处理。这里，操作单元113用作能够选择距离信息的有效位数的有效位数选择单元。
在下文中，将描述距离信息的有效位数被设置为3位的情况的示例。在步骤S1802中，进行与第一实施例的处理类似的处理，以将指示输出距离信息的模式是高精度距离信息输出模式的协助数据和指示距离信息的有效位数的协助数据如图19所示叠加在距离信息上。然后，从图像输出单元109输出距离信息。
图19是示出根据第五实施例的高精度距离信息输出模式中的距离信息的叠加示例的图。通过将在Y[8]的位置处叠加的值反转而获得的值被叠加为在Y[9]的位置处叠加的值，并且通过将在C[8]的位置处叠加的值反转而获得的值被叠加为在C[9]的位置处叠加的值。
然后，在步骤S1801中设置的有效位数的距离信息的高位被叠加在Y[8]至Y[0]和C[8]至C[0]的位置处，并且0数据被叠加在其他低位上。
在步骤S1803中，进行第二实施例中描述的处理，以将指示所选择的模式是灰度输出模式的协助数据和指示距离信息的有效位数的协助数据如图20所示叠加在距离信息上，并从图像输出单元109输出距离信息。
图20是示出根据第五实施例的灰度输出模式中的距离信息的叠加示例的图。图20所示的距离信息D”是通过如下操作而获得的值：输出与在步骤S1801中设置的有效位数相对应的距离信息的高位，用0数据嵌入其他低位，然后进行诸如在步骤S1001中进行的限制处理等的处理。
图21是示出根据第五实施例的距离信息的显示示例的图。当在步骤S1803中输出的距离信息被接收并显示在外部显示器上时，如图21那样显示以各个距离划分并以不同亮度表现的多个层。
在步骤S1804中，进行第二实施例中描述的处理，以将指示所选择的模式是热图输出模式的协助数据和指示距离信息的有效位数的协助数据如图22所示叠加在距离信息上。然后，从图像输出单元109输出距离信息。
这里，图22是示出根据第五实施例的热图输出模式中的距离信息的叠加示例的图。图22所示的距离信息D”是通过如下操作而获得的值：输出与在步骤S1801中设置的有效位数相对应的距离信息的高位，用0数据嵌入其他低位，然后进行诸如在步骤S1001中进行的限制处理等的处理。
如上所述，通过进行根据本实施例的处理，用户可以选择和设置位深度，并输出与所设置的位深度相对应的距离信息。
在前述实施例中，已经描述了叠加距离信息并以如SMPTE ST 292-1或SMPTE ST425-1中定义的帧频为29.97fps、水平分辨率为1920、垂直分辨率为1080的输出格式来输出距离信息的示例。
然而，帧频或分辨率不限于前述示例，并且可以叠加距离信息并以其他输出格式输出距离信息。
在上述各个实施例中，已经描述了传输路径的数量为一个的情况，但是本公开不限于此。可以采用如下配置，在该配置中，准备多个传输路径，并且使用与用于图像的传输路径不同的传输路径来输出距离信息的数据。传输技术不限于SDI。可以使用诸如HDMI(注册商标)、DisplayPort(注册商标)、USB或LAN等的能够进行图像传输的传输技术，或者可以以将这些传输技术进行组合的方式准备多个传输路径。
根据本实施例的输出单元包括经由存储器向外部输出(供给)叠加了图像、距离信息和协助数据的数据流的单元。
例如，第一实施例至第五实施例可以适当地部分组合。可以在图像处理装置100的显示单元114上显示菜单，使得用户可以适当地选择第一实施例至第五实施例中描述的功能或功能的组合。
虽然已经参考示例性实施例描述了本公开，但是应当理解，本公开不限于所公开的实施例。以下权利要求的范围应符合最广泛的解释，以涵盖所有这样的修改和等同的结构和功能。另外，作为根据实施例的控制的一部分或全部，实现上述实施例的功能的计算机程序可以通过网络或各种存储介质被供给至图像处理装置。然后，图像处理装置的计算机(或CPU或MPU等)可以被配置为读取并执行该程序。在这样的情况下，程序和存储程序的存储介质构成本公开。
本申请要求2022年1月7日提交的日本专利申请2022-001906的权益，其全部内容通过引用结合于此。

Claims (23)

1.一种图像处理装置，包括：
图像获取单元，其被配置为经由镜头单元获取包含被摄体的图像；
至少一个处理器，其被配置为用作：
距离信息获取单元，其被配置为获取指示到被摄体的距离的距离信息，
协助数据生成单元，其被配置为生成与所述距离信息有关的协助数据，
数据流生成单元，其被配置为生成叠加了所述图像、所述距离信息和所述协助数据的数据流，以及
输出单元，其被配置为向外部输出所述数据流。
2.根据权利要求1所述的图像处理装置，
其中，所述图像获取单元包括图像传感器，在所述图像传感器中，针对各个像素布置有用于接收通过所述镜头单元的不同光瞳区域的光束的多个光电转换单元，以及
其中，所述距离信息是基于所述多个光电转换单元的输出之间的相位差而获取的。
3.根据权利要求2所述的图像处理装置，其中，所述图像是通过将所述多个光电转换单元的输出进行相加而获取的。
4.根据权利要求1所述的图像处理装置，其中，所述数据流生成单元将所述距离信息分割并叠加在多个数据流上。
5.根据权利要求1所述的图像处理装置，其中，所述数据流生成单元将所述距离信息叠加在亮度的数据流上。
6.根据权利要求1所述的图像处理装置，其中，所述数据流生成单元将所述距离信息叠加在颜色的数据流上。
7.根据权利要求1所述的图像处理装置，其中，所述数据流生成单元将所述距离信息叠加在阿尔法通道的数据流上。
8.根据权利要求1所述的图像处理装置，其中，所述至少一个处理器还被配置为用作选择单元，所述选择单元被配置为能够选择是将所述距离信息分割并叠加在多个数据流上还是将所述距离信息叠加在一个数据流上。
9.根据权利要求8所述的图像处理装置，其中，所述选择单元能够选择是将所述距离信息叠加在亮度的数据流上还是将所述距离信息叠加在颜色的数据流上。
10.根据权利要求8所述的图像处理装置，其中，所述选择单元能够选择是否将所述距离信息叠加在阿尔法通道的数据流上。
11.根据权利要求1所述的图像处理装置，其中，所述至少一个处理器还被配置为用作有效位数选择单元，所述有效位数选择单元被配置为能够选择所述距离信息的有效位数。
12.根据权利要求1所述的图像处理装置，其中，所述数据流生成单元叠加有效位数的所述距离信息的高位，并且在低位上叠加0。
13.根据权利要求1所述的图像处理装置，其中，所述协助数据包括与所述图像处理装置的设置数据或状态有关的数据。
14.根据权利要求1所述的图像处理装置，其中，所述协助数据包括与所述镜头单元有关的镜头信息。
15.根据权利要求14所述的图像处理装置，其中，所述镜头信息包括焦距、聚焦位置和光圈信息中的至少一个。
16.根据权利要求1所述的图像处理装置，其中，所述协助数据包括用于将所述图像和所述距离信息进行同步的数据。
17.根据权利要求1所述的图像处理装置，其中，所述协助数据包括指示所述距离信息的属性的数据。
18.根据权利要求1所述的图像处理装置，其中，所述协助数据包括与所述数据流的数据结构有关的信息。
19.根据权利要求1所述的图像处理装置，其中，所述输出单元使用SDI进行输出。
20.根据权利要求1所述的图像处理装置，其中，所述数据流包括静止图像数据。
21.根据权利要求1所述的图像处理装置，其中，所述数据流生成单元通过复用或混合来进行叠加。
22.一种图像处理方法，包括：
经由镜头单元获取包含被摄体的图像；
获取指示到被摄体的距离的距离信息；
生成与所述距离信息有关的协助数据；
生成叠加了所述图像、所述距离信息和所述协助数据的数据流；以及
向外部输出所述数据流。
23.一种非暂时性计算机可读存储介质，其被配置为存储包括用于执行图像处理方法的指令的计算机程序，所述图像处理方法包括：
经由镜头单元获取包含被摄体的图像；
获取指示到被摄体的距离的距离信息；
生成与所述距离信息有关的协助数据；
生成叠加了所述图像、所述距离信息和所述协助数据的数据流；以及
向外部输出所述数据流。
CN202310018566.6A 2022-01-07 2023-01-06 图像处理装置、图像处理方法和存储介质 Pending CN116419050A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022001906A JP2023101331A (ja) 2022-01-07 2022-01-07 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2022-001906 2022-01-07

Publications (1)

Publication Number Publication Date
CN116419050A true CN116419050A (zh) 2023-07-11

Family

ID=84901414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310018566.6A Pending CN116419050A (zh) 2022-01-07 2023-01-06 图像处理装置、图像处理方法和存储介质

Country Status (5)

Country Link
US (1) US20230222765A1 (zh)
EP (1) EP4210335A1 (zh)
JP (1) JP2023101331A (zh)
KR (1) KR20230107126A (zh)
CN (1) CN116419050A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011030180A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US20130002812A1 (en) * 2011-06-29 2013-01-03 General Instrument Corporation Encoding and/or decoding 3d information
CN105052157A (zh) * 2013-01-15 2015-11-11 图象公司 图像帧复用方法及系统
JP6415179B2 (ja) * 2014-08-20 2018-10-31 キヤノン株式会社 画像処理装置、画像処理方法、および撮像装置並びにその制御方法
JP7451120B2 (ja) 2019-09-20 2024-03-18 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム
JP2022001906A (ja) 2020-06-22 2022-01-06 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット

Also Published As

Publication number Publication date
KR20230107126A (ko) 2023-07-14
US20230222765A1 (en) 2023-07-13
EP4210335A1 (en) 2023-07-12
JP2023101331A (ja) 2023-07-20

Similar Documents

Publication Publication Date Title
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
US8885067B2 (en) Multocular image pickup apparatus and multocular image pickup method
KR101512222B1 (ko) 다중 이미지 센서들로부터 데이터의 결합
US7920176B2 (en) Image generating apparatus and image regenerating apparatus
US20120081519A1 (en) Combining data from multiple image sensors
US8988591B2 (en) Solid-state imaging device, camera module, and focus adjustment method of camera module
US20130113875A1 (en) Stereoscopic panorama image synthesizing device, multi-eye imaging device and stereoscopic panorama image synthesizing method
CN102972032A (zh) 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质
CN111225135B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
JP2007243334A (ja) 撮像装置
US20230007191A1 (en) Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method
US20140340526A1 (en) Imaging apparatus, method for controlling imaging apparatus, and system therefor
JP2005020606A (ja) デジタルカメラ
JP2006049950A (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
US10593717B2 (en) Image processing apparatus, image processing method, and imaging apparatus
EP4210335A1 (en) Image processing device, image processing method, and storage medium
JP4391431B2 (ja) 撮像装置
JP2006340100A (ja) 撮影装置
US8842203B2 (en) Solid-state imaging device and imaging apparatus
EP4216539A2 (en) Image processing apparatus, image processing method, and program
JP2011182325A (ja) 撮像装置
KR20130124898A (ko) 시차 검출 장치 및 시차 검출 방법
JP6247927B2 (ja) 撮影装置及び画像補間装置
JP2024016542A (ja) 撮像装置
JP2016158106A (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination