CN102484679A - 图像处理设备、图像处理方法以及程序 - Google Patents

图像处理设备、图像处理方法以及程序 Download PDF

Info

Publication number
CN102484679A
CN102484679A CN2011800036309A CN201180003630A CN102484679A CN 102484679 A CN102484679 A CN 102484679A CN 2011800036309 A CN2011800036309 A CN 2011800036309A CN 201180003630 A CN201180003630 A CN 201180003630A CN 102484679 A CN102484679 A CN 102484679A
Authority
CN
China
Prior art keywords
vision signal
exposure
obtains
time
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800036309A
Other languages
English (en)
Other versions
CN102484679B (zh
Inventor
钓部智行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102484679A publication Critical patent/CN102484679A/zh
Application granted granted Critical
Publication of CN102484679B publication Critical patent/CN102484679B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

图像处理设备(1)关于从两个成像装置(3)(例如，成像装置A和成像装置B)获得的第一视频信号和第二视频信号，执行匹配处理。所述匹配处理最小化所述第一视频信号和所述第二视频信号之间的差异量。从所述成像装置(3)之一(例如，成像装置A)获得的第三视频信号被移位作为所述匹配处理的结果而获得的最小差异量，并且将其加到从另一个成像装置(3)(例如，成像装置B)获得的第四视频信号上。在通过将所述两个视频信号相加而获得的视频信号上执行非线性处理和/或轮廓校正处理，并且生成监视图像。因而，可以提供图像处理设备，通过将两个视频信号相加并将得到的视频信号用作监视图像而获得高图像质量的监视图像。

Description

图像处理设备、图像处理方法以及程序
技术领域
本发明涉及利用立体匹配的图像处理设备。
背景技术
已经知道通过执行立体测定而测定到拍摄对象的距离的立体图像处理设备(例如，参见专利文献1)。根据传统立体图像处理设备，到拍摄对象的距离使用两个摄像机拍摄的两个摄像机图像来计算。所述两个摄像机图像也可以称为距离测定的图像。此外，根据传统立体图像处理设备，两个摄像机图像之一(距离测定的图像)被用作监视图像。
然而，根据传统图像处理设备，由于仅两个摄像机图像(距离测定的图像)之一被用作监视图像，视频信号的信噪比(S/N ratio)是低的。在视频信号上执行非线性处理，诸如伽玛校正(gamma correction)处理，以用于监视图像，并且扩大低或中亮度视频信号的振幅。然而，在这时，如果视频信号的信噪比低，那么非线性处理导致噪声量的增加、以及该监视图像的图像质量劣化的结果。
[引用列表]
[专利文献]
[专利文献1]日本专利公开No.2009-121870
发明内容
[技术问题]
鉴于上述情况做出了本发明。本发明的目的是提供可以获得高图像质量的监视图像的图像处理设备。
[问题的解决方案]
根据本发明的一个方面，提供图像处理设备，包括：匹配单元，关于从第一图像拾取单元获得的第一视频信号和从第二图像拾取单元获得的第二视频信号，执行使第一视频信号和第二视频信号之间的差异量最小化的匹配处理；附加单元，将从第一图像拾取单元获得的第三视频信号移位作为匹配处理的结果获得的最小差异量，并且将如此移位的第三视频信号加到从第二图像拾取单元获得的第四视频信号；以及监视图像生成单元，关于通过将第三视频信号加到第四视频信号而获得的视频信号，执行非线性处理和/或轮廓校正处理，并且生成监视图像。
根据本发明的另一个方面，提供图像处理方法，包括：执行匹配处理，关于从第一图像拾取单元获得的第一视频信号和从第二图像拾取单元获得的第二视频信号，最小化第一视频信号和第二视频信号之间的差异量；将从第一图像拾取单元获得的第三视频信号移位作为匹配处理的结果获得的最小差异量，并且将如此移位的第三视频信号加到从第二图像拾取单元获得的第四视频信号；以及关于通过将第三视频信号加到第四视频信号而获得的视频信号，执行非线性处理和/或轮廓校正处理，并且生成监视图像。根据本发明的再一个方面，提供图像处理程序，使计算机执行如下处理：匹配处理，关于从第一图像拾取单元获得的第一视频信号和从第二图像拾取单元获得的第二视频信号，最小化第一视频信号和第二视频信号之间的差异量；将从第一图像拾取单元获得的第三视频信号移位作为匹配处理的结果获得的最小差异量，并将如此移位的第三视频信号加到从第二图像拾取单元获得的第四视频信号的处理；以及关于通过将第三视频信号加到第四视频信号而获得的视频信号，执行非线性处理和/或轮廓校正处理，并且生成监视图像的处理。
如下文所述，本发明包括其它方面。因此，本发明的公开意图提供本发明的某些方面，并且不意图限定所描述的本发明以及其中的权利要求的范围。
附图说明
图1是根据本发明的实施例的图像处理设备的框图。
图2是说明根据本发明的实施例的图像处理设备的操作的说明图。
图3是示出根据本发明的实施例而生成范围图像和监视图像的处理流程的流程图。
图4是示出根据本发明的实施例而生成低或中亮度图像和高亮度图像的处理流程的流程图。
参考标记列表
1：图像处理设备
2：透镜
3：成像装置
4：放大电路
5：匹配电路
6：加法电路
7：非线性处理和轮廓校正电路
8：范围图像生成电路
9：曝光和放大控制电路
具体实施方式
下文中对本发明进行详细描述。然而，如下详细描述和附图不限定本发明。
本发明的图像处理设备包括：匹配单元，关于从第一图像拾取单元获得的第一视频信号和从第二图像拾取单元获得的第二视频信号，执行使第一视频信号和第二视频信号之间的差异量最小化的匹配处理；附加单元，将从第一图像拾取单元获得的第三视频信号移位作为匹配处理的结果获得的最小差异量，并且将如此移位的第三视频信号加到从第二图像拾取单元获得的第四视频信号；以及监视图像生成单元，关于通过将第三视频信号加到第四视频信号而获得的视频信号，执行非线性处理和/或轮廓校正处理，并且生成监视图像。
根据这个结构，对从两个图像拾取单元获得的视频信号(第一视频信号和第二视频信号)执行匹配处理，并且确定来自两个图像拾取单元的视频信号之间的差异量。随后，两个视频信号(第三视频信号和第四视频信号)以考虑到从两个图像拾取单元获得的视频信号之间的差异量的方式相加到一起，并且作为两个视频信号(第三视频信号和第四视频信号)相加的结果而获得的视频信号被用作监视图像。由于作为两个视频信号相加的结果而获得的视频信号的信噪比比单一视频信号的信噪比要高，因此可以获得高图像质量的监视图像。
本发明的图像处理设备也可以包括范围图像生成单元，基于作为匹配处理的结果而获得的最小差异量而生成用于距离测定的图像。
根据这个结构，不仅获得了高图像质量的监视图像，也可以获得距离测定的图像(范围图像)。
此外，本发明的图像处理设备可以具有包括控制单元的结构，控制单元控制第一视频信号和第二视频信号的曝光时间或放大系数，使得第一视频信号和第二视频信号在预定的亮度等级范围之内，匹配单元关于作为控制单元的控制结果的在预定的亮度等级范围之内的第一视频信号和第二视频信号，执行匹配处理。
根据这个结构，控制曝光时间或放大系数，使得视频信号的亮度等级在预定的亮度等级范围之内。例如，关于低或中亮度的视频信号，控制单元执行控制以延长曝光时间或增加放大系数。此外，关于高亮度的视频信号，控制单元执行控制以缩短曝光时间或减小放大系数。因此，甚至当拍摄高亮度对象时，也可以抑制由白溃(white washout)引起的图像质量的下降，而且可以改善使用两个视频信号(第一视频信号和第二视频信号)的匹配处理的精确度。因而，甚至当拍摄高亮度对象时，因为可以基于高精确度匹配处理的结果(最小差异量)而将两个视频信号(第三视频信号和第四视频信号)相加到一起，所以可以获得高图像质量的监视图像。
此外，本发明的图像处理设备可以具有包括第二控制单元的结构，第二控制单元控制第三视频信号的曝光时间和第四视频信号的曝光时间，使得第三视频信号的曝光时间和第四视频信号的曝光时间彼此不同。
根据这个结构，由于第三视频信号和第四视频信号的曝光时间可以彼此不同，通过将两个视频信号(第三视频信号和第四视频信号)相加而获得的监视图像的动态范围可以扩展。例如，当拍摄高亮度对象时，执行缩短第三视频信号和第四视频信号二者的曝光时间的控制，而且在这种情况下，也执行使第三视频信号的曝光时间比第四视频信号的曝光时间短的控制。因而，甚至当拍摄高亮度对象时，也可以减少在监视图像(通过将第三视频信号和第四视频信号相加而获得的图像)中的白溃的发生，而且甚至当对象具有高亮度时，也可以获得具有灰度(gradation)的监视图像。
本发明的图像处理设备可以具有包括第三控制单元的结构，第三控制单元控制第一视频信号、第二视频信号、第三视频信号以及第四视频信号的曝光时间或放大系数，在第一时段中，第三控制单元控制第一视频信号和第二视频信号的曝光时间或放大系数，使得第一视频信号和第二视频信号在第一亮度等级范围之内；在第二时段中，第三控制单元控制第三视频信号和第四视频信号的曝光时间或放大系数，使得第三视频信号和第四视频信号在第二亮度等级范围之内；在第三时段中，第三控制单元控制第一视频信号和第二视频信号的曝光时间或放大系数，使得第一视频信号和第二视频信号在不同于第一亮度等级范围的第三亮度等级范围之内；而在第四时段中，第三控制单元控制第三视频信号和第四视频信号的曝光时间或放大系数，使得第三视频信号和第四视频信号在不同于第二亮度等级范围的第四亮度等级范围之内。
根据这个结构，关于第一视频信号和第二视频信号，在第一时段中，获得在第一亮度等级范围之内的视频信号(例如，具有低或中亮度等级)，而在第三时段中，获得在第三亮度等级范围之内的视频信号(例如，具有高亮度等级)。此外，关于第三视频信号和第四视频信号，在第二时段中，获得在第二亮度等级范围之内的视频信号(例如，具有低或中亮度等级)，而在第四时段中，获得在第四亮度等级范围之内的视频信号(例如，具有高亮度等级)。因而，可以在从第一到第四时段的各个时段中可以获得具有不同亮度等级的视频信号。因此，可以获取通过将具有宽范围的亮度等级(从低亮度到高亮度的宽范围)的视频信号(第三视频信号和第四视频信号)相加而获得的监视图像，并且因而可以扩展监视图像的动态范围。因此，例如，甚至当拍摄高亮度对象时，也可以减少在监视图像(通过将第三视频信号和第四视频信号相加而获得的图像)中的白溃的发生，而且甚至当对象具有高亮度时也可以获得具有灰度的监视图像。
本发明的图像处理方法包括：执行匹配处理，关于从第一图像拾取单元获得的第一视频信号和从第二图像拾取单元获得的第二视频信号，最小化第一视频信号和第二视频信号之间的差异量；将从第一图像拾取单元获得的第三视频信号移位作为匹配处理的结果获得的最小差异量，并且将如此移位的第三视频信号加到从第二图像拾取单元获得的第四视频信号；以及关于通过将第三视频信号加到第四视频信号而获得的视频信号，执行非线性处理和/或轮廓校正处理，并且生成监视图像。
根据这种方法，也与如上描述一样，由于两个视频信号(第三视频信号和第四视频信号)以考虑到从两个图像拾取单元获得的视频信号之间的差异量的方式相加到一起，并且作为两个信号相加的结果而获得的视频信号被用作监视图像，所以可以获得高图像质量的监视图像。
本发明的图像处理方法可以包括基于作为匹配处理的结果而获得的最小差异量而生成用于距离测定的图像。
根据这种方法，也与如上描述一样，不仅获得了高图像质量的监视图像，也可以获得距离测定的图像(范围图像)。
此外，本发明的图像处理方法可以包括：控制第一视频信号和第二视频信号的曝光时间或放大系数，使得第一视频信号和第二视频信号在预定的亮度等级范围之内，关于在作为控制结果的预定亮度等级范围之内的第一视频信号和第二视频信号而执行匹配处理。
根据这种方法，也与如上描述一样，甚至当拍摄高亮度对象时，也可以抑制由白溃引起的图像质量的下降，而且可以改善使用两个视频信号(第一视频信号和第二视频信号)的匹配处理的精确度。
本发明的图像处理方法也可以包括：控制第三视频信号的曝光时间和第四视频信号的曝光时间，使得第三视频信号的曝光时间和第四视频信号的曝光时间彼此不同。
根据这种方法，也与如上描述一样，通过将两个视频信号(第三视频信号和第四视频信号)相加而获得的监视图像的动态范围可以扩展。
此外，本发明的图像处理方法可以包括：控制第一视频信号、第二视频信号、第三视频信号以及第四视频信号的曝光时间或放大系数，在第一时段中，控制第一视频信号和第二视频信号的曝光时间或放大系数，使得第一视频信号和第二视频信号在第一亮度等级范围之内；在第二时段中，控制第三视频信号和第四视频信号的曝光时间或放大系数，使得第三视频信号和第四视频信号在第二亮度等级范围之内；在第三时段中，控制第一视频信号和第二视频信号的曝光时间或放大系数，使得第一视频信号和第二视频信号在不同于第一亮度等级范围的第三亮度等级范围之内；而在第四时段中，控制第三视频信号和第四视频信号的曝光时间或放大系数，使得第三视频信号和第四视频信号在不同于第二亮度等级范围的第四亮度等级范围之内。
根据这种方法，也与如上描述一样，可以获取通过将具有宽范围的亮度等级(从低亮度到高亮度的宽范围)的视频信号(第三视频信号和第四视频信号)相加而获得的监视图像，并且因而可以扩展监视图像的动态范围。本发明的程序使计算机执行如下处理：匹配处理，关于从第一图像拾取单元获得的第一视频信号和从第二图像拾取单元获得的第二视频信号，最小化第一视频信号和第二视频信号之间的差异量；将从第一图像拾取单元获得的第三视频信号移位作为匹配处理的结果获得的最小差异量，并且将如此移位的第三视频信号加到从第二图像拾取单元获得的第四视频信号的处理；以及关于通过将第三视频信号加到第四视频信号而获得的视频信号，执行非线性处理和/或轮廓校正处理，并且生成监视图像的处理。
根据这个程序，也与如上描述一样，由于两个视频信号(第三视频信号和第四视频信号)可以以考虑到从两个图像拾取单元获得的视频信号之间的差异量的方式相加到一起，并且作为两个信号相加的结果而获得的视频信号可以被用作监视图像，所以可以获得高图像质量的监视图像。
根据本发明，通过将两个视频信号(第三视频信号和第四视频信号)以考虑到从两个图像拾取单元获得的视频信号之间的差异量的方式相加，并且将作为将两个视频信号相加的结果而获得的视频信号用作监视图像，可以获得高图像质量的监视图像。
以下参考附图描述根据本发明的实施例的图像处理设备。根据本实施例，例如，举例说明用于车载立体图像处理设备等的图像处理设备的情况。关于这一点，如下描述的本实施例的图像处理设备的图像处理功能也可以通过存储于图像处理设备的存储单元或硬盘驱动单元(HDD)中的程序来实现。
现在将参考附图描述本发明的实施例的图像处理设备的结构。如图1所示，本实施例的图像处理设备1包括两个成像装置3(成像装置A和成像装置B)，每个成像装置具有布置在光路上的透镜2、以及分别放大来自每个成像装置3的视频信号的两个放大电路4(放大电路A和放大电路B)。在这种情况下，图像拾取通过透镜2和成像装置3来执行。两个成像装置3(成像装置A和成像装置B)对应于本发明的第一图像拾取单元和第二图像拾取单元。
图像处理设备1包括匹配电路5，关于从两个成像装置3(成像装置A和成像装置B)获得的两个视频信号而执行立体匹配处理(也被简称为“匹配处理”)。匹配电路5执行匹配处理使得对于两个视频信号的每个像素的差异量是最小的量，并且对于每个像素输出最小差异量作为匹配处理的结果。匹配电路5对应于本发明的匹配单元。
图像处理设备1还包括加法电路6，将从成像装置3之一(成像装置A)获得的视频信号加到从另一个成像装置3(成像装置B)获得的视频信号；以及非线性处理和轮廓校正电路7，关于通过将两个视频信号相加而获得的视频信号，执行诸如伽玛校正处理的非线性处理，或者轮廓校正处理，并且生成监视图像。加法电路6执行将从成像装置3之一(成像装置A)获得的视频信号移位作为匹配处理的结果获得的对于每个像素的最小差异量，并且将如此移位的视频信号加到从另一个成像装置3(成像装置B)获得的视频信号的处理。加法电路6对应于本发明的加法单元。非线性处理和轮廓校正电路7对应于本发明的监视图像生成单元。
图像处理设备1还包括范围图像生成电路8，基于作为匹配处理的结果获得的对于每个像素的最小差异量生成用于距离测定的图像。基于一般三角测量原理，范围图像生成电路8基于两个视频信号的每个像素的最小差异量，生成用于测定到拍摄对象的距离的图像(范围图像)。范围图像生成电路8对应于本发明的范围图像生成单元。
图像处理设备1还包括曝光和放大控制电路9，控制成像装置3的曝光时间以及放大电路4的放大系数。曝光和放大控制电路9通过将控制信号发送到每个成像装置3的驱动电路(未示出)来控制成像装置3的曝光时间。曝光和放大控制电路9也通过将控制信号发送到每个放大电路4来控制放大电路4的放大系数。曝光和放大控制电路9配备了监视每个放大电路4的输出(从成像装置3获得的视频信号)、并且调整成像装置3的曝光时间或调整放大电路4的放大系数的功能，使得该输出在某一亮度等级范围之内。曝光和放大控制电路9对应于本发明的控制单元、第二控制单元和第三控制单元。
现在将参考附图描述如上所述配置的图像处理设备1的操作。
图2是描述本实施例的图像处理设备1的操作的说明视图。如图2所示，根据本实施例的图像处理设备1，控制每个成像装置3的曝光时间和每个放大电路4的放大系数，使得在时段T1(第一时段)中从两个成像装置3获得的视频信号(第一视频信号和第二视频信号)在低到中亮度等级范围之内。在图2所示的例子中，在时段T1中，两个成像装置3(成像装置A和成像装置B)的曝光时间被设定为低到中亮度的曝光时间Tc1、并且两个放大电路4(放大电路A和放大电路B)的放大系数被设定为低到中亮度的放大系数A1。
下面，在时段T2(第二时段)中，控制成像装置3的曝光时间和放大电路4的放大系数，使得从两个成像装置3获得的视频信号(第三视频信号和第四视频信号)在低到中亮度等级范围之内。在图2所示的例子中，在时段T2中，成像装置3之一(成像装置A)的曝光时间被设定为低到中亮度的短曝光时间Tc2s，另一个成像装置3(成像装置B)的曝光时间被设定为低到中亮度的长曝光时间Tc2l。此外，放大电路4之一(放大电路A)的放大系数被设定为低到中亮度的低放大系数A2s，另一个放大电路4(放大电路B)的放大系数被设定为低到中亮度的高放大系数A2l。
此外，在时段T2中，关于在时段T1中获得的两个视频信号(第一视频信号和第二视频信号)执行匹配处理，为每个像素计算最小差异量，并且生成(更新)低到中亮度的范围图像。而且，在时段T2中，对于在时段T2中获得的两个视频信号(第三视频信号和第四视频信号)执行反映上述匹配处理的结果的加法处理(移位每个像素的最小差异量的加法处理)，在获得的视频信号(作为加法处理的结果而获得的视频信号)上执行非线性处理和轮廓校正处理，并且生成(更新)低到中亮度的监视图像。
随后，在时段T3(第三时段)中，控制成像装置3的曝光时间和放大电路4的放大系数，使得从两个成像装置3获得的视频信号(第一视频信号和第二视频信号)在高亮度等级的范围之内。在图2所示的例子中，在时段T3中，两个成像装置3(成像装置A和成像装置B)的曝光时间被设定为高亮度的曝光时间Tc3，两个放大电路4(放大电路A和放大电路B)的放大系数被设定为高亮度的放大系数A3。
下面，在时段T4(第四时段)中，控制成像装置3的曝光时间和放大电路4的放大系数，使得从两个成像装置3获得的视频信号(第三视频信号和第四视频信号)在高亮度等级范围之内。在图2所示的例子中，在时段T4中，成像装置3之一(成像装置A)的曝光时间被设定为高亮度的短曝光时间Tc4s，另一个成像装置3(成像装置B)的曝光时间被设定为高亮度的长曝光时间Tc4l。此外，放大电路4之一(放大电路A)的放大系数被设定为放大系数A4s，另一个放大电路4(放大电路B)的放大系数被设定为放大系数A4l。
此外，在时段T4中，关于在时段T3中获得的两个视频信号(第一视频信号和第二视频信号)执行匹配处理，为每个像素计算最小差异量，并且生成(更新)高亮度的范围图像。而且，在时段T4中，关于在时段T3中获得的两个视频信号(第三视频信号和第四视频信号)执行反映上述匹配处理的结果的加法处理(移位每个像素的最小差异量的加法处理)，对获得的视频信号(作为加法处理的结果而获得的视频信号)执行非线性处理和轮廓校正处理，并且生成(更新)高亮度的监视图像。
根据本实施例的图像处理设备1，在如上所述的时段T1到T4中的处理以固定间隔重复。更具体地，更新(生成)低到中亮度的范围图像和监视图像的处理和更新(生成)高亮度的范围图像和监视图像的处理以固定间隔重复。
以下，将本实施例的图像处理设备1的操作分为生成范围图像和监视图像的操作和生成低到中亮度的图像和高亮度的图像的的操作，并详细描述各个操作。
图3是示出生成范围图像和生成监视图像的处理流程的流程图。如图3所示，在图像处理设备1，首先，从两个成像装置3(成像装置A和成像装置B)获取两个视频信号(第一视频信号和第二视频信号)(S1)，而且图像处理设备1确定其亮度等级是否在预定的亮度等级范围之内(S2)。例如，如果视频信号的亮度等级低于预定的参考亮度等级，则确定亮度等级在低到中亮度等级范围之内。此外，如果视频信号的亮度等级高于预定的参考亮度等级，则确定亮度等级在高亮度等级范围之内。
如果确定的结果是视频信号的亮度等级不在预定的亮度等级范围之内，则改变成像装置3的曝光时间或放大电路4的放大系数(S3)，并且重复上述步骤(S1和S2)。
相比之下，如果确定的结果是视频信号的亮度等级在预定的亮度等级范围之内，则关于其图像区域(例如，具有低到中亮度的图像区域)执行两个视频信号(第一视频信号和第二视频信号)的匹配处理，并且确定每个像素的最小差异量(S4)。随后，基于作为匹配处理的结果获得的每个像素的最小差异量，用一般三角测量原理执行生成范围图像的处理(S5)。
下面，短曝光的曝光时间(例如，曝光时间Tc2s)被设置于成像装置3之一(成像装置A)中，短曝光的放大系数(例如，放大系数A2s)被设置于放大电路4之一(放大电路A)中，长曝光的曝光时间(例如，曝光时间Tc2l)被设置于另一个成像装置3(成像装置B)中，并且长曝光的放大系数(例如，放大系数A2l)被设置于另一个放大电路4(放大电路B)中(S6)。
随后，从两个成像装置3获取两个视频信号(第三视频信号和第四视频信号)(S7)，视频信号之一被移位作为在S4中的上述匹配处理结果获得的每个像素的最小差异量，而且两个视频信号相加到一起(S8)。最后，通过将两个视频信号在S8中相加而获得的视频信号经过非线性处理和轮廓校正处理，以生成监视图像(S9)。
图4是示出生成具有低或中亮度的图像以及具有高亮度的图像的处理流程的流程图。如图4所示，在图像处理设备4，首先，低到中亮度的曝光时间(例如，曝光时间Tc1)和放大系数(例如，放大系数A1)被设定于两个成像装置3和两个放大电路4中(S10)，并且获取两个视频信号(第一视频信号和第二视频信号)(S11)。接下来，关于这两个视频信号(第一视频信号和第二视频信号)执行匹配处理，并且为每个像素确定最小差异量(S12)。随后，基于作为匹配处理的结果获得的每个像素的最小差异量，执行生成低到中亮度的范围图像的处理(S13)。
下面，短曝光的曝光时间(例如，曝光时间Tc2s)被设置于成像装置3之一(成像装置A)中，短曝光的放大系数(例如，放大系数A2s)被设置于放大电路4之一(放大电路A)中，长曝光的曝光时间(例如，曝光时间Tc2l)被设置于另一个成像装置3(成像装置B)中，并且长曝光的放大系数(例如，放大系数A2l)被设置于另一个放大电路4(放大电路B)中(S14)。
随后，从两个成像装置3获取两个视频信号(第三视频信号和第四视频信号)(S15)，视频信号之一被移位作为上述匹配处理的结果获得的每个像素的最小差异量(S12)，而且将这两个低到中亮度的视频信号相加到一起(S16)。最后，通过将两个视频信号在S16中相加而获得的视频信号经过非线性处理和轮廓校正处理，以生成低到中亮度的监视图像(S17)。
接下来，高亮度的曝光时间(例如，曝光时间Tc3)和放大系数(例如，放大系数A3)被设定于两个成像装置3和两个放大电路4中(S18)，并且获取两个视频信号(第一视频信号和第二视频信号)(S19)。随后，执行两个视频信号(第一视频信号和第二视频信号)的匹配处理，以确定每个像素的最小差异量(S20)。接着，基于作为匹配处理的结果获得的每个像素的最小差异量，执行生成高亮度的范围图像的处理(S21)。
接下来，短曝光的曝光时间(例如，曝光时间Tc4s)被设置于成像装置3之一(成像装置A)中，短曝光的放大系数(例如，放大系数A4s)被设置于放大电路4之一(放大电路A)中，长曝光的曝光时间(例如，曝光时间Tc4l)被设置于另一个成像装置3(成像装置B)中，并且长曝光的放大系数(例如，放大系数A41)被设置于另一个放大电路4(放大电路B)中(S22)。
随后，从两个成像装置3获取两个视频信号(第三视频信号和第四视频信号)(S23)，视频信号之一被移位作为上述匹配处理的结果获得的每个像素的最小差异量(S20)，而且将两个高亮度的视频信号相加到一起(S24)。最后，通过S24中的相加处理而获得的视频信号经过非线性处理和轮廓校正处理，以生成高亮度的监视图像(S25)。
根据本发明的这个实施例的图像处理设备1，从两个图像拾取单元获得的两个视频信号(第三视频信号和第四视频信号)以考虑到视频信号之间的差异量的方式相加到一起，并且将作为两个视频信号相加的结果而获得的视频信号用作监视图像。因此，可以获取高图像质量的监视图像。
更具体地，根据本实施例，对从两个图像拾取单元获得的视频信号(第一视频信号和第二视频信号)执行匹配处理，而且确定从两个图像拾取单元获得的视频信号之间的差异量。随后，两个视频信号(第三视频信号和第四视频信号)以考虑到从两个图像拾取单元获得的视频信号之间的差异量的方式相加到一起，并且将作为两个视频信号相加的结果而获得的视频信号用作监视图像。由于通过将两个视频信号相加而获得的视频信号具有比单一视频信号高的信噪比，所以可以获得高图像质量的监视图像。在这种情况下，不仅获得了高图像质量的监视图像，也可以获得距离测定的图像(范围图像)。
此外，根据本实施例，控制曝光时间或放大系数，使得视频信号的亮度等级在预定的亮度等级范围之内。例如，对于低或中亮度的视频信号，执行控制以延长曝光时间或增加放大系数。此外，对于高亮度的视频信号，执行控制以缩短曝光时间或减小放大系数。因此，甚至当拍摄高亮度对象时，也可以抑制由白溃引起的图像质量的下降，而且可以改善使用两个视频信号(第一视频信号和第二视频信号)的匹配处理的精确度。因而，甚至当拍摄高亮度对象时，因为基于高精确度匹配处理的结果(最小差异量)的两个视频信号(第三视频信号和第四视频信号)可以相加到一起，所以可以获得高图像质量的监视图像。此外，在这种情况下，关于具有低亮度、中亮度和高亮度的视频信号，可以分别获得精确的范围图像，并且因而甚至当拍摄具有亮度变化的对象时，也可以以高精确度计算距离。
此外，根据本实施例，由于第三视频信号和第四视频信号的曝光时间可以彼此不同，通过将两个视频信号(第三视频信号和第四视频信号)相加到一起而获得的监视图像的动态范围可以扩展。例如，当拍摄高亮度对象时，尽管执行了缩短第三视频信号和第四视频信号二者的曝光时间的控制，在这种情况下，还控制第三视频信号的曝光时间比第四视频信号的曝光时间短。因而，甚至当拍摄高亮度对象时，也可以减少在监视图像(通过将第三视频信号和第四视频信号相加而获得的图像)中的白溃的发生，而且甚至当对象具有高亮度等级时，也可以获得具有灰度的监视图像。
此外，根据本实施例，关于第一视频信号和第二视频信号，在第一时段中，获得在第一亮度等级范围之内的视频信号(例如，具有低或中亮度等级)，在第三时段中，获得在第三亮度等级范围之内的视频信号(例如，具有高亮度等级)。另一方面，关于第三视频信号和第四视频信号，在第二时段中，获得在第二亮度等级范围之内的视频信号(例如，具有低或中亮度等级)，在第四时段中，获得在第四亮度等级范围之内的视频信号(例如，具有高亮度等级)。因而，可以在从第一到第四时段中获得具有不同亮度等级的视频信号。因此，可以获取通过将具有宽范围的亮度等级(从低亮度到高亮度的宽范围)的视频信号(第三视频信号和第四视频信号)相加而获得的监视图像，并且因而可以扩展监视图像的动态范围。因此，例如，甚至当拍摄高亮度对象时，也可以减少在监视图像(通过将第三视频信号和第四视频信号相加而获得的图像)中的白溃的发生，而且甚至当对象具有高亮度时，也可以获得具有灰度的监视图像。此外，在这种情况下，关于宽范围的亮度等级(从低亮度到高亮度的宽范围)，可以获得精确的范围图像，并且因此可以改善距离测定的精确度。
尽管已经通过示例如上描述了本发明的实施例，但是本发明的范围不限于此，可以根据权利要求中限定的本发明范围内的意图做出改变和变形。
例如，尽管如上描述了使用两个成像装置3的示例，但是本发明的范围不限于此，可以采用从单一成像装置3提取两个图像区域的结构，并且这些图像区域的信号被用作两个视频信号。此外，通过将时段T1和T3设置得比时段T2和T4更短，可以采取更快地执行监视图像的更新的结构。
虽然目前可以想象，本发明的优选实施例已经如上所述，但是将会理解到，可以对本实施例做出各种变形和修改。因此，意图在所附的权利要求中覆盖所有落入本发明的真实精神和范围之内的这样的变形和修改。
[工业实用性]
如上所述，根据本发明的图像处理设备具有使高图像质量的监视图像能够通过将两个视频信号加到一起并将得到的视频信号用作监视图像而获得。因而，根据本发明的图像处理设备作为立体图像处理设备等是有用的。

Claims (11)

1.图像处理设备，包括：
匹配单元，关于从第一图像拾取单元获得的第一视频信号和从第二图像拾取单元获得的第二视频信号，执行将所述第一视频信号和所述第二视频信号之间的差异量最小化的匹配处理；
加法单元，将从所述第一图像拾取单元获得的第三视频信号移位作为匹配处理的结果获得的最小差异量，并且将如此移位的第三视频信号加到从所述第二图像拾取单元获得的第四视频信号；以及
监视图像生成单元，关于通过将所述第三视频信号加到所述第四视频信号而获得的所述视频信号，执行非线性处理和/或轮廓校正处理，并且生成监视图像。
2.如权利要求1所述的图像处理设备，包括范围图像生成单元，基于作为所述匹配处理的结果而获得的所述最小差异量，生成用于距离测定的图像。
3.如权利要求1所述的图像处理设备，包括：
控制单元，控制所述第一视频信号和所述第二视频信号的曝光时间或放大系数，使得所述第一视频信号和所述第二视频信号在预定的亮度等级范围之内；
所述匹配单元关于作为所述控制单元的控制结果的、在所述预定的亮度等级范围之内的所述第一视频信号和所述第二视频信号，执行匹配处理。
4.如权利要求1所述的图像处理设备，包括第二控制单元，控制所述第三视频信号的曝光时间和所述第四视频信号的曝光时间，使得所述第三视频信号的曝光时间和所述第四视频信号的曝光时间彼此不同。
5.如权利要求1所述的图像处理设备，包括：
第三控制单元，控制所述第一视频信号、所述第二视频信号、所述第三视频信号以及所述第四视频信号的曝光时间或放大系数；
所述第三控制单元：
在第一时段中，控制所述第一视频信号和所述第二视频信号的曝光时间或放大系数，使得所述第一视频信号和所述第二视频信号在第一亮度等级范围之内；
在第二时段中，控制所述第三视频信号和所述第四视频信号的曝光时间或放大系数，使得所述第三视频信号和所述第四视频信号在第二亮度等级范围之内；
在第三时段中，控制所述第一视频信号和所述第二视频信号的曝光时间或放大系数，使得所述第一视频信号和所述第二视频信号在不同于所述第一亮度等级范围的第三亮度等级范围之内；以及
在第四时段中，控制所述第三视频信号和所述第四视频信号的曝光时间或放大系数，使得所述第三视频信号和所述第四视频信号在不同于所述第二亮度等级范围的第四亮度等级范围之内。
6.图像处理方法，包括：
执行匹配处理，关于从第一图像拾取单元获得的第一视频信号和从第二图像拾取单元获得的第二视频信号，最小化所述第一视频信号和所述第二视频信号之间的差异量；
将从所述第一图像拾取单元获得的第三视频信号移位作为所述匹配处理的结果获得的最小差异量，并且将如此移位的第三视频信号加到从所述第二图像拾取单元获得的第四视频信号；以及
关于通过将所述第三视频信号加到所述第四视频信号而获得的视频信号，执行非线性处理和/或轮廓校正处理，并且生成监视图像。
7.如权利要求6所述的图像处理方法，包括基于作为所述匹配处理的结果而获得的最小差异量，生成用于距离测定的图像。
8.如权利要求6所述的图像处理方法，包括：
控制所述第一视频信号和所述第二视频信号的曝光时间或放大系数，使得所述第一视频信号和所述第二视频信号在预定的亮度等级范围之内；
关于作为控制结果的、在预定的亮度等级范围之内的所述第一视频信号和所述第二视频信号，执行所述匹配处理。
9.如权利要求6所述的图像处理方法，包括控制所述第三视频信号的曝光时间和所述第四视频信号的曝光时间，使得所述第三视频信号的曝光时间和所述第四视频信号的曝光时间彼此不同。
10.如权利要求6所述的图像处理方法，包括：
控制所述第一视频信号、所述第二视频信号、所述第三视频信号以及所述第四视频信号的曝光时间或放大系数；
在第一时段中，控制所述第一视频信号和所述第二视频信号的曝光时间或放大系数，使得所述第一视频信号和所述第二视频信号在第一亮度等级范围之内；
在第二时段中，控制所述第三视频信号和所述第四视频信号的曝光时间或放大系数，使得所述第三视频信号和所述第四视频信号在第二亮度等级范围之内；
在第三时段中，控制所述第一视频信号和所述第二视频信号的曝光时间或放大系数，使得所述第一视频信号和所述第二视频信号在不同于所述第一亮度等级范围的第三亮度等级范围之内；以及
在第四时段中，控制所述第三视频信号和所述第四视频信号的曝光时间或放大系数，使得所述第三视频信号和所述第四视频信号在不同于所述第二亮度等级范围的第四亮度等级范围之内。
11.图像处理程序，使计算机执行如下处理：
匹配处理，关于从第一图像拾取单元获得的第一视频信号和从第二图像拾取单元获得的第二视频信号，最小化所述第一视频信号和所述第二视频信号之间的差异量；
将从所述第一图像拾取单元获得的第三视频信号移位作为所述匹配处理的结果获得的最小差异量，并且将如此移位的第三视频信号加到从所述第二图像拾取单元获得的第四视频信号的处理；以及
关于通过将所述第三视频信号加到所述第四视频信号而获得的视频信号，执行非线性处理和/或轮廓校正处理，并且生成监视图像的处理。
CN201180003630.9A 2010-07-07 2011-01-11 图像处理设备、图像处理方法 Expired - Fee Related CN102484679B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-154477 2010-07-07
JP2010154477A JP5283667B2 (ja) 2010-07-07 2010-07-07 画像処理装置、画像処理方法およびプログラム
PCT/JP2011/000065 WO2012004906A1 (ja) 2010-07-07 2011-01-11 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN102484679A true CN102484679A (zh) 2012-05-30
CN102484679B CN102484679B (zh) 2016-04-27

Family

ID=45440902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180003630.9A Expired - Fee Related CN102484679B (zh) 2010-07-07 2011-01-11 图像处理设备、图像处理方法

Country Status (5)

Country Link
US (1) US8502880B2 (zh)
EP (1) EP2448244A4 (zh)
JP (1) JP5283667B2 (zh)
CN (1) CN102484679B (zh)
WO (1) WO2012004906A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052939A (zh) * 2013-03-15 2014-09-17 原相科技股份有限公司 影像感测方法和使用这个方法的影像传感器
CN106131448A (zh) * 2016-07-22 2016-11-16 石家庄爱赛科技有限公司 可自动调节成像亮度的三维立体视觉系统
US9544508B2 (en) 2013-03-05 2017-01-10 Pixart Imaging Inc. Image sensor which can adjust brightness information to fall in a predetermined range
CN111629153A (zh) * 2019-02-27 2020-09-04 发那科株式会社 三维拍摄装置及三维拍摄条件调整方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237331B2 (en) * 2011-01-18 2016-01-12 Disney Enterprises, Inc. Computational stereoscopic camera system
KR101591172B1 (ko) * 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
EP3637758B1 (en) * 2017-06-07 2024-09-04 Hitachi Astemo, Ltd. Image processing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
US20050185048A1 (en) * 2004-02-20 2005-08-25 Samsung Electronics Co., Ltd. 3-D display system, apparatus, and method for reconstructing intermediate-view video
CN101207720A (zh) * 2006-12-18 2008-06-25 松下电器产业株式会社 固体摄像器件及其驱动方法、摄像机、车辆、监视装置
CN101472062A (zh) * 2008-05-23 2009-07-01 嘉兴闻泰通讯科技有限公司 一种实现摄像头功能的移动终端装置及其方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07101942B2 (ja) * 1986-04-12 1995-11-01 ソニー株式会社 電子編集システム
US5394187A (en) * 1992-06-26 1995-02-28 Apollo Camera, L.L.C. Video imaging systems and method using a single interline progressive scanning sensor and sequential color object illumination
US5446492A (en) * 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
JP3935548B2 (ja) * 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
JP4009163B2 (ja) * 2002-08-30 2007-11-14 富士通株式会社 物体検知装置、物体検知方法および物体検知プログラム
JP2007028236A (ja) * 2005-07-19 2007-02-01 Hitachi Ltd 撮像装置
JP4763525B2 (ja) * 2006-06-21 2011-08-31 日本電信電話株式会社 映像整合方法
JP2009033629A (ja) * 2007-07-30 2009-02-12 Canon Inc 撮像装置及びその制御方法、並びにプログラム及び媒体、画像処理装置
FR2922074B1 (fr) * 2007-10-05 2010-02-26 Thales Sa Procede de synchronisation de flux video
JP5172283B2 (ja) * 2007-11-13 2013-03-27 パナソニック株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびプログラム
JP5230376B2 (ja) * 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
US20050185048A1 (en) * 2004-02-20 2005-08-25 Samsung Electronics Co., Ltd. 3-D display system, apparatus, and method for reconstructing intermediate-view video
CN101207720A (zh) * 2006-12-18 2008-06-25 松下电器产业株式会社 固体摄像器件及其驱动方法、摄像机、车辆、监视装置
CN101472062A (zh) * 2008-05-23 2009-07-01 嘉兴闻泰通讯科技有限公司 一种实现摄像头功能的移动终端装置及其方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544508B2 (en) 2013-03-05 2017-01-10 Pixart Imaging Inc. Image sensor which can adjust brightness information to fall in a predetermined range
CN104052939A (zh) * 2013-03-15 2014-09-17 原相科技股份有限公司 影像感测方法和使用这个方法的影像传感器
CN104052939B (zh) * 2013-03-15 2017-07-11 原相科技股份有限公司 影像感测方法和使用这个方法的影像传感器
CN106131448A (zh) * 2016-07-22 2016-11-16 石家庄爱赛科技有限公司 可自动调节成像亮度的三维立体视觉系统
CN106131448B (zh) * 2016-07-22 2019-05-10 石家庄爱赛科技有限公司 可自动调节成像亮度的三维立体视觉系统
CN111629153A (zh) * 2019-02-27 2020-09-04 发那科株式会社 三维拍摄装置及三维拍摄条件调整方法
CN111629153B (zh) * 2019-02-27 2023-12-12 发那科株式会社 三维拍摄装置及三维拍摄条件调整方法

Also Published As

Publication number Publication date
EP2448244A1 (en) 2012-05-02
US20120176514A1 (en) 2012-07-12
EP2448244A4 (en) 2013-08-14
JP5283667B2 (ja) 2013-09-04
US8502880B2 (en) 2013-08-06
CN102484679B (zh) 2016-04-27
WO2012004906A1 (ja) 2012-01-12
JP2012019311A (ja) 2012-01-26

Similar Documents

Publication Publication Date Title
JP6967160B2 (ja) 画像処理方法および関連デバイス
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
CN102484679A (zh) 图像处理设备、图像处理方法以及程序
CN111052727A (zh) 用于根据使用图像获得的深度信息的属性结合图像存储深度信息的电子装置及其控制方法
US10839729B2 (en) Apparatus for testing display panel and driving method thereof
JP2020511022A (ja) デュアルコアフォーカシングイメージセンサ、そのフォーカシング制御方法、および電子装置
JP4463790B2 (ja) Ｍｔｆ測定システム、ｍｔｆ測定方法、ｍｔｆ測定ユニット及びｍｔｆ測定プログラム
US9961272B2 (en) Image capturing apparatus and method of controlling the same
US7228069B2 (en) Focusing method for digital camera using plural spatial frequencies
CN104854496A (zh) 摄像装置、散焦量运算方法及摄像光学系统
US20150054986A1 (en) Image processing apparatus, imaging apparatus, and image processing method
WO2018099030A1 (zh) 控制方法和电子装置
US20170310878A1 (en) Image capturing apparatus and control method thereof
JP2019092119A (ja) 撮像装置、レンズ装置およびこれらの制御方法
JPWO2014045740A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN111031256B (zh) 图像处理方法、装置、存储介质及电子设备
US9270984B2 (en) Camera with dust checking function
JP2015194671A (ja) 撮像装置
JP2000341720A (ja) ３次元画像入力装置および記録媒体
JP2013247435A (ja) 撮像装置
JP2013186355A (ja) 自動合焦装置、自動合焦方法及びプログラム
JP2008058279A (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP2015126295A (ja) 撮像装置及びその制御方法
JP2012054919A (ja) 撮像装置
JP2018151415A (ja) 撮像装置、撮像装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151123

Address after: Osaka Japan

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160427

CF01 Termination of patent right due to non-payment of annual fee