CN102342090A - 图像拍摄设备、操作员监视设备、测量到面部的距离的方法和程序 - Google Patents

图像拍摄设备、操作员监视设备、测量到面部的距离的方法和程序 Download PDF

Info

Publication number
CN102342090A
CN102342090A CN2010800101638A CN201080010163A CN102342090A CN 102342090 A CN102342090 A CN 102342090A CN 2010800101638 A CN2010800101638 A CN 2010800101638A CN 201080010163 A CN201080010163 A CN 201080010163A CN 102342090 A CN102342090 A CN 102342090A
Authority
CN
China
Prior art keywords
face
brightness
exposure control
unit
control value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800101638A
Other languages
English (en)
Inventor
饭岛友邦
玉木悟史
钓部智行
冈兼司
丸谷健介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102342090A publication Critical patent/CN102342090A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28—Circuitry to measure or to take account of the object contrast
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/097—Digital circuits for control of both exposure time and aperture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Abstract

一种图像拍摄设备(1)，配备有：照相机单元(3)，其借助于两个光学系统来拍摄同一对象的图像；面部器官检测单元(9)，其检测组成在由照相机单元(3)拍摄的每个图像中包括的面部的多个面部器官；面部器官亮度计算单元(10)，其计算所检测的多个面部器官的亮度值；和曝光控制值确定单元(12)，其基于所述多个面部器官的亮度值，确定照相机单元的曝光控制值。图像拍摄设备(1)的距离测量单元(17)基于由照相机单元(3)使用曝光控制值拍摄的图像，测量到面部器官的距离。由此，提供能够精确地测量到面部器官的距离的图像拍摄设备。

Description

图像拍摄设备、操作员监视设备、测量到面部的距离的方法和程序
技术领域
本发明涉及具有测量到拍摄的图像中包括的面部的距离的功能的成像设备。
背景技术
传统的，立体摄像机已经被用作具有测量到对象的距离的功能(距离测量功能)的成像设备。立体摄像机具有多个光学系统，并且所述光学系统的光轴是不同的。当立体摄像机拍摄同一对象的图像时，在分别由光学系统拍摄的图像之间产生视差，并且得到视差以确定到对象的距离。例如，由多个光学系统之一拍摄的图像是标准图像，由剩余光学系统拍摄的图像是参考图像。得到参考图像之间的相似性，以通过利用标准图像的一部分作为模板执行块匹配来确定视差，并根据视差计算到对象的距离。
为了正确地确定视差，通过拍摄对象而获得的图像的亮度必须是适当的。作为不适当的亮度例子，曝光时间比适当的时间长，从而可能发生饱和。在这一情形中，每个对象不具有与明度对应的适当的亮度，并且不能正确地得到视差。结果，不能正确地测量到对象的距离。作为不适当的亮度的另一个例子，曝光时间可能比适当的时间短，从而亮度可能为低。在这一情况中，亮度与随机噪声的比(信噪(S/N)比)为低，从而视差精度降低。结果，距离测量精度降低。
传统的，已经讨论了使面部的亮度适当的成像设备(例如参见专利文献1)。传统成像设备从拍摄的图像设定多个剪切(cutout)区域(例如，三个面部检测区域帧)，并检测是否每个剪切区域都包括面部。执行自动曝光，以使得包括面部的剪切区域的亮度变得适当。如果检测到面部的区域仅仅是一个面部检测区域帧，则例如确定光圈和快门速度以使得面部检测区域帧中的亮度变得适当。如果在两个面部检测区域帧中分别检测到面部，则确定光圈和快门速度以使得面部检测区域帧中的相应平均亮度变得适当。此外，如果在全部三个面部检测区域帧中分别检测到面部，则确定光圈和快门速度以使得全部面部检测区域帧中的相应平均亮度变得适当。如果在任何面部检测区域帧中都没有检测到面部，则确定光圈和快门速度以使得三个面部检测区域帧中的平均亮度变得适当。
然而，在传统成像设备中，剪切区域是预先设定的。如果剪切区域除了包括原始对象(面部)之外，还包括高亮度对象(例如，灯)，则执行控制以使得曝光时间缩短与高亮度对象对应的量。结果，面部的亮度降低，并且S/N比降低。因此，视差精度降低，并且距离测量精度降低。
现有技术文献列表
专利文献
专利文献1
日本专利国内公表公报特表No.2007-81732
发明内容
技术问题
已经在上述背景下做出了本发明。本发明关注于能够执行曝光控制以使得面部的亮度适当并且能够精确测量到面部的距离的成像设备。
解决问题的技术方案
根据本发明的一个方面，一种成像设备包括：照相机单元，其使用至少两个光学系统分别拍摄同一对象的至少两个图像；面部器官(face part)检测单元，其从由照相机单元拍摄的至少两个图像中的每一个检测组成图像中包括的面部的多个面部器官；面部器官亮度计算单元，其计算所检测的多个面部器官的亮度；曝光控制值确定单元，其基于所述多个面部器官的亮度确定照相机单元的曝光控制值；和距离测量单元，其基于由照相机单元使用经校正的曝光控制值而拍摄的至少两个图像，测量到所述多个面部器官的距离。
根据本发明的一个方面，一种驾驶员监视设备包括：照相机单元，其通过使用至少两个光学系统分别拍摄作为拍照对象的驾驶员的至少两个图像；面部器官检测单元，其从由照相机单元拍摄的至少两个图像中的每一个检测组成驾驶员的面部的多个面部器官；面部器官亮度计算单元，其计算所检测的多个面部器官的亮度；曝光控制值确定单元，其基于所述多个面部器官的亮度确定照相机单元的曝光控制值；距离测量单元，其基于由照相机单元使用曝光控制值拍摄的至少两个图像，测量到所述驾驶员的多个面部器官的距离；面部模型产生单元，其基于所述多个面部器官的距离测量结果，产生驾驶员的面部模型；和面部跟踪处理单元，其基于所产生的面部模型，执行用于跟踪驾驶员的面部的方向的处理。
根据本发明的另一个方面，一种用于测量到面部的距离的方法包括：通过使用至少两个光学系统分别拍摄同一对象的至少两个图像；检测组成在至少两个拍摄图像中的每一个中包括的面部的多个面部器官；计算所检测的多个面部器官的亮度；基于多个面部器官的亮度确定用于图像拍摄的曝光控制值；和基于使用曝光控制值而拍摄的至少两个图像，测量到面部的距离。
根据本发明的再一个方面，一种用于测量到面部的距离的程序，使得计算机执行：用于检测组成在同一对象的至少两个图像中的每一个中包括的面部的多个面部器官的处理，所述图像已通过至少两个光学系统分别拍摄；用于计算所检测的多个面部器官的亮度的处理；用于基于所述多个面部器官的亮度确定用于图像拍摄的曝光控制值的处理；和用于基于使用曝光控制值而拍摄的至少两个图像测量到面部的距离的处理。
本发明包括其他方面，如下所述。因此，本发明的公开意图提供本发明的一部分的一个方面，而不意图限制在此描述和要求的发明的范围。
附图说明
图1是举例说明根据第一实施例的成像设备的构成的框图。
图2举例说明了面部器官检测单元中的处理(面部器官检测处理)。
图3是举例说明曝光控制值确定单元的构成的框图。
图4举例说明了面部检测单元中的处理(面部检测处理)。
图5是举例说明曝光控制值校正单元的构成的框图。
图6举例说明了距离测量单元中的块匹配处理。
图7是用于举例说明根据第一实施例的成像设备的操作的流程图。
图8是用于举例说明曝光控制的操作的流程图。
图9举例说明了在第一实施例中、当照明条件改变时整个面部的平均亮度和面部器官的亮度的示例。
图10举例说明了当选择面部器官的亮度时的修改示例(与第一实施例相比)。
图11是举例说明根据第二实施例的驾驶员监视设备的示例的示意视图。
图12是驾驶员监视设备的正视图。
图13是举例说明驾驶员监视设备的构成的框图。
图14是举例说明根据第二实施例的驾驶员监视设备的操作的流程图。
具体实施方式
下面将描述本发明的详细说明。随后的详细说明和附图不限制本发明。可替代地，本发明的范围由所附权利要求的范围限定。
根据本发明的成像设备包括：照相机单元，其使用至少两个光学系统分别拍摄同一对象的至少两个图像；面部器官检测单元，其从由照相机单元拍摄的至少两个图像中的每一个检测组成图像中包括的面部的多个面部器官；面部器官亮度计算单元，其计算所检测的多个面部器官的亮度；曝光控制值确定单元，其基于多个面部器官的亮度，确定照相机单元的曝光控制值；曝光控制值校正单元，其基于面部器官的亮度，校正照相机单元的曝光控制值；以及距离测量单元，其基于由照相机单元使用经校正的曝光控制值而拍摄的至少两个图像，测量到多个面部器官的距离。通过这一构成，基于面部器官(内眼角、眼尾、唇缘等)的亮度，适当地得到曝光控制值(光圈值、曝光时间、增益等)。这样，执行曝光控制以使得面部器官的亮度变得适当。因此，可以以高精度得到面部器官之间的视差，并且可以以高精度测量到面部器官的距离。
在根据本发明的成像设备中，曝光控制值确定单元可以确定照相机单元的曝光控制值，以使得多个面部器官的亮度中最大的一个成为预定目标亮度。通过这一构成，将多个面部器官的亮度中最大的一个用作目标值。因此，可以比当平均亮度被用作目标值时更容易地，针对照明条件的改变而执行适当的曝光控制。因此，即使当照明条件改变了时(例如，当照明条件从“从对象正面照明”改变为“从对象侧面照明”时)，也容易地执行曝光控制以使得面部器官的亮度变得适当。
在根据本发明的成像设备中，当多个面部器官中对称布置的一对面部器官的亮度之间的差异大于预定阈值时，曝光控制值确定单元可以确定照相机单元的曝光控制值，以使得除了所述一对面部器官之外的面部器官的亮度中最大的一个成为目标亮度。通过这一构成，如果对称布置的一对面部器官(例如左眼尾和右眼尾)的亮度之间的差异较大，则面部器官的亮度不用作目标值。更具体的，从目标值中排除面部器官的过分大和过分小的亮度。因此，将在适当亮度范围内的面部器官的亮度(稍微不同的亮度)用作目标值来执行曝光控制，从而可以执行适当的曝光控制。
根据本发明的成像设备还可以包括：面部检测单元，其检测在由照相机单元拍摄的至少两个图像的每一个中包括的面部；面部亮度计算单元，其计算所检测的面部的亮度；和曝光控制值校正单元，其基于面部的亮度校正照相机单元的曝光控制值，其中曝光控制值校正单元可以校正照相机单元的曝光控制值，以使得在由照相机单元拍摄的至少两个图像中包括的面部器官的亮度相同。通过这一构成，校正曝光控制值(光圈值、曝光时间、增益等)以使得用于计算视差的面部的亮度之间的差异变为小。因此，可以以高精度得到面部器官之间的视差，并且可以以高精度测量到面部器官的距离。
在根据本发明的成像设备中，曝光控制值可以包括光圈值、曝光时间和增益，并且曝光控制值校正单元可以使两个光学系统各自的光圈值和曝光时间相同，并校正两个光学系统各自的增益，以使得在两个图像中包括的面部器官的亮度变为相同。通过这一构成，在用于视差计算的两个光学系统之间可以不存在亮度差异。因此，视差计算精度变为高，并且距离计算精度可以提高。
在根据本发明的成像设备中，曝光控制值确定单元可以根据多个面部器官的亮度中所选择的一个来设定目标亮度，并可以确定照相机单元的曝光控制值以使得所选择的亮度成为目标亮度。通过这一构成，根据面部器官的亮度而适当地设定目标值。
在根据本发明的成像设备中，曝光控制值确定单元可以将当所选择的亮度大于预定阈值时的目标亮度设定为比当所选择的亮度小于所述阈值时的值小的值。通过这一构成，执行曝光控制，以使得通过当亮度为高时使目标值较小，亮度在短时间内迅速变为适当的亮度。因此，可以缩短其中由于亮度太高而导致距离测量精度为低的时间段。
根据本发明的成像设备，曝光控制值确定单元可以基于指示面部器官的亮度高于预定参考饱和值的饱和信号的存在与否，控制得到照相机单元的曝光控制值的频率。通过这一构成，基于饱和信号的存在与否，在适当的定时确定曝光控制值。
在根据本发明的成像设备中，当存在饱和信号时，曝光控制值确定单元可以每当拍摄图像时确定照相机单元的曝光控制值。通过这一构成，执行曝光控制，以使得通过当发生亮度饱和时立即计算曝光控制值，在短时间内迅速获得适当的亮度。因此，可以缩短其中由于亮度太高而导致距离测量精度为低的时间段。
根据本发明的驾驶员监视设备包括：照相机单元，其通过使用至少两个光学系统分别拍摄作为拍照对象的驾驶员的至少两个图像；面部器官检测单元，其从由照相机单元拍摄的至少两个图像中的每一个检测组成驾驶者的面部的多个面部器官；面部器官亮度计算单元，其计算所检测的多个面部器官的亮度；曝光控制值确定单元，其基于所述多个面部器官的亮度，确定照相机单元的曝光控制值；距离测量单元，其基于由照相机单元使用曝光控制值而拍摄的至少两个图像，测量到所述驾驶员的多个面部器官的距离；面部模型产生单元，其基于所述多个面部器官的距离测量结果，产生驾驶员的面部模型；和面部跟踪处理单元，其基于所产生的面部模型，执行用于跟踪驾驶员的面部的方向的处理。通过这一构成，基于面部器官(内眼角、眼尾、唇缘等)的亮度，适当地得到曝光控制值(光圈值、曝光时间、增益等)。这样，执行曝光控制以使得面部器官的亮度变得适当。因此，可以以高精度得到面部器官之间的视差，并且可以以高精度测量到面部器官的距离。使用到面部器官的精确距离来跟踪面部的方向。因此，可以以高精度跟踪面部的方向。
根据本发明的用于测量到面部的距离的方法包括：通过使用至少两个光学系统分别拍摄同一对象的至少两个图像；检测组成在至少两个拍摄图像中包括的面部的多个面部器官；计算所检测的多个面部器官的亮度；基于多个面部器官的亮度，确定用于图像拍摄的曝光控制值；基于多个面部器官的亮度，校正用于图像拍摄的曝光控制值；和基于使用经校正的曝光控制值而拍摄的至少两个图像，测量到面部的距离。通过这一方法，还执行曝光控制以使得面部器官的亮度变得适当，如在上述成像设备中那样。因此，可以以高精度得到面部器官之间的视差，并且可以以高精度测量到面部器官的距离。
根据本发明的用于测量到面部的距离的程序使得计算机执行：用于检测组成在同一对象的至少两个图像中的每一个中包括的面部的多个面部器官的处理，所述图像已通过至少两个光学系统分别拍摄；用于计算所检测的多个面部器官的亮度的处理；用于基于所述多个面部器官的亮度而确定用于图像拍摄的曝光控制值的处理；和用于基于使用曝光控制值拍摄的至少两个图像而测量到面部的距离的处理。通过这一程序，还执行曝光控制以使得面部器官的亮度变得适当，如在上述成像设备中那样。因此，可以以高精度得到面部器官之间的视差，并且可以以高精度测量到面部器官的距离。
本发明旨在提供曝光控制值确定单元，用于基于面部器官的亮度确定曝光控制值，从而可以以高精度测量到面部器官的距离。
下面将参考附图描述根据本发明的实施例的成像设备。
(第一实施例)
在本发明的第一实施例中，将通过示例举例说明用于装配有照相机的移动电话、数码相机、车载照相机、监视照相机、三维测量机器、三维图像输入照相机等的成像设备。虽然成像设备具有面部距离测量功能，但是该功能通过在设备中包含的硬盘驱动器(HDD)、存储器等中存储的程序来实现。
首先将参照图1到6描述根据本实施例的成像设备的构成。图1是举例说明根据本实施例的成像设备的构成的框图。如图1中举例说明的，成像设备1包括包含两个光学系统2(第一和第二光学系统2)的照相机单元3、和由中央处理单元(CPU)、微计算机等组成的控制单元4。
首先将描述两个光学系统2中的每一个的构成。第一光学系统2(图1中上部的光学系统2)包括第一光圈5、第一透镜6、第一图像传感器7和第一电路单元8。第二光学系统2(图1中下部的光学系统2)包括第二光圈5、第二透镜6、第二图像传感器7和第二电路单元8。两个光学系统2可以分别拍摄同一对象的图像。
当照相机单元3拍摄同一的对象时，在第一光学系统2中，已经经过第一光圈5而入射到第一透镜6上的光聚焦到第一图像传感器7的成像平面上，并且来自图像传感器7的电信号通过第一电路单元8经历诸如噪声去除、增益控制和模/数转换的处理，并作为第一图像而输出。在第二光学系统2中，已经经过第二光圈5而入射到第二透镜6上的光聚焦到第二图像传感器7的成像平面上，并且来自图像传感器7的电信号通过第二电路单元8经历诸如噪声去除、增益控制和模/数转换的处理，并作为第二图像而输出。
第一图像和第二图像输入到控制单元4。在控制单元4中，如下面描述地执行各种类型的处理，从而输出第一曝光控制值和第二曝光控制值。第一曝光控制值和第二曝光控制值输入到照相机单元3，并在照相机单元3中用于曝光控制。第一图像和第二图像还输出到外部。
第一曝光控制值包括第一光圈值、第一曝光时间和第一增益。在第一光学系统2中，基于第一曝光控制值执行曝光控制。更具体的，在第一光学系统2中，基于第一光圈值控制第一光圈5的打开，基于第一曝光时间控制第一图像传感器7中的电子快门，并且基于第一增益控制第一电路单元8的增益。
第二曝光控制值包括第二光圈值、第二曝光时间和第二增益。在第二光学系统2中，基于第二曝光控制值执行曝光控制。更具体的，在第二光学系统2中，基于第二光圈值控制第二光圈5的打开，基于第二曝光时间控制第二图像传感器7中的电子快门，并且基于第二增益控制第二电路单元8的增益。
在这一情形中，第一和第二光学系统2在图像的水平方向上间隔开。因此，在图像的水平方向上产生视差。第一图像和第二图像经历各种类型的校正(校准)。例如，第一图像和第二图像经历黑点校正(shading correction)，校正它们以使得它们的光轴中心变为图像中的同一位置(例如，图像中心)，校正它们以使得在光轴中心周围不存在失真，它们经历放大校正，并校正它们以使得产生视差的方向变为图像的水平方向。
下面将描述控制单元4的构成。如图1中举例说明的，控制单元4包括：面部器官检测单元9，用于从由照相机单元3拍摄的图像检测多个面部器官(内眼角、眼尾、唇缘等)；面部器官亮度计算单元10，用于计算每个面部器官的亮度；面部器官亮度选择单元11，用于选择多个面部器官的亮度中的最大亮度；曝光控制值确定单元12，用于基于面部器官的亮度确定曝光控制值；以及饱和信号产生单元13，用于当面部器官的亮度高于预定参考饱和值时产生饱和信号。
控制单元4包括：第一面部检测单元14，用于从由第一光学系统2拍摄的图像检测面部；第一面部亮度计算单元15，用于计算面部的亮度；第二面部检测单元14，用于从由第二光学系统2拍摄的图像检测面部；第二面部亮度计算单元15，用于计算面部的亮度；曝光控制值校正单元16，用于基于面部的亮度校正曝光控制值(并且从而产生第一曝光控制值和第二曝光控制值，如下面所描述的)；和距离测量单元17，用于基于由照相机单元3使用经校正的曝光控制值拍摄的图像来测量到面部的距离。距离测量单元17还具有测量到组成面部的面部器官的距离的功能。将所测量的到面部的距离(或到面部器官的距离)输出到外部。
将参考附图详细描述控制单元4的构成之一(本发明的特征)。图2举例说明了面部器官检测单元9中的处理(面部器官检测处理)的示例。图2举例说明了从由照相机单元3(第一光学系统2)拍摄的人的图像检测六个面部器官(图2中由阴影线指示的区域)的示例。在这一示例中，分别检测“右眼内眼角”附近的正方形区域、“左眼内眼角”附近的正方形区域、“右眼尾”附近的正方形区域、“左眼尾”附近的正方形区域、“右唇缘”附近的正方形区域和“左唇缘”附近的正方形区域，作为第一面部器官a、第二面部器官b、第三面部器官c、第四面部器官d、第五面部器官e和第六面部器官f。在这一情形中，即使在汗等浸湿的前额上反射来自灯的光以使得存在高亮度区域R，也不将这样的区域(前额附近的区域)检测为面部器官。面部器官检测单元9将面部器官a到f的位置输出到面部器官亮度计算单元10、饱和信号产生单元13和距离测量单元17。
尽管在图2中作为示例，面部器官的数目是六，但是其不限于此。尽管正方形区域是面部器官，但是面部器官的形状不限于此。例如，面部器官的形状可以是诸如长方形、三角形和梯形的其他形状以及面部器官由曲线围绕的这样的形状。
图3是举例说明曝光控制值确定单元12的构成的框图。如图3中举例说明的，曝光控制值确定单元12包括目标值设定单元18和曝光控制计算单元19。目标值设定单元18具有基于由面部器官亮度选择单元11选择的亮度来设定目标亮度的功能。曝光控制计算单元19具有确定曝光控制值以使得由面部器官亮度选择单元11选择的亮度变为目标亮度的功能。下面将参考附图描述曝光控制值确定单元12的具体操作。
图4举例说明了面部检测单元14中的处理(面部检测处理)的示例。图4举例说明了从由照相机单元3(第一光学系统2和第二光学系统2)拍摄的人的图像检测面部的示例。例如，将包括人的整个面部的大长方形形状的区域X(例如外接于面部的长方形)检测为面部。在这一情形中，即使在与人的面部远离隔开的部分中存在诸如灯的高亮度区域P，也可以将不包括高亮度区域P的区域X检测为面部。可以将包括人的面部的一部分的小长方形形状的区域Y(例如内接于面部的长方形)检测为面部。在这一情形中，即使在人的面部附近存在诸如灯的高亮度区域Q，也可以将不包括高亮度区域Q的区域Y检测为面部。可以检测人的面部的轮廓，并且可以将由面部的轮廓围绕的区域检测为面部。
图5是举例说明曝光控制值校正单元16的构成的框图。如图5中举例说明的，曝光控制值校正单元16输出校正前的光圈值(相同的光圈值)作为“第一光圈值”和“第二光圈值”。曝光控制值校正单元16输出校正前的曝光时间(相同的曝光时间)作为“第一曝光时间”和“第二曝光时间”。曝光控制值校正单元16输出校正前的增益作为“第一增益”，并且从第一面部亮度中减去第二面部亮度、确定通过相减结果的比例积分控制获得的结果作为偏移、并输出通过将偏移加到校正前的增益而获得的结果作为“第二增益”。
图6举例说明了距离测量单元17中的块匹配处理的示例。如图6中举例说明的，距离测量单元17在下述操作的同时执行块匹配：将由第一图像上的面部器官(例如第一面部器官a)指示的区域从第二图像上的相应位置(例如，对应于第一面部器官a的位置m)在水平方向(产生视差的方向)上向预定位置n一次移位一个像素，作为模板。采用具有最高相似性的移位量作为第一视差Δ1。此外，利用下面的基于三角测量的原理的等式1得到第一距离L1。用第一视差Δ1替换等式1中的Δ，并且通过利用等式1计算而获得的结果L是第一距离L1：
L＝(f×B)/(p×Δ)(等式1)
在等式1中，L是到对象的距离，f是第一透镜6的焦距，B是第一和第二光学系统2的光轴之间的距离，p是水平方向上在组成图像传感器7的像素之间的距离，Δ是视差。视差Δ的单位是水平方向上在组成图像传感器7的像素之间的距离。
类似的，还对第二面部器官b、第三面部器官c、第四面部器官d、第五面部器官e和第六面部器官f执行块匹配，以分别确定第二视差Δ2、第三视差Δ3、第四视差Δ4、第五视差Δ5和第六视差Δ6，以及使用等式1分别确定第二距离L2、第三距离L3、第四距离L4、第五距离L5和第六距离L6。
将参考图7和图8描述如上所述构成的根据第一实施例的成像设备1的操作。
图7是举例说明当使用成像设备1进行距离测量时控制单元4的操作的流程的流程图。成像设备1的操作由主设备(例如，使用成像设备1的驾驶员监视设备)、来自用户的指令等开始(S10)。
控制单元4首先读取由照相机单元3拍摄的图像(S11)。在这一情形中，从第一光学系统2读取第一图像，并从第二光学系统2读取第二图像。所读取的图像根据需要临时存储在随机读取存储器(RAM)等中。
然后将第一图像输入到面部器官检测单元9，并检测面部器官(S12)。从面部器官检测单元9输出检测到的面部器官的位置。例如，如图2中举例说明的，输出六个面部器官a到f的位置。将第一图像和面部器官各自的位置输入到面部器官亮度计算单元10，并计算面部器官各自的平均亮度(S13)。从面部器官亮度计算单元10输出面部器官各自的亮度(例如，面部器官a到f各自的平均亮度)。
当将面部器官的亮度(面部器官a到f的亮度)输入到面部器官亮度选择单元11时，选择亮度中最大的一个(S14)。如果两侧对称的面部器官(例如右唇缘和左唇缘：面部器官e和f)的亮度之间的差异很大，则面部器官亮度选择单元11可以选择除了两侧对称的面部器官之外的其他面部器官(例如面部器官a到d)的亮度中最大的亮度。将由面部器官亮度选择单元11选择的亮度输出到曝光控制值确定单元12。
将第一图像和面部器官的位置输入到饱和信号产生单元13，并产生指示是否发生饱和的饱和信号(S15)。如果在六个面部器官a到f的任一个中发生饱和，则例如产生指示“存在(present)”饱和的发生的饱和信号H。如果在六个面部器官a到f的任一个中都没有发生饱和，则产生指示“不存在(absent)”饱和的发生的饱和信号L。将由饱和信号产生单元13产生的饱和信号输出到曝光控制值确定单元12。
将所选择的亮度和饱和信号输入到曝光控制值确定单元12，并得到照相机单元3的曝光控制值(校正前的曝光控制值：校正前的光圈值、校正前的曝光时间、校正前的增益)(S16)。
将参考图8详细描述曝光控制值确定单12的操作。图8是举例说明曝光控制值确定单元12中的处理的流程的流程图。如图8中举例说明的，当曝光控制值确定单元12的操作开始时(S161)，判定饱和信号是否是“L”(“不存在”饱和的发生)(S162)。
如果饱和信号是“H”(“存在”饱和的发生)，则将计数器N的值初始化为“0”(S163)。另一方面，如果饱和信号是“L”(“不存在”饱和的发生)，则不初始化计数器N。
然后判定计数器N的值是否为“0”(S164)。如果计数器N的值为“0”，则执行曝光计算处理。更具体的，目标值设定单元18基于所选择的亮度设定目标亮度(S165)。例如，如果所选择的亮度小于预定阈值，则将目标亮度设定为第一目标值(预定目标值)。另一方面，如果所选择的亮度是阈值或更大，则将目标亮度设定为第二目标值(小于第一目标值的目标值)。
在曝光控制计算单元19中，基于所选择的亮度和目标亮度确定曝光控制值(校正前的曝光控制值)。例如，确定曝光控制值(校正前的光圈值、校正前的曝光时间、校正前的增益)，以使得所选择的亮度变为目标亮度，并从曝光控制值确定单元12输出所述曝光控制值。另一方面，如果在步骤S164中计数器的值不是“0”，则不执行上面提到的曝光计算处理(步骤S165和S166)。在这一情形中，从曝光控制值确定单元12输出与上一次输出的曝光控制值相同的曝光控制值。
将当把“1”加到计数器N并把相加结果除以“4”而剩下的余数设定到新的计数器N(S168)。曝光控制值确定单元12结束操作(S169)。
已经通过示例举例说明了下述情形：在步骤S168中得到当把“1”加到计数器N并把相加结果除以“4”而剩下的余数，在步骤S164中判定计数器N是否为“0”，并且仅当计数器N为“0”时才执行曝光计算处理(步骤S165和S166)。更具体的，举例说明了每四次图像读取才执行一次曝光计算处理(目标值设定和曝光控制计算)的情形。
本发明的范围不限于此。例如，在步骤S168中相加结果可以除以除数“3”，或者除数根据需要可以改变。因此，若干次(例如，四次)才执行一次曝光计算，从而可以使得整个成像设备1中的计算时间比当每次都执行曝光计算时的计算时间短。除数越大，整个成像设备中的计算时间就变得越短。如果从设定曝光控制值(曝光时间等)直到接受在其上反映曝光控制值(曝光时间等)的图像为止，需要某种程度的等待时间，则改变除数以使得根据需要可以调整等待时间。
在这一情形中，如果在步骤S162中饱和信号39是“H”(“存在”饱和的发生)，则在步骤S163中将计数器N初始化为0，在步骤S164中判定计数器N是0，并且执行曝光计算处理(步骤S165和S166)。因此，当饱和信号是“H”(“存在”饱和的发生)时，总是执行目标值的设定(步骤S165)和曝光控制计算(步骤S166)。如果对象的明度不改变，则饱和信号的状态不改变(饱和信号保持“H”)，直到接受在其上反映曝光控制值(曝光时间等)的图像为止。因此，步骤S162中的处理可以省略。尽管通过示例举例说明了当“存在”饱和的发生时总是执行曝光控制计算的情形，但本发明的范围不限于此。例如，当“存在”饱和的发生时，曝光控制计算可以在计数器N被初始化为0后仅停止三次。
再次参见图7，对控制单元4的操作的描述将继续。将第一图像输入到第一面部检测单元14，并从图像检测第一面部(S17)。从第一面部检测单元14输出第一面部的位置。例如，输出面部的区域Y的位置，如图4中举例说明的。将第一图像和第一面部的位置输入到第一面部亮度计算单元15，并计算第一面部(例如，区域Y)的平均亮度(S18)。从第一面部亮度计算单元15输出第一面部的亮度(区域Y的平均亮度)。
类似的，将第二图像输入到第二面部检测单元14，并从图像检测第二面部(S19)。从第二面部检测单元14输出第二面部的位置。将第二图像和第二面部的位置输入到第二面部亮度计算单元15，并计算第二面部的平均亮度(S20)。从第二面部亮度计算单元15输出第二面部的亮度。
将由曝光控制值确定单元12得到的曝光控制值(校正前的曝光控制值)、第一面部的亮度和第二面部的亮度输入到曝光控制值校正单元16，校正曝光控制值，并输出校正后的曝光控制值(第一曝光控制值和第二曝光控制值)(S21)。例如，输出与校正前的曝光控制值相同的曝光控制值(光圈值、曝光值、增益)作为第一曝光控制值，并输出与校正前的光圈值相同的光圈值、与校正前的曝光时间相同的曝光时间以及通过将偏移加到校正前的增益而获得的增益，作为第二曝光控制值。
将使用校正后的曝光控制值拍摄的图像(第一图像和第二图像)以及从图像检测的面部器官的位置(例如六个面部器官a到f的位置)输入到距离测量单元17，并测量到面部器官的距离(S22)。从距离测量单元17输出到面部器官(例如六个面部器官a到f)的距离。
控制单元4最终判定操作是否结束(S23)。当判定操作结束时，控制单元4结束操作(S24)。
根据第一实施例的成像设备1产生下面的功能和效果。更具体的，在根据本实施例的成像设备1中，从图像检测面部器官，得到面部器官各自的平均亮度，并基于平均亮度中最大的一个执行曝光控制。因此，使得面部器官的亮度适当。因此，可以得到面部器官之间的精确视差，并且由此可以得到到面部器官的精确距离。
在根据本实施例的成像设备1中，分别从由两个光学系统2拍摄的图像检测面部，得到针对两个光学系统的面部各自的平均亮度，并分别控制光学系统的增益，从而两个平均亮度变为相同。由此，使得两个光学系统2的面部亮度相同。因此，可以对面部进行精确地块匹配，可以得到面部之间的精确视差，并且由此可以精确测量到面部的距离。
更具体的，在根据第一实施例的成像设备1中，面部器官检测单元9识别用作与面部位置有关的信息的面部器官位置，面部器官亮度计算单元10基于面部器官位置计算面部器官的亮度，曝光控制值确定单元12使用基于面部器官的亮度而产生的面部器官的所选择的亮度来执行曝光控制，并且距离测量单元17基于第一图像和第二图像产生到作为面部的一部分的面部器官位置的距离。
由此，即使在图像中除了面部位置之外还存在高亮度部分(例如，图4中举例说明的高亮度区域P)，也可以适当地控制面部的亮度。另一方面，在传统成像设备中，将区域预先划分为多个区域，并且检测包括面部的区域。因此，如果在面部附近包括高亮度区域，则基于与包括高亮度区域的区域的亮度有关的信息执行曝光控制。因此，面部的亮度变得过分低(信噪(S/N)比变为低)。因此，视差精度为低，并且距离测量精度降低。另一方面，在本实施例中，面部的亮度不会变得过分高(不发生饱和)，并且不会变得过分低(因为S/N比为高)。因此，视差精度提高，并提高了距离测量精度。
此外，在本实施例中，即使除了面部位置之外不仅仅存在一个高亮度部分，而且还存在多个高亮度部分(例如，图4中举例说明的高亮度区域P和Q)，也基于面部位置的亮度执行曝光控制，从而可以适当地控制面部位置的亮度。另外，即使多个高亮度部分的亮度彼此不同，并且如果高亮度部分在面部附近，也基于面部位置的亮度执行曝光控制，从而可以适当地控制面部位置的亮度。
在根据第一实施例的成像设备1中，面部器官检测单元9识别面部器官位置，面部器官亮度计算单元10计算面部器官的亮度，曝光控制值确定单元12使用从面部器官选出的面部器官的亮度执行曝光控制，并且距离测量单元17基于第一图像和第二图像确定到面部器官的距离。
因此，即使面部区域包括不用于执行距离测量的高亮度部分(例如，图2中举例说明的高亮度区域R)，也基于面部器官区域的亮度执行曝光控制。由此，可以适当地控制面部器官的亮度。另一方面，在传统成像设备中，将区域预先划分为多个区域，并且检测包括面部的区域。如果面部区域包括不用于执行距离测量的高亮度部分，则基于与包括高亮度部分的区域的亮度有关的信息来执行曝光控制。因此，面部位置的亮度变得过分低(S/N比变为低)。因此，视差精度为低，并且距离测量精度降低。另一方面，在本实施例中，面部器官位置的亮度不会变得过分高(不发生饱和)，并且不会过分低(因为S/N比为高)。因此，视差精度为高，并提高了距离测量精度。
此外，由于得到用于曝光控制的亮度的区域和得到距离的区域是同一面部器官区域。由于每个区域不需要单独地检测，所以可以使得检测区域所需的计算时间较短，并且可以以较高的速度(以较短的时间)执行距离测量。由于公用计算器用于检测区域，所以可以使得设备的成本降低该量(与使得计算器公用相对应的量)。
在根据第一实施例的成像设备1中，面部器官检测单元9识别面部器官位置，面部器官亮度计算单元10计算面部器官的亮度，面部器官亮度选择单元11选择面部器官的亮度中最大的亮度，曝光控制值确定单元12使用所选择的亮度执行曝光控制，并且距离测量单元17基于第一图像和第二图像来确定到面部器官的距离。
由此，使用面部器官的亮度中最大的亮度来执行曝光控制。因此，即使照明条件改变，也总是可以适当地控制面部器官的亮度。这一点将在下面参考图9详细描述。
图9是举例说明在根据第一实施例的成像设备中、当照明条件改变时整个面部的平均亮度和面部器官的平均亮度的示例的表。如图9中举例说明的，条件1A和条件1B指示当使用根据本实施例的成像设备1时获得的平均亮度，条件2A和条件2B指示当使用传统成像设备时获得的平均亮度(比较示例1)。
条件1A和2A分别指示当用来自人的基本正面的照明来照射其时获得的平均亮度。此时，人的右侧的面部器官(例如，右眼内眼角a、右眼尾c、右唇缘e)的亮度和人的左侧的面部器官(例如，左眼内眼角b、左眼尾d、左唇缘f)的亮度之间的差异为小。另一方面，条件1B和2B分别指示当用来自人的左侧的照明来照射其时获得的平均亮度。此时，人的左侧的面部器官的亮度高于其右侧的面部器官的亮度。
当使用根据第一实施例的成像设备1时，将目标亮度设定为面部器官a到f的亮度中最大的亮度(图9中由圆圈圈起的数值“130”)。更具体的，控制条件1A和1B中的任一个，以使得面部器官的最大亮度为“130”。另一方面，在比较示例1中，将目标亮度设定为整个面部的平均亮度(图9中由圆圈圈起的数值“50”)。更具体的，控制条件2A和2B中的任一个，以使得整个面部的平均亮度为“50”。在这一情形中，在条件1B和2B下(照明来自左侧)，执行同样的曝光控制。然而，当条件1A和2A(照明来自正面)相互比较时，本实施例中的平均亮度高于(S/N比高于)比较示例1中的平均亮度。因此，视差精度为高，并且距离测量精度提高。
在比较示例1中，可以仅增大目标亮度。条件3A和条件3B分别指示当仅增大目标亮度时(将目标亮度设定为“106”)获得的平均亮度(比较示例2)。在该比较示例2中，虽然可以在条件3A(照明来自正面)下适当地增大亮度，但是在条件3B(照明来自左侧)下亮度变得过分高(饱和发生)。因此，视差精度为低，并且距离测量精度降低。另一方面，在本实施例中，即使照明条件改变(无论照明来自正面还是来自侧面)，总是可以适当地保持面部器官的亮度。
通过使用直方图等，可以从在传统成像设备中使用平均亮度的情况而进行改进。然而，直方图计算是复杂的。因此，当如在第一实施例中那样使用平均亮度时，可以使计算时间比当使用直方图时的计算时间短。
在根据第一实施例的成像设备1中，第一面部检测单元14检测第一图像上的第一面部区域以产生第一面部位置，第一面部亮度计算单元15计算第一面部亮度，并且第二面部检测单元14检测第二图像上的面部区域以产生第二面部位置，第二面部亮度计算单元15计算第二面部亮度。将偏移加到校正前增益以获得第二增益，同时保持第一增益为校正前的增益，从而第一面部亮度和第二面部亮度变得相同。
通过使得由第一光学系统2拍摄的第一图像和由第二光学系统2拍摄的第二图像的同一对象中的亮度相同，可以精确地执行块匹配。因此，可以精确地执行视差计算和距离计算。第一图像和第二图像之间的亮度上的差异的原因包括光学系统2的变化、图像传感器7的变化、电路单元8(增益设备)的变化、以及模数转换器的变化。根据本实施例的成像设备1通过在制造时进行测量以产生偏移并且获得被添加了偏移的第二增益，可以减少变化的影响。
第一图像和第二图像之间的亮度上的差异的原因可以是电路单元8(增益设备)具有温度特性，并且第一和第二光学系统2在温度上不同并且由此在增益上不同。由于诸如随着光学系统2的老化的变化、随着图像传感器7的老化的变化、随着增益设备的老化的变化和随着模数转换器的老化的变化等原因，第一和第二图像可以在亮度上不同。在这样的情形中，在根据第一实施例的成像设备1中，可以通过补偿第一图像和第二图像之间的亮度差异，精确地执行块匹配。因此，可以精确地执行视差计算和距离计算。
在第一实施例中，通过校正曝光控制量(光圈值、曝光时间和增益)中的第二增益并补偿第一图像和第二图像之间的亮度差异，精确地执行块匹配，以精确地执行视差计算和距离计算。即使代替增益而改变光圈值和曝光时间，也可以同样补偿第一图像和第二图像之间的亮度差异。因此，可以精确地执行块匹配，以精确地执行视差计算和距离计算。当第一照相机单元和第二照相机单元在光圈值上不同时，第一照相机单元和第二照相机单元在景深上不同，并且第一图像和第二图像在模糊程度上不同。这导致块匹配精度的劣化。当第一照相机单元和第二照相机单元在曝光时间上不同时，当对象以高速移动时第一照相机单元和第二照相机单元在曝光长度上不同，并且第一图像和第二图像在对象抖动程度上不同。这导致块匹配精度的劣化。因此，通过校正曝光控制量(光圈值、曝光时间和增益)中的增益，可以令人满意地补偿第一图像和第二图像之间的亮度差异。
尽管在本实施例中已经描述了其中面部器官亮度选择单元11选择面部器官的亮度中最大的亮度、曝光控制值确定单元12基于所选择的亮度执行曝光控制的示例，但是本发明的范围不限于此。例如，面部器官亮度选择单元11可以从右侧和左侧面部器官对中去除之间存在大的亮度差异的右侧和左侧面部器官对，选择剩余面部器官的亮度中最大的亮度，并且曝光控制值确定单元12可以基于面部器官的所选择的亮度执行曝光控制。
图10举例说明了选择面部器官的亮度的修改示例。条件4A和条件4B指示修改示例中的平均亮度，其中条件4A指示当用来自人的基本正面的照明来照射其时获得的平均亮度，而条件4B指示当用来自人的左侧的照明来照射其时获得的平均亮度。在条件4A下，右侧和左侧面部器官对中不包括之间存在大的亮度差异的右侧和左侧面部器官对。因此，控制条件4A以使得面部器官的亮度中最大的亮度是130(由圆圈圈起的数值)，与第一实施例中一样(与条件1A同样)。另一方面，在条件4B下，右侧和左侧面部器官对中包括之间存在大的亮度差异的右侧和左侧面部器官对。因此，去除该对。在该示例中，控制条件4B，以使得去除第三面部器官c和第四面部器官d的一组亮度(删去的数值)、以及第五面部器官e和第六面部器官f的一组亮度(删去的数值)，选择剩余面部器官a和第二面部器官b的亮度中最大的亮度，并且面部器官的亮度为130(由圆圈圈起的第二面部器官b的亮度)。当排除之间存在大的亮度差异的右侧和左侧面部器官对而使用剩余面部器官的亮度来执行距离测量时，曝光时间延长，并且亮度增大。由此，可以适当地增大具有高可靠性的右侧和左侧面部器官对(在它们之间存在小的亮度差异)的亮度，并且可以提高到面部器官的距离的测量的精度。
在根据第一实施例的成像设备1中，在曝光控制值确定单元12中，目标值设定单元18根据从第一图像选择的面部器官的亮度来设定目标值，并且曝光控制计算单元19确定曝光控制值(校正前的曝光控制值)，从而面部器官的亮度与目标值一致。目标值设定单元18在所选择的亮度小于预定阈值时将目标值设定为预定的第一目标值，并且在所选择的亮度是预定阈值或更大时将目标值设定为预定的第二目标值(小于第一目标值)。由此，当亮度为高时通过降低目标值，可以快速地适当调整亮度。因此，可以缩短视差计算精度为低的时间段和距离测量精度为低的时间段。这使得能够仅对于较长的时间段以高精度执行视差计算和距离计算。
在根据第一实施例的成像设备1中，饱和信号产生单元13基于第一图像产生指示在面部器官位置是否存在饱和部分的饱和信号，曝光控制值确定单元12基于所选择的面部器官的亮度和饱和信号而确定曝光控制值(校正前的曝光控制值)。曝光控制值确定单元12在饱和信号为“L”时(当不发生饱和时)仅每当接受四个图像时执行曝光控制计算，而在饱和信号为“H”时(当发生饱和时)通过将计数器N初始化为0而立即执行曝光处理计算。由此，通过在发生饱和时立即执行曝光控制计算，可以快速地适当调整亮度。因此，可以缩短亮度为高且距离测量精度为低的时间段、以及距离测量精度为低的时间段。这使得能够仅对于较长的时间段以高精度执行视差计算和距离计算。
尽管在根据第一实施例的成像设备1中，第一光学系统2基于第一光圈值、第一曝光时间和第一增益执行图像拍摄，第二光学系统2基于第二光圈值、第二曝光时间和第二增益执行图像拍摄，但是某些曝光控制值可以是固定的。可替代地，光学系统2不需要具有用于改变光圈值的机构。
尽管在根据第一实施例的成像设备1中从第二图像产生第二面部位置，但是从第一面部位置移位了与视差对应的量的位置可以是第二面部位置。可以顺序地计算视差。可替代地，通过考虑到对象的距离是基本恒定的，视差可以是预定值。
(第二实施例)
在本发明的第二实施例中。通过示例举例说明用于检测例如疏忽驾驶和困倦驾驶的系统的驾驶员监视设备。
首先将参考图11到13描述根据本实施例的驾驶员监视设备的构成。图11是驾驶员监视设备的示意视图，图12是驾驶员监视设备的正视图。如图11和图12中举例说明的，驾驶员监视设备20中的照相机单元21安装在用于支撑方向盘22的驾驶杆23上，并且将照相机单元21布置为使得可以从正面拍摄驾驶员的图像。在这一情形中，照相机单元21包括根据第一实施例的成像设备1以及用于照射驾驶员的多个补充照明24(例如，近红外发光二极管(LED))。将来自成像设备1的输出输入到电子控制单元25。
图13是用于举例说明驾驶员监视设备20的构成的框图。驾驶员监视设备20包括照相机单元21和电子控制单元25。照相机单元21包括成像设备1和补充照明24。电子控制单元25包括：面部模型产生单元26，用于基于从成像设备1输入的图像和距离，计算多个面部器官特性点的三维位置；面部跟踪处理单元27，用于从顺序地拍摄的图像顺序估计驾驶员的面部的方向；以及面部方向确定单元28，用于从面部模型产生单元26和面部跟踪处理单元27的处理结果确定驾驶员面部的方向。电子控制单元25包括：总控制单元29，用于控制成像设备1的整体操作(包括图像拍摄条件等)；和照明发光控制单元30，用于基于总控制单元29的控制结果，控制补充照明24的发光。
将参考图14描述如上所述构成的驾驶员监视设备20的操作。
在根据本实施例的驾驶员监视设备20中，将成像许可信号从电子控制单元25中的总控制单元29输出到成像设备1(S200)。成像设备1从正面以大约25度的角度向上看驾驶员，以响应于所述信号而获取正面图像(S201)。照明发光控制单元30与所述信号同步地控制补充照明24，以使用近红外光在预定时间内照射驾驶员。成像设备1在对应于例如30帧的时间段内获取通过拍摄驾驶员而获得的图像、以及到图像的距离，并将所述图像和距离输入到面部模型产生计算电路(S202)。面部模型产生计算电路通过计算从所获取的距离确定多个面部器官的三维位置(S203)。同时获取与通过计算获得的多个面部器官的三维位置有关的信息、以及已经被获取三维位置的面部器官的周围图像(S204)。
面部跟踪处理单元27使用粒子滤波(particle filter)顺序地估计驾驶员的面部的方向(S205)。例如，预测面部已经从面部在当前帧的前一帧中的位置在一个方向上移动。基于与面部模型产生单元26已经获取的面部器官的三维位置有关的信息来估计面部器官已经通过所预测的移动而移动到的位置，并且通过模板匹配将在所估计的位置的当前获取的图像与面部模型产生单元26已经获取的面部器官的周围图像相关。基于面部在当前帧的前一帧中的方向的概率密度和运动历史来预测面部的当前方向的多个模式(pattern)，以通过对于每个所预测的模式以与上面同样的方式进行模板匹配来获得相关值。
面部方向确定单元28从所估计的面部方向和通过面部方向的模式匹配的相关值而确定面部的当前方向，并向外输出面部的当前方向(S206)。这使得可基于例如车辆信息和周围车辆信息，确定驾驶员的疏忽驾驶等、向驾驶员发出警报等、并引起注意。
当确定由于已经获取的用于模板匹配的原始图像与当前图像彼此不同(例如当驾驶员剧烈晃动他/她的面部时)而不能通过模式匹配从相关值正确地确定面部的方向时，面部方向确定单元28再次获取与在那一时间点的面部器官的三维位置有关的信息以及用于模板匹配的用作原始图像的其周围图像，并执行与上面同样的处理以确定驾驶员的面部的方向。
在根据第二实施例的驾驶员监视设备20中，使用能够确定适当亮度、确定精确视差并由此确定精确距离的成像设备1来检测面部的方向。能够精确地检测面部的方向，因为使用这一精确距离进行检测。
当在驾驶员监视设备20中检测面部的方向时，需要与诸如眼睛的面部器官有关的距离信息，而不需要与前额等有关的距离信息。此时，在传统设备中，即使在不包括除了面部之外的诸如灯的高亮度对象时，如果在面部的一部分(例如，前额)中存在诸如反射的高亮度部分，也将曝光时间缩短与高亮度部分对应的量。因此，在诸如眼睛的面部器官中，亮度为低(S/N比为低)，视差精度降低，并且距离测量精度降低。因此，由驾驶员监视设备20使用距离测量结果而执行的面部方向的检测的精度变为低。
另一方面，在根据第二实施例的驾驶员监视设备20中，从根据第一实施例的成像设备1获取精确图像和精确距离。面部模型产生单元26基于距离产生面部模型，面部跟踪处理单元27从面部模型和通过以预定时间间隔顺序拍摄驾驶员的面部而获得的图像，顺序估计面部的方向。由此，能够以高精度检测驾驶员的面部的方向，因为其是使用通过适当地控制面部的亮度并以高精度计算视差而以高精度计算的图像和距离所检测的。
尽管在根据第二实施例的驾驶员监视设备20中，已经描述了将用于照射驾驶员的补充照明24布置在成像设备1的附近的示例，但布置补充照明24的位置不限于该示例中的位置。补充照明24可以安装在任何位置，只要它能够照射驾驶员即可。
尽管在根据第二实施例的驾驶员监视设备20中，已经描述了面部方向确定结果用于确定疏忽驾驶的示例，但本发明的范围不限于此。例如，也可以通过从获取的图像检测黑眼睛的三维位置来检测视线的方向。可替代地，面部方向确定结果和视线方向确定方向也可以用于各种操作支持系统。
尽管在根据第二实施例的驾驶员监视设备20中，成像设备1检测面部器官并测量距离，电子控制单元25检测面部的方向，但功能的分配不限于此。例如，电子控制单元25可以检测面部器官并测量距离。可替代地，电子控制单元25可以具有成像设备1的一些功能。
尽管已经通过示例举例说明了本发明的实施例，但本发明的范围不限于此。本发明可以根据在权利要求书中描述的范围内的目的而改变或修改。
虽然上面已经描述了在目前时间点考虑的本发明的优选实施例，但应当理解可以对本实施例进行各种修改，并且所附权利要求的范围意图包括在本发明的精神和范围内的所有这样的修改。
工业适用性
如上所述，根据本发明的成像设备具有以高精度测量到面部器官的距离的效果，并且有效地用于用来检测驾驶员的面部方向的驾驶员监视设备。
参考标记列表
1成像设备
2光学系统
3照相机单元
4控制单元
9面部器官检测单元
10面部器官亮度计算单元
11面部器官亮度选择单元
12曝光控制值确定单元
13饱和信号产生单元
14面部检测单元
15面部亮度计算单元
16曝光控制值校正单元
17距离测量单元
18目标值设定单元
19曝光控制计算单元
20驾驶员监视设备
21照相机单元
25电子控制单元
26面部模型产生单元
27面部跟踪处理单元
28面部方向确定单元
权利要求书(按照条约第19条的修改)
1.成像设备，包括：
照相机单元，通过使用至少两个光学系统，分别拍摄同一对象的图像；
面部器官检测单元，从由所述照相机单元拍摄的每个图像，检测组成在所述图像中包括的面部的多个面部器官；
面部器官亮度计算单元，计算所检测的多个面部器官的亮度；
曝光控制值确定单元，基于所述多个面部器官的亮度，确定所述照相机单元的曝光控制值；和
距离测量单元，基于由所述照相机单元使用经校正的曝光控制值而拍摄的至少两个图像，测量到所述多个面部器官的距离，
所述曝光控制值确定单元确定所述照相机单元的曝光控制值，以使得所述多个面部器官的亮度中的最大亮度成为预定目标亮度。
2.根据权利要求1的成像设备，当所述多个面部器官中对称布置的一对面部器官的亮度之间的差异大于预定阈值时，所述曝光控制值确定单元确定所述照相机单元的曝光控制值，以使得除了所述一对面部器官之外的面部器官的亮度中的最大亮度成为目标亮度。
3.根据权利要求1或2的成像设备，还包括：
面部检测单元，检测分别在由所述照相机单元拍摄的图像中包括的面部；
面部亮度计算单元，计算所检测的面部的亮度；和
曝光控制值校正单元，基于所述面部的亮度，校正所述照相机单元的曝光控制值，
所述曝光控制值校正单元校正所述照相机单元的曝光控制值，以使得在由所述照相机单元拍摄的至少两个图像中包括的面部器官的亮度变为相同。
4.根据权利要求3的成像设备，
所述曝光控制值包括光圈值、曝光时间和增益，
所述曝光控制值校正单元使得两个光学系统各自的光圈值和曝光时间相同，并校正所述两个光学系统各自的增益，以使得在所述两个图像中包括的面部器官的亮度变为相同。
5.根据权利要求1到4中任一项的成像设备，所述曝光控制值确定单元根据所述多个面部器官的亮度中所选择的亮度来设定目标亮度，并确定所述照相机单元的曝光控制值，以使得所选择的亮度成为目标亮度。
6.根据权利要求5的成像设备，当所选择的亮度大于预定阈值时，所述曝光控制值确定单元将目标亮度设定为比当所选择的亮度小于所述阈值时的值小的值。
7.根据权利要求1到6中任一项的成像设备，所述曝光控制值确定单元基于饱和信号的存在与否，控制得到所述照相机单元的曝光控制值的所在频率，所述饱和信号指示所述面部器官的亮度高于预定参考饱和值。
8.根据权利要求7的成像设备，当存在所述饱和信号时，每当拍摄图像时，所述曝光控制值确定单元都确定所述照相机单元的曝光控制值。
9.驾驶员监视设备，包括：
照相机单元，通过使用至少两个光学系统，分别拍摄作为拍照对象的驾驶员的图像；
面部器官检测单元，从由所述照相机单元拍摄的每个图像，检测组成所述驾驶员的面部的多个面部器官；
面部器官亮度计算单元，计算所检测的多个面部器官的亮度；
曝光控制值确定单元，基于所述多个面部器官的亮度，确定所述照相机单元的曝光控制值；
距离测量单元，基于由所述照相机单元使用所述曝光控制值而拍摄的至少两个图像，测量到所述驾驶员的多个面部器官的距离；
面部模型产生单元，基于所述多个面部器官的距离测量结果，产生所述驾驶员的面部模型；和
面部跟踪处理单元，基于所产生的面部模型，执行用于跟踪所述驾驶员的面部的方向的处理，
所述曝光控制值确定单元确定所述照相机单元的曝光控制值，以使得所述多个面部器官的亮度中的最大亮度成为预定目标亮度。
10.用于测量到面部的距离的方法，包括：
通过使用至少两个光学系统，分别拍摄同一对象的图像；
检测组成在每个所拍摄的图像中包括的面部的多个面部器官；
计算所检测的多个面部器官的亮度；
基于所述多个面部器官的亮度，确定用于图像拍摄的曝光控制值，以使得所述多个面部器官的亮度中的最大亮度成为预定目标亮度；和
基于使用所述曝光控制值而拍摄的至少两个图像，测量到所述面部的距离。
11.用于测量到面部的距离的程序，使得计算机执行：
用于检测组成在同一对象的每个图像中包括的面部的多个面部器官的处理，所述图像通过至少两个光学系统分别拍摄；
用于计算所检测的多个面部器官的亮度的处理；
用于基于所述多个面部器官的亮度来确定用于图像拍摄的曝光控制值以使得所述多个面部器官的亮度中的最大亮度成为预定目标亮度的处理；和
用于基于使用所述曝光控制值而拍摄的至少两个图像来测量到面部的距离的处理。
说明或声明(按照条约第19条的修改)
基于条约19条(1)的说明书
本发明权利要求第1项、第10项、第11项以及第12项中的特征在于，所述曝光控制值确定单元确定曝光控制值，以使得多个面部器官的亮度值中的最大亮度值成为预定目标亮度值。并且，在本发明中，将多个面部器官的亮度值中最大的一个用作目标值，因此，可以比当平均亮度值被用作目标值时更容易地，针对照明条件的改变而执行适当的曝光控制。因此，能够得到如下优良效果：即使当照明条件发生改变时(例如，当照明条件从“从对象正面照明”改变为“从对象侧面照明”时)，也容易地执行曝光控制以使得面部器官的亮度变得适当。
而在文献3(JP2007-25758A)中，披露了如下内容，即，针对太阳镜领域，改变标准亮度水平和亮度水平(第0027段)。然而，在该太阳镜领域，为像素亮度较低的部分(第0026段)，而该文献3既没有启示也没有披露如本发明所记载的、基于最大亮度值来确定曝光控制值。因此，即使将文献3所记载的结构应用到文献1中，也无论如何不能产生本发明。因此，相对于与文献1-3，本发明并非显而易见，并具有充分的创造性。

Claims (12)

1.成像设备，包括：
照相机单元，通过使用至少两个光学系统，分别拍摄同一对象的图像；
面部器官检测单元，从由所述照相机单元拍摄的每个图像，检测组成在所述图像中包括的面部的多个面部器官；
面部器官亮度计算单元，计算所检测的多个面部器官的亮度；
曝光控制值确定单元，基于所述多个面部器官的亮度，确定所述照相机单元的曝光控制值；和
距离测量单元，基于由所述照相机单元使用经校正的曝光控制值而拍摄的至少两个图像，测量到所述多个面部器官的距离。
2.根据权利要求1的成像设备，所述曝光控制值确定单元确定所述照相机单元的曝光控制值，以使得所述多个面部器官的亮度中的最大亮度成为预定目标亮度。
3.根据权利要求1的成像设备，当所述多个面部器官中对称布置的一对面部器官的亮度之间的差异大于预定阈值时，所述曝光控制值确定单元确定所述照相机单元的曝光控制值，以使得除了所述一对面部器官之外的面部器官的亮度中的最大亮度成为目标亮度。
4.根据权利要求1到3中任一项的成像设备，还包括：
面部检测单元，检测分别在由所述照相机单元拍摄的图像中包括的面部；
面部亮度计算单元，计算所检测的面部的亮度；和
曝光控制值校正单元，基于所述面部的亮度，校正所述照相机单元的曝光控制值，
所述曝光控制值校正单元校正所述照相机单元的曝光控制值，以使得在由所述照相机单元拍摄的至少两个图像中包括的面部器官的亮度变为相同。
5.根据权利要求4的成像设备，
所述曝光控制值包括光圈值、曝光时间和增益，
所述曝光控制值校正单元使得两个光学系统各自的光圈值和曝光时间相同，并校正所述两个光学系统各自的增益，以使得在所述两个图像中包括的面部器官的亮度变为相同。
6.根据权利要求1到5中任一项的成像设备，所述曝光控制值确定单元根据所述多个面部器官的亮度中所选择的亮度来设定目标亮度，并确定所述照相机单元的曝光控制值，以使得所选择的亮度成为目标亮度。
7.根据权利要求6的成像设备，当所选择的亮度大于预定阈值时，所述曝光控制值确定单元将目标亮度设定为比当所选择的亮度小于所述阈值时的值小的值。
8.根据权利要求1到7中任一项的成像设备，所述曝光控制值确定单元基于饱和信号的存在与否，控制得到所述照相机单元的曝光控制值的所在频率，所述饱和信号指示所述面部器官的亮度高于预定参考饱和值。
9.根据权利要求8的成像设备，当存在所述饱和信号时，每当拍摄图像时，所述曝光控制值确定单元都确定所述照相机单元的曝光控制值。
10.驾驶员监视设备，包括：
照相机单元，通过使用至少两个光学系统，分别拍摄作为拍照对象的驾驶员的图像；
面部器官检测单元，从由所述照相机单元拍摄的每个图像，检测组成所述驾驶员的面部的多个面部器官；
面部器官亮度计算单元，计算所检测的多个面部器官的亮度；
曝光控制值确定单元，基于所述多个面部器官的亮度，确定所述照相机单元的曝光控制值；
距离测量单元，基于由所述照相机单元使用所述曝光控制值而拍摄的至少两个图像，测量到所述驾驶员的多个面部器官的距离；
面部模型产生单元，基于所述多个面部器官的距离测量结果，产生所述驾驶员的面部模型；和
面部跟踪处理单元，基于所产生的面部模型，执行用于跟踪所述驾驶员的面部的方向的处理。
11.用于测量到面部的距离的方法，包括：
通过使用至少两个光学系统，分别拍摄同一对象的图像；
检测组成在每个所拍摄的图像中包括的面部的多个面部器官；
计算所检测的多个面部器官的亮度；
基于所述多个面部器官的亮度，确定用于图像拍摄的曝光控制值；和
基于使用所述曝光控制值而拍摄的至少两个图像，测量到所述面部的距离。
12.用于测量到面部的距离的程序，使得计算机执行：
用于检测组成在同一对象的每个图像中包括的面部的多个面部器官的处理，所述图像通过至少两个光学系统分别拍摄；
用于计算所检测的多个面部器官的亮度的处理；
用于基于所述多个面部器官的亮度来确定用于图像拍摄的曝光控制值的处理；和
用于基于使用所述曝光控制值而拍摄的至少两个图像来测量到面部的距离的处理。
CN2010800101638A 2009-03-02 2010-02-17 图像拍摄设备、操作员监视设备、测量到面部的距离的方法和程序 Pending CN102342090A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009048499A JP2010204304A (ja) 2009-03-02 2009-03-02 撮像装置、運転者監視装置および顔部測距方法
JP2009-048499 2009-03-02
PCT/JP2010/000980 WO2010100842A1 (ja) 2009-03-02 2010-02-17 撮像装置、運転者監視装置、顔部測距方法およびプログラム

Publications (1)

Publication Number Publication Date
CN102342090A true CN102342090A (zh) 2012-02-01

Family

ID=42709413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800101638A Pending CN102342090A (zh) 2009-03-02 2010-02-17 图像拍摄设备、操作员监视设备、测量到面部的距离的方法和程序

Country Status (4)

Country Link
US (1) US20110304746A1 (zh)
JP (1) JP2010204304A (zh)
CN (1) CN102342090A (zh)
WO (1) WO2010100842A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104285443A (zh) * 2012-08-30 2015-01-14 大邱庆北科学技术院 影像亮度调节方法及其装置、立体摄像机
CN106034208A (zh) * 2015-03-16 2016-10-19 深圳酷派技术有限公司 一种自动曝光的方法及装置
CN108683857A (zh) * 2018-08-16 2018-10-19 Oppo广东移动通信有限公司 拍照优化方法、装置、存储介质及终端设备
CN108683859A (zh) * 2018-08-16 2018-10-19 Oppo广东移动通信有限公司 拍照优化方法、装置、存储介质及终端设备
CN108683858A (zh) * 2018-08-16 2018-10-19 Oppo广东移动通信有限公司 拍照优化方法、装置、存储介质及终端设备
CN109073754A (zh) * 2016-04-19 2018-12-21 日立乐金光科技株式会社 距离图像生成装置和距离图像生成方法
CN109167927A (zh) * 2018-07-24 2019-01-08 吉利汽车研究院（宁波）有限公司 一种驾驶员监测系统照明光源的控制装置及方法
CN109987101A (zh) * 2017-11-24 2019-07-09 丰田自动车株式会社 车辆的控制装置
CN111670455A (zh) * 2018-02-01 2020-09-15 三美电机株式会社 认证装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009099667A1 (en) * 2008-02-08 2009-08-13 Google Inc. Panoramic camera with multiple image sensors using timed shutters
WO2010082277A1 (ja) * 2009-01-14 2010-07-22 パナソニック株式会社 撮像装置及び撮像方法
JP5742179B2 (ja) * 2010-11-05 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
JP5615756B2 (ja) * 2011-03-31 2014-10-29 富士フイルム株式会社 撮像装置及び撮像プログラム
US20120259638A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Apparatus and method for determining relevance of input speech
JP5709629B2 (ja) * 2011-04-19 2015-04-30 キヤノン株式会社 撮像装置及び制御方法
JP5860663B2 (ja) * 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
KR20170046005A (ko) * 2015-10-20 2017-04-28 삼성전자주식회사 얼굴 검출 방법 및 이를 지원하는 전자 장치
FR3050596B1 (fr) * 2016-04-26 2018-04-20 New Imaging Technologies Systeme imageur a deux capteurs
US9871972B2 (en) * 2016-06-21 2018-01-16 Himax Imaging Limited Auto exposure control system and method
EP3588363A4 (en) * 2017-03-09 2020-05-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. DEPTH-BASED CONTROL METHOD, DEPTH-BASED CONTROL DEVICE AND ELECTRONIC DEVICE
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
FR3089661B1 (fr) * 2018-12-06 2020-12-18 Idemia Identity & Security France Procédé de reconnaissance faciale
JP2021118478A (ja) * 2020-01-28 2021-08-10 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視カメラ、カメラパラメータ決定方法およびプログラム
JPWO2022224423A1 (zh) * 2021-04-23 2022-10-27
WO2023074452A1 (ja) * 2021-10-29 2023-05-04 日立Astemo株式会社 カメラ装置、および、カメラ装置の制御方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
JP4526639B2 (ja) * 2000-03-02 2010-08-18 本田技研工業株式会社 顔認識装置およびその方法
JP2003098424A (ja) * 2001-09-25 2003-04-03 Fujitsu Ten Ltd 画像処理測距装置
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
JP3880553B2 (ja) * 2003-07-31 2007-02-14 キヤノン株式会社 画像処理方法および装置
JP4317465B2 (ja) * 2004-02-13 2009-08-19 本田技研工業株式会社 顔識別装置、顔識別方法及び顔識別プログラム
JP2007025758A (ja) * 2005-07-12 2007-02-01 Gen Tec:Kk 人の顔画像抽出方法及び同装置
JP4894300B2 (ja) * 2006-03-01 2012-03-14 トヨタ自動車株式会社 車載装置調整装置
JP2007324856A (ja) * 2006-05-31 2007-12-13 Sony Corp 撮像装置、撮像制御方法
JP4656657B2 (ja) * 2006-07-31 2011-03-23 キヤノン株式会社 撮像装置及びその制御方法
JP5386793B2 (ja) * 2006-12-11 2014-01-15 株式会社リコー 撮像装置および撮像装置の露出制御方法
US8055067B2 (en) * 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US8290357B2 (en) * 2007-03-15 2012-10-16 Nvidia Corporation Auto-exposure technique in a camera
JP2008228185A (ja) * 2007-03-15 2008-09-25 Fujifilm Corp 撮像装置
US8026955B2 (en) * 2007-08-30 2011-09-27 Honda Motor Co., Ltd. Camera exposure controller including imaging devices for capturing an image using stereo-imaging
WO2009116242A1 (ja) * 2008-03-18 2009-09-24 パナソニック株式会社 運転者監視装置、運転者監視方法及び車両
JP4888838B2 (ja) * 2008-05-12 2012-02-29 トヨタ自動車株式会社 運転者撮像装置および運転者撮像方法
KR100921092B1 (ko) * 2008-07-04 2009-10-08 현대자동차주식회사 스티어링 휠에 장착된 카메라를 이용하는 운전자 상태 감시시스템
US7810926B2 (en) * 2009-02-15 2010-10-12 International Business Machines Corporation Lateral gaze angle estimation using relative eye separation
JP2010200057A (ja) * 2009-02-26 2010-09-09 Hitachi Ltd 撮像装置
US8339506B2 (en) * 2009-04-24 2012-12-25 Qualcomm Incorporated Image capture parameter adjustment using face brightness information
US20100328456A1 (en) * 2009-06-30 2010-12-30 Nokia Corporation Lenslet camera parallax correction using distance information
WO2011058876A1 (ja) * 2009-11-13 2011-05-19 富士フイルム株式会社 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置
US8836851B2 (en) * 2011-06-01 2014-09-16 Apple Inc. Automatic exposure control based on multiple regions
JP2013090112A (ja) * 2011-10-17 2013-05-13 Sanyo Electric Co Ltd 電子カメラ

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104285443A (zh) * 2012-08-30 2015-01-14 大邱庆北科学技术院 影像亮度调节方法及其装置、立体摄像机
CN104285443B (zh) * 2012-08-30 2016-09-07 大邱庆北科学技术院 影像亮度调节方法及其装置、立体摄像机
CN106034208A (zh) * 2015-03-16 2016-10-19 深圳酷派技术有限公司 一种自动曝光的方法及装置
CN109073754A (zh) * 2016-04-19 2018-12-21 日立乐金光科技株式会社 距离图像生成装置和距离图像生成方法
CN109987101A (zh) * 2017-11-24 2019-07-09 丰田自动车株式会社 车辆的控制装置
CN111670455A (zh) * 2018-02-01 2020-09-15 三美电机株式会社 认证装置
CN109167927A (zh) * 2018-07-24 2019-01-08 吉利汽车研究院（宁波）有限公司 一种驾驶员监测系统照明光源的控制装置及方法
CN108683857A (zh) * 2018-08-16 2018-10-19 Oppo广东移动通信有限公司 拍照优化方法、装置、存储介质及终端设备
CN108683859A (zh) * 2018-08-16 2018-10-19 Oppo广东移动通信有限公司 拍照优化方法、装置、存储介质及终端设备
CN108683858A (zh) * 2018-08-16 2018-10-19 Oppo广东移动通信有限公司 拍照优化方法、装置、存储介质及终端设备

Also Published As

Publication number Publication date
WO2010100842A1 (ja) 2010-09-10
JP2010204304A (ja) 2010-09-16
US20110304746A1 (en) 2011-12-15

Similar Documents

Publication Publication Date Title
CN102342090A (zh) 图像拍摄设备、操作员监视设备、测量到面部的距离的方法和程序
US9332244B2 (en) Information processing apparatus, control method for the same and storage medium
US10168145B2 (en) Three dimensional shape measurement apparatus, control method therefor, and storage medium
CN101996409B (zh) 图像处理设备和图像处理方法
CA2969482A1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
CN102572238B (zh) 摄像设备及其控制方法
CN105359502B (zh) 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
US10616561B2 (en) Method and apparatus for generating a 3-D image
CN110231018B (zh) 一种结构光测距方法、装置及计算机可读存储介质
US10212330B2 (en) Autofocusing a macro object by an imaging device
JP2014115264A (ja) ３次元形状測定装置及びその制御方法
JP2015127668A (ja) 計測装置、システムおよびプログラム
CN104215179A (zh) 使用激光位移传感器动态测量钢坯宽度的方法
CN109922325A (zh) 图像处理设备及其控制方法
KR101321780B1 (ko) 화상처리장치 및 화상처리방법
JP6967464B2 (ja) 画像処理装置
US10325377B2 (en) Image depth sensing method and image depth sensing apparatus
CN106060376A (zh) 显示控制设备、显示控制方法和摄像设备
CN104376323A (zh) 一种确定目标距离的方法及装置
CN102645160A (zh) 图像测量设备
JP2012053029A (ja) 測光・測距装置、測光・測距方法及びその測光・測距装置を有する撮像機器
TWI472989B (zh) 影像調整方法以及使用此影像調整方法的光學導航裝置
CN108885265A (zh) 距离图像处理装置、距离图像获取装置及距离图像处理方法
US8947649B2 (en) Apparatus and method for determining optical center in camera module
US20130321619A1 (en) Electronic device with distance measuring function and method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120201