CN113287298A - 影像处理装置、影像处理方法及影像处理程序 - Google Patents

影像处理装置、影像处理方法及影像处理程序 Download PDF

Info

Publication number
CN113287298A
CN113287298A CN202080008743.7A CN202080008743A CN113287298A CN 113287298 A CN113287298 A CN 113287298A CN 202080008743 A CN202080008743 A CN 202080008743A CN 113287298 A CN113287298 A CN 113287298A
Authority
CN
China
Prior art keywords
luminance
image
eyelid
iris
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080008743.7A
Other languages
English (en)
Other versions
CN113287298B (zh
Inventor
小矶久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN113287298A publication Critical patent/CN113287298A/zh
Application granted granted Critical
Publication of CN113287298B publication Critical patent/CN113287298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及影像处理装置、影像处理方法及影像处理程序。影像处理装置(30)包括影像获取部(31)、影像识别部(32)、亮度值获取部(33)和亮度调整部(35)。影像获取部(31)获取对被摄体的脸部进行了拍摄的影像。影像识别部(32)从由影像获取部(31)获取的影像中识别虹膜部分和眼睑部分。亮度值获取部(33)获取由影像识别部(32)识别出的虹膜部分和眼睑部分的各自的亮度值。亮度调整部(35)调整影像的亮度值，以使由亮度值获取部(33)获取的虹膜部分和眼睑部分的亮度值分别接近虹膜部分的预定的虹膜亮度上限阈值、以及眼睑部分的预定的眼睑亮度下限阈值。

Description

影像处理装置、影像处理方法及影像处理程序
技术领域
本发明涉及影像处理装置、影像处理方法及影像处理程序。
背景技术
例如，在搭载在车辆上的行车记录仪等中，将通过拍摄车辆的外部或车厢内所得的影像存储在存储装置中。当对车厢内进行拍摄时，进行存储车厢内的情况作为影像、或者以驾驶员为中心存储影像等。
例如，专利文献1公开了一种图像处理装置，其针对通过拍摄被红外光照射的被拍摄体而得的图像进行图像处理。图像处理装置的控制微型计算机控制脸部检测部以检测被摄体的脸部区域，并从脸部区域检测虹膜部分。控制微计算机控制亮度变化部，以进行将虹膜部分的亮度降低到预先规定的亮度的虹膜校正处理。在暗处照射红外光来拍摄如人物等被摄体时，图像处理装置通过虹膜校正处理，得到脸部的印象中不会产生不协调感的图像。
现有技术文献
专利文献
专利文献1：日本特开2014-049863号公报。
发明内容
专利文献1所记载的以往的图像处理装置通过降低以高亮度拍摄的虹膜部分的亮度来得到在脸部的印象中不产生不协调感的图像，但没有考虑到例如根据脸部图像来分析眼睛开闭度等被摄体的状态的情况。例如，为了通过图像处理装置检测眼睛的轮廓等并对眼睛的开闭度等眼睛部分进行分析，不仅需要调整所拍摄的图像中的虹膜部分，还需要进行包含了眼睑等的亮度调整。
本发明是鉴于上述问题而完成的，其目的在于提供一种能够进行适于与眼睛部分相关的分析的亮度调整的影像处理装置、影像处理方法及影像处理程序。
本实施方式的一方面的影像处理装置包括：影像获取部，获取对被摄体的脸部进行了拍摄的影像；影像识别部，从由所述影像获取部获取的所述影像中识别虹膜部分和眼睑部分；亮度值获取部，获取由所述影像识别部识别出的虹膜部分和眼睑部分的各自的亮度值；以及亮度调整部，调整所述影像的亮度值，以使由所述亮度值获取部获取的虹膜部分和眼睑部分的亮度值分别接近虹膜部分的预定的虹膜亮度上限阈值、以及眼睑部分的预定的眼睑亮度下限阈值。
本实施方式的另一方面是影像处理方法。该影像处理方法包括：影像获取步骤，获取对被摄体的脸部进行了拍摄的影像；影像识别步骤，从通过所述影像获取步骤获取的所述影像中识别虹膜部分和眼睑部分；亮度值获取步骤，获取通过所述影像识别步骤识别出的虹膜部分和眼睑部分的各自的亮度值；以及亮度调整步骤，调整所述影像的亮度值，以使通过所述亮度值获取步骤获取的虹膜部分和眼睑部分的亮度值分别接近虹膜部分的预定的虹膜亮度上限阈值、以及眼睑部分的预定的眼睑亮度下限阈值。
根据本实施方式，能够进行适于与眼睛部分相关的分析的亮度调整。
附图说明
图1是示出包括实施方式1涉及的影像处理装置的驾驶员监视器的结构的框图；
图2的(a)是用于说明获取眼睛睁开状态下的亮度值的示意图，图2的(b)是用于说明获取眼睛闭合状态下的亮度值的示意图；
图3的(a)是示出用可见光相机拍摄时的眼睛的示意图，图3的(b)是示出用近红外线相机拍摄时的眼睛的示意图；
图4的(a)和图4的(b)是示出在眼睛相对于相机的角度和光的状况不同的场景下拍摄时的眼睛的示意图；
图5是示出影像处理装置中的亮度调整处理的步骤的流程图；
图6的(a)是示出由于眼镜的反射而产生亮度值高的部分的示例的示意图，图6的(b)是示出由于角膜反射而产生亮度值高的部分的示例的示意图；
图7是用于说明对比度调整的示意图。
具体实施方式
以下，基于优选的实施方式，参照图1至图7，对本发明进行说明。对各图中所示的相同或同等的构成要素、部件标注相同的附图标记，适当省略重复的说明。另外，在各图中，在对实施方式进行说明时，省略表示不重要的部件的一部分。
(实施方式1)
图1是示出包括实施方式1涉及的影像处理装置30的驾驶员监视器100的结构的框图。驾驶员监视器100搭载在车辆上，并以时间上连续地拍摄车辆的车厢内。驾驶员监视器100可以记录所拍摄的影像，也可以不记录而丢弃。驾驶员监视器100例如配置在车辆挡风玻璃下方的仪表板上等处。驾驶员监视器100的影像处理装置30例如拍摄搭乘在车辆上的驾驶员作为被摄体，并从所拍摄的被摄体的脸部中识别眼睛。
影像处理装置30针对眼睑部分和虹膜部分获取亮度值，并调整各亮度值。在照射了红外光的被摄体的脸部中，虹膜部分的亮度值较高，而通常来说，用高亮度拍摄到的眼睑部分和虹膜部分之间的对比度会降低。影像处理装置30根据眼睑部分和虹膜部分的亮度值进行亮度调整以增加对比度。
关于通过影像处理装置30来调整了亮度的影像，例如容易辨别左右眼的轮廓，适于眼睛的开闭度、左右眼的倾斜等与眼睛部分相关的分析，眼睛及眼睑的边界等的识别良好。在本实施方式中，省略了与眼睛部分相关的分析功能的记载，但在影像处理装置30中，也可以设置眼睛的开闭度、左右眼的倾斜等与眼睛部分相关的分析功能。另外，也可以根据由影像处理装置30储存或输出的影像，在外部装置中对眼睛部分进行分析。此外，眼睛的开闭度、左右眼的倾斜等与眼睛部分有关的分析功能例如用于被摄体的困倦程度判定、感情状态(例如平常状态、紧张状态等)的判定等。
驾驶员监视器100具备拍摄部10、记录部20、影像处理装置30、外部输入部40和外部输出部41等。拍摄部10例如是具有CCD(Charge Coupled Device，电荷耦合器件)等检测器的相机，拍摄搭乘于车辆的例如驾驶员作为被摄体。拍摄部10适当地对被摄体照射红外光，以使得即使在夜间较暗时也能够对驾驶员等被摄体进行拍摄。拍摄部10在时间上连续地获取影像，并输出到后述的影像处理装置30的影像获取部31。
记录部20例如是SD(Secure Digital，数据安全)卡或USB(Universal SerialBus，通用串行总线)存储器等可拆装的介质、或硬盘等，能够存储并删除由影像获取部31获取的影像。以下，对设置有记录部20的结构进行说明，但在驾驶员监视器100不具有记录影像的部分的情况下，也可以不设置记录部20。记录部20通过相对于驾驶员监视器100进行可拆装，能够从驾驶员监视器100上拆卸，通过其他的PC等对影像进行再现等。
外部输入部40从外部装置获取车辆的速度信息和位置信息。另外，外部输出部41将由影像处理装置30处理的影像信息等输出到外部装置。驾驶员监视器100可以将由外部输入部40获取的速度信息和位置信息等添加到图像上并进行记录或输出到外部。
影像处理装置30具有影像获取部31、影像识别部32、亮度值获取部33、亮度差计算部34和亮度调整部35。影像处理装置30例如由CPU(Central Processing Unit，中央处理器)等构成，通过按照计算机程序进行动作，来执行上述各部的处理。存储部30a由RAM(Random Access Memory，随机存取存储器)、闪存、硬盘存储装置等数据存储装置构成，存储由影像处理装置30执行的计算机程序等。另外，存储部30a存储用于从所拍摄的影像中识别被摄体的脸部、眼睛等的识别用辞典。
影像获取部31获取在拍摄部10中拍摄的影像，进行数据压缩等处理，并输出到记录部20。此外，影像获取部31也可以构成为包括拍摄部10。
影像识别部32基于存储部30a中存储的识别用辞典，在从影像获取部31输入的影像中识别被摄体的脸部、眼睛。在存储部30a中存储的识别用辞典中包含脸部、眼睛等的形状数据等，影像识别部32提取在影像中显示的形状图案，通过与识别用辞典中包含的形状数据进行对照来识别脸部、眼睛等。影像识别部32能够使用在各种领域中开发的公知的图像识别处理的方法，从影像中识别脸部、眼睛等。
亮度值获取部33获取眼睛的虹膜部分的亮度值X及眼睑部分的亮度值Y。图2的(a)是用于说明获取眼睛睁开状态下的亮度值的示意图，图2的(b)是用于说明获取眼睛闭合状态下的亮度值的示意图。亮度值获取部33在图2的(a)和图2的(b)中以长方形表示的框内，获取虹膜部分和眼睑部分的亮度值。亮度值获取部33例如计算框内的亮度平均值，将其作为亮度值获取，由此抑制基于局部亮度值的亮度调整的变动。亮度值获取部33将所获取的亮度值输出到亮度差计算部34和亮度调整部35。
在图2的(a)所示的眼睛睁开的状态下，在眼睑部分和虹膜部分的框内分别存在眼睑和虹膜，在各框内分别获取眼睑部分和虹膜部分的亮度值。另一方面，在图2的(b)所示的眼睛闭合的状态下，在眼睑部分和虹膜部分的框内存在眼睑，在各框内获取眼睑部分的亮度值。
亮度差计算部34求出从亮度值获取部33输入的亮度值之差，并计算亮度差ΔB(ΔB＝Y－X)。例如，图2的(a)所示的眼睛睁开的状态下的亮度差比图2的(b)所示的眼睛闭合的状态下的亮度差大。猜测：在图2的(b)所示的眼睛闭合的状态下，计算亮度值的框的位置在虹膜部分和眼睑部分不同，因此在各部分中计算出的亮度值虽然稍微不同但也是接近的值，亮度差也是较小的值。
[眼睛的开闭辨别]
亮度调整部35对由影像获取部31获取的影像进行亮度调整，以使虹膜部分和眼睑部分的亮度值成为期望的值，但首先辨别眼睛是睁开还是闭合。在眼睛的开闭辨别中，对预定的亮度差阈值ΔBs和由亮度差计算部34计算出的亮度差ΔB进行比较判定。在将虹膜部分和眼睑部分的亮度值设为0～255的灰度的情况下，亮度差阈值ΔBs例如设定为20左右，但亮度差阈值ΔBs的设定值不限于此。亮度调整部35在亮度差ΔB为亮度差阈值ΔBs以上的情况下判定为眼睛睁开，在亮度差ΔB小于亮度差阈值ΔBs的情况下判定为眼睛闭合。
亮度调整部35在判定为眼睛闭合的情况下，调整虹膜部分和眼睑部分的亮度，以使眼睑部分的亮度值Y成为眼睑亮度基准值Ls。这里，眼睑亮度基准值Ls也取决于拍摄部10自身的亮度设定，但例如在亮度范围0～255的范围内设定为200的值等。亮度基准值Ls的设定值不限于此，也可以根据拍摄环境中的亮度等进行变更。
[向虹膜亮度上限阈值的调整]
亮度调整部35在判定为眼睛睁开的情况下，计算调整量，并调整虹膜部分和眼睑部分的亮度，以使虹膜部分的亮度值为虹膜亮度上限阈值R1以下。这里，虹膜亮度上限阈值R1例如在亮度范围0～255的范围内设定为50左右，但虹膜亮度上限阈值R1的设定值不限于此。
图3的(a)是示出用可见光相机拍摄时的眼睛的示意图，图3的(b)是示出用近红外线相机拍摄时的眼睛的示意图。图3的(b)所示的近红外线相机拍摄的影像与图3的(a)所示的可见光相机拍摄时的影像相比，虹膜部分的亮度值稍高，与眼白部分之间的亮度差变少。例如，在夜间较暗的状况下，在对车辆的驾驶员照射红外光来进行拍摄的情况下，成为图3的(b)那样的影像，虹膜部分和眼睑部分的亮度差变小，需要对这些部分进行亮度调整。
对虹膜部分和眼睑部分的亮度进行调整，以使亮度值稍高的虹膜部分为虹膜亮度上限阈值R1以下。这里，将由亮度值获取部33获取的虹膜部分的亮度值设为X0，将眼睑部分的亮度值设为Y0。亮度调整部35计算出调整量Δ1(Δ1＝X0－R1)，亮度调整后的虹膜部分的亮度值X1、眼睑部分的亮度值Y1如下式所示。
X1＝X0－Δ1(＝R1)…(1)
Y1＝Y0－Δ1…(2)
亮度调整部35在眼睑部分的亮度值Y为亮度下限阈值L1以上时，对由影像获取部31获取的图像以调整量Δ1进行亮度调整并结束。这里，眼睑亮度下限阈值L1例如在亮度范围0～255的范围内，设定为150左右，但是眼睑亮度下限阈值L1的设定值不限于此。
[与眼睑亮度下限阈值的调整]
图4的(a)和图4的(b)是示出在眼睛相对于相机的角度和光的状况不同的场景下拍摄时眼睛的示意图。图4的(a)表示从正面拍摄被摄体的场景，图4的(b)表示从斜前方拍摄被摄体的场景。图4的(b)中的虹膜部分的亮度值比图4的(a)中的虹膜部分的亮度值高，虹膜部分和眼睑部分的亮度差变小。
当虹膜部分与眼睑部分之间的亮度差小时，当基于上述式(1)和式(2)进行亮度调整时，亮度调整后的眼睑部分的亮度值Y1(＝Y0－Δ1)过度下降，低于眼睑亮度下限阈值L1。亮度调整部35为了缓和亮度过度下降而影像变暗，进行亮度调整，以使亮度向眼睑亮度下限阈值L1侧增加。亮度调整部35采用调整量Δ2(Δ2<Δ1)来代替调整量Δ1，并通过下式来调整亮度。
X1＝X0－Δ2…(3)
Y1＝Y0－Δ2…(4)
此时，亮度调整后的虹膜部分的亮度值X1大于虹膜亮度上限阈值R1，并且眼睑部分的亮度值Y1小于眼睑亮度下限阈值L1。
调整量Δ2例如可以设为亮度调整后的亮度值X1与虹膜亮度上限阈值R1之差和亮度值Y1与眼睑亮度下限阈值L1之差相等。此时，获得以下关系式。
X1－R1＝L1－Y1…(5)
将式(3)～式(5)针对Δ2求解，得到下式。
Δ2＝{(X0+Y0)－(R1+L1)}/2…(6)
亮度调整部35在使用通过式(6)获得的调整量Δ2时，亮度值X1与虹膜亮度上限阈值R1之差、以及亮度值Y1与眼睑亮度下限阈值L1之差相等，其差异都达到最小。
接着，基于亮度调整处理，对影像处理装置30的动作进行说明。图5是示出影像处理装置30中的亮度调整处理的步骤的流程图。影像处理装置30的亮度值获取部33获取虹膜部分的亮度值X0和眼睑部分的亮度值Y0(S1)。亮度差计算部34计算亮度值X0与亮度值Y0之间的亮度差ΔB(S2)。
亮度调整部35对亮度差ΔB和亮度差阈值ΔBs进行比较判定(S3)，在ΔB小于ΔBs的情况下(S3：否)，判断为眼睛闭合，对影像进行亮度调整以使眼睑部分的亮度值为眼睑亮度基准值Ls(S4)，并结束处理。例如，亮度差阈值ΔBs设定为20，在所获取的虹膜部分的亮度值X0为195、眼睑部分的亮度值Y0为210时，亮度差ΔB为15，亮度调整部35执行步骤S4的处理。
在步骤S3中，在亮度差ΔB为亮度差阈值ΔBs以上的情况下(S3：是)，亮度调整部35计算调整量Δ1(Δ1＝X0－R1)(S5)。亮度调整部35使用来自眼睑亮度下限阈值L1的亮度降低阈值ΔB1来辨别眼睑部分的亮度值是否因调整量Δ1而过度下降。即，如果调整后的眼睑部分的亮度值为L1－ΔB1以上，则辨别为亮度值没有过度下降，如果小于L1－ΔB1，则辨别为亮度值过度下降。亮度调整部35判定成为调整后的亮度值的Y0－Δ1是否为L1－ΔB1以上(S6)，在L1－ΔB1以上的情况下(S6：是)，通过调整量Δ1，对影像进行亮度调整(S7)，并结束处理。
例如，考虑到虹膜亮度上限阈值R1设定为50、眼睑亮度下限阈值L1设定为150、亮度降低阈值ΔB1设定为20、所获取的虹膜部分的亮度值X0为120、眼睑部分的亮度值Y0为210的示例。调整量Δ1为X0－R1＝70，Y0－Δ1为140，L1－ΔB1为130。基于调整量Δ1调整后的眼睑部分的亮度值为140，虽然低于眼睑亮度下限阈值L1，但处于眼睑亮度下限阈值L1的亮度降低阈值ΔB1以内，通过步骤S7，使用调整量Δ1对影像进行亮度调整。
当Y0－Δ1小于L1－ΔB1时(S6：否)，亮度调整部35通过上述式(6)计算调整量Δ2(S8)。亮度调整部35使用计算出的调整量Δ2对影像进行亮度调整(S9)，并结束处理。
例如，在上述的示例中，考虑的是所获取的虹膜部分的亮度X0为140、眼睑部分的亮度值Y0为210的情况。调整量Δ1为X0－R1＝90，Y0－Δ1为120，L1－ΔB1为130，并且步骤S6中的判定为否，在步骤S8中计算出调整量Δ2。亮度调整部35通过式(6)计算出调整量Δ2为75，并使用计算出的调整量Δ2对影像进行亮度调整。
影像处理装置30的亮度调整部35调整亮度，以使虹膜部分和眼睑部分的亮度值分别接近虹膜亮度上限阈值R1和眼睑亮度下限阈值L1。即，亮度调整部35通过使用上述的调整量Δ2进行亮度调整，以使眼睑部分的亮度值不会过度下降。由此，影像处理装置30通过进行不仅包含虹膜部分还包含周边眼睑部分的亮度调整，能够抑制包含虹膜的眼睛部分与周边眼睑部分之间的识别性的降低，并能够进行适于与眼睛部分相关的分析的亮度调整。例如，在关于眼睛部分的分析中，对眼睑部分和虹膜间的轮廓进行图像识别，并基于该轮廓计算眼睛开闭度等。
另外，亮度调整部35进行亮度调整，以使虹膜部分的亮度值与虹膜亮度上限阈值R1之差、以及眼睑部分的亮度值与眼睑亮度下限阈值L1之差都最小化。亮度调整部35例如根据上述式(6)计算出调整量Δ2，能够进行虹膜部分和眼睑部分的亮度值更接近各自的阈值、且平衡良好的亮度调整。
(实施方式2)
在由影像获取部31获取的影像中，有时在虹膜部分和眼睑部分产生亮度值比周边高的部分，实施方式2涉及的影像处理装置30除去亮度值为预定的阈值以上且比周边高的部分而获取亮度值。图6的(a)是示出由于眼镜反射而产生亮度值高的部分的示例的示意图，图6的(b)是示出由于角膜反射而产生亮度值高的部分的示例的示意图。
在图6的(a)所示的示例中，当在亮度值获取部33中计算虹膜部分的亮度平均值时，由于光的反射部分的亮度极高，因此产生误差。亮度值获取部33除去亮度值为预定的阈值以上且比周围极高的部分而计算出虹膜部分的亮度平均值，并作为虹膜部分的亮度值，由此能够降低亮度值的误差。
图6的(b)所示的角膜反射如下方式发生：例如使用近红外线相机作为拍摄部10，在从近红外线LED照射进行拍摄时，光在角膜上反射而亮度变得极高等，从而发生角膜反射。在该示例中，当在亮度值获取部33中计算虹膜部分的亮度平均值时，由于光反射部分的亮度极高，因此产生误差。亮度值获取部33除去亮度值为预定的阈值以上且比周围极高的部分而计算出虹膜部分的亮度平均值，并作为虹膜部分的亮度值，由此能够降低亮度值的误差。另外，亮度值获取部33例如将影像内成为亮度值的计算对象的像素按照亮度从高到低的顺序排列，针对亮度低的一半左右的像素计算出亮度平均值，并作为虹膜部分的亮度值，由此能够降低亮度值的误差。
(实施方式3)
在上述的实施方式1中，亮度调整部35通过调整量Δ2对影像进行了亮度调整，但也可以进一步进行亮度调整，以提高虹膜部分和眼睑部分的对比度。图7是用于说明对比度调整的示意图。亮度调整部35在基于调整量Δ2进行影像的亮度调整后，进行提高对比度的亮度调整。
例如，考虑上述的所获取的虹膜部分的亮度值X0为140、眼睑部分的亮度值Y0为210的情况。虹膜亮度上限阈值R1设定为50，眼睑亮度下限阈值L1设定为150，亮度降低阈值ΔB1设定为20。如上所述，亮度调整部35将调整量Δ2作为75进行计算，使用计算出的调整量Δ2进行影像的亮度调整。其结果，在影像中，亮度调整后的虹膜部分的亮度值调整为65，眼睑部分的亮度值调整为135。如果原来的虹膜部分的亮度值X0与眼睑部分的亮度值Y0之差更小，则亮度调整后的虹膜部分的亮度值变得更高，眼睑部分的亮度值变得更低。
亮度调整部35在基于调整量Δ2进行亮度调整之后，进一步进行以虹膜部分的亮度值与眼睑部分的亮度值之间的中间值为中心而提高对比度的处理。在上述的示例中，以虹膜部分的亮度值65和眼睑部分的亮度值135的中间值即亮度值100为中心而提高对比度。亮度调整部35通过提高对比度，能够使虹膜部分的亮度值更接近虹膜亮度上限阈值R1、使眼睑部分的亮度值更接近眼睑亮度下限阈值L1，能够容易识别虹膜部分和眼睑部分。另外，亮度调整部35通过提高对比度，能够抑制亮度调整后的影像中的眼睑部分的发黑、虹膜部分的发白。
接着，说明上述各实施方式涉及的影像处理装置30、影像处理方法及影像处理程序的特征。
实施方式涉及的影像处理装置30包括影像获取部31、影像识别部32、亮度值获取部33和亮度调整部35。影像获取部31获取对被摄体的脸部进行了拍摄的影像。影像识别部32从由影像获取部31获取的影像中识别虹膜部分和眼睑部分。亮度值获取部33获取由影像识别部32识别的虹膜部分和眼睑部分的各自的亮度值。亮度调整部35调整影像的亮度值，以使由亮度值获取部33获取的虹膜部分和眼睑部分中的亮度值分别接近虹膜部分中的预定的虹膜亮度上限阈值R1、以及眼睑部分中的预定的眼睑亮度下限阈值L1。由此，影像处理装置30通过进行不仅包含虹膜部分还包含周边眼睑部分的亮度调整，能够抑制包含虹膜的眼睛部分与周边眼睑部分之间的识别性的降低，并能够进行适于与眼睛部分相关的分析的亮度调整。
另外，亮度调整部35进行亮度调整，以使虹膜部分的亮度值与虹膜亮度上限阈值R1之差、以及眼睑部分的亮度值与眼睑亮度下限阈值L1之差相等。由此，影像处理装置30能够进行虹膜部分和眼睑部分的亮度值接近各自的阈值、且平衡良好的亮度调整。
另外，亮度值获取部33获取虹膜部分和眼睑部分中平均化后的亮度值。由此，影像处理装置30抑制由于局部亮度值引起的亮度调整的变动。
另外，亮度值获取部33在虹膜部分和眼睑部分的至少一个中，除去亮度值为规定的阈值以上的部分而获取亮度值。由此，影像处理装置30能够除去由各种反射等产生极高亮度的部分而获取亮度值。
另外，亮度调整部35还提高虹膜部分和眼睑部分的亮度值的对比度。由此，影像处理装置30能够使虹膜部分的亮度值更接近虹膜亮度上限阈值R1、使眼睑部分的亮度值更接近眼睑亮度下限阈值L1，虹膜部分和眼睑部分的识别变得容易。
实施方式涉及的影像处理方法包括影像获取步骤、影像识别步骤、亮度值获取步骤及亮度调整步骤。影像获取步骤获取对被摄体的脸部进行了拍摄的影像。影像识别步骤从通过影像获取步骤获取的影像中识别虹膜部分和眼睑部分。亮度值获取步骤获取通过影像识别步骤识别的虹膜部分和眼睑部分中的各自的亮度值。亮度调整步骤调整影像的亮度值，以使通过亮度值获取步骤获取的虹膜部分和眼睑部分的亮度值分别接近虹膜部分的预定的虹膜亮度上限阈值R1、以及眼睑部分的预定的眼睑亮度下限阈值L1。根据该影像处理方法，通过进行不仅包含虹膜部分还包含周边眼睑部分的亮度调整，能够抑制包含虹膜的眼睛部分与周边眼睑部分之间的识别性的降低，并能够进行适于与眼睛部分相关的分析的亮度调整。
实施方式涉及的影像处理程序使计算机执行影像获取步骤、影像识别步骤、亮度值获取步骤和亮度调整步骤。影像获取步骤获对被摄体的脸部进行了拍摄的影像。影像识别步骤从通过影像获取步骤获取的影像中识别虹膜部分和眼睑部分。亮度值获取步骤获取通过影像识别步骤识别的虹膜部分和眼睑部分中的各自的亮度值。亮度调整步骤调整影像的亮度值，以使通过亮度值获取步骤获取的虹膜部分和眼睑部分中的亮度值分别接近虹膜部分的预定的虹膜亮度上限阈值R1、以及眼睑部分的预定的眼睑亮度下限阈值L1。根据该影像处理程序，通过进行不仅包含虹膜部分还包含周边眼睑部分的亮度调整，能够抑制包含虹膜的眼睛部分与周边眼睑部分之间的识别性的降低，并能够进行适于与眼睛部分相关的分析的亮度调整。
以上，基于本发明的实施方式进行了说明。这些实施方式是例示的，在本发明的权利要求书范围内能够进行各种变形和变更，并且这样的变形例和变更也在本发明的权利要求范围内，这一点对于本领域技术人员来说是可以理解的。因此，本文的描述和附图是说明性的，而不是限制性的。
工业应用性
本发明涉及影像处理装置、影像处理方法及影像处理程序。
符号说明
30：影像处理装置；31：影像获取部；32：影像识别部；33：亮度值获取部；35：亮度调整部。

Claims (7)

1.一种影像处理装置，其特征在于，包括：
影像获取部，获取对被摄体的脸部进行了拍摄的影像；
影像识别部，从由所述影像获取部获取的所述影像中识别虹膜部分和眼睑部分；
亮度值获取部，获取由所述影像识别部识别出的虹膜部分和眼睑部分的各自的亮度值；以及
亮度调整部，调整所述影像的亮度值，以使由所述亮度值获取部获取的虹膜部分和眼睑部分的亮度值分别接近虹膜部分的预定的虹膜亮度上限阈值、以及眼睑部分的预定的眼睑亮度下限阈值。
2.如权利要求1所述的影像处理装置，其特征在于，
所述亮度调整部进行亮度调整，以使虹膜部分的亮度值与所述虹膜亮度上限阈值之差、以及眼睑部分的亮度值与所述眼睑亮度下限阈值之差相等。
3.如权利要求1或2所述的影像处理装置，其特征在于，
所述亮度值获取部获取在虹膜部分和眼睑部分中平均化后的亮度值。
4.如权利要求1至3中任一项所述的影像处理装置，其特征在于，
所述亮度值获取部在虹膜部分和眼睑部分的至少一个中除去亮度值为预定阈值以上的部分，来获取亮度值。
5.如权利要求1至4中任一项所述的影像处理装置，其特征在于，
所述亮度调整部还提高虹膜部分和眼睑部分的亮度值的对比度。
6.一种影像处理方法，其特征在于，包括：
影像获取步骤，获取对被摄体的脸部进行了拍摄的影像；
影像识别步骤，从通过所述影像获取步骤获取的所述影像中识别虹膜部分和眼睑部分；
亮度值获取步骤，获取通过所述影像识别步骤识别出的虹膜部分和眼睑部分的各自的亮度值；以及
亮度调整步骤，调整所述影像的亮度值，以使通过所述亮度值获取步骤获取的虹膜部分和眼睑部分的亮度值分别接近虹膜部分的预定的虹膜亮度上限阈值、以及眼睑部分的预定的眼睑亮度下限阈值。
7.一种影像处理程序，其特征在于，使计算机执行：
影像获取步骤，获取对被摄体的脸部进行了拍摄的影像；
影像识别步骤，从通过所述影像获取步骤获取的所述影像中识别虹膜部分和眼睑部分；
亮度值获取步骤，获取通过所述影像识别步骤识别出的虹膜部分和眼睑部分的各自的亮度值；
亮度调整步骤，调整所述影像的亮度值，以使通过所述亮度值获取步骤获取的虹膜部分和眼睑部分的亮度值分别接近虹膜部分的预定的虹膜亮度上限阈值、以及眼睑部分的预定的眼睑亮度下限阈值。
CN202080008743.7A 2019-01-30 2020-01-16 影像处理装置、影像处理方法及存储介质 Active CN113287298B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019014444A JP7137746B2 (ja) 2019-01-30 2019-01-30 映像処理装置、映像処理方法および映像処理プログラム
JP2019-014444 2019-01-30
PCT/JP2020/001278 WO2020158413A1 (ja) 2019-01-30 2020-01-16 映像処理装置、映像処理方法および映像処理プログラム

Publications (2)

Publication Number Publication Date
CN113287298A true CN113287298A (zh) 2021-08-20
CN113287298B CN113287298B (zh) 2023-05-02

Family

ID=71842235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080008743.7A Active CN113287298B (zh) 2019-01-30 2020-01-16 影像处理装置、影像处理方法及存储介质

Country Status (4)

Country Link
EP (1) EP3920525B1 (zh)
JP (1) JP7137746B2 (zh)
CN (1) CN113287298B (zh)
WO (1) WO2020158413A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743290A (zh) * 2022-05-17 2022-07-12 阿维塔科技(重庆)有限公司 一种行车记录控制方法、装置及汽车

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070025598A1 (en) * 2005-07-29 2007-02-01 Koji Kobayashi Iris authentication apparatus
CN101866420A (zh) * 2010-05-28 2010-10-20 中山大学 一种用于光学体全息虹膜识别的图像前处理方法
US20110110589A1 (en) * 2009-11-06 2011-05-12 Kabushiki Kaisha Toshiba Image Contrast Enhancement
US20150009314A1 (en) * 2013-07-04 2015-01-08 Samsung Electronics Co., Ltd. Electronic device and eye region detection method in electronic device
JP6033006B2 (ja) * 2012-08-30 2016-11-30 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
JP2007011666A (ja) * 2005-06-30 2007-01-18 Matsushita Electric Ind Co Ltd 認証装置および認証方法
US8102417B2 (en) * 2006-10-25 2012-01-24 Delphi Technologies, Inc. Eye closure recognition system and method
CN102542535B (zh) * 2011-11-18 2014-05-14 中国科学院自动化研究所 虹膜图像的去模糊方法
CN104751114B (zh) * 2013-12-27 2018-09-18 由田新技股份有限公司 通过眼部开闭状态控制的验证系统及其手持式控制装置
US20170091550A1 (en) * 2014-07-15 2017-03-30 Qualcomm Incorporated Multispectral eye analysis for identity authentication
JP6497162B2 (ja) * 2015-03-26 2019-04-10 オムロン株式会社 画像処理装置および画像処理方法
JP6564271B2 (ja) * 2015-08-07 2019-08-21 キヤノン株式会社 撮像装置及び画像処理方法、プログラム、並びに記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070025598A1 (en) * 2005-07-29 2007-02-01 Koji Kobayashi Iris authentication apparatus
US20110110589A1 (en) * 2009-11-06 2011-05-12 Kabushiki Kaisha Toshiba Image Contrast Enhancement
CN101866420A (zh) * 2010-05-28 2010-10-20 中山大学 一种用于光学体全息虹膜识别的图像前处理方法
JP6033006B2 (ja) * 2012-08-30 2016-11-30 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
US20150009314A1 (en) * 2013-07-04 2015-01-08 Samsung Electronics Co., Ltd. Electronic device and eye region detection method in electronic device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743290A (zh) * 2022-05-17 2022-07-12 阿维塔科技(重庆)有限公司 一种行车记录控制方法、装置及汽车

Also Published As

Publication number Publication date
WO2020158413A1 (ja) 2020-08-06
EP3920525A1 (en) 2021-12-08
EP3920525B1 (en) 2024-07-03
JP7137746B2 (ja) 2022-09-15
JP2020123829A (ja) 2020-08-13
EP3920525A4 (en) 2022-03-16
US20210357619A1 (en) 2021-11-18
CN113287298B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
US8435188B2 (en) Eye opening detection system and method of detecting eye opening
DE102012201071B4 (de) Gesichtsabbildungssystem und verfahren zum steuern des gesichtsabbildungssystems sowie computerlesbares medium
JP4345622B2 (ja) 瞳色推定装置
JP5761074B2 (ja) 撮像制御装置及びプログラム
JP6651074B2 (ja) 眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置
US20150098654A1 (en) Eye part detection apparatus
WO2020179174A1 (ja) 映像処理装置、映像処理方法および映像処理プログラム
CN113287298B (zh) 影像处理装置、影像处理方法及存储介质
JP4082203B2 (ja) 開閉眼判定装置
JP2013146032A (ja) ドライバモニタシステム及びその処理方法
JP2023164485A (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP2004192552A (ja) 開閉眼判定装置
JP5211768B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP6033006B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
US8055071B2 (en) Image processing apparatus, imaging apparatus and recording medium storing image processing program
US12125316B2 (en) Video processing device, video processing method, and recording medium for video processing
M Corcoran et al. Advances in the detection & repair of flash-eye defects in digital images-a review of recent patents
WO2022190413A1 (ja) 目開閉判定装置および目開閉判定方法
JPH04174304A (ja) 眼位置検出装置
CN116472555A (zh) 判定方法、判定程序以及信息处理装置
JP2006085478A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant