CN115104062A - 影像处理装置、影像处理方法以及影像处理程序 - Google Patents

影像处理装置、影像处理方法以及影像处理程序 Download PDF

Info

Publication number
CN115104062A
CN115104062A CN202080095764.7A CN202080095764A CN115104062A CN 115104062 A CN115104062 A CN 115104062A CN 202080095764 A CN202080095764 A CN 202080095764A CN 115104062 A CN115104062 A CN 115104062A
Authority
CN
China
Prior art keywords
image
unit
face
image processing
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080095764.7A
Other languages
English (en)
Inventor
小矶久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN115104062A publication Critical patent/CN115104062A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明提供影像处理装置、影像处理方法以及影像处理程序。影像处理装置(100)包括光照射部(11)、影像获取部(31)、运动检测部(33)以及拍摄控制部(34)。光照射部(11)向被拍摄体的脸部照射光。影像获取部(31)获取拍摄了被拍摄体的脸部而得的影像。运动检测部(33)从由影像获取部(31)获取的影像中检测脸部至少一部分的运动的速度。拍摄控制部(34)基于由运动检测部(33)检测出的速度来改变影像获取部(31)中的快门的打开期间和光照射部(11)的发光强度。

Description

影像处理装置、影像处理方法以及影像处理程序
技术领域
本发明涉及影像处理装置、影像处理方法以及影像处理程序。
背景技术
例如,在搭载于车辆的驾驶员监视器等影像处理装置中,将拍摄车厢内而得到的影像存储于存储装置。影像处理装置将车室内的状况作为影像进行存储、或以驾驶员为中心对影像进行存储等。
例如,在专利文献1中公开了适当地控制闪光灯使用的防抖动相机。防抖动相机通过抖动量检测部检测相机的手抖动量,基于被摄体的亮度通过快门速度决定部来决定闪光灯不使用时的快门速度。防抖动相机通过抖动量预测部来预测相对于由快门速度决定部决定的闪光灯不使用时的快门速度的抖动量。防抖动相机基于抖动量预测部的输出,通过闪光灯发光决定部判断是否使闪光灯发光。
现有技术文献
专利文献
专利文献1:日本特开平06-313918号公报。
发明内容
专利文献1所记载的以往的防抖动相机适当地控制闪光灯的发光或者不发光,但在闪光灯发光的情况下不以增减其发光强度的方式可变。例如,在驾驶员监视器中对车辆的驾驶员等的脸部以一定的发光强度照射红外光等光来进行拍摄时,导致对驾驶员的眼睛来说成为负担。本发明人注意到,在为了分析车辆的驾驶员等的眼睛开闭度等状态而检测眼睛的轮廓等的运动的情况下,根据运动速度来改变快门的打开期间和发光强度,由此能够减轻对眼睛的负担。
本发明是鉴于上述情况而完成的,其目的在于提供一种能够减轻光的照射对眼睛造成的负担的影像处理装置、影像处理方法以及影像处理程序。
本实施方式的一个方式的影像处理装置包括:光照射部,向被拍摄体的脸部照射光;影像获取部,获取对所述被拍摄体的脸部进行拍摄而得的影像;运动检测部,从由所述影像获取部获取的所述影像中检测脸部至少一部分的运动的速度;以及拍摄控制部,基于由所述运动检测部检测出的所述速度来改变所述影像获取部中的快门的打开期间和所述光照射部的发光强度。
另外,本实施方式的另一方式是影像处理方法。该影像处理方法包括:光照射步骤,向被拍摄体的脸部照射光;影像获取步骤,获取对所述被拍摄体的脸部进行拍摄而得的影像;运动检测步骤,从由所述影像获取步骤获取的所述影像中检测脸部至少一部分的运动的速度;以及拍摄控制步骤,基于由所述运动检测步骤检测出的所述速度来改变所述影像获取步骤中的快门的打开期间和所述光照射步骤中的发光强度。
另外,本实施方式的另一方式是影像处理程序。该影像处理程序使计算机执行:光照射步骤,向被拍摄体的脸部照射光;影像获取步骤,获取对所述被拍摄体的脸部进行拍摄而得的影像;运动检测步骤,从由所述影像获取步骤获取的所述影像中检测脸部至少一部分的运动的速度;以及拍摄控制步骤,基于由所述运动检测步骤检测出的所述速度来改变所述影像获取步骤中的快门的打开期间和所述光照射步骤中的发光强度。
根据本实施方式,能够减轻光的照射对眼睛造成的负担。
附图说明
图1是表示实施方式1的影像处理装置的结构的框图。
图2的(a)~(c)是表示运动检测部的运动的检测例的示意图。
图3是表示缩短快门的打开期间的情况的时序图。
图4是表示延长了快门的打开期间的情况的时序图。
图5是表示影像处理装置中的快门和发光强度的改变处理的顺序的流程图。
图6是表示实施方式2的影像处理装置的结构的框图。
具体实施方式
以下,基于优选的实施方式,参照图1至图6对本发明进行说明。对各附图所示的相同或同等的构成要素、部件标注相同的符号,适当省略重复的说明。另外,在各附图中,在说明实施方式的基础上省略不重要的部件的一部分进行表示。
(实施方式1)
图1是表示实施方式1的影像处理装置100的结构的框图。影像处理装置100例如是驾驶员监视器,搭载于车辆,在时间上连续拍摄车辆的车室内的乘客。影像处理装置100既可以记录拍摄到的影像,也可以不记录而废弃。影像处理装置100例如配置在车辆的挡风玻璃的下方的仪表板上等。影像处理装置100例如将搭乘于车辆的驾驶员作为被拍摄体进行拍摄,对拍摄到的被拍摄体的脸部整体、或者眼睛等脸部的部位进行识别。
影像处理装置100对被拍摄体的脸部照射红外光等光进行拍摄,以便即使在夜间或隧道内等暗的场景下也能够识别被拍摄体。拍摄时使用的红外光虽然具有在驾驶员等的视觉上难以识别的性质,但通过进一步抑制发光强度,能够减轻眼睛的负担。
由影像处理装置100拍摄到的影像例如判别左右眼睛的轮廓,用于与眼睛的开闭度、左右眼睛的倾斜等眼睛的部分相关的分析。在本实施方式中,关于与脸部的部分、例如眼睛等的状态相关的分析功能省略记载,但在影像处理装置100中,也可以设置与眼睛的开闭度、左右眼睛的倾斜等相关的分析功能。另外,也可以基于由影像处理装置100存储或输出的影像在外部装置中进行与脸部的部分相关的分析。另外,眼睛的开闭度、左右眼睛的倾斜等的分析功能例如用于被拍摄体的困倦程度判断、情绪状态(例如平常状态、紧张状态等)的判断等。
影像处理装置100包括拍摄部10、光照射部11、记录部20、影像处理部30、外部输入部40以及外部输出部41、图像精度检测部50等。拍摄部10例如是具有CCD等检测器的相机,将搭乘于车辆的例如驾驶员作为被拍摄体进行拍摄。拍摄部10在时间上连续地获取影像,向后述的影像获取部31送出。
光照射部11适当地对被拍摄体、特别是脸部部分照射红外光等光,以便即使在夜间等较暗时也能够拍摄驾驶员等被拍摄体。从光照射部11照射的光的发光强度由后述的影像处理部30的拍摄控制部34设定。另外,优选由光照射部11照射的光的发光期间与快门的打开期间一致,但也可以在与快门的打开期间之间存在少许的时间偏差。
记录部20例如是SD卡、USB存储器等可拆装的介质、硬盘等,能够记录、删除由影像获取部31获取的影像。以下,对设置有记录部20的结构进行说明,但在影像处理装置100不具有记录影像的部分的情况下,也可以不设置记录部20。记录部20通过能够相对于影像处理装置100拆装,能够从影像处理装置100卸下,通过其他的PC等再现影像等。
外部输入部40从外部装置获取车辆的速度信息以及位置信息等。另外,外部输出部41将由影像处理部30处理后的影像信息等向外部装置输出。影像处理装置100也可以将由外部输入部40获取的速度信息以及位置信息等附加于影像进行记录或者向外部输出。
影像处理部30具有影像获取部31、影像识别部32、运动检测部33以及拍摄控制部34。影像处理部30例如由CPU等构成,通过按照计算机程序动作,来执行上述各部的处理。存储部30a由RAM(Random Access Memory:随机存取存储器)、闪存器、硬盘存储装置等数据存储装置构成,存储由影像处理部30执行的计算机程序等。另外,存储部30a存储有用于从拍摄到的影像中识别被拍摄体的脸部、眼睛等的识别用辞典。
影像获取部31获取在拍摄部10中拍摄到的影像并进行数据压缩等处理,输出到记录部20。另外,影像获取部31也可以构成为包括拍摄部10。在影像获取部31中拍摄被拍摄体的快门的打开期间由后述的拍摄控制部34设定。另外,影像帧的帧率也由拍摄控制部34设定。
影像识别部32基于存储于存储部30a的识别用辞典,根据从影像获取部31输入的影像来识别被拍摄体的脸部、眼睛。在存储于存储部30a的识别用辞典中包含脸部、眼睛等形状数据等,影像识别部32通过提取影像所示的形状图案,并与识别用辞典中包含的形状数据进行对照来识别脸部、眼睛等。影像识别部32能够使用在各种领域中开发出的公知的图像识别处理的方法,从影像中识别出脸部、眼睛等。
运动检测部33检测被拍摄体的脸部的至少一部分的运动,特别是检测运动速度。图2的(a)~(c)是表示运动检测部33的运动的检测例的示意图。如图2的(a)所示,运动检测部33在由影像识别部32识别出的眼睛的部分中检测眨眼速度并向拍摄控制部34输出。眼睛眨眼是通过眼睛的轮廓部分时时刻刻上下移动的运动而产生的。
在眼睛眨眼的速度慢的情况下,即使延长影像获取部31中的快门的打开期间,也能够识别因眼睛眨眼而产生的眼睛的睁开状态以及闭合状态。相反,在眼睛眨眼的速度快的情况下,如果影像获取部31中的快门的打开期间长,则无法识别因眼睛眨眼而产生的眼睛的睁开状态以及闭合状态,因此需要将快门的打开期间设定得较小。
另外,如图2的(b)所示,运动检测部33在由影像识别部32识别出的眼睛的部分中检测视线的运动速度并向拍摄控制部34输出。眼睛的视线的运动是通过瞳孔的部分时时刻刻地向左右或上下移动的运动而产生的。
在视线的运动速度慢的情况下,即使延长影像获取部31中的快门的打开期间,也能够从拍摄到的影像图像识别视线的运动。另外,在视线的运动速度快的情况下,需要将影像获取部31中的快门的打开期间设定得较小。
另外,如图2的(c)所示,运动检测部33针对由影像识别部32识别出的整个脸部来检测脸部整体晃动的运动速度并输出到拍摄控制部34。脸部晃动的运动是通过脸部的轮廓或特定的部分(例如鼻子部分)时时刻刻向左右或上下移动的运动而产生的。
在脸部晃动的运动速度慢的情况下,即使延长影像获取部31中的快门的打开期间,也能够从拍摄到的影像中图像识别脸部晃动的运动。另外,在脸部晃动的运动速度快的情况下,需要将影像获取部31中的快门的打开期间设定得较小。
拍摄控制部34基于由运动检测部33检测出的被拍摄体的脸部的至少一部分的运动速度,进行设定,以改变影像获取部31中的快门的打开期间以及光照射部11的发光强度。图3是表示缩短了快门的打开期间的情况的时序图,图4是表示延长了快门的打开期间的情况的时序图。
在被拍摄体的脸部的至少一部分的运动速度快的情况下,如图3所示,将影像获取部31中的快门的打开期间设为较小的值L1,将光照射部11的发光强度设定为较大的值P2。拍摄控制部34针对被拍摄体的脸部的至少一部分的运动速度,预先设定规定的阈值,在从运动检测部33输入的脸部的至少一部分的运动速度为阈值以上的情况下,运动速度较快,在小于阈值的情况下,运动速度较慢。
在被拍摄体的脸部的至少一部分的运动速度慢的情况下,如图4所示,将影像获取部31中的快门的打开期间设定为较大的值L2(L2>L1),将光照射部11的发光强度设定为较小的值P1(P1<P2)。拍摄控制部34针对被拍摄体的脸部的至少一部分的运动速度,预先设定规定的阈值,在从运动检测部33输入的脸部的至少一部分的运动速度为阈值以上的情况下,运动速度较快,在小于阈值的情况下,运动速度较慢。另外,作为快门的打开期间的L1和L2以及发光强度P1和P2也可以设想夜间等较暗的环境、被拍摄体的脸部的运动速度等而预先决定。
拍摄控制部34在被拍摄体的脸部的至少一部分的运动速度慢的情况下,与运动速度快的情况相比,延长影像获取部31中的快门的打开期间,将光照射部11的发光强度设定得小。另外,拍摄控制部34也可以根据被拍摄体的脸部的至少一部分的运动速度,使快门的打开期间以及发光强度连续地变化来进行设定。
如上所述,被拍摄体的脸部的至少一部分的运动是眼睛眨眼、视线的运动以及脸部晃动的运动等,拍摄控制部34根据这些运动来改变快门的打开期间以及发光强度来进行设定。
图像精度检测部50检测被拍摄体的脸部、脸部的眼睛、鼻子等部分的图像识别精度,确认是否确保了充分的图像识别精度。图像识别精度例如是是否能够与相邻的部分区别地识别眼睛及鼻子等脸部的部分、脸部的轮廓等的尺度,具体而言,将边界部分的图像模糊的程度等作为指标。
另外,在分析眼睛的开闭度以及眼睛的倾斜度等的情况下,也可以确认图像精度是否被确保为能够进行分析的程度。在分析眼睛的开闭度以及眼睛的倾斜度等的情况下,例如,眼睑、眼白以及瞳孔的各部分的亮度值是否具有能够区分各部分的程度的差会成为问题,也可以基于各部分的亮度值的差来规定图像精度。即,在各部分的亮度值的差较小的情况下图像精度低,在亮度值的差较大的情况下图像精度高等。
例如,在使快门的打开期间从较小的值改变为较大的值时,在图像识别精度比规定的阈值好的情况下,拍摄控制部34将快门的打开期间改变设定为较大的值。拍摄控制部34在将快门的打开期间改变设定为较大的值之后,在无法充分确保图像识别精度的情况下,使快门的打开期间返回到较小的值。同样地,例如,在使发光强度从较大的值改变为较小的值时,在图像识别精度比规定的阈值好的情况下,拍摄控制部34将发光强度改变设定为较小的值。拍摄控制部34在将发光强度改变设定为较小的值之后,在无法充分确保图像识别精度的情况下,使发光强度返回到较大的值。
另外,拍摄控制部34也可以在将快门的打开期间改变设定为较大的值的情况下,一边确认图像精度检测部50中的图像识别精度良好,一边将快门打开期间逐渐从较小的值改变设定为较大的值。同样地,拍摄控制部34也可以在将发光强度改变设定为较小的值的情况下,一边确认图像精度检测部50中的图像识别精度良好,一边将发光强度逐渐从较大的值改变为较小的值。
接着,基于快门和发光强度的改变处理对影像处理装置100的动作进行说明。图5是表示影像处理装置100中的快门以及发光强度的改变处理的顺序的流程图。影像处理装置100的光照射部11开始向被拍摄体照射光(S1),通过影像获取部31获取由拍摄部10拍摄到的被拍摄体的影像(S2)。通过影像识别部32对被拍摄体的脸部的至少一部分进行图像识别,通过运动检测部33检测识别出的部分的运动速度(S3)。
拍摄控制部34判定由运动检测部33检测出的运动速度是否为规定的阈值以上(S4)。拍摄控制部34在判定为被拍摄体的脸部的至少一部分的运动速度为阈值以上的情况下(S4:是),将影像获取部31中的快门的打开期间设为较小的值,将光照射部11的发光强度设定为较大的值(S5),结束处理。但是,拍摄控制部34在步骤S4中的判定之前快门的打开期间短较小,将发光强度设定为较大的值的情况下,维持该设定状态。
在步骤S4中判定为被拍摄体的脸部的至少一部分的运动速度小于阈值的情况下(S4:否),拍摄控制部34将影像获取部31中的快门的打开期间设为较大的值,将光照射部11的发光强度设定为较小的值(S6),结束处理。
拍摄控制部34还可以在由图像精度检测部50检测到的图像识别精度相对于在步骤S6之后获取的影像降低的情况下,将快门的打开期间设为较小的值,将光照射部11的发光强度改变设定为较大的值。另外,如上所述,拍摄控制部34也可以根据被拍摄体的脸部的至少一部分的运动速度,使快门的打开期间和发光强度连续地改变来进行设定。
在被拍摄体的脸部的至少一部分的运动速度比规定的阈值慢的情况下,影像处理装置100将影像获取部31中的快门的打开期间设为较大的值,将光照射部11的发光强度设定为较小的值。影像处理装置100通过将发光强度设定为较小的值而减轻被拍摄体的眼睛的负担,并将快门的打开期间设定为较大的值来对被拍摄体照射拍摄所需的光量,从而能够获取明亮的影像。
在被拍摄体的脸部的至少一部分的运动速度比规定的阈值快的情况下,影像处理装置100将影像获取部31中的快门的打开期间设为较小的值,将光照射部11的发光强度设定为较大的值。影像处理装置100通过将快门的打开期间设定为较小的值,在被拍摄体的脸部的至少一部分的运动快的情况下,能够抑制图像识别精度的降低,通过将发光强度设定为较大的值,能够获取明亮的影像。
影像处理装置100通过运动检测部33检测眼睛眨眼、视线的运动以及脸部晃动的运动等,来作为被拍摄体的脸部的至少一部分的运动。通过根据被拍摄体中的眼睛眨眼速度来改变快门的打开期间以及发光强度,能够可靠地获取眼睛的睁开状态以及闭合状态的影像。
另外,通过根据视线的运动速度来改变快门的打开期间以及发光强度,能够可靠地获取捕捉到视线的运动的影像。同样地,通过根据脸部晃动的运动速度来改变快门的打开期间以及发光强度,能够可靠地获取捕捉到被拍摄体朝向左右和上下的哪个方向的影像。
(实施方式2)
图6是表示实施方式2的影像处理装置100的结构的框图。实施方式2中的影像处理装置100在实施方式1中的结构中还包括抖动量检测部35。抖动量检测部35例如根据由影像获取部31获取的影像中的边缘部分的重影或抖动程度,检测因搭载影像处理装置100的车辆的振动等而产生的被拍摄体的影像中的抖动量。
拍摄控制部34根据由抖动量检测部35检测出的抖动量来改变快门的打开期间L1和L2、以及发光强度P1和P2的值。拍摄控制部34在抖动量大的情况下,以快门的打开期间小、发光强度大的方式进行设定。另外,拍摄控制部34在抖动量小的情况下,以快门的打开期间大、发光强度小的方式进行设定。
影像处理装置100根据由抖动量检测部35检测出的抖动量来改变快门的打开期间L1和L2以及发光强度P1和P2的值,能够抑制图像识别精度的降低,并且减轻对被拍摄体的眼睛的负担。
(变形例)
在上述的各实施方式中,示出了在不改变影像的帧率的范围内使快门的打开期间以及发光强度可变的例子,但也可以进一步使影像的帧率变化。拍摄控制部34也可以设定为,在被拍摄体的脸部的至少一部分的运动速度慢且抖动量也少的情况下,在充分确保用于分析眼睛的开闭度、左右的眼睛的倾斜度等的图像识别精度的范围内,降低由影像获取部31获取的影像的帧率。
影像处理装置100通过拍摄控制部34降低所获取的影像的帧率,进而延长快门的打开期间并减小发光强度,由此能够进一步减轻对被拍摄体的眼睛的负担。
另外,在上述的各实施方式中,示出了通过运动检测部33检测眼睛眨眼、视线的运动以及脸部晃动的运动等来作为被拍摄体的脸部的至少一部分的运动的例子,但也可以检测口、鼻子等的运动。另外,运动检测部33也可以检测眼睛眨眼和视线的运动等的一个或多个运动,作为被拍摄体的脸部的至少一部分的运动。拍摄控制部34也可以基于一个或多个运动速度,使快门的打开期间和发光强度改变。
另外,拍摄控制部34在对被拍摄体照射的外部光强、光量被充分确保的情况下,也可以将光照射部11的发光强度设定为0。如果光量有富余,则拍摄控制部34也可以为了提高图像识别精度而将快门的打开期间设定得较小。另外,影像处理装置100还可以设置从影像中检测眼睛的睁开状态以及闭合状态的眼睛开闭检测部(省略图示),在眼睛闭合的情况下,优先图像识别精度,缩短快门的打开期间,增大发光强度。
另外,影像处理装置100也可以检测对在光照射部11中使用的光源的波长带进行切割的太阳镜等的存在,在被拍摄体佩戴相应的太阳镜的情况下,优先图像识别精度,缩短快门的打开期间,增大发光强度。
接着,对上述各实施方式以及变形例所涉及的影像处理装置100、影像处理方法以及影像处理程序的特征进行说明。
影像处理装置100包括光照射部11、影像获取部31、运动检测部33以及拍摄控制部34。光照射部11向被拍摄体的脸部照射光。影像获取部31获取拍摄了被拍摄体的脸部而得的影像。运动检测部33从由影像获取部31获取的影像中检测脸部的至少一部分的运动速度。在由运动检测部33检测出的速度比规定的阈值慢的情况下,拍摄控制部34延长影像获取部31中的快门的打开期间,并减小光照射部11的发光强度,在速度比规定的阈值快的情况下,缩短影像获取部31中的快门的打开期间,并增大光照射部11的发光强度。由此,影像处理装置100将发光强度设定为较小的值,能够减轻光的照射对被拍摄体的眼睛的负担。
另外,运动检测部33从影像中检测眼睛部分的眨眼速度。由此,影像处理装置100能够根据眼睛眨眼速度来改变快门的打开期间以及发光强度,可靠地获取眼睛的睁开状态以及闭合状态的影像。
另外,运动检测部33从影像中检测视线的运动速度。由此,影像处理装置100能够根据视线的运动速度来改变快门的打开期间以及发光强度,可靠地获取捕捉到视线的运动的影像。
此外,运动检测部33从影像中检测脸部晃动的运动速度。由此,影像处理装置100通过根据脸部晃动的运动速度来改变快门的打开期间以及发光强度,能够可靠地获取捕捉到被拍摄体朝向左右以及上下的哪个方向的影像。
影像处理装置100还包括检测被拍摄体的抖动量的抖动量检测部35。拍摄控制部34根据由抖动量检测部35检测出的抖动量来改变快门的打开期间和发光强度。由此,影像处理装置100能够抑制图像识别精度的降低,并且减轻对被拍摄体的眼睛的负担。
另外,影像处理装置100基于由运动检测部33检测出的速度来改变由影像获取部31获取的影像的帧率。由此,影像处理装置100通过降低所获取的影像的帧率,进而延长快门的打开期间并减小发光强度,能够进一步减轻对被拍摄体的眼睛的负担。
影像处理方法包括光照射步骤、影像获取步骤、运动检测步骤以及拍摄控制步骤。光照射步骤向被拍摄体的脸部照射光。影像获取步骤获取拍摄了被拍摄体的脸部而得的影像。运动检测步骤从由影像获取步骤获取的影像中检测脸部的至少一部分的运动速度。拍摄控制步骤在由运动检测步骤检测出的速度比规定的阈值慢的情况下,延长影像获取步骤中的快门的打开期间,减小光照射步骤中的发光强度,在速度比规定的阈值快的情况下,缩短影像获取步骤中的快门的打开期间,增大光照射步骤中的发光强度。根据该影像处理方法,将发光强度设定为较小的值,能够减轻光的照射对被拍摄体的眼睛的负担。
图像处理程序使计算机执行光照射步骤、影像获取步骤、运动检测步骤以及拍摄控制步骤。光照射步骤向被拍摄体的脸部照射光。影像获取步骤获取拍摄了被拍摄体的脸部而得的影像。运动检测步骤从由影像获取步骤获取的影像中检测脸部的至少一部分的运动速度。拍摄控制步骤在由运动检测步骤检测出的速度比规定的阈值慢的情况下,延长影像获取步骤中的快门的打开期间,减小光照射步骤中的发光强度,在速度比规定的阈值快的情况下,缩短影像获取步骤中的快门的打开期间,增大光照射步骤中的发光强度。根据该影像处理程序,将发光强度设定为较小的值,能够减轻光的照射对被拍摄体的眼睛的负担。
以上,基于本发明的实施方式进行了说明。这些实施方式为例示,本领域技术人员能够理解能够在本发明的权利要求范围内进行各种变形和改变,并且这样的变形例和改变也在本发明的权利要求的范围内。因此,本说明书中的记述及附图并不是限定性的,应当被例证性地处理。
产业上的可利用性
本发明涉及驾驶员监视器等影像处理装置、影像处理方法以及影像处理程序。
符号说明
11:光照射部;31:影像获取部;33:运动检测部;34:拍摄控制部;35:抖动量检测部;100:影像处理装置。

Claims (9)

1.一种影像处理装置,其特征在于,包括:
光照射部,向被拍摄体的脸部照射光;
影像获取部,获取对所述被拍摄体的脸部进行拍摄而得的影像;
运动检测部,从由所述影像获取部获取的所述影像中检测脸部至少一部分的运动的速度;以及
拍摄控制部,基于由所述运动检测部检测出的所述速度来改变所述影像获取部中的快门的打开期间和所述光照射部的发光强度。
2.根据权利要求1所述的影像处理装置,其特征在于,
所述运动检测部从所述影像中检测眼睛部分的眨眼速度。
3.根据权利要求1所述的影像处理装置,其特征在于,
所述运动检测部从所述影像中检测视线的运动速度。
4.根据权利要求1所述的影像处理装置,其特征在于,
所述运动检测部从所述影像中检测脸部晃动的运动速度。
5.根据权利要求1所述的影像处理装置,其特征在于,还包括:
抖动量检测部,检测所述被拍摄体的抖动量,
所述拍摄控制部根据由所述抖动量检测部检测出的所述抖动量来改变快门的打开期间和发光强度。
6.根据权利要求1至5中任一项所述的影像处理装置,其特征在于,
基于由所述运动检测部检测出的所述速度来改变由所述影像获取部获取的所述影像的帧率。
7.根据权利要求1至6中任一项所述的影像处理装置,其特征在于,还包括:
图像精度检测部,检测针对影像的图像识别精度,所述影像是在所述运动检测部进行改变快门的打开期间和发光强度的控制之后获取的影像,
所述拍摄控制部根据检测出的所述图像识别精度来改变快门的打开期间和发光强度的设定。
8.一种影像处理方法,其特征在于,包括:
光照射步骤,向被拍摄体的脸部照射光;
影像获取步骤,获取对所述被拍摄体的脸部进行拍摄而得的影像;
运动检测步骤,从由所述影像获取步骤获取的所述影像中检测脸部至少一部分的运动的速度;以及
拍摄控制步骤,基于由所述运动检测步骤检测出的所述速度来改变所述影像获取步骤中的快门的打开期间和所述光照射步骤中的发光强度。
9.一种影像处理程序,其特征在于,使计算机执行:
光照射步骤,向被拍摄体的脸部照射光;
影像获取步骤,获取对所述被拍摄体的脸部进行拍摄而得的影像;
运动检测步骤,从由所述影像获取步骤获取的所述影像中检测脸部至少一部分的运动的速度;以及
拍摄控制步骤,基于由所述运动检测步骤检测出的所述速度来改变所述影像获取步骤中的快门的打开期间和所述光照射步骤中的发光强度。
CN202080095764.7A 2020-03-12 2020-12-10 影像处理装置、影像处理方法以及影像处理程序 Pending CN115104062A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-042921 2020-03-12
JP2020042921A JP7342746B2 (ja) 2020-03-12 2020-03-12 映像処理装置、映像処理方法および映像処理プログラム
PCT/JP2020/046087 WO2021181775A1 (ja) 2020-03-12 2020-12-10 映像処理装置、映像処理方法および映像処理プログラム

Publications (1)

Publication Number Publication Date
CN115104062A true CN115104062A (zh) 2022-09-23

Family

ID=77671567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080095764.7A Pending CN115104062A (zh) 2020-03-12 2020-12-10 影像处理装置、影像处理方法以及影像处理程序

Country Status (5)

Country Link
US (1) US11871118B2 (zh)
EP (1) EP4120015B1 (zh)
JP (2) JP7342746B2 (zh)
CN (1) CN115104062A (zh)
WO (1) WO2021181775A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7319710B2 (ja) * 2021-09-03 2023-08-02 株式会社ユニバーサルエンターテインメント 遊技機

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441387A (zh) * 2006-03-03 2009-05-27 奥林巴斯映像株式会社 摄像装置
JP2014179686A (ja) * 2013-03-13 2014-09-25 Canon Inc 撮像装置、その制御方法、および制御プログラム
US20150098654A1 (en) * 2013-10-09 2015-04-09 Aisin Seiki Kabushiki Kaisha Eye part detection apparatus
CN105407295A (zh) * 2015-10-30 2016-03-16 努比亚技术有限公司 移动终端拍摄装置和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3179242B2 (ja) 1993-04-28 2001-06-25 オリンパス光学工業株式会社 ブレ防止カメラ
JP4670521B2 (ja) 2005-07-19 2011-04-13 株式会社ニコン 撮像装置
US20080158357A1 (en) * 2007-01-03 2008-07-03 International Business Machines Corporation Apparatus for driver analysis using rearview mirror
JP2010028635A (ja) 2008-07-23 2010-02-04 Mitsubishi Electric Engineering Co Ltd 車載型映像記録装置
JP2014109958A (ja) 2012-12-03 2014-06-12 Denso Corp 撮影画像表示装置、および撮影画像表示方法
JP2017004389A (ja) 2015-06-12 2017-01-05 学校法人早稲田大学 運転支援装置及び運転支援方法
JP6735955B2 (ja) * 2018-05-10 2020-08-05 三菱電機株式会社 乗員監視装置及び乗員監視方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441387A (zh) * 2006-03-03 2009-05-27 奥林巴斯映像株式会社 摄像装置
JP2014179686A (ja) * 2013-03-13 2014-09-25 Canon Inc 撮像装置、その制御方法、および制御プログラム
US20150098654A1 (en) * 2013-10-09 2015-04-09 Aisin Seiki Kabushiki Kaisha Eye part detection apparatus
CN105407295A (zh) * 2015-10-30 2016-03-16 努比亚技术有限公司 移动终端拍摄装置和方法

Also Published As

Publication number Publication date
JP2021144150A (ja) 2021-09-24
EP4120015A4 (en) 2023-09-06
WO2021181775A1 (ja) 2021-09-16
US20220417408A1 (en) 2022-12-29
EP4120015B1 (en) 2024-09-25
JP7342746B2 (ja) 2023-09-12
EP4120015A1 (en) 2023-01-18
JP2023164485A (ja) 2023-11-10
US11871118B2 (en) 2024-01-09

Similar Documents

Publication Publication Date Title
US8068639B2 (en) Image pickup apparatus, control method therefor, and computer program for detecting image blur according to movement speed and change in size of face area
JP5761074B2 (ja) 撮像制御装置及びプログラム
JP4853389B2 (ja) 顔画像撮像装置
EP0989517A2 (en) Determining the position of eyes through detection of flashlight reflection and correcting defects in a captured frame
JP5661043B2 (ja) 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法
JP2008146172A (ja) 眼部検出装置、眼部検出方法及びプログラム
KR20160050755A (ko) 전자 장치 및 그의 홍채 인식 방법
WO2020179174A1 (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP2007025758A (ja) 人の顔画像抽出方法及び同装置
JP2020145724A (ja) 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法
JP2023164485A (ja) 映像処理装置、映像処理方法および映像処理プログラム
US11240439B2 (en) Electronic apparatus and image capture apparatus capable of detecting halation, method of controlling electronic apparatus, method of controlling image capture apparatus, and storage medium
CN109565549A (zh) 用于运行内饰摄像机的方法和设备
JP2008171108A (ja) 顔状況判定処理装置および撮像装置
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
JP7278764B2 (ja) 撮像装置、電子機器、撮像装置の制御方法およびプログラム
WO2023231479A1 (zh) 瞳孔检测方法、装置、存储介质及电子设备
CN113287298B (zh) 影像处理装置、影像处理方法及存储介质
US20190289185A1 (en) Occupant monitoring apparatus
KR20190072643A (ko) 얼굴 검출 장치 및 그 제어 방법, 그리고 프로그램
JP2010023626A (ja) ドライバー監視装置
US12125316B2 (en) Video processing device, video processing method, and recording medium for video processing
KR20160040335A (ko) 저조도 상황에서 영상 인식 개선을 위한 적외선 조명 기능을 포함한 저전력 차량용 영상 저장 장치 및 방법
KR102038371B1 (ko) 운전자의 눈 위치 검출 장치 및 방법
JP2014216694A (ja) 高解像度化処理付き追尾雲台装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination