CN115104062A - 影像处理装置、影像处理方法以及影像处理程序 - Google Patents
影像处理装置、影像处理方法以及影像处理程序 Download PDFInfo
- Publication number
- CN115104062A CN115104062A CN202080095764.7A CN202080095764A CN115104062A CN 115104062 A CN115104062 A CN 115104062A CN 202080095764 A CN202080095764 A CN 202080095764A CN 115104062 A CN115104062 A CN 115104062A
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- face
- image processing
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims abstract description 125
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 238000003384 imaging method Methods 0.000 claims abstract description 57
- 230000001678 irradiating effect Effects 0.000 claims description 6
- 230000004397 blinking Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000193 eyeblink Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Stroboscope Apparatuses (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
本发明提供影像处理装置、影像处理方法以及影像处理程序。影像处理装置(100)包括光照射部(11)、影像获取部(31)、运动检测部(33)以及拍摄控制部(34)。光照射部(11)向被拍摄体的脸部照射光。影像获取部(31)获取拍摄了被拍摄体的脸部而得的影像。运动检测部(33)从由影像获取部(31)获取的影像中检测脸部至少一部分的运动的速度。拍摄控制部(34)基于由运动检测部(33)检测出的速度来改变影像获取部(31)中的快门的打开期间和光照射部(11)的发光强度。
Description
技术领域
本发明涉及影像处理装置、影像处理方法以及影像处理程序。
背景技术
例如,在搭载于车辆的驾驶员监视器等影像处理装置中,将拍摄车厢内而得到的影像存储于存储装置。影像处理装置将车室内的状况作为影像进行存储、或以驾驶员为中心对影像进行存储等。
例如,在专利文献1中公开了适当地控制闪光灯使用的防抖动相机。防抖动相机通过抖动量检测部检测相机的手抖动量,基于被摄体的亮度通过快门速度决定部来决定闪光灯不使用时的快门速度。防抖动相机通过抖动量预测部来预测相对于由快门速度决定部决定的闪光灯不使用时的快门速度的抖动量。防抖动相机基于抖动量预测部的输出,通过闪光灯发光决定部判断是否使闪光灯发光。
现有技术文献
专利文献
专利文献1:日本特开平06-313918号公报。
发明内容
专利文献1所记载的以往的防抖动相机适当地控制闪光灯的发光或者不发光,但在闪光灯发光的情况下不以增减其发光强度的方式可变。例如,在驾驶员监视器中对车辆的驾驶员等的脸部以一定的发光强度照射红外光等光来进行拍摄时,导致对驾驶员的眼睛来说成为负担。本发明人注意到,在为了分析车辆的驾驶员等的眼睛开闭度等状态而检测眼睛的轮廓等的运动的情况下,根据运动速度来改变快门的打开期间和发光强度,由此能够减轻对眼睛的负担。
本发明是鉴于上述情况而完成的,其目的在于提供一种能够减轻光的照射对眼睛造成的负担的影像处理装置、影像处理方法以及影像处理程序。
本实施方式的一个方式的影像处理装置包括:光照射部,向被拍摄体的脸部照射光;影像获取部,获取对所述被拍摄体的脸部进行拍摄而得的影像;运动检测部,从由所述影像获取部获取的所述影像中检测脸部至少一部分的运动的速度;以及拍摄控制部,基于由所述运动检测部检测出的所述速度来改变所述影像获取部中的快门的打开期间和所述光照射部的发光强度。
另外,本实施方式的另一方式是影像处理方法。该影像处理方法包括:光照射步骤,向被拍摄体的脸部照射光;影像获取步骤,获取对所述被拍摄体的脸部进行拍摄而得的影像;运动检测步骤,从由所述影像获取步骤获取的所述影像中检测脸部至少一部分的运动的速度;以及拍摄控制步骤,基于由所述运动检测步骤检测出的所述速度来改变所述影像获取步骤中的快门的打开期间和所述光照射步骤中的发光强度。
另外,本实施方式的另一方式是影像处理程序。该影像处理程序使计算机执行:光照射步骤,向被拍摄体的脸部照射光;影像获取步骤,获取对所述被拍摄体的脸部进行拍摄而得的影像;运动检测步骤,从由所述影像获取步骤获取的所述影像中检测脸部至少一部分的运动的速度;以及拍摄控制步骤,基于由所述运动检测步骤检测出的所述速度来改变所述影像获取步骤中的快门的打开期间和所述光照射步骤中的发光强度。
根据本实施方式,能够减轻光的照射对眼睛造成的负担。
附图说明
图1是表示实施方式1的影像处理装置的结构的框图。
图2的(a)~(c)是表示运动检测部的运动的检测例的示意图。
图3是表示缩短快门的打开期间的情况的时序图。
图4是表示延长了快门的打开期间的情况的时序图。
图5是表示影像处理装置中的快门和发光强度的改变处理的顺序的流程图。
图6是表示实施方式2的影像处理装置的结构的框图。
具体实施方式
以下,基于优选的实施方式,参照图1至图6对本发明进行说明。对各附图所示的相同或同等的构成要素、部件标注相同的符号,适当省略重复的说明。另外,在各附图中,在说明实施方式的基础上省略不重要的部件的一部分进行表示。
(实施方式1)
图1是表示实施方式1的影像处理装置100的结构的框图。影像处理装置100例如是驾驶员监视器,搭载于车辆,在时间上连续拍摄车辆的车室内的乘客。影像处理装置100既可以记录拍摄到的影像,也可以不记录而废弃。影像处理装置100例如配置在车辆的挡风玻璃的下方的仪表板上等。影像处理装置100例如将搭乘于车辆的驾驶员作为被拍摄体进行拍摄,对拍摄到的被拍摄体的脸部整体、或者眼睛等脸部的部位进行识别。
影像处理装置100对被拍摄体的脸部照射红外光等光进行拍摄,以便即使在夜间或隧道内等暗的场景下也能够识别被拍摄体。拍摄时使用的红外光虽然具有在驾驶员等的视觉上难以识别的性质,但通过进一步抑制发光强度,能够减轻眼睛的负担。
由影像处理装置100拍摄到的影像例如判别左右眼睛的轮廓,用于与眼睛的开闭度、左右眼睛的倾斜等眼睛的部分相关的分析。在本实施方式中,关于与脸部的部分、例如眼睛等的状态相关的分析功能省略记载,但在影像处理装置100中,也可以设置与眼睛的开闭度、左右眼睛的倾斜等相关的分析功能。另外,也可以基于由影像处理装置100存储或输出的影像在外部装置中进行与脸部的部分相关的分析。另外,眼睛的开闭度、左右眼睛的倾斜等的分析功能例如用于被拍摄体的困倦程度判断、情绪状态(例如平常状态、紧张状态等)的判断等。
影像处理装置100包括拍摄部10、光照射部11、记录部20、影像处理部30、外部输入部40以及外部输出部41、图像精度检测部50等。拍摄部10例如是具有CCD等检测器的相机,将搭乘于车辆的例如驾驶员作为被拍摄体进行拍摄。拍摄部10在时间上连续地获取影像,向后述的影像获取部31送出。
光照射部11适当地对被拍摄体、特别是脸部部分照射红外光等光,以便即使在夜间等较暗时也能够拍摄驾驶员等被拍摄体。从光照射部11照射的光的发光强度由后述的影像处理部30的拍摄控制部34设定。另外,优选由光照射部11照射的光的发光期间与快门的打开期间一致,但也可以在与快门的打开期间之间存在少许的时间偏差。
记录部20例如是SD卡、USB存储器等可拆装的介质、硬盘等,能够记录、删除由影像获取部31获取的影像。以下,对设置有记录部20的结构进行说明,但在影像处理装置100不具有记录影像的部分的情况下,也可以不设置记录部20。记录部20通过能够相对于影像处理装置100拆装,能够从影像处理装置100卸下,通过其他的PC等再现影像等。
外部输入部40从外部装置获取车辆的速度信息以及位置信息等。另外,外部输出部41将由影像处理部30处理后的影像信息等向外部装置输出。影像处理装置100也可以将由外部输入部40获取的速度信息以及位置信息等附加于影像进行记录或者向外部输出。
影像处理部30具有影像获取部31、影像识别部32、运动检测部33以及拍摄控制部34。影像处理部30例如由CPU等构成,通过按照计算机程序动作,来执行上述各部的处理。存储部30a由RAM(Random Access Memory:随机存取存储器)、闪存器、硬盘存储装置等数据存储装置构成,存储由影像处理部30执行的计算机程序等。另外,存储部30a存储有用于从拍摄到的影像中识别被拍摄体的脸部、眼睛等的识别用辞典。
影像获取部31获取在拍摄部10中拍摄到的影像并进行数据压缩等处理,输出到记录部20。另外,影像获取部31也可以构成为包括拍摄部10。在影像获取部31中拍摄被拍摄体的快门的打开期间由后述的拍摄控制部34设定。另外,影像帧的帧率也由拍摄控制部34设定。
影像识别部32基于存储于存储部30a的识别用辞典,根据从影像获取部31输入的影像来识别被拍摄体的脸部、眼睛。在存储于存储部30a的识别用辞典中包含脸部、眼睛等形状数据等,影像识别部32通过提取影像所示的形状图案,并与识别用辞典中包含的形状数据进行对照来识别脸部、眼睛等。影像识别部32能够使用在各种领域中开发出的公知的图像识别处理的方法,从影像中识别出脸部、眼睛等。
运动检测部33检测被拍摄体的脸部的至少一部分的运动,特别是检测运动速度。图2的(a)~(c)是表示运动检测部33的运动的检测例的示意图。如图2的(a)所示,运动检测部33在由影像识别部32识别出的眼睛的部分中检测眨眼速度并向拍摄控制部34输出。眼睛眨眼是通过眼睛的轮廓部分时时刻刻上下移动的运动而产生的。
在眼睛眨眼的速度慢的情况下,即使延长影像获取部31中的快门的打开期间,也能够识别因眼睛眨眼而产生的眼睛的睁开状态以及闭合状态。相反,在眼睛眨眼的速度快的情况下,如果影像获取部31中的快门的打开期间长,则无法识别因眼睛眨眼而产生的眼睛的睁开状态以及闭合状态,因此需要将快门的打开期间设定得较小。
另外,如图2的(b)所示,运动检测部33在由影像识别部32识别出的眼睛的部分中检测视线的运动速度并向拍摄控制部34输出。眼睛的视线的运动是通过瞳孔的部分时时刻刻地向左右或上下移动的运动而产生的。
在视线的运动速度慢的情况下,即使延长影像获取部31中的快门的打开期间,也能够从拍摄到的影像图像识别视线的运动。另外,在视线的运动速度快的情况下,需要将影像获取部31中的快门的打开期间设定得较小。
另外,如图2的(c)所示,运动检测部33针对由影像识别部32识别出的整个脸部来检测脸部整体晃动的运动速度并输出到拍摄控制部34。脸部晃动的运动是通过脸部的轮廓或特定的部分(例如鼻子部分)时时刻刻向左右或上下移动的运动而产生的。
在脸部晃动的运动速度慢的情况下,即使延长影像获取部31中的快门的打开期间,也能够从拍摄到的影像中图像识别脸部晃动的运动。另外,在脸部晃动的运动速度快的情况下,需要将影像获取部31中的快门的打开期间设定得较小。
拍摄控制部34基于由运动检测部33检测出的被拍摄体的脸部的至少一部分的运动速度,进行设定,以改变影像获取部31中的快门的打开期间以及光照射部11的发光强度。图3是表示缩短了快门的打开期间的情况的时序图,图4是表示延长了快门的打开期间的情况的时序图。
在被拍摄体的脸部的至少一部分的运动速度快的情况下,如图3所示,将影像获取部31中的快门的打开期间设为较小的值L1,将光照射部11的发光强度设定为较大的值P2。拍摄控制部34针对被拍摄体的脸部的至少一部分的运动速度,预先设定规定的阈值,在从运动检测部33输入的脸部的至少一部分的运动速度为阈值以上的情况下,运动速度较快,在小于阈值的情况下,运动速度较慢。
在被拍摄体的脸部的至少一部分的运动速度慢的情况下,如图4所示,将影像获取部31中的快门的打开期间设定为较大的值L2(L2>L1),将光照射部11的发光强度设定为较小的值P1(P1<P2)。拍摄控制部34针对被拍摄体的脸部的至少一部分的运动速度,预先设定规定的阈值,在从运动检测部33输入的脸部的至少一部分的运动速度为阈值以上的情况下,运动速度较快,在小于阈值的情况下,运动速度较慢。另外,作为快门的打开期间的L1和L2以及发光强度P1和P2也可以设想夜间等较暗的环境、被拍摄体的脸部的运动速度等而预先决定。
拍摄控制部34在被拍摄体的脸部的至少一部分的运动速度慢的情况下,与运动速度快的情况相比,延长影像获取部31中的快门的打开期间,将光照射部11的发光强度设定得小。另外,拍摄控制部34也可以根据被拍摄体的脸部的至少一部分的运动速度,使快门的打开期间以及发光强度连续地变化来进行设定。
如上所述,被拍摄体的脸部的至少一部分的运动是眼睛眨眼、视线的运动以及脸部晃动的运动等,拍摄控制部34根据这些运动来改变快门的打开期间以及发光强度来进行设定。
图像精度检测部50检测被拍摄体的脸部、脸部的眼睛、鼻子等部分的图像识别精度,确认是否确保了充分的图像识别精度。图像识别精度例如是是否能够与相邻的部分区别地识别眼睛及鼻子等脸部的部分、脸部的轮廓等的尺度,具体而言,将边界部分的图像模糊的程度等作为指标。
另外,在分析眼睛的开闭度以及眼睛的倾斜度等的情况下,也可以确认图像精度是否被确保为能够进行分析的程度。在分析眼睛的开闭度以及眼睛的倾斜度等的情况下,例如,眼睑、眼白以及瞳孔的各部分的亮度值是否具有能够区分各部分的程度的差会成为问题,也可以基于各部分的亮度值的差来规定图像精度。即,在各部分的亮度值的差较小的情况下图像精度低,在亮度值的差较大的情况下图像精度高等。
例如,在使快门的打开期间从较小的值改变为较大的值时,在图像识别精度比规定的阈值好的情况下,拍摄控制部34将快门的打开期间改变设定为较大的值。拍摄控制部34在将快门的打开期间改变设定为较大的值之后,在无法充分确保图像识别精度的情况下,使快门的打开期间返回到较小的值。同样地,例如,在使发光强度从较大的值改变为较小的值时,在图像识别精度比规定的阈值好的情况下,拍摄控制部34将发光强度改变设定为较小的值。拍摄控制部34在将发光强度改变设定为较小的值之后,在无法充分确保图像识别精度的情况下,使发光强度返回到较大的值。
另外,拍摄控制部34也可以在将快门的打开期间改变设定为较大的值的情况下,一边确认图像精度检测部50中的图像识别精度良好,一边将快门打开期间逐渐从较小的值改变设定为较大的值。同样地,拍摄控制部34也可以在将发光强度改变设定为较小的值的情况下,一边确认图像精度检测部50中的图像识别精度良好,一边将发光强度逐渐从较大的值改变为较小的值。
接着,基于快门和发光强度的改变处理对影像处理装置100的动作进行说明。图5是表示影像处理装置100中的快门以及发光强度的改变处理的顺序的流程图。影像处理装置100的光照射部11开始向被拍摄体照射光(S1),通过影像获取部31获取由拍摄部10拍摄到的被拍摄体的影像(S2)。通过影像识别部32对被拍摄体的脸部的至少一部分进行图像识别,通过运动检测部33检测识别出的部分的运动速度(S3)。
拍摄控制部34判定由运动检测部33检测出的运动速度是否为规定的阈值以上(S4)。拍摄控制部34在判定为被拍摄体的脸部的至少一部分的运动速度为阈值以上的情况下(S4:是),将影像获取部31中的快门的打开期间设为较小的值,将光照射部11的发光强度设定为较大的值(S5),结束处理。但是,拍摄控制部34在步骤S4中的判定之前快门的打开期间短较小,将发光强度设定为较大的值的情况下,维持该设定状态。
在步骤S4中判定为被拍摄体的脸部的至少一部分的运动速度小于阈值的情况下(S4:否),拍摄控制部34将影像获取部31中的快门的打开期间设为较大的值,将光照射部11的发光强度设定为较小的值(S6),结束处理。
拍摄控制部34还可以在由图像精度检测部50检测到的图像识别精度相对于在步骤S6之后获取的影像降低的情况下,将快门的打开期间设为较小的值,将光照射部11的发光强度改变设定为较大的值。另外,如上所述,拍摄控制部34也可以根据被拍摄体的脸部的至少一部分的运动速度,使快门的打开期间和发光强度连续地改变来进行设定。
在被拍摄体的脸部的至少一部分的运动速度比规定的阈值慢的情况下,影像处理装置100将影像获取部31中的快门的打开期间设为较大的值,将光照射部11的发光强度设定为较小的值。影像处理装置100通过将发光强度设定为较小的值而减轻被拍摄体的眼睛的负担,并将快门的打开期间设定为较大的值来对被拍摄体照射拍摄所需的光量,从而能够获取明亮的影像。
在被拍摄体的脸部的至少一部分的运动速度比规定的阈值快的情况下,影像处理装置100将影像获取部31中的快门的打开期间设为较小的值,将光照射部11的发光强度设定为较大的值。影像处理装置100通过将快门的打开期间设定为较小的值,在被拍摄体的脸部的至少一部分的运动快的情况下,能够抑制图像识别精度的降低,通过将发光强度设定为较大的值,能够获取明亮的影像。
影像处理装置100通过运动检测部33检测眼睛眨眼、视线的运动以及脸部晃动的运动等,来作为被拍摄体的脸部的至少一部分的运动。通过根据被拍摄体中的眼睛眨眼速度来改变快门的打开期间以及发光强度,能够可靠地获取眼睛的睁开状态以及闭合状态的影像。
另外,通过根据视线的运动速度来改变快门的打开期间以及发光强度,能够可靠地获取捕捉到视线的运动的影像。同样地,通过根据脸部晃动的运动速度来改变快门的打开期间以及发光强度,能够可靠地获取捕捉到被拍摄体朝向左右和上下的哪个方向的影像。
(实施方式2)
图6是表示实施方式2的影像处理装置100的结构的框图。实施方式2中的影像处理装置100在实施方式1中的结构中还包括抖动量检测部35。抖动量检测部35例如根据由影像获取部31获取的影像中的边缘部分的重影或抖动程度,检测因搭载影像处理装置100的车辆的振动等而产生的被拍摄体的影像中的抖动量。
拍摄控制部34根据由抖动量检测部35检测出的抖动量来改变快门的打开期间L1和L2、以及发光强度P1和P2的值。拍摄控制部34在抖动量大的情况下,以快门的打开期间小、发光强度大的方式进行设定。另外,拍摄控制部34在抖动量小的情况下,以快门的打开期间大、发光强度小的方式进行设定。
影像处理装置100根据由抖动量检测部35检测出的抖动量来改变快门的打开期间L1和L2以及发光强度P1和P2的值,能够抑制图像识别精度的降低,并且减轻对被拍摄体的眼睛的负担。
(变形例)
在上述的各实施方式中,示出了在不改变影像的帧率的范围内使快门的打开期间以及发光强度可变的例子,但也可以进一步使影像的帧率变化。拍摄控制部34也可以设定为,在被拍摄体的脸部的至少一部分的运动速度慢且抖动量也少的情况下,在充分确保用于分析眼睛的开闭度、左右的眼睛的倾斜度等的图像识别精度的范围内,降低由影像获取部31获取的影像的帧率。
影像处理装置100通过拍摄控制部34降低所获取的影像的帧率,进而延长快门的打开期间并减小发光强度,由此能够进一步减轻对被拍摄体的眼睛的负担。
另外,在上述的各实施方式中,示出了通过运动检测部33检测眼睛眨眼、视线的运动以及脸部晃动的运动等来作为被拍摄体的脸部的至少一部分的运动的例子,但也可以检测口、鼻子等的运动。另外,运动检测部33也可以检测眼睛眨眼和视线的运动等的一个或多个运动,作为被拍摄体的脸部的至少一部分的运动。拍摄控制部34也可以基于一个或多个运动速度,使快门的打开期间和发光强度改变。
另外,拍摄控制部34在对被拍摄体照射的外部光强、光量被充分确保的情况下,也可以将光照射部11的发光强度设定为0。如果光量有富余,则拍摄控制部34也可以为了提高图像识别精度而将快门的打开期间设定得较小。另外,影像处理装置100还可以设置从影像中检测眼睛的睁开状态以及闭合状态的眼睛开闭检测部(省略图示),在眼睛闭合的情况下,优先图像识别精度,缩短快门的打开期间,增大发光强度。
另外,影像处理装置100也可以检测对在光照射部11中使用的光源的波长带进行切割的太阳镜等的存在,在被拍摄体佩戴相应的太阳镜的情况下,优先图像识别精度,缩短快门的打开期间,增大发光强度。
接着,对上述各实施方式以及变形例所涉及的影像处理装置100、影像处理方法以及影像处理程序的特征进行说明。
影像处理装置100包括光照射部11、影像获取部31、运动检测部33以及拍摄控制部34。光照射部11向被拍摄体的脸部照射光。影像获取部31获取拍摄了被拍摄体的脸部而得的影像。运动检测部33从由影像获取部31获取的影像中检测脸部的至少一部分的运动速度。在由运动检测部33检测出的速度比规定的阈值慢的情况下,拍摄控制部34延长影像获取部31中的快门的打开期间,并减小光照射部11的发光强度,在速度比规定的阈值快的情况下,缩短影像获取部31中的快门的打开期间,并增大光照射部11的发光强度。由此,影像处理装置100将发光强度设定为较小的值,能够减轻光的照射对被拍摄体的眼睛的负担。
另外,运动检测部33从影像中检测眼睛部分的眨眼速度。由此,影像处理装置100能够根据眼睛眨眼速度来改变快门的打开期间以及发光强度,可靠地获取眼睛的睁开状态以及闭合状态的影像。
另外,运动检测部33从影像中检测视线的运动速度。由此,影像处理装置100能够根据视线的运动速度来改变快门的打开期间以及发光强度,可靠地获取捕捉到视线的运动的影像。
此外,运动检测部33从影像中检测脸部晃动的运动速度。由此,影像处理装置100通过根据脸部晃动的运动速度来改变快门的打开期间以及发光强度,能够可靠地获取捕捉到被拍摄体朝向左右以及上下的哪个方向的影像。
影像处理装置100还包括检测被拍摄体的抖动量的抖动量检测部35。拍摄控制部34根据由抖动量检测部35检测出的抖动量来改变快门的打开期间和发光强度。由此,影像处理装置100能够抑制图像识别精度的降低,并且减轻对被拍摄体的眼睛的负担。
另外,影像处理装置100基于由运动检测部33检测出的速度来改变由影像获取部31获取的影像的帧率。由此,影像处理装置100通过降低所获取的影像的帧率,进而延长快门的打开期间并减小发光强度,能够进一步减轻对被拍摄体的眼睛的负担。
影像处理方法包括光照射步骤、影像获取步骤、运动检测步骤以及拍摄控制步骤。光照射步骤向被拍摄体的脸部照射光。影像获取步骤获取拍摄了被拍摄体的脸部而得的影像。运动检测步骤从由影像获取步骤获取的影像中检测脸部的至少一部分的运动速度。拍摄控制步骤在由运动检测步骤检测出的速度比规定的阈值慢的情况下,延长影像获取步骤中的快门的打开期间,减小光照射步骤中的发光强度,在速度比规定的阈值快的情况下,缩短影像获取步骤中的快门的打开期间,增大光照射步骤中的发光强度。根据该影像处理方法,将发光强度设定为较小的值,能够减轻光的照射对被拍摄体的眼睛的负担。
图像处理程序使计算机执行光照射步骤、影像获取步骤、运动检测步骤以及拍摄控制步骤。光照射步骤向被拍摄体的脸部照射光。影像获取步骤获取拍摄了被拍摄体的脸部而得的影像。运动检测步骤从由影像获取步骤获取的影像中检测脸部的至少一部分的运动速度。拍摄控制步骤在由运动检测步骤检测出的速度比规定的阈值慢的情况下,延长影像获取步骤中的快门的打开期间,减小光照射步骤中的发光强度,在速度比规定的阈值快的情况下,缩短影像获取步骤中的快门的打开期间,增大光照射步骤中的发光强度。根据该影像处理程序,将发光强度设定为较小的值,能够减轻光的照射对被拍摄体的眼睛的负担。
以上,基于本发明的实施方式进行了说明。这些实施方式为例示,本领域技术人员能够理解能够在本发明的权利要求范围内进行各种变形和改变,并且这样的变形例和改变也在本发明的权利要求的范围内。因此,本说明书中的记述及附图并不是限定性的,应当被例证性地处理。
产业上的可利用性
本发明涉及驾驶员监视器等影像处理装置、影像处理方法以及影像处理程序。
符号说明
11:光照射部;31:影像获取部;33:运动检测部;34:拍摄控制部;35:抖动量检测部;100:影像处理装置。
Claims (9)
1.一种影像处理装置,其特征在于,包括:
光照射部,向被拍摄体的脸部照射光;
影像获取部,获取对所述被拍摄体的脸部进行拍摄而得的影像;
运动检测部,从由所述影像获取部获取的所述影像中检测脸部至少一部分的运动的速度;以及
拍摄控制部,基于由所述运动检测部检测出的所述速度来改变所述影像获取部中的快门的打开期间和所述光照射部的发光强度。
2.根据权利要求1所述的影像处理装置,其特征在于,
所述运动检测部从所述影像中检测眼睛部分的眨眼速度。
3.根据权利要求1所述的影像处理装置,其特征在于,
所述运动检测部从所述影像中检测视线的运动速度。
4.根据权利要求1所述的影像处理装置,其特征在于,
所述运动检测部从所述影像中检测脸部晃动的运动速度。
5.根据权利要求1所述的影像处理装置,其特征在于,还包括:
抖动量检测部,检测所述被拍摄体的抖动量,
所述拍摄控制部根据由所述抖动量检测部检测出的所述抖动量来改变快门的打开期间和发光强度。
6.根据权利要求1至5中任一项所述的影像处理装置,其特征在于,
基于由所述运动检测部检测出的所述速度来改变由所述影像获取部获取的所述影像的帧率。
7.根据权利要求1至6中任一项所述的影像处理装置,其特征在于,还包括:
图像精度检测部,检测针对影像的图像识别精度,所述影像是在所述运动检测部进行改变快门的打开期间和发光强度的控制之后获取的影像,
所述拍摄控制部根据检测出的所述图像识别精度来改变快门的打开期间和发光强度的设定。
8.一种影像处理方法,其特征在于,包括:
光照射步骤,向被拍摄体的脸部照射光;
影像获取步骤,获取对所述被拍摄体的脸部进行拍摄而得的影像;
运动检测步骤,从由所述影像获取步骤获取的所述影像中检测脸部至少一部分的运动的速度;以及
拍摄控制步骤,基于由所述运动检测步骤检测出的所述速度来改变所述影像获取步骤中的快门的打开期间和所述光照射步骤中的发光强度。
9.一种影像处理程序,其特征在于,使计算机执行:
光照射步骤,向被拍摄体的脸部照射光;
影像获取步骤,获取对所述被拍摄体的脸部进行拍摄而得的影像;
运动检测步骤,从由所述影像获取步骤获取的所述影像中检测脸部至少一部分的运动的速度;以及
拍摄控制步骤,基于由所述运动检测步骤检测出的所述速度来改变所述影像获取步骤中的快门的打开期间和所述光照射步骤中的发光强度。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-042921 | 2020-03-12 | ||
JP2020042921A JP7342746B2 (ja) | 2020-03-12 | 2020-03-12 | 映像処理装置、映像処理方法および映像処理プログラム |
PCT/JP2020/046087 WO2021181775A1 (ja) | 2020-03-12 | 2020-12-10 | 映像処理装置、映像処理方法および映像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115104062A true CN115104062A (zh) | 2022-09-23 |
Family
ID=77671567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080095764.7A Pending CN115104062A (zh) | 2020-03-12 | 2020-12-10 | 影像处理装置、影像处理方法以及影像处理程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11871118B2 (zh) |
EP (1) | EP4120015B1 (zh) |
JP (2) | JP7342746B2 (zh) |
CN (1) | CN115104062A (zh) |
WO (1) | WO2021181775A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7319710B2 (ja) * | 2021-09-03 | 2023-08-02 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441387A (zh) * | 2006-03-03 | 2009-05-27 | 奥林巴斯映像株式会社 | 摄像装置 |
JP2014179686A (ja) * | 2013-03-13 | 2014-09-25 | Canon Inc | 撮像装置、その制御方法、および制御プログラム |
US20150098654A1 (en) * | 2013-10-09 | 2015-04-09 | Aisin Seiki Kabushiki Kaisha | Eye part detection apparatus |
CN105407295A (zh) * | 2015-10-30 | 2016-03-16 | 努比亚技术有限公司 | 移动终端拍摄装置和方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3179242B2 (ja) | 1993-04-28 | 2001-06-25 | オリンパス光学工業株式会社 | ブレ防止カメラ |
JP4670521B2 (ja) | 2005-07-19 | 2011-04-13 | 株式会社ニコン | 撮像装置 |
US20080158357A1 (en) * | 2007-01-03 | 2008-07-03 | International Business Machines Corporation | Apparatus for driver analysis using rearview mirror |
JP2010028635A (ja) | 2008-07-23 | 2010-02-04 | Mitsubishi Electric Engineering Co Ltd | 車載型映像記録装置 |
JP2014109958A (ja) | 2012-12-03 | 2014-06-12 | Denso Corp | 撮影画像表示装置、および撮影画像表示方法 |
JP2017004389A (ja) | 2015-06-12 | 2017-01-05 | 学校法人早稲田大学 | 運転支援装置及び運転支援方法 |
JP6735955B2 (ja) * | 2018-05-10 | 2020-08-05 | 三菱電機株式会社 | 乗員監視装置及び乗員監視方法 |
-
2020
- 2020-03-12 JP JP2020042921A patent/JP7342746B2/ja active Active
- 2020-12-10 WO PCT/JP2020/046087 patent/WO2021181775A1/ja active Search and Examination
- 2020-12-10 EP EP20924415.1A patent/EP4120015B1/en active Active
- 2020-12-10 CN CN202080095764.7A patent/CN115104062A/zh active Pending
-
2022
- 2022-08-31 US US17/823,534 patent/US11871118B2/en active Active
-
2023
- 2023-08-30 JP JP2023139766A patent/JP2023164485A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441387A (zh) * | 2006-03-03 | 2009-05-27 | 奥林巴斯映像株式会社 | 摄像装置 |
JP2014179686A (ja) * | 2013-03-13 | 2014-09-25 | Canon Inc | 撮像装置、その制御方法、および制御プログラム |
US20150098654A1 (en) * | 2013-10-09 | 2015-04-09 | Aisin Seiki Kabushiki Kaisha | Eye part detection apparatus |
CN105407295A (zh) * | 2015-10-30 | 2016-03-16 | 努比亚技术有限公司 | 移动终端拍摄装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021144150A (ja) | 2021-09-24 |
EP4120015A4 (en) | 2023-09-06 |
WO2021181775A1 (ja) | 2021-09-16 |
US20220417408A1 (en) | 2022-12-29 |
EP4120015B1 (en) | 2024-09-25 |
JP7342746B2 (ja) | 2023-09-12 |
EP4120015A1 (en) | 2023-01-18 |
JP2023164485A (ja) | 2023-11-10 |
US11871118B2 (en) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8068639B2 (en) | Image pickup apparatus, control method therefor, and computer program for detecting image blur according to movement speed and change in size of face area | |
JP5761074B2 (ja) | 撮像制御装置及びプログラム | |
JP4853389B2 (ja) | 顔画像撮像装置 | |
EP0989517A2 (en) | Determining the position of eyes through detection of flashlight reflection and correcting defects in a captured frame | |
JP5661043B2 (ja) | 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法 | |
JP2008146172A (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
KR20160050755A (ko) | 전자 장치 및 그의 홍채 인식 방법 | |
WO2020179174A1 (ja) | 映像処理装置、映像処理方法および映像処理プログラム | |
JP2007025758A (ja) | 人の顔画像抽出方法及び同装置 | |
JP2020145724A (ja) | 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法 | |
JP2023164485A (ja) | 映像処理装置、映像処理方法および映像処理プログラム | |
US11240439B2 (en) | Electronic apparatus and image capture apparatus capable of detecting halation, method of controlling electronic apparatus, method of controlling image capture apparatus, and storage medium | |
CN109565549A (zh) | 用于运行内饰摄像机的方法和设备 | |
JP2008171108A (ja) | 顔状況判定処理装置および撮像装置 | |
CN110199318B (zh) | 驾驶员状态推定装置以及驾驶员状态推定方法 | |
JP7278764B2 (ja) | 撮像装置、電子機器、撮像装置の制御方法およびプログラム | |
WO2023231479A1 (zh) | 瞳孔检测方法、装置、存储介质及电子设备 | |
CN113287298B (zh) | 影像处理装置、影像处理方法及存储介质 | |
US20190289185A1 (en) | Occupant monitoring apparatus | |
KR20190072643A (ko) | 얼굴 검출 장치 및 그 제어 방법, 그리고 프로그램 | |
JP2010023626A (ja) | ドライバー監視装置 | |
US12125316B2 (en) | Video processing device, video processing method, and recording medium for video processing | |
KR20160040335A (ko) | 저조도 상황에서 영상 인식 개선을 위한 적외선 조명 기능을 포함한 저전력 차량용 영상 저장 장치 및 방법 | |
KR102038371B1 (ko) | 운전자의 눈 위치 검출 장치 및 방법 | |
JP2014216694A (ja) | 高解像度化処理付き追尾雲台装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |