CN109565549B - 用于运行内饰摄像机的方法和设备 - Google Patents
用于运行内饰摄像机的方法和设备 Download PDFInfo
- Publication number
- CN109565549B CN109565549B CN201780051672.7A CN201780051672A CN109565549B CN 109565549 B CN109565549 B CN 109565549B CN 201780051672 A CN201780051672 A CN 201780051672A CN 109565549 B CN109565549 B CN 109565549B
- Authority
- CN
- China
- Prior art keywords
- camera
- head
- image
- interior camera
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005286 illumination Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 92
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 201000005111 ocular hyperemia Diseases 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种用于运行车辆(100)的内饰摄像机(104)的方法,其中在调节的步骤中,如果在所述内饰摄像机(104)的先前检测的图像中探测到目标人员(108)的头部(110),则在使用所述图像的至少一个质量参数(118)的情况下调节所述内饰摄像机(104)的至少一个摄像机参数(122),其中如果没有探测到头部(110),则所述摄像机参数(122)被设置到预先限定的值。
Description
技术领域
本发明的出发点是一种根据独立权利要求的前序部分所述的设备或方法。本发明的主题也是一种计算机程序。
背景技术
内饰摄像机在近红外范围内检测图像。为了获得足够照明的图像,内饰摄像机具有红外照明装置。对象离照明装置越近,在对象上的照明强度越大。
例如,车辆的驾驶员的头部在向前位移时可能具有距照明装置的非常小的距离,使得内饰摄像机不再能检测到头部。
发明内容
在该背景下,利用这里所提出的方案,提出根据独立权利要求所述的一种用于运行车辆的内饰摄像机的方法,还提出根据独立权利要求所述的一种应用该方法的设备,以及最后提出根据独立权利要求所述的一种相对应的计算机程序。通过在从属权利要求中提及的措施,对在独立权利要求中说明的设备的有利的扩展方案和改进方案都是可能的。
如果对象不再能被摄像机检测到,则对摄像机的调节尝试改变摄像机参数,以便重新达到准备好检测的状态。
在这里提出的方案中,摄像机的至少一个摄像机参数在对象丢失之后立即被设置到参考值,在该参考值的情况下,摄像机在正常条件下具有高检测概率。在此所预期的是:这里被称作对象的车辆的驾驶员的头部在短时间后概率很高地重新处在所预期的位置。参考值与所预期的位置匹配。如果重新检测到头部,则摄像机参数根据头部的所检测到的位置来同步。
提出了一种用于运行车辆的内饰摄像机的方法,其中在调节的步骤中,如果在内饰摄像机的先前检测的图像中探测到目标人员的头部,则在使用该图像的至少一个质量参数的情况下调节内饰摄像机的至少一个摄像机参数,其中如果没有探测到头部,则摄像机参数被设置到预先限定的值。
内饰摄像机可以被理解为对准车辆的内部空间的摄像机。内饰摄像机尤其可以对准车辆的驾驶员。内饰摄像机可以提供内部空间的单个图像的图像序列。内饰摄像机也可以提供视频信号。摄像机参数可以是可调参量。驾驶员可以是目标人员。预先限定的值可以是摄像机参数的规定值。
可以使用图像的对比度、亮度和/或亮度分布,作为质量参数。可以调节内饰摄像机的曝光时间和/或灵敏度,作为摄像机参数。替选地或补充地,可以调节内饰摄像机的照明装置的光强度,作为摄像机参数。通过调整这些摄像机参数,图像可具有高质量。
该方法可具有如下步骤:在内饰摄像机的随后检测到的图像中探测头部。质量参数可与图像的头部区域相关。头部区域是该图像的令人感兴趣的区域。通过质量参数与头部区域的相关,可以使头部区域特别好地成像。
该方法可具有调整的步骤,在该调整的步骤中,调整内饰摄像机的原始图像信号的颜色深度,以便获得工作图像信号。可以在工作图像信号的图像中探测头部。通过被减小的颜色深度,需要不那么多的计算花费来对图像进行处理。
从原始图像信号中可以提取出颜色深度谱,以便获得工作图像信号。替选地或补充地,原始图像信号的原始色度可以在使用处理规定的情况下被分配到工作图像信号的工作色度,以便获得工作图像信号。该颜色深度谱可以通过去掉图像的不相关的色度来实现。该处理规定可以是用于换算色度的算法。通过换算可以获得图像的大的信息内容。通过提取可以快速地并且简单地减小颜色深度。
该方法例如可以以软件或硬件或者以软件和硬件的混合形式例如实现在控制设备中。
这里所提出的方案还提供了一种设备,该设备被构造为在相对应的装置中执行、操控或实现这里所提出的方法的变型方案的步骤。
通过本发明的以设备的形式的所述实施变型方案,也可以快速并且高效地解决本发明所基于的任务。
为此,该设备可具有:至少一个计算单元,用于处理信号或数据;至少一个存储单元,用于存储信号或数据;至少一个与传感器或执行器的接口,用于从传感器读入传感器信号或者用于将数据信号或控制信号输出给执行器;和/或至少一个通信接口,用于读入或输出嵌入到通信协议中的数据。计算单元例如可以是信号处理器、微控制器或者诸如此类的,其中存储单元可以是闪速存储器、EEPROM或者磁存储单元。通信接口可以被构造为无线地和/或有线地读入或输出数据,其中可以读入或输出有线数据的通信接口可以例如电地或光学地从相对应的数据传输线中读入这些数据或者可以例如电地或光学地将这些数据输出到相对应的数据传输线中。
在本情况下,设备可以被理解为电气设备,所述电气设备对传感器信号进行处理并且根据此来输出控制和/或数据信号。该设备可具有接口,所述接口可以硬件式地和/或软件式地来构造。在硬件式的构造方案中,接口例如可以是所谓的系统ASIC的部分,所述系统ASIC包含该设备的各种各样的功能。然而也可能的是,这些接口是特有的集成电路或者至少部分地由分立式器件组成。在软件式的构造方案中,这些接口可以是软件模块,所述软件模块例如在微控制器上存在于其它软件模块旁边。
也有利的是一种具有程序代码的计算机程序产品或计算机程序,所述程序代码可以存储在机器可读的载体或者存储介质(如半导体存储器、硬盘存储器或光学存储器)上而且尤其是在程序产品或程序在计算机或设备上实施时被用于执行、实现和/或操控根据上述实施方式之一所述的方法的步骤。
附图说明
这里所提出的方案的实施例在附图中示出并且在随后的描述中进一步予以阐述。其中:
图1示出了具有用于运行按照实施例的内饰摄像机的设备的车辆的框图;
图2示出了运行按照实施例的内饰摄像机的流程的图示;
图3示出了用于运行按照实施例的内饰摄像机的方法的流程图;
图4示出了针对用于运行按照实施例的内饰摄像机的方法的控制器的状态图;
图5示出了对在按照实施例的内饰摄像机的图像中的对象的探测的图示;
图6示出了用于运行按照实施例的内饰摄像机的算法的流程图;
图7示出了用于运行按照实施例的内饰摄像机的调节系统的框图;
图8至11示出了按照实施例的内饰摄像机的应用情况的图示;而
图12示出了用于运行按照实施例的内饰摄像机的方法的流程图。
具体实施方式
在随后对本发明的有利的实施例的描述中,相同或者类似的附图标记被用于在不同的附图中示出的并且起类似作用的要素,其中省去了对这些要素的重复的描述。
图1示出了具有用于运行按照实施例的内饰摄像机104的设备102的车辆100的框图。内饰摄像机104对准车辆100的驾驶员108的所预期的头部区域106。这里,头部110在正常位置基本上处在头部区域106中间或处在头部区域106的中等作用范围内。内饰摄像机104具有照明装置112。照明装置112包括至少一个红外光源114、116,该至少一个红外光源对准头部区域106。第一红外光源114布置在内饰摄像机104附近。第一光源114的光在驾驶员的眼睛的视网膜处被反射到内饰摄像机104,并且类似于亮瞳孔的红眼效应地产生在内饰摄像机104的图像中。第二红外光源116远离内饰摄像机104地布置。第二光源116的光没有通过视网膜被反射到内饰摄像机104,并且在图像中产生暗瞳孔。
如果头部110在头部区域106之内,则该头部可以在内饰摄像机104的图像中被探测到。图像取决于头部110在头部区域106的位置地具有质量参数118。如果探测到头部110,则在用于运行的设备102的调节装置120中,内饰摄像机104的至少一个摄像机参数122在使用质量参数118的情况下被微调。
换言之,图1示出了用于利用活跃的IR照明装置112来调节机动车(Kfz)内饰摄像机104的设备102。驾驶员观察摄像机系统由至少一个摄像机模块104、活跃的近红外照明或IR模块112和计算单元102组成。驾驶员观察摄像机系统通常可以是单摄像机系统、双摄像机系统或多摄像机系统。IR模块112基本上可以被分成亮瞳孔光源(Bright Pupil,BP)114和暗瞳孔光源(Dark Pupil,DP)116。如果照明装置114离摄像机104很近,则亮瞳孔光源(BP)114类似于“红眼效应”地引起亮瞳孔,由此通过瞳孔射到视网膜上的光重新被反射回到摄像机图像中。如果照明装置116离摄像机104远并且因此所发出的光没有直接射到视网膜或瞳孔上并且因而瞳孔在摄像机图像中保持昏暗,则暗瞳孔光源(DP)116出现。
在使用内饰摄像机104的情况下,可以实现软件功能或算法,如头部和眼睛跟踪(head and eye tracking)、面部识别(Face Identification)、驾驶员建模(困倦、注意力分散检测)(Driver Modelling(drowsiness, distraction detection))和眼动控制(gazecontrol )。活跃的IR照明装置112引起对画面或驾驶员面部的良好的照明。由此,在所有条件下、例如在白天和夜晚的情况下,在面部区域都可以确保用于基于视频的探测性能的对比明显的并且明亮的图像。
成像器(Imager)和IR照明装置的集成时间可以被改变。IR照明装置112可以关于针对不断变化的距离的照明和照射强度方面来适配。因此,满足多个使用情况(Usecase),其中驾驶员或用户距头部或眼睛跟踪系统的距离不同。
例如当驾驶员向前弯腰或者在上车阶段使头离内饰摄像机104很近时,在没有变化性的情况下,所拍摄的摄像机图像会非常强烈地被过渡曝光并且由此并不适合于跟踪。例如借助于嵌入在成像器中的自动曝光控制(auto exposure control,AEC)或专用摄像机SW模块的摄像机调节导致对整个图像或所调整的图像区域的亮度控制。在图像区域内,不能在面部与对象、如在面部后面的太阳、遮挡、例如手在面部前面的情况下的遮挡之间进行区分。这导致:在所调节的图像中借助于图像处理方法不再能找到面部,因为对比度和亮度不足。
在这里提出的方案中,针对典型情况设计的具有确定的集成时间或照明时长的工作点被确定。在该工作点,摄像机104和IR照明装置112提供对于头部跟踪(Head tracking)来说最优的图像。视成像器而定,该图像具有10位或12位的量化并且在第一步骤中例如通过借助于函数、如对数特性曲线进行10/12→8位映射或者通过简单的位选择或者从10/12位中剪下8位来执行。因此,原始图像被降低到8位分辨率并且被输送给头部跟踪算法。一旦头部110被探测到,就将跟踪数据、如2D头部边界框(head bounding box)、跟踪置信度(tracking Konfidenz)、面部取向、所探测到的面部标志以及跟踪状态机的当前状态输送给摄像机调节软件模块,以便依据图像质量参数、如对比度、亮度和亮度分布来执行经适配的图像调节。而如果没有探测到面部,则跳回到所规定的工作点。该过渡也许可以通过具有所限定的时长的时间方面的配置平滑地而不是硬转换到之前提及的工作点地进行。在此,在所提到的使用情况、如太阳在头部后面并且遮挡的情况下,避免了有关对象的不利的调节。在头部以之前探测到的面部接近摄像机104的情况下,与该情况适配的对图像的照明和集成可以保证对于头部跟踪来说最优的图像。
图2示出了按照实施例的内饰摄像机104的摄像机控制的作用链的图示。从内饰摄像机104出发,该作用链具有图像缓冲器200、预处理装置202、头部跟踪装置204、眼睛跟踪装置206和更高层面上的功能208。
内饰摄像机104给图像缓冲器200提供每个像素12位或10位的原始图像数据。原始图像数据210在预处理装置202中通过映射或通过非线性函数、例如位、如第十二位或第一位或者12位中的两个最低的第一和第二位的对数或丢弃一位来减少到8位图像数据212。在头部跟踪装置204中使用8位图像数据212来获得头部跟踪数据214。在调节装置120中按照这里提出的方案来使用头部跟踪数据214,以便使摄像机和IR曝光控制与头部跟踪数据214适配。对于头部跟踪来说,图像质量可以被改善。分析头部跟踪数据214,以便确定用于控制摄像机/IR的参数122。在此,尤其是将2D头部边界框作为令人感兴趣的区域(ROI = regionof interest)用于计算图像质量参数118。在此,可以考虑头部跟踪的质量/置信度水平。例如,如果超出接受水平/接受阈,则可以使用头部跟踪数据214或2D头部边界框。
可以使用置信度,以便调整令人感兴趣的区域来计算图像质量参数118。该令人感兴趣的区域的尺寸以最小尺寸和最大尺寸来限制,以便避免过小或过大的令人感兴趣的区域。
在头部旋转/取向时,如果面部不在前面,则可以冻结摄像机/IR参数122。
头部/面部的特征的可见性,即整个面部是否可见或者至少两只眼睛和鼻子或嘴角是否可见。通过靠近/远离摄像机来对付可能的遮挡。
如果头部跟踪处在跟踪(tracked)模式下,则头部跟踪状态可以被初始化/init,被跟踪/tracked或者被重新寻找/refind。在其它情况、即初始化(init)或重新寻找(refind)下,摄像机/IR控制没有被改变。
成像器曝光和IR照明时间在5A以及60fps的情况下约为500微秒。对于控制区域来说,最小曝光时间为40微秒而最大曝光时间为3毫秒。可能的默认设置是远大于7位的位移动或位位移(Bitshift)、预先给定的为一的增益、预先给定的为一的模拟增益。控制参数例如(PID控制器)。特别是针对面部之间的过渡的定时阈被检测并且未被检测到。
例如可以应用用于将12或10位图像映射到8位图像上的对数(log)函数,作为非线性的映射函数。
在这里提出的用于对不同的应用情况起作用的控制策略中,从良好地限定的工作点216出发,调整图像拍摄和曝光,其中由工作点216引起良好的所达到的图像质量,该图像质量适合于跟踪头部和眼睛。
图3示出了用于运行按照实施例的内饰摄像机的方法的流程图。该方法可以在用于运行的设备(如该设备例如在图1中示出的那样)上实施。该流程图具有存储框300、第一功能框302、第一判断框304、第二功能框306、第二判断框308和第三功能框310。在第三功能框310中包含第三判断框312、第四功能框314、第五功能框316、第四判断框318、第六功能框320和第七功能框322。在此,从存储框300出发以默认设置或在工作点开始,如在图2中所示出的那样。调整控制始于所检测到的面部或始于头部跟踪的输入信号。可以使用跟踪质量/置信水平、跟踪的更新速度、依据在2D图像平面内的面部边界框所估计的距离,以便调整图像的令人感兴趣的区域。使用该令人感兴趣的区域,以便计算图像质量参数并且执行相对于所配置的图像质量参数阈的检查。在简单的情况下,该令人感兴趣的区域可以是在图像之内的面部区域,该面部区域通过所检测到的面部边界框来显示。
为了避免在画面被遮挡时的控制,如果不再能检测到面部,则面部特征、如可见性、对称或遮挡根据头部跟踪来分析。例如当方向盘或手处在图像中时,图像质量、如亮度的自适应会在非面部处进行。
在此,只在对面部的(近的)正面视角的情况下进行控制。亮度对称和/或面部旋转或取向被检查。保持在头部轮廓方面的控制参数。只有当头部跟踪处在跟踪模式下时,才进行控制。在该模式下,只有面部特征或标志、如眼角和鼻孔通过应用例如卡尔曼滤波器来跟踪。在初始化模式下,在整个帧内寻找头部/面部候选者。在重新寻找模式下,头部跟踪尝试在比在跟踪模式下更大的图像区域之内寻找或检测头部。
如果没有检测到面部或者不满足条件,则使用预先给定的工作点来进行摄像机/IR控制。
该控制以两个阶段来执行。对于曝光来说,在使用曝光时间+/-曝光时间步长的情况下确定新的曝光时间。使用该步长来获得柔和的动态亮度变化,以便避免在帧之间的亮度水平的变化。控制速度与头部朝向摄像机的运动适配。可以将移动6位、7位或8位的位移动用作可选的阶段。如果在经适配的图像的情况下没有遵循关于良好的图像参数的阈,则可以执行向左或向右移动1到2位的进一步的位移动运算。主要的控制参数是曝光时间。阶段和作用范围、区间或范围可以反复地被测试。
参数的最小和最大区间。最小和最大曝光时间受限制,例如在40微秒与3毫秒之间。这些值基于启发,以便能够实现接近预先给定的工作点的调整。以向左和向右最大2位来进行位移动。
Img_qpar或图像质量参数、如亮度和对比度的计算以及实际图像参数与额定图像质量参数qpar_thr(理想地等于平均值)、如在8位图像中约128 LSB的图像亮度的比较。
下一个帧的曝光时间例如可以通过12C来调整,以便基于对当前的帧的分析来获得更接近良好的图像参数的结果。如果该结果例如太暗,则可以提高曝光时间,如果该结果太亮,则可以减少曝光时间。范围或作用范围以及步骤或阶段可以启发式地来分析。
可以应用标准化的控制、例如通过PID控制器的控制。指令参量w是图像质量参数,反馈x是控制参数,调节偏差e是用于控制器的差。
头部跟踪质量和根据在2D图像平面内检测到的面部边界框所估计的距离可以被用于调整令控制感兴趣的区域。令人感兴趣的区域(ROI)对于计算图像质量参数来说以及对于相对于所配置的阈进行检查来说是重要的。
换言之,在预先给定的曝光时间exp_time和位移动bitshift的情况下拍摄帧n。为此,还使用预先给定的摄像机拍摄参数cam_capture_par。询问在帧n-1内是否检测到头部。
如果检测到头部,则计算帧n的质量参数qpar,qpar是图像质量参数,如在整个图像或面部边界框内的图像亮度或者对比度。接着是另一询问:qpar是大于还是小于阈值qpar_thr。在此,如果qpark大于qpar_thrk而qpark+1大于qpar_thrk+1而且处在运算上的头部相关的参数和阈值之内,则qpar大于qpar_thr。
如果询问为正面,则调整曝光时间exp_time并且在使用控制器的情况下调整帧n+1的位移动。在第一阶段调整曝光。如果g_mean小于g_mean_thr,则将exp_time(n+1)设置到clip(exp_time(n)+exp_time_step)。如果g_mean大于g_mean_thr,则将exp_time(n+1)设置到clip(exp_time(n)-exp_time_step)。在此,exp_time_range为0.5至3ms。exp_time_step为0.5ms。
在第二阶段调整位移动。如果qpar(n) - qpar(n-1)大于qpar_delta_thr而且last_adj_act大于last_adi_act_thr,则将bitshift(n+1)调整为bitshift(n) <<bitshift_step。如果qpar(n) - qpar(n-1)小于qpar_delta_thr而且last_adj_act小于last_adi_act_thr,则将bitshift(n+1)调整为bitshift(n) >> bitshift_step。在此,bitshift_range为6至8而Bitshift_step为1。
在一个实施例中,在第一阶段基于直方图地来调整曝光。如果Hist_pix_cnt大于pix_cnt thr和平均灰度值(mean grey value),即Hist_pix_dark_cnt大于pix_dark_cnt_thr而且g_mean小于g_mean_thr,则将exp_time(n+1)设置到clip(exp_time(n)+exp_time_step)。如果Hist_pix_cnt小于pix_cnt thr和平均灰度值(mean grey value),即Hist_pix_bright_cnt大于pix_bright_cnt_thr而且g_mean大于g_mean_thr,则将exp_time(n+1)设置到clip(exp_time(n)-exp_time_step)。
图4示出了针对用于运行按照实施例的内饰摄像机的方法的控制器400的状态图。控制器被实施为有限自动机或状态机或有限状态机(Finite-State-Machine,FSM)。在此,该控制器基本上对应于图3中的控制器。控制器400具有第一功能框402、第二功能框404和第三功能框406。在此,在全局状态下一直使用全局ROI作为规定值,如没有识别出头部那样。如果识别出头部,则控制器400变换到在头部跟踪ROI之内的头部跟踪状态下。如果头部不再被识别出,则控制器400在过渡时间内变换到具有过渡ROI的过渡状态下。如果头部在过渡时间之内重新被识别出,则控制器400重新变换到头部跟踪ROI中的头部跟踪状态下。如果头部在过渡时间之内并未重新被识别出,则控制器400重新变换到具有全局ROI的全局状态下。
图5示出了对在按照实施例的内饰摄像机的图像中的对象500的探测的图示。在此,如在图4中示出的那样,以对令人感兴趣的区域502(ROI)的预先设置的调整来开始。在规定状态下,内饰摄像机以Fix exposure time或固定曝光时间或者以自适应的曝光时间或以自适应的exposure time来运行。使用头部500的概率最高的ROI 502。该令人感兴趣的区域502可以被称作头部区域502。
在头部跟踪时的ROI参量取决于所检测到的头部500的二维参量、头部跟踪的质量和头部跟踪的帧速。令人感兴趣的区域502的中心是所检测到的二维头部500的中心,带有边界,以便使令人感兴趣的区域502保持在图像之内。
额定值关于时间线性地被转换。如果曝光时间固定,则使用上升时间更长的低通滤波器。如果曝光时间是自适应的,则令人感兴趣的区域502的角从头部跟踪更线性地被转换成全局ROI角。
图6示出了用于运行按照实施例的内饰摄像机104的算法的流程图。控制器实施基于模型的算法。最优的操纵值或曝光时间û在使用逆模型600的情况下被计算。在此,输入信号u是曝光时间。输出信号y是图像像素值的平均值。两个值在逆模型中被处理而且得到所估计的最优的输入信号û,该输入信号通过具有0.14秒的上升时间的LPF低通滤波器602来滤波,以便重新被用作输入信号u。
图7示出了用于运行按照实施例的内饰摄像机的调节系统的框图。该调节系统实现在图6中示出的算法。在使用平均额定值和图像平均值(y)的情况下,在计算装置700中计算曝光时间作为系统的所估计的最优的输入信号(û)。在此,平均额定值是预先限定的图像平均值,该预先限定的图像平均值导致良好的图像质量。图像平均值是下采样或downsample的图像的图像像素值的所计算出的平均值。输入信号(û)在具有0.14秒的上升时间的低通滤波器602中被滤波。在映射装置702中,将系统的输入信号映射到摄像机控制变量上。在此,摄像机操纵变量是曝光时间、增益和位移动。
图8示出了按照实施例的内饰摄像机104的应用情况的图示。在此,该应用情况基本上对应于图1中的应用情况。这里,不同于此,头部110接近摄像机104或IR 112地布置在头部区域106的近边界或头部运动框(head motion box)HMB 106的始端。
图9示出了按照实施例的内饰摄像机104的应用情况的图示。在此,该应用情况基本上对应于图1中的应用情况。这里,不同于此,头部110远离摄像机104或IR 112地布置在头部区域106的远边界或头部运动框(head motion box)HMB 106的末端。
图10示出了按照实施例的内饰摄像机104的应用情况的图示。在此,该应用情况基本上对应于图1中的应用情况。这里,对象1000布置在摄像机与头部110之间。在此,对象1000部分地遮挡头部110。遮挡对象1000、例如手或者方向盘将面部的部分遮住。
图11示出了按照实施例的内饰摄像机104的应用情况的图示。在此,该应用情况基本上对应于图1中的应用情况。这里,通过外部光源1100来将头部110照亮。在此,周围环境光,例如来自基础设施或者来自迎面驶来的车辆的头灯的周围环境光和/或不同角度的太阳光、如来自正面、来自侧面以及来自后面的太阳引起大的动态范围。周围环境光、基于头部运动范围106(头部运动框(head motion box,HMB))和干扰对象而相对于摄像机104或IR112的位置不同的头部位置的周围环境光需要具有良好的图像质量的摄像机控制,用于计算机视觉。
图12示出了用于运行按照实施例的内饰摄像机的方法的流程图。该方法具有调节的步骤1200。在此,如果在内饰摄像机的先前检测的图像中探测到目标人员的头部,则在使用该图像的至少一个质量参数的情况下调节内饰摄像机的至少一个摄像机参数。如果没有探测到头部,则将摄像机参数设置到预先限定的值。
如果一个实施例包括在第一特征与第二特征之间的“和/或”逻辑关系,那么这被察知为使得该实施例按照一个实施方式不仅具有第一特征而且具有第二特征,而按照另一实施例或者只具有第一特征或者只具有第二特征。
Claims (8)
1.一种用于运行车辆(100)的内饰摄像机(104)的方法,所述内饰摄像机具有照明装置(112),所述照明装置具有对准头部区域(106)的至少一个红外光源(114、116),其中在调节的步骤(1200)中,如果在所述内饰摄像机(104)的先前检测的图像中探测到目标人员(108)的头部(110),则在使用所述图像的至少一个质量参数(118)的情况下调节所述内饰摄像机(104)的至少一个摄像机参数(122)并且所述质量参数(118)与所述图像的头部区域(502)相关,其中如果没有探测到头部(110),则所述摄像机参数(122)被设置到预先限定的值,其中所述预先限定的值与预期的头部位置匹配。
2.根据权利要求1所述的方法,其中在调节的步骤(1200)中,使用所述图像的对比度、亮度和/或亮度分布作为质量参数(118),以便调节所述内饰摄像机(104)的曝光时间和/或灵敏度,作为摄像机参数(122)。
3.根据上述权利要求1至2之一所述的方法,其中在调节的步骤(1200)中,使用所述图像的对比度、亮度和/或亮度分布作为质量参数(118),以便调节所述内饰摄像机(104)的照明装置(112)的光强度,作为摄像机参数(122)。
4.根据上述权利要求1至2之一所述的方法,所述方法具有调整的步骤,在所述调整的步骤中,调整所述内饰摄像机(104)的原始图像信号(210)的颜色深度,以便获得工作图像信号(212),其中在所述工作图像信号(212)的图像中探测所述头部(110)。
5.根据权利要求4所述的方法,其中在调整的步骤中,从所述原始图像信号(210)中提取出颜色深度谱,以便获得所述工作图像信号(212)。
6.根据权利要求4所述的方法,其中在调整的步骤中,所述原始图像信号(210)的原始色度在使用处理规定的情况下被分配到所述工作图像信号(212)的工作色度,以便获得所述工作图像信号(212)。
7.一种用于运行车辆(100)的内饰摄像机(104)的设备(102),所述设备被设立为:在至少一个相对应的单元(120)中实施根据上述权利要求之一所述的方法。
8.一种机器可读存储介质,在其上存储有计算机程序,所述计算机程序被设立为实施根据上述权利要求1至6之一所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016215766.3 | 2016-08-23 | ||
DE102016215766.3A DE102016215766A1 (de) | 2016-08-23 | 2016-08-23 | Verfahren und Vorrichtung zum Betreiben einer Innenraumkamera |
PCT/EP2017/069684 WO2018036784A1 (de) | 2016-08-23 | 2017-08-03 | Verfahren und vorrichtung zum betreiben einer innenraumkamera |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109565549A CN109565549A (zh) | 2019-04-02 |
CN109565549B true CN109565549B (zh) | 2021-03-23 |
Family
ID=59699653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780051672.7A Active CN109565549B (zh) | 2016-08-23 | 2017-08-03 | 用于运行内饰摄像机的方法和设备 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3504871A1 (zh) |
CN (1) | CN109565549B (zh) |
DE (1) | DE102016215766A1 (zh) |
WO (1) | WO2018036784A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7210965B2 (ja) | 2018-09-26 | 2023-01-24 | 株式会社アイシン | 室内監視装置 |
JP6894880B2 (ja) * | 2018-11-07 | 2021-06-30 | 矢崎総業株式会社 | 監視システム |
DE102019202302B3 (de) | 2019-02-20 | 2020-01-02 | Zf Friedrichshafen Ag | Verfahren, Steuergerät und Computerprogrammprodukt zum Bestimmen einer Kopforientierung und/oder -position eines Fahrzeuginsassen |
DE102019114754A1 (de) * | 2019-06-03 | 2020-12-03 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Betreiben einer Innenraumkamera während einer Fahrt eines Fahrzeugs, computerlesbares Medium, System, und Fahrzeug |
FR3101568B1 (fr) * | 2019-10-03 | 2022-08-05 | Aleph Sas | Procede de fabrication d’un film comportant des cavites avec determination de profils d’etirage, de masse volumique, d’epaisseur et/ou de porosite du film |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103477347A (zh) * | 2011-03-31 | 2013-12-25 | 罗伯特·博世有限公司 | 用于分析由车辆的摄像机拍摄的图像的方法和图像预处理设备 |
CN105302135A (zh) * | 2015-09-18 | 2016-02-03 | 天津鑫隆机场设备有限公司 | 基于双目视觉的助航灯光光强检测车导航与定位系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7616233B2 (en) * | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
US8896725B2 (en) * | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
JP2008094221A (ja) * | 2006-10-11 | 2008-04-24 | Denso Corp | 目状態検出装置および目状態検出装置の取り付け方法 |
US8520979B2 (en) * | 2008-08-19 | 2013-08-27 | Digimarc Corporation | Methods and systems for content processing |
US8233789B2 (en) * | 2010-04-07 | 2012-07-31 | Apple Inc. | Dynamic exposure metering based on face detection |
CN101866215B (zh) * | 2010-04-20 | 2013-10-16 | 复旦大学 | 在视频监控中采用视线跟踪的人机交互装置和方法 |
CN203327138U (zh) * | 2013-07-26 | 2013-12-04 | 朱耀辉 | 球型摄像机 |
FR3013875B1 (fr) * | 2013-11-25 | 2017-03-31 | Renault Sas | Systeme et procede de formation d'images nocturnes pour un vehicule automobile. |
CN104036238B (zh) * | 2014-05-28 | 2017-07-07 | 南京大学 | 基于主动光的人眼定位的方法 |
-
2016
- 2016-08-23 DE DE102016215766.3A patent/DE102016215766A1/de active Pending
-
2017
- 2017-08-03 WO PCT/EP2017/069684 patent/WO2018036784A1/de unknown
- 2017-08-03 CN CN201780051672.7A patent/CN109565549B/zh active Active
- 2017-08-03 EP EP17757472.0A patent/EP3504871A1/de not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103477347A (zh) * | 2011-03-31 | 2013-12-25 | 罗伯特·博世有限公司 | 用于分析由车辆的摄像机拍摄的图像的方法和图像预处理设备 |
CN105302135A (zh) * | 2015-09-18 | 2016-02-03 | 天津鑫隆机场设备有限公司 | 基于双目视觉的助航灯光光强检测车导航与定位系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109565549A (zh) | 2019-04-02 |
EP3504871A1 (de) | 2019-07-03 |
DE102016215766A1 (de) | 2018-03-01 |
WO2018036784A1 (de) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109565549B (zh) | 用于运行内饰摄像机的方法和设备 | |
JP7138168B2 (ja) | 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法 | |
JP4248558B2 (ja) | 道路区画線検出装置 | |
US11108970B2 (en) | Flicker mitigation via image signal processing | |
EP3484141A1 (en) | Image processing device, image processing method, and image processing circuit | |
US20080166052A1 (en) | Face condition determining device and imaging device | |
US20080024606A1 (en) | Image processing apparatus | |
US8885092B2 (en) | Camera device, exposure control method, and program | |
JP6187817B2 (ja) | 顔検出装置、方法およびプログラム | |
JP6701253B2 (ja) | 車外環境認識装置 | |
US10922827B2 (en) | Distance estimation of vehicle headlights | |
US10336256B1 (en) | Reduction of LED headlight flickering in electronic mirror applications | |
EP1703462B1 (en) | System or method for enhancing an image | |
JP2010134490A (ja) | 検出装置および方法、並びに、プログラム | |
US9367749B2 (en) | Object detection apparatus | |
CN110378183B (zh) | 图像解析装置、图像解析方法及记录介质 | |
CN112990140B (zh) | 手势轮廓提取方法、装置、可读存储介质及电子设备 | |
CN112949423B (zh) | 物体识别方法、物体识别装置及机器人 | |
JP2019139313A (ja) | 隊列走行制御装置、隊列走行制御システム、隊列走行制御方法 | |
CN110611772A (zh) | 车用取像装置及其曝光参数设定方法 | |
US20130088463A1 (en) | Apparatus and method for recognizing image with increased image recognition rate | |
WO2021181775A1 (ja) | 映像処理装置、映像処理方法および映像処理プログラム | |
KR102188163B1 (ko) | 저조도 영상의 전처리 시스템 및 그 방법 | |
JP4577301B2 (ja) | 顔向き検知装置 | |
JP2014216694A (ja) | 高解像度化処理付き追尾雲台装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |