CN111355940A - 避免光源致人眩晕 - Google Patents

避免光源致人眩晕 Download PDF

Info

Publication number
CN111355940A
CN111355940A CN201911162022.7A CN201911162022A CN111355940A CN 111355940 A CN111355940 A CN 111355940A CN 201911162022 A CN201911162022 A CN 201911162022A CN 111355940 A CN111355940 A CN 111355940A
Authority
CN
China
Prior art keywords
image
light source
camera
person
beam cone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911162022.7A
Other languages
English (en)
Inventor
M·巴赫胡贝尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Diehl Aerospace GmbH
Original Assignee
Diehl Aerospace GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Diehl Aerospace GmbH filed Critical Diehl Aerospace GmbH
Publication of CN111355940A publication Critical patent/CN111355940A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D11/00—Passenger or crew accommodation; Flight-deck installations not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D11/00—Passenger or crew accommodation; Flight-deck installations not otherwise provided for
    • B64D11/0015—Arrangements for entertainment or communications, e.g. radio, television
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • B60Q3/72—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose for preventing the driver from being dazzled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/40—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors specially adapted for specific vehicle types
    • B60Q3/41—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors specially adapted for specific vehicle types for mass transit vehicles, e.g. buses
    • B60Q3/43—General lighting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J3/00—Antiglare equipment associated with windows or windscreens; Sun visors for vehicles
    • B60J3/04—Antiglare equipment associated with windows or windscreens; Sun visors for vehicles adjustable in transparency
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D11/00—Passenger or crew accommodation; Flight-deck installations not otherwise provided for
    • B64D2011/0038—Illumination systems for cabins as a whole
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D11/00—Passenger or crew accommodation; Flight-deck installations not otherwise provided for
    • B64D2011/0061—Windows displaying outside view, artificially generated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D2203/00—Aircraft or airfield lights using LEDs
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21W—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
    • F21W2106/00—Interior vehicle lighting devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21W—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
    • F21W2107/00—Use or application of lighting devices on or in particular types of vehicles
    • F21W2107/30—Use or application of lighting devices on or in particular types of vehicles for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Refuge Islands, Traffic Blockers, Or Guard Fence (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)

Abstract

本公开涉及避免光源致人眩晕。在一种用于避免布置在交通工具(22)的内部(20)中的光源(6)致人(10)眩晕的方法中，其中光源(6)在操作期间在光束锥(26)内发射光(24)，相机(4)布置在内部(20)中并且被定向成使得光束锥(26)的人(10)能够进入的至少一个监视区段(28)位于相机(4)的视场(30)中，相机(4)记录相机图像(32)，使用机器人员检测，根据相机图像(32)确定人(10)的至少一个部分是否位于光束锥(26)内，在此情况下，将至少光束锥(26)的人(10)的所述部分所在的区域(18)切换为不眩目。

Description

避免光源致人眩晕
技术领域
本发明涉及光源致人眩晕，其中光源布置在交通工具的内部。
背景技术
DE 102016 006 703 A1公开了一种投影仪，用于在作为交通工具的飞机的内部(特别地，在作为内部的客舱中)产生光投影。在实践中要避免由投影仪发射的光致人(例如相应飞机上的乘客)眩晕。
因此，本发明的目的是改善利用这种光源的状况。
发明内容
本发明的目的通过根据专利权利要求1的方法来实现。本发明和其它发明类别的优选或有利实施例根据进一步的权利要求、根据以下说明书以及根据附图而变得清楚。
该方法用于避免光源致人眩晕。光源布置在交通工具的内部，其中光源在工作期间在光束锥(beam cone)内发射光。在该方法中，相机布置在内部中，并且被定向成使得光束锥的特定人或任何人可以或可能进入的至少一个监视区段(即，部分)位于相机的视场内。
然后，相机记录相机图像。使用机器人员检测，然后根据相机图像确定人的至少一部分是否位于光束锥内或监视区段中。如果人的至少该部分位于光束锥或监视区段内，则将人的至少该部分所在的光束锥的区域切换为不眩目。
该方法涉及位于交通工具的内部并且可能潜在地进入光束锥因而面临被光源致眩的风险的人员。特别地，光源是投影仪。特别地，光源安装在内部中。
光束锥描述了光源可能潜在地在其中发射光的空间区域。然后，取决于光源和工作状态，可能的实际光发射全部或部分地在光束锥内发生。在此，“锥”在广泛的数学意义上是指其底部区块具有任何期望形状的体，其中这里的锥特别地具有矩形的底部区块，该底部区块与作为光源的投影仪在目标区块上呈现的最大图像内容对应。
由于该方法，使用机器人员检测来检测在光源的正常操作期间是否有人位于光源的光束锥内并且因而会致眩。但是，通过将光束锥至少在人的位置、至少其头部的位置、至少其眼睛的位置处相应地切换为不眩目，避免实际的眩光。
“切换为不眩目”意味着光源的光的强度被限制到不再被人感知为“眩光”的最大值。例如，这可以基于平均感知。在此，例如可以通过测试、估计等分别确定相应的降低的亮度，这取决于光源的特性、安装情况、任何人与光源的预期最小距离等。在此，光强度例如可以在小于3、至多4、至多5、至多6或至多7或至多8或至多9的de Boer尺度的范围内选择(特别地，参见：“Blendung-Theoretischer Hintergrund,Informationen des Instituts fürArbeitsschutz der DGUV”(Glare-Theoretical Background,Information of theInstitute for Occupational Safety and Health of the German Social AccidentInsurance)，IFA Institut für Arbeitsschutz der Deutschen GesetzlichenUnfallversicherung(Institute for Occupational Safety and Health of the GermanSocial Accident Insurance)，2010年5月，第9页，表1，2018年10月30日检自“https://www.dguv.de/medien/ifa/de/fac/strahl/pdf/blendung_theorie.pdf”。
在一个优选实施例中，当人的至少一部分位于光束锥内时，将整个光束锥切换为不眩目。这特别简单，因为光束锥整体上变为不眩目，或者光源对于整个光束锥变为不眩目。由此避免了光源对于光束锥的具体部分的选择性操作或选择性关闭或遮挡。
在优选实施例中，通过仅针对相关区域将光源切换为不眩目或关闭光源，来将光束锥的区域切换为不眩目。于是该区域是人的区域，即，例如所述人的轮廓、其头部或其眼睛。由此，光源的亮度局部降低到不眩目程度或者被设置为零。可以特别容易地实现将光源相应地切换为不眩目。
在优选实施例中，光束锥对准内部的目标区块，并且相机被定向成使得目标区块的至少部分区域位于相机的视场内。特别地，相机的视场因此至少包含目标区块的至少部分区域，并且特别地还包含不对目标区块成像的剩余部分。光源的光束锥终止于目标区块。在实践中，可以想到许多这样的情况：人可能有意地更多地位于目标区块的区域中而不是位于光源的区域中，因此有眩光的风险。利用本实施例可以特别高效地管理这种情况。
特别地，目标区块是飞机的客舱中的行李箱。所述行李箱一般位于平均身高的成年人的头部水平处。因此，在此，眩光的风险尤其成为一种问题。
在这个实施例的优选变体中，在机器视觉中或机器人员检测中不考虑由相机捕获的目标区块的(特别是整个或整体)部分区域。特别地，不考虑整个部分区域。因此，特别地，仅评估相机图像的不与该部分区域对应的剩余部分，即，特别地，该部分区域附近或者与该部分区域相邻的另一个区域。
特别地，在另一个变体中，不是不考虑目标区块的整个部分区域，而仅仅不考虑其一部分；特别地，该部分区域没有被整体地忽略，具体而言是作为由光源(特别是投影仪)在目标区块上呈现的图像内容的一部分的、有人和/或移动的部分区域被忽略。以这种方式，总体地(或者在这个变体中有目的地)避免作为光源产生的图像内容的一部分的人和/或移动被错误地检测为有眩光风险的人的部分。特别地，在此，在机器视觉或机器人员检测中可以不考虑由光源照射的整个目标区块。这特别容易实现。
可替代地，仅目标区块的呈现相应图像内容的部分从机器视觉或从机器人员检测中排除。但是，可以继续利用其检测位于光源的光束锥内的真实的人。换言之，由光源在目标区块上呈现的人的部分特别地被识别为图像内容的一部分，并且在此情况下，光束锥不被切换为不眩目。
在优选实施例中，相机被定向成使得光束锥的附近(邻接光束锥)也位于相机的视场内。以这种方式，还可以在人接近光束锥时立即对其进行检测。以这种方式，可以在人进入光束锥之前将光束锥切换成不眩目，以防万一。因此可以在任何时候防止眩光。当目标区块被排除在人员检测之外时(例如由于再现的图像内容等，参见上文)，也可能推断进入光束锥的人进入所述光束锥中。
在优选实施例中，相机被放置在光源旁边。相机的这种安装位置是特别有利的，因为以这种方式，光束锥和/或可能还有目标区块或目标区块的由光源照射的一部分可被相机完全捕获或基本上完全捕获。
在优选实施例中，作为机器人员检测的一部分执行机器视觉和/或人脸检测和/或纹理检测和/或移动检测。对应的方法特别适于机器人员检测。
该目的还通过根据前述权利要求之一的方法中的机器人员检测的根据权利要求10的用途来实现。已经结合根据本发明的方法类似地解释了该用途及其至少一些实施例以及相应的优点。
本发明基于以下发现、观察或考虑，并且还包括以下实施例。在此情况下，部分地为了简化的目的，实施例也被称为“本发明”。在此情况下，实施例还可以包含上面提到的实施例的部分或组合，或者与它们对应，和/或还可以包括尚未提及的实施例。
本发明基于将光源(投影仪)集成在飞机机舱中以将光(图像)投影到目标区块(例如，行李箱或界标的表面)的构思。在许多集成场景中，不能防止乘客在投影仪的光束中移动并且可能由此致眩(视线情况)。为了仍然能够利用这些集成场景而不会对乘客造成负面影响，本发明提出了一种方法，该方法取决于乘客是否进入眩光区域的情况而关闭光束或遮挡光束。在此情况下，特别地，“遮挡”也可以被理解为意指在人脸检测的情况下仅局部地在人脸的区域中关闭光束。
本发明基于应当不仅限于避免眩光情况的考虑，即，由投影仪的相应集成。
本发明基于通过使用机器视觉来实现目标的想法。为此，除了系统投影仪目标区块之外，还安装了可以捕获投影的图像的区域及其附近环境的相机。基于诸如人脸检测、纹理检测或移动检测之类的各种方法，在此确定是否有人位于存在眩光风险的区域中(特别地，位于光束锥中)。依赖于该方法，可以停用整个光源，或者可以遮挡可能引起眩光的相关图像区域。还可以考虑以下事实：投影的图像内容中存在的人或移动没有被不正确地检测为眩光情况并导致光源被关闭。
该方法的优点在于，使用所描述的方法，还可以使用否则会导致乘客致眩的目标区块或投影区块或集成场景(一般而言是照明情形)。
本发明具有两个核心方面：第一，使用计算机视觉来避免飞机机舱中的投影和照明系统的眩光。第二，避免可能由于投影的图像内容中的类似人的元素而发生的错误的检测。
根据本发明，已经开发了在投影系统控制领域中通过相机来检测人是否被投影仪致眩的功能。在眩光的情况下，将停用投影仪，或者将遮挡图像中的相应区域。因此，本发明描述了相机控制的避免致人眩晕的方法。
根据本发明，通过机器人员检测来实现避免乘客致眩。通过机器人员检测，特别是通过机器视觉(计算机视觉)，避免或减少了飞机机舱中的投影仪/光源可能造成的乘客致眩。
附图说明
根据下面对本发明的一个优选的示例性实施例的描述和附图，本发明的其它特征、效果和优点将变得清楚。在附图中，在每种情况下，在示意图中：
图1示出了根据现有技术的卷积蒙版(Viola&Jones，2001年)，
图2示出了根据现有技术的级联的分类器(Viola&Jones，2001年)，
图3示出了根据本发明的测试设置的图，
图4示出了图1的测试设置的空间视图，
图5示出了匹配的图示，
图6示出了投影中的差图像，
图7示出了投影周围的差图像，
图8示出了特征图像，
图9示出了结构图像，
图10示出了人脸检测。
具体实施方式
根据本发明，系统检测人何时位于投影仪和由所述投影仪投影的区块之间。当目的是避免不便地致人眩晕时，这是有利的。因此，在此情况下，目的是关闭投影仪，或者在其它版本中，目的是关闭投影仪的人所在的区域。
这里采用多种方案，其在每种情况下以不同的方式满足飞机机舱中的条件，因为由于振动和亮度变化，图像处理中存在许多限制。
首先，将讨论与各种方法有关的图像处理的理论基础。接下来，将描述对于使用的部件和软件的测试设置。在此基础上，将讨论五种方法：“在投影中进行检测”，利用差图像的“在投影周围进行检测”，特征检测和结构检测以及“使用人脸检测进行检测”。最后，将评估各个方法的结果。
基本原理：
特征检测：
特征检测的目的是再识别不同图像中的给定图像特征。在此，再识别应当独立于平移、旋转和尺度缩放。因此，在两个图像中搜索与彼此相比较的感兴趣点，从而可以进行再识别。
KAZE：
KAZE是由Pablo F.Alcantarilla、Jesús Nuevo和Adrien Bartoli开发的一种用于特征检测的算法。这种算法使用Hessian矩阵检测感兴趣点。在此，执行对于Hessian矩阵的行列式达到局部最大值的位置的搜索。这些点一般是令人感兴趣的，因为其包含足够的结构以便在比较图像中对其进行再识别。此外，创建尺度空间以使尺度不变性成为可能。尺度空间意味着使用不同的过滤器尺寸对输出图像进行多次过滤，因此图像以多种尺度而存在。为了确保比较图像中的再识别，需要描述所述感兴趣的点。这是利用64维特征向量完成的，该特征向量由亮度和梯度信息组成，并且在尺度、旋转和平移方面不变。然后使用搜索算法建立输出与比较图像之间的对应关系。(Alcantarilla,Nuevo和Bartoli，2012年)。
Ransac：
为了最小化不正确的指派，使用RANSAC方法。在此情况下，从所有指派中选择随机子集，并确定与所述方案一致的指派的数量。一旦发现不包含离群值的子集，这个集合就特别大。(Kunz,Bildverarbeitung SS 2016第20章，2016年)
差图像：
在差图像的情况下，实现两个图像相对于彼此的像素级相减。为此需要灰度图像。
g′(x,y)＝g1(x,y)-g2(x,y)
其中g1(x,y),g2(x,y)＝输入图像，并且g'(x,y)＝输出图像。
使用这种方法可以辨别两个图像之间的差异。由于图像处理中的移动是灰度值的改变，因此也可以用这种方法检测移动。因此，如果g1(x,y)是有人的图像，而g2(x,y)是没有人的图像，则这意味着所有不为零的像素值都包括改变(Erhardt，2008年)。如果现在还建立了阈值，并且对新创建的输出图像进行了二值化处理，则结果是黑白蒙版，该蒙版仅再现改变。
由于相机的移动和亮度改变也意味着灰度的改变，因此该方法相对于相机的移动和亮度改变是不鲁棒的。
高斯混合：
为了抵消背景图像中的改变以及振动，可以使背景模型自适应。为此，OpenCV实现了扩展差图像方法“高斯混合”(MOG)。该方法基于Chris Stauffer和W.E.L.Grimson的论文(Chris Stauffer，1999年)。该方法非常适合由于亮度改变或移动而在背景中产生不断的改变的情况，例如在风中摇曳的树或海中的波浪的运动的记录中。
在该方法中，来自先前图像的每个个体像素的值的频率被结合在背景模型的计算中。已经记录的这些值被认为是正态分布的随机变量，并表示为高斯分布。在此，像素的不同值接收不同的高斯分布。根据以下公式计算是否要观察像素的概率：
Figure BDA0002286366810000081
在此，K是分布的数量，ωi是权重，并且η(X,μi,t,Σi,t)是高斯概率密度函数。然后不停地将新的像素值与高斯分布比较，直到找到命中为止。命中被定义为2.5的标准偏差内的像素值。如果未找到命中，则将最低拟合分布替换为当前分布，并且适应性修改权重。以这种方式，可以将改变(诸如光或振动)结合到背景模型中。
为了对于像素是属于前景图像还是属于背景图像进行分类，按其概率对高斯分布进行排序。具有高于阈值的大概率的分布被认为是背景，而具有低于阈值的概率的分布被认为是前景。
图像纹理：
一种合适的用于检测结构的基础是“Laws纹理能量测量(Laws Texture EnergyMeasurement)”(Laws，1980年)。它的开发目的是分析图像中的结构并指示其包含多少能量。在此，将图像与5*5卷积蒙版进行卷积以突出结构。下面的卷积公式被用于图像的卷积：
Figure BDA0002286366810000091
具体而言，卷积意味着在输入图像中用卷积蒙版将每个点k确定为目标。在蒙版内的每个点处，形成乘积，将其相加，然后将其写入位置k处的输出图像中。
Laws使用的卷积蒙版是根据不同的向量计算得出的，这些向量可以针对对应的图像内容在每种情况下进行组合。
L5(水平)＝[1 4 6 4 1]
E5(边缘)＝[-1 -2 0 2 1]
S5(斑点)＝[-1 0 2 0 -1]
R5(纹波)＝[1 -4 6 -4 1]
L5向量计算局部平均值，E5检测边缘，S5检测斑点，R5适用于波型结构。当由这些向量中的两个向量形成乘积时，产生二维卷积蒙版，该卷积蒙版根据相应的向量特性对输出图像进行卷积，并且在随后的二值化之后获得仅示出图像中的结构的二值图像。
人脸检测：
在人脸检测中，针对不同特征分析数字图像以检测人脸。最常见的方法之一是基于用训练数据进行的模式识别的OpenCV实施方式，在Paul Viola和Michael Jones发表的“Rapid Object Detection using a Boosted Cascade of Simple Features”(Viola&Jones，2001年)中进行了描述。这种算法允许以低错误率进行快速计算，这意味着近乎实时的鲁棒检测也是可能的。
在根据Viola和Jones的用于人脸的模式识别中，必须首先产生训练数据。在此过程中，既使用正图像(即，示出人脸的图像)，也使用负图像(即，没有人脸的图像)。出于分析的目的，使用不同尺度的Haar小波进行卷积(卷积参见0图像纹理)。Haar小波是由矩形函数形成的简单卷积蒙版，参见图1中的用于人10的成像表示中的卷积蒙版40a、40b(Viola&Jones，2001年)。在卷积中，从24×24像素的区段中的白色矩形的总和中减去黑色矩形的总和。为了优化这个过程，使用总区块表执行计算。在求和的区块表中，将各个像素值相加。由此可以仅用四个数学运算获得各个区段的总和。为了从多个计算值中仅找到有用的值，Viola和Jones使用AdaBoost算法进行机器学习。在此，根据正图像和负图像以及其中计算出的特征来创建分类器。此外，在扩展的自适应方法中，进而将简单的分类器组合为一个。
然后可以使用已经生成的训练数据来检测人脸。为此，图像区段运行通过级联的分类器，这些分类器基于计算出的特征数据来判断这是负图像(“F”)还是正图像(“T”)。图2示出了级联的(“1”，“2”，“3”)分类器(Viola&Jones，2001年)，具有步骤A“所有子窗口”、步骤B“进一步处理”和步骤C“拒绝子窗口”。
测试设置：
开发环境：
为了实现该系统，在开发环境Eclipse中使用编程语言C++。图像处理的实施方式是通过OpenCV框架实现的。OpenCV形式的文档中的教程构成了AKAZE和差图像方法的基础。(Alcantarilla，Nuevo和Bartoli，2012年)(How to Use Background SubtractionMethods，2017年)。
设置：
根据图3(示意图)和图4(视图)的测试设置用于测试系统。该图包含目标区块2，目标区块2在当前情况下是交通工具22(在当前情况下是飞机)的内部20(在当前情况下是客舱)中的行李箱或面板上的投影区块。该设置还包含网络摄像头形式的相机4、投影仪形式的光源6以及计算机8(在当前情况下为笔记本电脑)。相机4布置在光源6或投影仪旁边。投影仪在光束锥26内产生光24，从而产生图像14b(投影到目标区块2上)。所述图像表现出具体的图像内容15，在当前情况下是具有天空的风景。相机4捕获所产生的图像14b(或入射在目标区块2上的整个光束锥26)和附近17(即，附加的、更大的评估区域)。由此，相机4在其视场30中捕获光束锥26的监视区段28。在这方面，相机4记录相机图像32。
计算机8控制投影仪并产生视频信号，并使用机器人员检测来评估相机图像32，以确定人10或所述人的一部分是否位于光束锥26中。测试设备为LED投影仪Optoma ML750ST和网络摄像头Logitech C920。在使用两个支架的测试布置中，将它们提升到与行李箱(目标区块2)齐平并且指向行李箱(目标区块2)。在此要注意的是，相机的自动对焦已停用。在开发阶段期间，为了测试目的而录制视频。在此(由箭头12指示)，人10穿过投影，并且在此期间，投影仪6被(整个或局部地)关闭并再次打开或者切换为不眩目。在测试系统时，作为扩展屏幕的投影仪6和网络摄像头4被连接到膝上型计算机(计算机8)，在该膝上型计算机上执行编程代码。由OpenCV产生的窗口在扩展屏幕上以全屏模式打开以显示要在投影仪6上显示的内容。
在光束锥26中检测到人10的一部分时，人10的该部分所在的区域18被切换为不眩目(在当前情况下是被关闭)。在相应区域18中再现亮度为零的“黑”图像内容，而不是图像14a。
解决方案：
方案1：在投影的图像中进行检测
在这种方案中，要对投影中的人进行检测，具体而言，不是在可以在相机图像中看到人时进行检测，而是在进入投影时进行检测。为了触发检测，要通过AKAZE特征描述符和检测器寻找通过相机投影的图像与数字可用的图像之间的匹配。图5示出了数字可用的图像14a和投影的图像14b，并且还示出了图像内容15(在此是具有天空的风景)的特征16(由圆圈指示)，其基于箭头而匹配。
为了使用AKAZE方法，必须在开始时设置匹配数量的阈值。如果人随后进入投影，则匹配特征的数量降至阈值以下并且投影仪关闭。由于现在没有图像可用于比较目的，因此使用差图像方法检查人是否仍位于投影中。图6示出了投影中的差图像。由于当没有人位于图像中时图像是黑色的，因此仅计算差图像的平均值，如果其增大，则存在移动。在应用开始之后，在投影仪关闭的情况下直接创建用于生成差图像的背景图像。由于网络摄像头的图像区段超出了投影区块，因此还有必要创建蒙版，以便仅考虑投影而不考虑其外部的区域。使用AKAZE特征比较的图5中的框42来创建这个蒙版。当人离开所述区域时，投影被再次激活，并且特征比较模式被再次激活。
方案2：在投影的图像之外进行检测
在这种方案中，试图在投影之外检测人以停用投影仪。这样做的优点是，分析独立于投影的图像内容而进行，因此对移动的图像内容进行回放也是可能的。这将使用差图像、特征检测(如方案1)并且根据“Laws纹理能量测量”使用过滤核对图像进行过滤来实现。为了遮挡图像内容，有必要(与方案1中一样)开始使用特征检测创建蒙版。但是，在此情况下，目标是覆盖投影的图像内容。
差图像：
首先，必须记录要从当前相机图像中减去的空白背景图像。这是在创建蒙版之后完成的。由于应用“高斯混合”方法，因此使用多个图像，因此，相对于图像内容中的细微波动的鲁棒性更高。接下来，计算空白图像的平均值以便设置用于检测的阈值。从现在开始，将连续地计算差图像的平均值。如果有人进入投影或投影的框，则整个图像的平均值增加到阈值以上，并且投影仪被停用。根据图7，这在投影周围产生差图像(差图像方法)。在这个图中，还可以在投影的左侧和右侧看到整个图像的亮度由于关闭投影而改变。试图通过学习“高斯混合”方法来补偿这种情况，该方法旨在检测简单的亮度改变。如果人离开图像，则值降至低于阈值，并且投影仪被重新激活。
图7至10各自示出了使用不同方法评价/处理的相同相机图像32。所呈现的人10不是图像14b的图像内容15的一部分，而是作为实际的人10位于光束锥26中。
特征：
这种方法基于方案1中使用的AKAZE特征检测。但是，在此情况下，针对投影外部的特征进行搜索。在此，同样在开始根据特征的数量计算空白图像中的阈值。如果随后人进入相机图像，则特征的数量改变。首先，在空白图像中找到的特征被遮挡，其次，由于人而检测到更多的特征。
由于与阈值相比特征发生了这种改变，因此投影仪被停用。由于特征检测相对于亮度改变相对鲁棒的事实，因此由于关闭投影仪而引起的亮度波动对特征16的数量没有大的影响。在这方面，参见根据图8的特征图像。
结构：
在结构检测中，根据“Laws纹理能量测量”和随后的二值化，使用卷积仅突出图像中的结构。在此，也利用没有人的图像来计算要用作阈值的平均值。如果该图像随后由于进入的人而改变，则阈值被超过将使得投影仪被停用，并且，如果该值降至低于阈值，则投影仪被重新激活。参见图9中的结构图像(结构图像方法)。
方案3：人脸检测：
使用人脸检测，将检测到人的确切位置，因此，与其它方案相比，停用的不是整个投影仪，而是仅停用人的人脸所在的区域。这将使用Viola和Jones的算法来实现。在这个处理中，利用基于Haar小波的训练数据来初始化级联的分类器。然后，所述算法针对人脸来检查相机图像中。如果找到人脸，则将对其进行标记并且接收当前位置的坐标。
现在必须相对于投影的图像来转换该位置。这需要相机图像中的投影的位置。在开始时使用投影的测试图像和特征检测来计算所述位置，参见图5。使用人脸的位置和尺寸、投影以及投影图像与相机图像中的投影的比率，可以计算要创建黑色圆圈的坐标。
//人脸的位置
intFaceX＝faces[i].x+faces[i].width*0.5；
intFaceY＝faces[i].y+faces[i].height*0.5；
//位置投影
Point ProjectionLO＝points[0][0]；
Point ProjectionLU＝points[0][3]；
Point ProjectionRO＝points[0][1]；
Point ProjectionRU＝points[0][2]；
//缩放圆圈的因子
float factHori＝(float)proje.cols/((float)ProjectionRO.x-(float)ProjectionLO.x)；
float factVert＝(float)proje.rows/((float)ProjectionRU.y-(float)ProjectionRO.y)；
//投影中的新坐标
intFaceXnew＝FaceX-ProjectionLO.x；
intFaceYnew＝FaceY-ProjectionLO.y；
使用这些坐标，现在在投影的图像中创建圆圈，并且针对每个单个的图像重新计算其位置，以便连续地跟踪人脸并且更新在投影中的位置。结果示出在图10中的人脸检测。
评估：
在不同方案的测试期间，已经发现，原则上已经实现了以下目标：检测投影中的人，随后停用投影仪，并且最终在人离开该区域时重新激活投影仪。但是，在所选择的特征检测中，即，在搜索特征时，差图像方法、结构检测以及人脸检测的情况下，存在一些限制。
此外，在测试中发现，通过打开和关闭投影仪，网络摄像头的自动亮度适应非常迟钝，因此必须在系统中加以考虑。
方案1：在投影的图像中进行检测：
投影中的AKAZE方法提供了执行特征比较的可能性，其仅在移动图像的情况下具有大的代价，因为必须针对每个新的帧设置新的阈值，同时必须执行关于是否有人位于投影中的检查。这将代表巨大的计算代价，并且由于等待时间的原因，不停地比较可能是困难的。此外，AKAZE方法依赖于图像内容。特征是借助于位于图像中的结构而产生的。如果可用的图像具有很少结构或者结构仅在特定区域中出现，则检测也可能只在那里出现。这个问题可以基于图5来解释。在图像中，仅在下部图像区域(风景)中找到匹配，而在上部区域(天空)中没有找到匹配。AKAZE方法的主要优点在于，它相对于机舱亮度改变是不变的。
原则上，差图像方法也提供良好的结果。但是，这个方法依赖于亮度改变。即，当机舱中的光照条件与开始时生成的背景图像相比发生改变时，这个方法将不再起作用。但是，这个背景图像能够学习并且可以适应。
这种方案的一个优点是，只有当人进入投影时，投影仪才被停用。
方案2：在投影的图像外部进行检测：
在所有三种解决方案中都围绕投影的图像进行检测的情况下，也达到了不致人眩晕的目的。此外，这种方案提供了以很少代价进行视频回放的可能性。
差图像：
学习速率是可靠的，并且还具有良好的反应时间。但是，静止站立时的人被计算到差图像中并因此消失。绕过这一点的尝试涉及在开启和关闭的投影模式下都暂时限制学习速率。这也解决了以下问题：当在一段时间内没有人通过图像时，通过计算将背景过于“强烈地”结合到背景图像中，导致有人和没有人的背景之间的差异太大，因此投影仪将不会再次开启。此外，由于人投射的阴影以及由于开关投影仪时的亮度改变，会导致伪造差图像的局限性。回放的视频内容中的亮度差异导致相机图像略有差异，但可以对此进行补偿。此外，因为与差图像的差异变得太大，所以机舱中的主要亮度改变导致投影仪被关闭。这个问题可以通过链接光照和投影系统以便在光改变的情况下可以通知投影系统来解决，或者通过适应性调整学习算法以使学习算法识别出不同的光照情况来解决。此外，这个方法的计算能力相对低。
特征：
特征检测的操作可靠性低于差图像，但确实提供了期望的结果。但是，检测高度依赖于穿过图像的人的结构。例如，如果所述人穿着单色上衣，则与穿着带有徽标或具有许多结构的上衣相比，发现的特征明显少得多。因此，难以找到有意义的阈值，并且已经发现一些人未被检测到。此外，对亮度改变的依赖性不如希望的那样好。
由于亮度改变，新特征出现在结构丰富的图像区域中或丢失。但是，与差图像相比，均质区块保持不变。对于在图8所示条件下找到的特征进行测量，发现约100个没有人的特征和约200个有人的特征。这个值对于其他人可能波动。这个方法的计算能力相对高。
结构：
结构检测仅在具有大限制的情况下才提供期望的结果。空白图像与有人的图像之间的改变不够大。对这两种状态的二值图像的平均值进行测量，有人的状态给出大约30的值，没有人的状态给出大约29的值。在0到255的值之间，这个差异对于可靠的检测而言太小了。
方案3：人脸检测：
在人脸检测中，对于正面人脸获得了非常好的结果。Viola和Jones的算法以高可靠性操作，并且即使人脸位于投影中也检测到人脸。但是，找不到用于检测轮廓中的人脸的可用训练数据。遮挡图像区域也可靠地操作，从而可以继续视频的再现，并且仍然可以看到区域。但是，计算在某种程度上更密集，这意味着真实的头部位置与投影中计算出的黑色圆圈的位置之间存在某一等待时间。因此，如果头部快速移动，则人可能会眩晕，因为黑色圆圈不会直接移动到头部的位置。由于人脸中的投影而引起的光学改变会导致在短时间内检测不到人脸。但是，当投影的图像内容包含人脸时，在这种方案中会出现问题。在没有人位于投影中的情况下，人脸将被检测到并且被遮挡。这个问题可以通过对投影的图像内容进行附加分析来解决，或者通过与其它方案(例如差图像)组合来解决。
结果的概述：
Figure BDA0002286366810000181
结合投影中的差图像方法和人脸检测可以达到最佳效果。仅当人实际位于投影中时才激活人脸检测。这里使用的差图像方法必须适应于相对于亮度改变的不变性。
参考文献列表：
-AKAZE and ORB planar tracking。(2016年9月4日)。2017年11月7日检索于https://gregorkovalcik.github.io/opencv_contrib/tutorial_akaze_tracking.html
-Alcantarilla,P.F.,Nuevo,J.,&Bartoli,A.(2012年10月)。KAZE FEATURES。2017年10月24日检索于http://robesafe.com/personal/pablo.alcantarilla/kaze.html
-Chris Stauffer,W.G.(1999年)。Adaptive background mixture models forreal-time tracking。剑桥。
-Erhardt,A.(2008年)。Einführung in die DigitaleBildverarbeitung。Vieweg+Teubner。
-How to Use Background Subtraction Methods。(2017年11月7日)。2017年11月8日检索于https://docs.opencv.org/master/d1/dc5/tutorial_background_subtraction.html
-Kunz,D.(2016年)。Bildverarbeitung SS 2016第20章。TH
Figure BDA0002286366810000191
-Kunz,D.(2016年)。Bildverarbeitung SS 2016第5章。TH
Figure BDA0002286366810000192
-Laws,K.I.(1980年)。Rapid Texture Identification。
-Melton,B.(2015年)。Presentation on theme:Segmentation Using Texture。2017年11月22日检索于http://slideplayer.com/slide/6920161/
-Viola,P.和Jones,M.(2001年)。Rapid Object Detection using a BoostedCascade of Simple。剑桥。
附图标记列表
2 目标区块
4 相机
6 光源
8 计算机
10 人
12 箭头
14a,b 图像
15 图像内容
16 特征
17 附近
18 区域
20 内部
22 交通工具
24 光
26 光束锥
28 监视区段
30 视场
32 相机图像
40a,b 卷积蒙版
42 框

Claims (10)

1.一种用于避免光源(6)致人(10)眩晕的方法，其中光源(6)布置在交通工具(22)的内部(20)中，在操作期间在光束锥(26)内发射光(24)，其中：
-相机(4)布置在所述内部(20)中并且被定向成使得光束锥(26)的人(10)能够进入的至少一个监视区段(28)位于相机(4)的视场(30)中，
-相机(4)记录相机图像(32)，
-使用机器人员检测，根据相机图像(32)确定人(10)的至少一个部分是否位于光束锥(26)内，
-在此情况下，将至少光束锥(26)的人(10)的所述部分所在的区域(18)切换为不眩目。
2.如权利要求1所述的方法，
其特征在于
如果人(10)的至少一个部分位于光束锥(26)中，则将整个光束锥(26)切换为不眩目。
3.如前述权利要求中任一项所述的方法，
其特征在于
对于将区域(18)切换为不眩目或关闭，通过光源(6)将光束锥(26)的区域(18)切换为不眩目。
4.如前述权利要求之一所述的方法，
其特征在于
光束锥(26)指向所述内部(20)的目标区块(2)，并且相机(4)被定向成使得目标区块(2)的至少部分区域位于相机(4)的视场(30)内。
5.如权利要求4所述的方法，
其特征在于
在机器视觉中，仅针对由光源(6)产生的人和/或移动和/或类似人的图像元素的形式的图像内容(15)而不考虑由相机(4)捕获的目标区块(2)的所述部分区域。
6.如权利要求5所述的方法，
其特征在于
在机器视觉中不考虑由相机(4)捕获的目标区块(2)的所述部分区域。
7.如前述权利要求之一所述的方法，
其特征在于
相机(4)被定向成使得光束锥(26)的附近(17)也位于相机(4)的视场(30)中。
8.如前述权利要求之一所述的方法，
其特征在于
相机(4)紧邻光源(6)布置。
9.如前述权利要求之一所述的方法，
其特征在于
作为机器人员检测的一部分，执行机器视觉和/或人脸检测和/或纹理检测和/或移动检测。
10.一种机器人员检测用于如前述权利要求之一所述的方法中的用途。
CN201911162022.7A 2018-12-21 2019-11-25 避免光源致人眩晕 Pending CN111355940A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018010099.6 2018-12-21
DE102018010099.6A DE102018010099B4 (de) 2018-12-21 2018-12-21 Vermeiden der Blendung von Personen durch eine Lichtquelle

Publications (1)

Publication Number Publication Date
CN111355940A true CN111355940A (zh) 2020-06-30

Family

ID=70969093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911162022.7A Pending CN111355940A (zh) 2018-12-21 2019-11-25 避免光源致人眩晕

Country Status (6)

Country Link
US (1) US10858105B2 (zh)
CN (1) CN111355940A (zh)
BR (1) BR102019024585A8 (zh)
CA (1) CA3059405A1 (zh)
DE (1) DE102018010099B4 (zh)
FR (1) FR3090522B1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10935222B1 (en) 2020-04-06 2021-03-02 Robert Bosch Gmbh Human tracking to produce improved jobsite lighting

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006030300A1 (de) * 2006-06-30 2008-01-10 Audi Ag Kraftfahrzeug umfassend mehrere im Innenraum verteilt angeordnete Leuchteinrichtungen enthaltend wenigstens ein Leuchtmittel zur Beleuchtung des Fahrzeuginnenraums
US20080186701A1 (en) * 2007-02-02 2008-08-07 Denso Corporation Projector and image pickup apparatus
US20150102998A1 (en) * 2012-06-15 2015-04-16 Nec Corporation Projection-type projector, anti-glare method, and program for anti-glare
DE102013223145A1 (de) * 2013-11-13 2015-05-13 Volkswagen Aktiengesellschaft Fahrzeug mit einer Vorrichtung und Verfahren zur Beleuchtung eines Innenraums des Fahrzeugs
CN106462236A (zh) * 2014-04-29 2017-02-22 微软技术许可有限责任公司 在眼睛追踪中处理眩光
US20170349285A1 (en) * 2016-06-01 2017-12-07 Diehl Aerospace Gmbh Lighting arrangement for an interior of a vehicle
US20180029531A1 (en) * 2015-02-23 2018-02-01 Coelux S.R.L. Seat illuminating system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006015332A1 (de) 2005-04-04 2006-11-16 Denso Corp., Kariya Gastservice-System für Fahrzeugnutzer
JP2011140264A (ja) * 2010-01-07 2011-07-21 Jamco Corp 航空機の客室照明装置
DE102013207062A1 (de) * 2013-04-18 2014-10-23 Airbus Operations Gmbh Fahrzeugkabinenanordnung mit einer Beleuchtungseinrichtung
KR101685534B1 (ko) 2014-12-16 2016-12-12 현대자동차주식회사 웨어러블 글래스를 이용한 차량 조명 제어 시스템 및 그 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006030300A1 (de) * 2006-06-30 2008-01-10 Audi Ag Kraftfahrzeug umfassend mehrere im Innenraum verteilt angeordnete Leuchteinrichtungen enthaltend wenigstens ein Leuchtmittel zur Beleuchtung des Fahrzeuginnenraums
US20080186701A1 (en) * 2007-02-02 2008-08-07 Denso Corporation Projector and image pickup apparatus
US20150102998A1 (en) * 2012-06-15 2015-04-16 Nec Corporation Projection-type projector, anti-glare method, and program for anti-glare
DE102013223145A1 (de) * 2013-11-13 2015-05-13 Volkswagen Aktiengesellschaft Fahrzeug mit einer Vorrichtung und Verfahren zur Beleuchtung eines Innenraums des Fahrzeugs
CN106462236A (zh) * 2014-04-29 2017-02-22 微软技术许可有限责任公司 在眼睛追踪中处理眩光
US20180029531A1 (en) * 2015-02-23 2018-02-01 Coelux S.R.L. Seat illuminating system
US20170349285A1 (en) * 2016-06-01 2017-12-07 Diehl Aerospace Gmbh Lighting arrangement for an interior of a vehicle

Also Published As

Publication number Publication date
DE102018010099B4 (de) 2021-12-02
BR102019024585A2 (pt) 2020-11-03
FR3090522B1 (fr) 2022-07-22
US10858105B2 (en) 2020-12-08
US20200198784A1 (en) 2020-06-25
FR3090522A1 (fr) 2020-06-26
BR102019024585A8 (pt) 2022-08-09
CA3059405A1 (en) 2020-06-21
DE102018010099A1 (de) 2020-06-25

Similar Documents

Publication Publication Date Title
CA3017027C (en) System and method for training object classifier by machine learning
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
Almagambetov et al. Robust and computationally lightweight autonomous tracking of vehicle taillights and signal detection by embedded smart cameras
US11100350B2 (en) Method and system for object classification using visible and invisible light images
Martel-Brisson et al. Learning and removing cast shadows through a multidistribution approach
US8948450B2 (en) Method and system for automatic object detection and subsequent object tracking in accordance with the object shape
JP4971191B2 (ja) 映像フレーム内におけるスプリアス領域の識別
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助系统和方法
US20080285859A1 (en) Method and System for Processing Video Data
KR20210006276A (ko) 플리커를 약화시키기 위한 이미지 처리 방법
Morde et al. Learning a background model for change detection
JP2004531823A (ja) カラー分布に基づいたオブジェクトトラッキング
US20180101960A1 (en) Combination video surveillance system and physical deterrent device
KR102333107B1 (ko) 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법
JP2008259161A (ja) 目標追尾装置
Taj et al. Multi-feature graph-based object tracking
Huerta et al. Improving background subtraction based on a casuistry of colour-motion segmentation problems
Naser et al. Shadowcam: Real-time detection of moving obstacles behind a corner for autonomous vehicles
CN111355940A (zh) 避免光源致人眩晕
KR101985869B1 (ko) 형태학적 특징 기반 모델을 이용한 농축산물 도난 감시 장치 및 방법
Gallego et al. Region based foreground segmentation combining color and depth sensors via logarithmic opinion pool decision
Czyzewski et al. Moving object detection and tracking for the purpose of multimodal surveillance system in urban areas
Harasse et al. Human model for people detection in dynamic scenes
Su et al. Moving object tracking using an adaptive colour filter
Huerta et al. Fusing edge cues to handle colour problems in image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: M Bach Hubel

Inventor after: T. Menger

Inventor before: M Bach Hubel

CB03 Change of inventor or designer information