CN116601689A - 电子装置、方法和计算机程序 - Google Patents
电子装置、方法和计算机程序 Download PDFInfo
- Publication number
- CN116601689A CN116601689A CN202180078204.5A CN202180078204A CN116601689A CN 116601689 A CN116601689 A CN 116601689A CN 202180078204 A CN202180078204 A CN 202180078204A CN 116601689 A CN116601689 A CN 116601689A
- Authority
- CN
- China
- Prior art keywords
- confidence
- rois
- image
- smoke detection
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 64
- 238000004590 computer program Methods 0.000 title claims description 11
- 239000000779 smoke Substances 0.000 claims abstract description 186
- 238000001514 detection method Methods 0.000 claims abstract description 156
- 230000008859 change Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 30
- 238000005259 measurement Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000000149 argon plasma sintering Methods 0.000 description 5
- 235000019504 cigarettes Nutrition 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
- G08B17/103—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means using a light emitting and receiving device
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Fire-Detection Mechanisms (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
一种电子装置,具有电路,该电路被配置为基于通过iToF传感器捕获的深度图像和置信度图像执行烟雾检测,以获得烟雾检测状态。
Description
技术领域
本公开内容总体涉及飞行时间成像领域,并且特别是涉及用于飞行时间图像处理的装置、方法和计算机程序。
背景技术
飞行时间(ToF)相机是一种测距成像相机系统,其通过针对图像中每个点测量光信号在相机和物体之间的飞行时间来确定包括在场景中的物体的距离。飞行时间相机可以捕获场景的深度图像。总体而言,飞行时间相机具有照明单元和像素阵列,照明单元使用调制的光照射关注区域,像素阵列收集来自同一关注区域的反射光。也就是说,飞行时间成像系统被用于深度感测或提供距离测量。
在间接飞行时间(iToF)中,iToF相机捕获场景的深度图像和置信度图像,其中,iToF相机的每个像素都被赋予了相应的深度测量和置信度测量。iToF测量的这种操作原理被用于与图像处理相关的许多应用中。
尽管存在使用飞行时间相机进行图像处理的技术,但总体上期望提供使用飞行时间相机进行图像处理的更好技术。
发明内容
根据第一方面,本公开提供了一种电子装置,包括电路,该电路被配置为基于通过iToF传感器捕获的深度图像和置信度图像执行烟雾检测,以获得烟雾检测状态。
根据第二方面,本公开提供了一种方法,该方法包括基于通过iToF传感器捕获的深度图像和置信度图像执行烟雾检测,以获得烟雾检测状态。
根据第三方面,本公开提供了一种计算机程序,包括指令,当该程序由计算机执行时,该指令使该计算机基于通过iToF传感器捕获的深度图像和置信度图像执行烟雾检测,以获得烟雾检测状态。
进一步的方面在从属权利要求、以下描述和附图中阐述。
附图说明
实施方式将通过与附图相关的示例的方式进行解释,其中,:
图1示意性地显示了飞行时间成像系统的基本操作原理,该系统可用于深度感测或提供距离测量;
图2示意性地显示了在车内场景中的iToF成像系统的实施方式,其中,通过iToF成像系统捕获的图像被用于车内的烟雾检测;
图3示意性地显示了包括用于车内烟雾检测的ToF系统的车内成像系统的实施方式;
图4示意性地显示了基于深度图像和置信度图像的烟雾检测过程的实施方式;
图5a更详细地示出了在置信度图像中定义的一定数量的ROI的实施方式;
图5b更详细地示出了在深度图像中定义的一定数量的ROI的实施方式;
图6示意性地更详细地描述了如图4所描述的烟雾检测过程的实施方式;
图7a示出了在车内场景中通过iToF传感器捕获场景所产生的置信度图像;
图7b示出了在车内场景中通过iToF传感器捕获场景所产生的深度图像;
图8a示意性地更详细地描述了如图4所描述的烟雾检测过程的实施方式;
图8b示意性地更详细地描述了如图4所描述的烟雾检测过程的实施方式;
图9显示了可视化烟雾检测状态确定方法的流程图;以及
图10示意性地描述了可以实现烟雾检测和烟雾检测状态确定的过程的iToF装置的实施方式。
具体实施方式
在参照图1至图10对实施方式进行详细描述之前,先做一些总体说明。
本实施方式公开了一种电子装置,包括电路,该电路被配置为基于通过iToF传感器捕获的深度图像和置信度图像执行烟雾检测,以获得烟雾检测状态。
电子装置的电路可以包括处理器(例如可以是CPU)、内存(RAM、ROM等)、内存和/或存储器、接口等。电路可以包含或可以连接至输入装置(鼠标、键盘、相机等)、输出装置(显示器(如液晶、(有机)发光二极管等))、(无线)接口等,正如一般已知的电子装置(计算机、智能手机等)那样。此外,电路可以包含或可以连接至感测静止图像或视频图像数据(图像传感器、相机传感器、视频传感器等),用于感测环境参数(如雷达、湿度、光线、温度)等的传感器。
烟雾检测可以在车内场景中在车辆的车厢内执行、出于安全原因在房间监测场景等中执行。在车内场景中,iToF传感器可以照亮参考区域,参考区域例如是在iToF传感器的视场内的车厢仪表板。仪表板可以作为参考,因为它通常是由黑色和非反射材料制成的,这样减少了与同样存在于iToF传感器视场中的被检测物体混淆的风险,从而可以防止出现误报结果。
在这样的烟雾检测过程中,包括iToF传感器的iToF系统可以检测:参考区域内驾驶员和乘客的互动、非常靠近或在TOF传感器前面的驾驶员或乘客的互动、可能放在仪表板上的大型物体的存在、驾驶员吹出的烟雾和乘客吹出的烟雾(电子烟和普通烟草香烟的烟雾)、也与仪表板或后面的人互动的两只或更多的手、iToF传感器视场内没有香烟的烟雾、弥漫的烟雾、明确界定的烟雾云,等等。
烟雾检测状态可以是任何烟雾检测状态,诸如指示检测到烟雾的状态、指示没有检测到烟雾的状态、指示烟雾检测不可靠的状态等。烟雾检测状态可以输出给用户,以通知用户烟雾发生。在车内场景中,烟雾检测状态可以经由信息娱乐系统输出给驾驶员/乘客,例如通过从车辆的扬声器阵列输出适当的声音和/或在车内信息娱乐系统的显示单元上输出文本或图像。烟雾检测状态可以向驾驶员提供警告,或者在车厢内检测到烟雾时激活安全相关功能。
电路可以被配置为在捕获的深度图像和捕获的置信度图像中的每一个中定义关注区域ROI,并基于在深度图像和置信度图像中定义的ROI执行烟雾检测。定义的ROI的数量可以是任何适合执行烟雾检测的正整数,诸如1,2,…,6,7…等。例如,当定义一个以上的ROI时,ROI可以在捕获的图像中定义为彼此相邻等。
在深度图像和置信度图像中定义的ROI可以是具有适合于烟雾检测的任何尺寸的ROI,诸如20×20像素等。
此外,在深度图像和置信度图像中定义的ROI可以是具有任何适合执行烟雾检测和物体识别的形状的ROI,该形状诸如是圆形、椭圆形、多边形、线、折线、矩形、手绘形状等。
根据一些实施方式,深度图像中的ROI可以被定义在与置信度图像中定义的ROI相同的位置。再进一步,深度图像中的ROI和置信度图像中的ROI可以被定义在固定的位置上。定义在深度图像和置信度图像中的ROI的位置可以是预定义的位置,也可以是实时定义的位置等。ROI可以在捕获的图像中定义以形成一组ROI,其中,ROI彼此相邻,或者一个ROI可以被定义为离其他ROI较远等。
根据一些实施方式,电路可以被配置为估计置信度图像中的置信度值。置信度值可以基于同相调幅分量I并且基于正交调幅分量Q来估计,其中,I分量和Q分量都取决于与使用深度图像计算的相应距离相关的相位测量。
此外,可以基于光散射或光反射的变化来估计置信度值。可以基于光散射或光反射的变化来检测烟雾,因为烟雾可以通过光的反射导致置信度图像中亮度的增加。例如,在置信度图像中各处的亮度值几乎相等的情况下,可能没有发生烟雾,而是由于物体(诸如手或纸)靠近iToF传感器而导致的过度饱和。通常,烟雾不会出现在深度图像中,因此,当靠近iToF传感器的物体的存在可以增加置信度图像中的置信度值,而且还增加深度图像中的深度值时,并且因此,可以获得指示没有烟雾的烟雾检测状态。
再进一步,在检测到物体的情况下,置信度图像中出现大量非常明亮的像素,当非常明亮的像素在检测到的物体之外时,可以得到指示不太可能存在烟雾的烟雾检测状态。
电路可以被配置为计算在置信度图像中定义的每个ROI中的各个置信度值,并基于计算的置信度值执行烟雾检测。例如,电路可以为iToF传感器的每个相应像素计算置信度值,并且随后可以计算在置信度图像中定义的各个ROI内的像素的所有置信度值的平均置信度值。
再进一步,电路可以被配置为基于ROI的各个置信度值,计算所有ROI的平均置信度值。所有ROI的平均置信度值可以设置为置信度值阈值。
电路可以被配置为当至少最小数量的ROI中的每个ROI的各自的置信度值达到置信度值阈值时,获得指示检测到烟雾的烟雾检测状态。此外,电路可以被配置为当至少最小数量的ROI中未达到置信度阈值时,获得指示没有检测到烟雾的烟雾检测状态。这可以通过将每个ROI的各自的置信度值与置信度值阈值进行比较来估计。
电路可以被配置为基于在深度图像上执行物体检测来检测物体的存在。物体检测可以基于技术人员已知的任何物体检测方法来执行。从物体检测方法检测到的物体可以是任何物体,诸如人的手、人的手臂、纸、人的腿、宠物等。
电路可以被配置为基于深度图像中的深度变化来检测物体或手的存在。例如,物体的存在通常会增加深度图像中检测到物体的区域的深度值,从而可以在深度图像中检测到深度变化。
根据一个实施方式,电路可以被配置为过滤掉被所检测的物体覆盖的ROI,以获得一定数量的剩余ROI。该电路可以被配置为过滤掉被所检测的物体覆盖的任何ROI,从而防止误报和错误的烟雾检测结果。
电路可以被配置为过滤掉在深度图像中具有较高深度变化的ROI,以获得一定数量的剩余ROI。该电路可以被配置为,过滤掉深度图像中具有较高深度变化的任何ROI,从而防止误报和错误的烟雾检测结果。
电路可以被配置为当剩余ROI的数量小于预定义的最小ROI数量时,获得指示烟雾检测不可靠的烟雾检测状态。例如,当烟雾检测状态指示烟雾检测不可靠时,烟雾检测过程被暂停或停止。可替代地,例如,当iToF传感器被物体覆盖,或当仪表板区域(ROI)被物体覆盖时,烟雾检测过程被暂停或停止。
电路可以被配置为根据ROI中各个置信度值的变化来执行烟雾检测。在置信度图像中,ROI中各个置信度值的变化可以用标准偏差函数等计算。
根据上述实施方式,烟雾检测可以在低光条件下、夜间条件下等执行。深度图像中的深度测量可以为分类提供期望的精度,并且基于置信度图像中的置信度值的烟雾检测可以利用烟雾中或烟雾上的光反射。因此,iToF烟雾检测可以被认为是与光无关的解决方案。
在烟雾检测过程中,通过基于独立于任何光照条件的置信度值确定烟雾的存在,并且通过使用深度图像的深度测量值来排除可能导致置信度图像中置信度值被的修改的物体,深度图像和置信度图像的结合可被视为避免误报结果的双重安全过程。
实施方式还公开了一种方法,包括基于通过iToF传感器捕获的深度图像和置信度图像执行烟雾检测,以获得烟雾检测状态。
实施方式还公开了一种计算机程序,包括指令,当该程序由计算机执行时,该指令使计算机基于通过iToF传感器捕获的深度图像和置信度图像执行烟雾检测,以获得烟雾检测状态。该计算机程序可以实现上文所述或下文具体实施方式中所述的任何过程和/或操作。
现在参照附图对实施方式进行描述。
间接飞行时间成像系统(iToF)的操作原理
图1示意性地显示了飞行时间成像系统的基本操作原理,该系统可用于深度感测或提供距离测量,其中,ToF成像系统1被配置为iToF相机。
ToF成像系统1通过分析从照明单元10发射到场景7的红外光的飞行时间来捕获场景7的三维(3D)图像。ToF成像系统1包括iToF相机,例如成像传感器2和处理器(CPU)5。使用照明单元10,例如利用通过定时发生器6产生的至少一个预定调制频率的一些光脉冲,以预定波长的调幅红外光8主动照射场景7。调幅的红外光8被场景7内的物体反射出来。透镜3收集反射光9,并且在iToF相机的成像传感器2上形成物体的图像,该传感器2具有像素矩阵。取决于从物体到相机的距离,在调制光8(例如所谓的光脉冲)的发射和反射光9在相机传感器的每个像素上的接收之间会有延迟。反射物体与相机之间的距离可以根据观察到的时间延迟和光速常数值来确定。
通过iToF相机捕获的场景7的三维(3D)图像通常也被称为“深度图”。在深度图中,iToF相机的每个像素都被赋予了各自的深度测量值。
在间接飞行时间(iToF)中,对于每个像素,调制光8和反射光9之间的相位延迟是通过对定时发生器6产生的解调信号4和成像传感器2捕获的反射光9之间的相关波进行采样来确定的。相位延迟与物体的距离成正比,该距离以调制频率的波长为模。因此,深度图可以直接从相位图像来确定,该相位图像是在iToF相机的像素中确定的所有相位延迟的集合。
车内iToF成像系统
图2示意性地显示了在车内场景中的iToF成像系统的实施方式。通过iToF成像系统捕获的图像被用于车辆内部的烟雾检测。
iToF成像系统200(例如iToF相机)被固定在车辆的天花板上。iToF成像系统200包含iToF传感器(见图4中的400),iToF传感器捕获车辆内的预定区域(即视场201)。例如,iToF成像系统200在其视场201内捕获车辆的仪表板202,该仪表板202具有信息娱乐系统,如下面图3中所示的信息娱乐系统301。
使用上述图1中描述的ToF成像系统1的操作原理的iToF成像系统200通过主动照亮其视场201来向车辆内部的预定区域发射红外光的光脉冲。包括在iToF成像系统200的视场201中的物体将发射光反射到iToF成像系统200。iToF成像系统200通过分析发射的红外光的飞行时间,来捕获车辆内部的该预定区域的深度图(例如深度图像)。包括在iToF成像系统200的iToF传感器的视场201中的物体可以是车辆的仪表板202、驾驶员/乘客的手、烟雾204等。
iToF成像系统200捕获其视场201的深度图像(即深度图)和置信度图像。在深度图像和置信度图像内存在定义的像素区域,该像素区域与iToF成像系统200的视场201中预定义的关注区域203相对应。这里,预定义的关注区域203优选地位于车辆的仪表板202上。仪表板202是由深色并且不反光的材料制成的,并因此可以作为关注区域203的参考表面(见图3中的302)。从iToF成像系统200发射、撞击深色且不反光的仪表板202的表面的光不会反射回iToF传感器,因此避免了错误的深度结果。
基于iToF成像系统200提供的置信度图像和深度图像,具体地是基于对与预定义的关注区域203相对应的图像区域的分析,执行烟雾检测过程。
图3示意性地显示了包括用于车内烟雾检测的ToF系统的车内成像系统的实施方式。
iToF系统200生成其视场(见图2中的201)内的参考表面302的深度图像(见图4中的401)和置信度图像(见图4中的402)。基于所获得的深度图像和所获得的置信度图像,处理器300执行烟雾检测(见图4中的403),以获得烟雾检测状态(见图4中的404),如下文图4至图8中更详细地描述的。基于烟雾检测状态,处理器300控制车辆的信息娱乐系统301,以通知车辆的驾驶员/乘客关于车辆内烟雾的发生。在车内信息娱乐系统301中,提供了向驾驶员和乘客传递娱乐和信息的功能组合。在车内信息娱乐系统中,娱乐和信息通常通过显示器和扬声器提供给驾驶员和乘客。诸如按钮面板、触摸屏显示器、语音命令等控制元素被提供给驾驶员和乘客,以便他们可以与车内信息娱乐系统301进行互动。例如,信息娱乐系统301可以包含嵌入式多媒体/导航系统。信息娱乐系统301例如通过从车辆的扬声器阵列输出适当的声音和/或通过在车内信息娱乐系统301的显示单元上输出文本或图像来通知驾驶员/乘客烟雾的发生。例如,信息娱乐系统301可以在车辆的车厢内检测到烟雾时通过提供警告或通过激活安全相关功能来通知驾驶员/用户烟雾发生。以这种方式,例如,在车辆内有儿童时(例如,通过后座的压力传感器检测到)检测到烟雾的情况下,可以鼓励驾驶员停止吸烟。
在车内场景中,烟雾检测过程可以检测由驾驶员产生的烟雾和/或乘客产生的烟雾。烟雾检测过程可以检测到清晰界定的烟雾云、扩散的烟雾、香烟产生的烟雾、来自车辆发动机的烟雾等。具体地,本实施方式的烟雾检测过程可以检测到乘客正在吸烟,而不需要在iToF传感器的视场中检测到香烟。
在图3的实施方式中,烟雾检测是在车内场景中执行的。
可替代地,在房间安全场景中,也可以在房间里执行烟雾探测。在房间内执行烟雾检测的情况下,例如,iToF传感器可以安装在房间的天花板上、或任何合适的位置。关注区域可以被定义在房间内任何合适的参考表面(诸如墙壁、桌子等)上。
图4示意性地显示了基于深度图像和置信度图像的烟雾检测过程的实施方式。
iToF传感器400使用iToF技术捕获其视场内的预定区域,以获得视场(见图2的202)的深度图像401和置信度图像402。基于捕获的区域的深度图像401和置信度图像402,执行烟雾检测403以获得烟雾检测状态404。下面参考图5更详细地描述烟雾检测403的过程的实施方式。烟雾检测的过程例如可以在车内场景、房间监测场景等场景等中执行。
深度图像401是包含与场景中的物体(见图1中的7)距相机光学中心(例如来自iToF传感器400)的距离相关的信息的图像。例如,深度图像401可以直接从相位图像确定,该相位图像是iToF传感器400的像素中确定的所有相位延迟的集合。置信度图像402是包含与深度信息相关的置信度度量的图像。
关注区域(ROI)
根据下文更详细描述的实施方式,为了执行烟雾检测过程,对iToF传感器置信度图像(见图4中的402)和iToF传感器深度图像(见图4中的401)进行分析。在深度图像401和置信度图像402中定义了预定数量的关注区域(ROI)(见图2中的203)。这些关注区域(ROI)对应于iToF传感器视场(见图2中的201)内的参考表面。
在车内场景中,iToF传感器例如被安装在车辆车厢的天花板上,在iToF传感器的视场(见图2中的201)内捕获场景(例如,一预定的区域),以生成捕获场景的深度图像(见图4中的401)和置信度图像(见图4中的402)。捕获的场景例如是车辆的仪表板(见图2中的202)。由于车辆的仪表板通常是深色且不反光的材料,因此,在每个置信度图像和深度图像中,在仪表板的区域内定义预定数量的ROI 203,即n个ROI 203。为了改善烟雾检测结果并且防止烟雾检测结果出现误报,在烟雾检测过程403中,n个ROI在置信度图像402(见图5a)和深度图像401(见图5b)中具有固定的位置。此外,在置信度图像402(见图5a)中定义的在仪表板(见图2中的202)上的n个ROI 203的位置与在深度图像401(见图5b)中定义的n个ROI203的位置相同。
图5a和图5b示意性地示出了在每个置信度图像和深度图像中定义的预定数量的ROI的实施方式。
图5a更详细地示出了在置信度图像中定义的一定数量的ROI的实施方式。在置信度图像中,描绘了仪表板,其中仪表板的一小部分在置信度图像中显示为黑色,而仪表板的其余部分在置信度图像中显示为浅灰色或白色。这里,黑色指的是高置信度值,浅灰色或白色指的是低置信度值。黑色表示这些部分离iToF传感器更近。置信度图像中的指示“假(False)”是烟雾探测器在完成整个评估后的最终输出,所以在本实施方式中,没有检测到烟雾。
在图5a的实施方式中,在iToF传感器(见图4的400)生成的置信度图像中定义了预定数量的n个ROI 203。ROI 203由矩形框表示,其中,每个矩形框指示相应的关注区域。ROI203-n的数量n是整数,优选地可以有n>1,这里,ROI的数量n等于7,即n=7,如每个矩形框内的数字所示,该数字表示相应的ROI 203。前六个ROI 203-1至ROI 203-6形成一组ROI,它们彼此相邻并被定义在车辆的仪表板202的区域内。第七个ROI 203-7也在置信度图像中描述的仪表板202的区域内,ROI 203-7被定义在离前六个ROI 203-1到ROI 203-6较远的位置。
例如,当驾驶员的手或头或物体非常接近iToF传感器时,导致强烈的光的反射伴随着光的散射效应。这导致整个置信度图像中相对均匀的亮度增加。在置信度图像中不同位置的ROI 203-n(形成一组ROI的ROI 203-1至ROI 203-6以及更远的ROI 203-7)的这种布置使得可以区分亮度的均匀增加(例如,来自非常接近iToF传感器的手)和具有变化且由烟雾的光反射导致的亮度增加。
图5b更详细地示出了在深度图像中定义的一定数量的ROI的实施方式。在深度图像中,仪表板被描绘得与上述图5a的置信度图像中一致。这里,仪表板在深度图像中显示为黑色的部分指示该部分位于更接近iToF传感器的位置。在深度图像401中定义的ROI 203的数量与在置信度图像402中定义的ROI 203的数量相同,如上面图5a中所述。也就是说,在深度图像401中定义的ROI 203的数量n为n=7,如每个矩形框内的数字所示,它表示相应的ROI 203。此外,在置信度图像中定义的ROI 203与在深度图像中定义的ROI 203相同,并且在这两个图像中,ROI 203具有相同的固定位置。
在图5a和图5b的实施方式中,ROI 203的数量n等于7,即n=7,在这方面不限制本实施方式。可替代地,在深度图像和置信度图像中定义的ROI 203的数量n可以是针对情况的任何合适的数量。
在图5a和图5b的实施方式中,ROI 203的形状是矩形的,在这方面不限制本发明。ROI 203的形状可以是任何合适的形状,包括圆形、椭圆形、多边形、线、折线、矩形、手绘形状等等。ROI 203的尺寸可以是适合于期望的检测和计算的任何尺寸。例如,每个ROI 203的尺寸可以是20×20像素,这可以与仪表板上大约l~2厘米的长度相关。iToF传感器的分辨率可以是任何合适的分辨率,使得可以应用视频图形阵列(VGA)分辨率,可以应用比VGA分辨率更高的分辨率或更低的分辨率。例如,要应用的分辨率可以高达1.8兆像素,在这方面不限制本实施方式。
例如,每个ROI可以被定义为矩形框,其尺寸大于像素尺寸,以避免对值引入噪声。
烟雾检测方法
图6示意性地更详细地描述了图4中描述的烟雾检测过程的实施方式。
在该实施方式中,iToF传感器(见图4中的400)在其视场(见图2中的201)内照亮车内场景,并且捕获视场的深度图像(见图4中的401)和置信度图像(见图4中的402)。在置信度图像和深度图像的每一个中定义了预定义的数量为n的关注区域(ROI)。例如,n个ROI可以彼此相邻,并且置信度图像的n个ROI可以被定义在与深度图像中相同且固定的位置(见图5a、图5b)。
在600处,获得预定义的最小数量m。这个最小数量m描述了被认为是有意义的烟雾检测所必需的有效ROI的最小数量。例如,这个最小数量m可以被提前设置(在制造、系统设置等的时候)作为过程的预定义的参数。在601处,为置信度图像和深度图像中定义的n个ROI中的每个ROIj计算置信度值CROI,j。在602处,在深度图像中执行物体检测,以便检测iToF相机视场内的诸如手的物体,并且过滤掉被物体/手覆盖的ROI,以获得数量为h的有效ROI。被过滤掉的ROI被认为是无效的,并且不被进一步考虑用于烟雾检测。在603处,基于在置信度图像中定义的有效ROI的各个置信度值CROI,j,计算用于烟雾检测的置信度阈值Ctot。在604处,如果有效ROI的数量h大于m,则方法继续进行至605处。如果有效ROI的数量h小于m,则方法继续进行至608处,并且在608处确定指示烟雾检测不可靠的烟雾检测状态。在605处,检查在至少m个ROI中,在601处计算的各个置信度值CROI,j是否已经达到在603处计算的置信度阈值Ctot。如果605处的结果是“是”,则方法继续进行至607处。在607处,确定指示检测到烟雾的烟雾检测状态。如果在605处的结果是“否”,则方法继续进行至606处。在606处,确定指示没有检测到烟雾的烟雾检测状态。
根据一个实施方式,一像素的置信度是基于该像素的同相调幅分量和正交调幅分量来计算的,并且该置信度由以下公式给出:
C=|I|+|Q|
其中,I是同相调幅分量,简化后的I被定义为并且Q是正交调幅分量,简化后的Q被定义为/>其中,/>是对应于相应距离的相位测量值。置信度图像包含了捕获的图像内每个像素的置信度值Ci。
在601处,在每个ROI j中的平均置信度值CROI,j例如可以计算为:
其中,Xj是ROI j内的像素i的数量:
在置信度图像内的所有n个ROI的平均置信度值Ctot可以在603处被确定为:
其中,N是ROI的数量(这里N=7),并且CROI,j是ROI j的(平均)置信度值。
在该组ROI中的置信度变化可以通过标准偏差函数计算为:
其中,Z是定义的ROI的数量,Ctot是置信度图像内所有ROI的平均置信度值,以及CROI,j是置信度图像内的ROI j的(平均)置信度值。
在图6的实施方式中,在602处对深度图像执行物体检测,以便检测iToF相机视场内的诸如手的物体,并且过滤掉被物体/手覆盖的ROI。在可替代的实施方式中,可替代或附加地,确定n个ROI中的每个ROI的深度变化,并且忽略具有过高深度变化的那些ROI。
在图6的实施方式中,执行诸如手检测的物体检测,或执行确定n个ROI中的每一个的深度变化。基于n个ROI中的每个ROI的深度变化,检测捕获的图像中是否存在物体/手。在检测到存在物体/手的情况下,相应的ROI不会被进一步考虑用于烟雾检测(被过滤掉)。这允许防止物体或手在n个ROI中的每一个中引起光散射或光反射的变化,从而使烟雾检测出现误报结果。
物体检测和ROI过滤
现在更详细地描述在图6的过程602中执行的物体检测的实施方式。物体检测可以根据技术人员已知的任何物体检测方法来执行。Shuran Song和Jianxiong Xiao在第十三届欧洲计算机视觉会议(ECCV2014)论文集发表的文章“深度图像中3D对象检测的滑动形状(Sliding Shapes for 3DObject Detection in Depth Images)”中描述了一种示例性的物体检测方法。
图7a示出了在车内场景中通过iToF传感器捕获场景所产生的置信度图像,并且图7b示出了对应的深度图像。该场景包含车辆的仪表板202,车辆驾驶员的右手701和驾驶员的右腿702。优选地,在深度图像上执行物体/手的识别方法(见图7b)。当检测到诸如手的物体的情况下,由物体检测过程提供与置信度图像402(见图7a)中检测到的手相关的活动边界框700。在置信度图像中定义了预定数量为n的ROI 203-n,这里n=7。在图7a中,每个ROI由矩形框203-1至203-7表示,因此图7a中显示了七个矩形框。六个ROI 203-1至203-6彼此相邻、形成一组ROI,而第七个ROI 203-7在置信度图像中被定义得较远。
如果包括检测到的手的活动边界框与n个ROI 203中的一个或多个重叠,那么这些重叠的ROI 203就不被考虑用于烟雾检测。如图6中的602处所述,它们被过滤掉。在检测到物体/手并且边界框700覆盖了至少一个定义的ROI 203的情况下,被覆盖的ROI 203不被进一步考虑用于烟雾检测,或者烟雾检测过程403被暂停或停止。深度图像中的ROI 203用于观察被检测物体/手所发生的遮挡,从而可以避免误报。
可替代地,当活动边界框700覆盖了n个ROI中的至少一个时,或者当活动边界框覆盖了所有的n-h个ROI时(其中,h(过滤后的剩余ROI)是整数且1<h<n),或者当活动边界框覆盖了所有的n个ROI时,烟雾检测方法暂停,因为它被认为是不可靠的。
如上所述,ROI 203中的每一个在深度图像中的坐标与在置信度图像中的坐标完全相同。烟雾不会出现在深度图像中,因为它被认为是噪声,并且它被过滤掉了。诸如手、手指等的物体会出现在两个图像中。这使得可以避免在置信度图像中从检测到的手指、手(这里显示为黑色)产生的误报。
图8a示意性地更详细地描述了如图4所述的烟雾检测过程的实施方式。在这个实现方式中,使用标准偏差函数s计算一组ROI中的置信度值的变化。
图8a的实施方式与上述图6的实施方式类似,其中,除了图6的步骤之外,还计算了定义的一组ROI中的置信度变化s以确定烟雾检测状态。
在600处,获得有意义的烟雾检测所必需的有效ROI的预定义的最小数量m。在601处和603处,基于有效ROI的各自的置信度值CROI,j,针对烟雾检测计算n个ROI中每个ROI j的置信度值CROI,j和置信度阈值Ctot。在602处,过滤掉被检测的物体覆盖的ROI,从而得到数量为h的剩余ROI。在800处,如果置信度变化s超过预定的阈值,则该方法继续进行至608处,并且在608处确定指示烟雾检测不可靠的烟雾检测状态。在800处,如果置信度变化s小于预定的阈值,则该方法继续进行至604处,并且在604处,如果有效ROI的数量h大于m,则该方法继续进行至605处。如果有效ROI的数量h小于m,则该方法继续进行至608处,并且在608处确定指示烟雾检测不可靠的烟雾检测状态。在605处,检查在至少m个ROI中,各自的置信度值CROI,j是否已经达到置信度阈值Ctot。如果605处的结果是“是”,则方法继续进行至607处。在607处,确定指示检测到烟雾的烟雾检测状态。如果在605处的结果是“否”,则方法继续进行至606处。在606处,确定指示没有检测到烟雾的烟雾检测状态。
基于对n个ROI中的每个ROI j计算的置信度值CROI,j并且基于置信度阈值Ctot,计算定义的一组ROI中的置信度变化s。
该组ROI中的置信度变化s可以通过标准偏差函数计算为:
其中,Z是定义的ROI的数量,Ctot是置信度图像中的所有ROI的平均置信度值,并且CROI,j是置信度图像内的ROI j的(平均)置信度值。
在上述烟雾检测过程中,烟雾检测状态的确定是基于n个ROI中的深度变化并且基于一个图像(不依赖深度图像)内所有n个ROI的(平均)置信度(使用上述的标准偏差函数s)来测量的光反射的变化s。即,平均置信度值Ctot的变化s与烟雾检测的阈值进行比较。这个阈值可以是烟雾检测的任何合适阈值。
图8b示意性地更详细地描述了如图4所述的烟雾检测过程的实施方式。图8b的实施方式与上述图6的实施方式类似,其中,除了图6的步骤之外,还计算了置信度图像中明亮像素的数量以确定烟雾检测状态。在该实现方式中,在执行上述图6的步骤之前,在801处,如果在置信度图像中计算出的明亮像素的数量大于阈值,则该方法继续进行至802处。在802处,烟雾检测过程暂停或停止,因为认为不太可能存在烟雾。在801处,如果在置信度图像中计算出的明亮像素的数量小于阈值,则该方法继续进行至600处。在600处,该方法如图6的实施方式中所述的继续进行。
在图8b的实施方式中,当计算出的明亮像素的数量高于明亮像素的预定阈值时,烟雾的存在的确定暂停或停止,因为认为不太可能存在烟雾或因为烟雾检测不可靠(见图6中的608)。在明亮像素的数量高于所述阈值的情况下,由于靠近iToF传感器的检测到的物体的光散射,存在误报的风险。这是因为通常当物体靠近iToF传感器时,在ROI中的光散射被检测到。
校准
上述实施方式中描述的iToF系统200例如通过捕获图像并在捕获的图像中进行背景减除来校准。矩形形状的ROI 203可以基于减除后的背景在置信度图像和深度图像中的每一个中定义。校准可以使用技术人员已知的任何其他校准方法进行。
图9显示了可视化烟雾检测状态确定方法的流程图。在900处,例如在车内场景中,深度图像(见图4中的401)和置信度图像(见图4中的402)通过iToF传感器(见图4中的400)采集,该传感器在其视场(见图2中的201)内捕获场景(见图2中的202)。在901处,如上文图4和图6中所述,执行烟雾检测(见图4中的403)。在902处,基于在901处获得的烟雾检测结果,生成烟雾检测状态(见图4中的404)。如上文图5所述,烟雾检测状态可以是:例如烟雾检测不可靠,例如没有检测到烟雾,或者例如检测到烟雾。
实现方式
图10示意性地描述了可以实现如上所述的烟雾检测和烟雾检测状态确定过程的iToF装置的实施方式。电子装置1200包含CPU 1201作为处理器。电子装置1200还包含iToF传感器1206和卷积神经网络单元1209,它们都连接至处理器1201。处理器1201例如可以实现烟雾检测403,即实现关于图3和图4更详细描述的过程。CNN 1209例如可以是硬件中的人工神经网络,例如是GPU上的神经网络或任何其他专门用于实现人工神经网络的硬件。因此,CNN 1209可以是使得可以实时使用该技术的算法加速器,例如神经网络加速器。电子装置1200还包括用户界面1207,该用户界面1207连接至处理器1201。该用户界面1207作为人机界面并且使得管理员和电子系统之间能够对话。例如,管理员可以使用该用户界面1207对系统进行配置。电子装置1200还包含蓝牙接口1204、WLAN接口1205和以太网接口1208。这些单元1204、1205作为I/O接口用于与外部装置进行数据通信。例如,具有以太网、WLAN或蓝牙连接的视频相机可以经由这些接口1204、1205和1208耦接到处理器1201。电子装置1200还包含数据存储器1202和数据内存1203(这里是RAM)。数据存储器1202被布置为长期存储器,例如用于存储用于一个或多个用例的算法参数、用于记录从iToF传感器1206获得并从CNN 1209提供的iToF传感器数据等。数据内存1203被布置为临时存储或者缓存用于通过处理器1201处理的数据或计算机指令。
应该注意,上面的描述只是示例配置。替代的配置可以用额外的或其他的传感器、存储装置、接口等来实现。
应该认识到,本实施方式描述了具有方法步骤的示例性排序的方法。然而,方法步骤的特定排序仅用于说明目的并且不应解释为具有限制。例如,图6中的步骤601可以在步骤603之后执行等。
还应注意的是,将图10的电子装置划分为单元只是为了说明目的,并且本公开内容并不限于特定单元中的任何具体特定划分。例如,至少电路的部分可以分别由编程的处理器、现场可编程门阵列(FPGA)、专用电路等实现。
本说明书中所描述的和所附权利要求书中所要求的所有单元和实体,如果没有另外说明,可以作为例如芯片上的集成电路逻辑来实现,并且由这些单元和实体提供的功能,如果没有另外说明则可以由软件来实现。
上述公开的实施方式至少部分地使用软件控制的数据处理装置来实现,在此范围内,可以理解的是,提供这种软件控制的计算机程序和提供这种计算机程序的传输、存储或其他介质被设想为本公开的方面。
注意,本技术也可以按照下面的描述进行配置。
(1)一种电子装置,包括电路,该电路被配置为:基于iToF传感器(400)捕获的深度图像(401)和置信度图像(402)执行烟雾检测(403),以获得烟雾检测状态(404、606、607、608)。
(2)根据(1)所述的电子装置,其中,该电路被配置为:在捕获的深度图像(401)和捕获的置信度图像(402)中的每一个中定义关注区域ROI(203),并且基于在深度图像(401)和置信度图像(402)中定义的ROI执行烟雾检测(403)。
(3)根据(1)或(2)所述的电子装置,其中,深度图像(401)中的ROI(203)被定义在与置信度图像(402)中定义的ROI(203)相同的位置。
(4)根据(2)或(3)所述的电子装置,其中,深度图像(401)和置信度图像(402)中的ROI(203)被定义在固定位置。
(5)根据(1)至(4)中任一项所述的电子装置,其中,该电路被配置为:估计置信度图像(402)中的置信度值(C,CROI,j,Ctot)。
(6)根据(2)所述的电子装置,其中,该电路被配置为:计算在置信度图像(402)中定义的ROI(203)中的每个ROI的相应置信度值(CROI,j),并基于计算的置信度值(CROI,j)执行烟雾检测(403)。
(7)根据(6)所述的电子装置,其中,该电路被配置为:基于ROI(203)的相应置信度值(CROI,j),计算所有ROI(203)的平均置信度值(Ctot)。
(8)根据(7)所述的电子装置,其中,置信度值阈值(Ctot)被设置为所有ROI(203)的平均置信度值(Ctot)。
(9)根据(7)所述的电子装置,其中,该电路被配置为:当至少最小数量(m)的ROI(203)中的每个ROI(203)的相应置信度值(CROI,j)达到置信度值阈值(Ctot)时,获得指示检测到烟雾的烟雾检测状态(607)。
(10)根据(7)所述的电子装置,其中,该电路被配置为:当至少最小数量(m)的ROI(203)中未达到置信度值阈值(Ctot)时,获得指示没有检测到烟雾的烟雾检测状态(606)。
(11)根据(2)所述的电子装置,其中,该电路被配置为:基于对深度图像(401)执行物体检测来检测物体的存在。
(12)根据(11)所述的电子装置,其中,该物体是手。
(13)根据(2)所述的电子装置,其中,该电路被配置为:基于深度图像(401)中的深度变化来检测物体或手的存在。
(14)根据(11)所述的电子装置,其中,该电路被配置为:过滤掉被检测的物体覆盖的ROI(203),以获得一定数量(h)的剩余ROI。
(15)根据(2)所述的电子装置,其中,该电路被配置为:过滤掉深度图像(401)中具有较高深度变化的ROI(203)以获得一定数量(h)的剩余ROI。
(16)根据(12)所述的电子装置,其中,该电路被配置为:当剩余ROI(203)的数量h小于预定义的最小ROI数量(m)时,获得指示烟雾检测不可靠的烟雾检测状态(608)。
(17)根据(6)所述的电子装置,其中,该电路被配置为:基于ROI(203)中相应置信度值(CROI,j)的变化(s)来执行烟雾检测(403)。
(18)一种方法,包括基于通过iToF传感器(400)捕获的深度图像(401)和置信度图像(402)执行(901)烟雾检测(403),以获得烟雾检测状态(404)。
(19)一种计算机程序,包括指令,当该程序由计算机执行时,该指令使计算机执行(18)所述的方法。
(20)一种非暂时性计算机可读记录介质,其中存储有计算机程序产品,该计算机程序产品在由计算机执行时,使该计算机执行(18)所述的方法。
Claims (19)
1.一种电子装置,包括电路,所述电路被配置为:基于通过iToF传感器捕获的深度图像和置信度图像执行烟雾检测,以获得烟雾检测状态。
2.根据权利要求1所述的电子装置,其中,所述电路被配置为:在捕获的深度图像和捕获的置信度图像中的每一个中定义关注区域ROI,并且基于在所述深度图像和所述置信度图像中定义的ROI执行所述烟雾检测。
3.根据权利要求2所述的电子装置,其中,所述深度图像中的所述ROI被定义在与所述置信度图像中定义的ROI相同的位置。
4.根据权利要求2所述的电子装置,其中,所述深度图像中的ROI和所述置信度图像中的ROI被定义在固定的位置。
5.根据权利要求1所述的电子装置,其中,所述电路被配置为:估计所述置信度图像中的置信度值。
6.根据权利要求2所述的电子装置,其中,所述电路被配置为:计算在所述置信度图像中定义的每个ROI的相应置信度值,并基于计算的置信度值执行所述烟雾检测。
7.根据权利要求6所述的电子装置,其中,所述电路被配置为:基于所述ROI的相应置信度值,计算所有ROI的平均置信度值。
8.根据权利要求7所述的电子装置,其中,置信度值阈值被设置为所有ROI的所述平均置信度值。
9.根据权利要求7所述的电子装置,其中,所述电路被配置为:当至少最小数量的ROI中的每个ROI的相应置信度值达到置信度值阈值时,获得指示检测到烟雾的烟雾检测状态。
10.根据权利要求7所述的电子装置,其中,所述电路被配置为:当至少最小数量的ROI未达到置信度值阈值时,获得指示没有检测到烟雾的烟雾检测状态。
11.根据权利要求2所述的电子装置,其中,所述电路被配置为:基于对所述深度图像执行的物体检测来检测物体的存在。
12.根据权利要求11所述的电子装置,其中,所述物体是手。
13.根据权利要求2所述的电子装置,其中,所述电路被配置为:基于所述深度图像中的深度变化来检测物体或手的存在。
14.根据权利要求11所述的电子装置,其中,所述电路被配置为:过滤掉被所检测的物体覆盖的ROI,以获得一定数量的剩余ROI。
15.根据权利要求2所述的电子装置,其中,所述电路被配置为:过滤掉所述深度图像中具有高深度变化的ROI,以获得一定数量的剩余ROI。
16.根据权利要求12所述的电子装置,其中,所述电路被配置为:当剩余ROI的数量小于预定义的最小ROI数量时,获得指示烟雾检测不可靠的烟雾检测状态。
17.根据权利要求6所述的电子装置,其中,所述电路被配置为:基于ROI中相应置信度值的变化来执行烟雾检测。
18.一种方法,包括基于通过iToF传感器捕获的深度图像和置信度图像执行烟雾检测,以获得烟雾检测状态。
19.一种计算机程序,包括指令,当所述程序由计算机执行时,所述指令使所述计算机执行根据权利要求18所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20210144 | 2020-11-26 | ||
EP20210144.0 | 2020-11-26 | ||
PCT/EP2021/082024 WO2022112073A1 (en) | 2020-11-26 | 2021-11-17 | Electronic device, method and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116601689A true CN116601689A (zh) | 2023-08-15 |
Family
ID=73598809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180078204.5A Pending CN116601689A (zh) | 2020-11-26 | 2021-11-17 | 电子装置、方法和计算机程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240005758A1 (zh) |
EP (1) | EP4252212A1 (zh) |
JP (1) | JP2023552299A (zh) |
CN (1) | CN116601689A (zh) |
WO (1) | WO2022112073A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8139142B2 (en) * | 2006-06-01 | 2012-03-20 | Microsoft Corporation | Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques |
US11243294B2 (en) * | 2014-05-19 | 2022-02-08 | Rockwell Automation Technologies, Inc. | Waveform reconstruction in a time-of-flight sensor |
KR101679148B1 (ko) * | 2015-06-15 | 2016-12-06 | 동의대학교 산학협력단 | 깊이 카메라를 이용한 화재 감시 시스템 및 이를 이용한 화재 감시 방법 |
KR20210008058A (ko) * | 2018-05-11 | 2021-01-20 | 트리나미엑스 게엠베하 | 분광계 장치 |
CN110956657B (zh) * | 2018-09-26 | 2023-06-30 | Oppo广东移动通信有限公司 | 深度图像获取方法及装置、电子设备及可读存储介质 |
TWI694382B (zh) * | 2019-01-04 | 2020-05-21 | 財團法人金屬工業研究發展中心 | 具深度視覺之煙霧偵測方法 |
-
2021
- 2021-11-17 US US18/037,775 patent/US20240005758A1/en active Pending
- 2021-11-17 CN CN202180078204.5A patent/CN116601689A/zh active Pending
- 2021-11-17 JP JP2023530538A patent/JP2023552299A/ja active Pending
- 2021-11-17 EP EP21815463.1A patent/EP4252212A1/en active Pending
- 2021-11-17 WO PCT/EP2021/082024 patent/WO2022112073A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2023552299A (ja) | 2023-12-15 |
EP4252212A1 (en) | 2023-10-04 |
US20240005758A1 (en) | 2024-01-04 |
WO2022112073A1 (en) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11706377B2 (en) | Visual, depth and micro-vibration data extraction using a unified imaging device | |
EP3391648B1 (en) | Range-gated depth camera assembly | |
US8730164B2 (en) | Gesture recognition apparatus and method of gesture recognition | |
US20200072367A1 (en) | Auto range control for active illumination depth camera | |
EP2541493B1 (en) | Pupil detection device and pupil detection method | |
US10572024B1 (en) | Hand tracking using an ultrasound sensor on a head-mounted display | |
US20140375812A1 (en) | Method for representing a vehicle's surrounding environment | |
JP4715718B2 (ja) | 車両用表示装置 | |
US9975482B2 (en) | Systems and methods for traffic event detection for vehicles using rolling averages | |
US20150238087A1 (en) | Biological information measurement device and input device utilizing same | |
JPWO2009110082A1 (ja) | 画像撮影装置、画像撮影方法および画像撮影プログラム | |
US11568654B2 (en) | Object recognition method and object recognition device performing the same | |
CN107960989B (zh) | 脉搏波计测装置以及脉搏波计测方法 | |
US20190266425A1 (en) | Identification apparatus, identification method, and non-transitory tangible recording medium storing identification program | |
US10477155B2 (en) | Driving assistance method, driving assistance device, and recording medium recording program using same | |
CN113286979B (zh) | 使用飞行时间(ToF)成像装置进行微振动数据提取的系统、装置和方法 | |
JP2013205368A (ja) | 被測定物情報取得装置 | |
TWI522257B (zh) | 車用安全系統及其運作方法 | |
JPWO2014002534A1 (ja) | 対象物認識装置 | |
CN109478107A (zh) | 电子装置及其操作方法 | |
CN109703555A (zh) | 用于探测道路交通中被遮蔽的对象的方法和设备 | |
US20130208091A1 (en) | Ambient light alert for an image sensor | |
CN116601689A (zh) | 电子装置、方法和计算机程序 | |
CN111819841B (zh) | 信息处理装置、信息处理方法和存储介质 | |
JP2009031004A (ja) | 飲酒判定装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |