CN116457843A - 飞行时间物体检测电路和飞行时间物体检测方法 - Google Patents

飞行时间物体检测电路和飞行时间物体检测方法 Download PDF

Info

Publication number
CN116457843A
CN116457843A CN202180077288.0A CN202180077288A CN116457843A CN 116457843 A CN116457843 A CN 116457843A CN 202180077288 A CN202180077288 A CN 202180077288A CN 116457843 A CN116457843 A CN 116457843A
Authority
CN
China
Prior art keywords
object detection
time
mobile phone
flight
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180077288.0A
Other languages
English (en)
Inventor
安托万·迪里尼厄
D·达尔佐特
瓦伦·阿罗拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116457843A publication Critical patent/CN116457843A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Telephone Function (AREA)

Abstract

本公开总体上涉及用于检测车辆用户手中的移动电话的飞行时间物体检测电路，该飞行时间物体检测电路被配置成：基于预定反射率图案来检测用户手中的移动电话，该预定反射率图案指示移动电话至少部分地位于手中。

Description

飞行时间物体检测电路和飞行时间物体检测方法
技术领域
本公开总体上涉及飞行时间物体检测电路和飞行时间物体检测方法。
背景技术
通常，用于检测例如由车辆驾驶员使用的移动电话的方法通常是已知的。然而，已知的方法可能涉及从车辆外部检测移动电话，例如，以便对驾驶员进行罚款。
另一方面，例如，驾驶室内移动电话检测设备可以使用RGB图像。
此外，飞行时间(ToF)成像设备是已知的。例如，深度或距离可以基于发射光的往返延迟(即飞行时间)来确定，其中，往返延迟可以基于对时间的直接测量(例如，与考虑光速的情况下接收反射光的时间相比，发射光的时间)来确定，该时间可以被称为直接飞行时间(dToF)，或者基于通过测量调制光的相移来间接测量时间，该时间可以被称为间接飞行时间(iToF)。
尽管存在用于检测在车辆驾驶室中正在使用的移动电话的技术，但是通常期望提供用于检测车辆用户手中的移动电话的飞行时间物体检测电路，以及用于检测车辆用户手中的移动电话的飞行时间物体检测方法。
发明内容
根据第一方面，本公开提供了飞行时间物体检测电路，该电路用于检测车辆的用户手中的移动电话，该飞行时间物体检测电路被配置为：
基于预定反射率图案来检测该用户手中的该移动电话，该预定反射率图案指示移动电话至少部分地位于该手中。
根据第二方面，本公开提供了一种飞行时间物体检测方法，该方法用于检测车辆的用户手中的移动电话，该飞行时间物体方法包括：
基于预定反射率图案来检测所述用户手中的所述移动电话，该预定反射率图案指示该移动电话至少部分地位于该手中。
在从属权利要求、下面的描述和附图中阐述了进一步的方面。
附图说明
参照附图通过实例的方式说明实施方式，其中：
图1示意性地描绘了车辆的驾驶室；
图2以框图的形式描绘了根据本公开的物体检测方法；
图3描绘了根据本公开的ToF物体检测电路的实施方式；
图4以框图的形式描绘了根据本公开的ToF物体检测方法的实施方式；
图5以框图的形式描绘了根据本公开的ToF物体检测方法的另一实施方式；
图6a描绘了根据本公开的ToF物体检测方法的另一实施方式；
图6b描绘了根据本公开的ToF物体检测方法的另一实施方式；
图7示出了根据本公开的ToF成像装置的实施方式；
图8是描述车辆控制系统的示意性配置示例的框图；以及
图9是用于辅助说明车外信息检测部分和成像部分的安装位置的示例的图。
具体实施方式
在对参考图1的实施方式详细描述之前，先进行一般性的解释。
如开始所提到的，飞行时间物体检测方法通常是已知的。
然而，已经认识到，可能希望基于车辆的驾驶员(或用户)在驾驶时是否持有电话(或任何其他东西(可能会分散驾驶员的注意力))来警告车辆的驾驶员或激活与安全相关的功能。
此外，已经认识到，在自动驾驶的情况下，可能希望基于车辆中持有电话(或能够访问或控制信息娱乐系统的任何其他东西)的用户来访问信息娱乐系统。
此外，已经认识到，已知的移动电话检测设备可能是不精确的，例如，因为它们可能无法将电话与背景区分开来。这可能是当光条件(例如，弱光、夜晚、日光)不适合所使用的系统时的情况，例如，当在夜晚时，但是使用RGB相机。因此，已经认识到，期望提供针对各种光条件(或完全不受光条件影响)的驾驶室内移动电话使用的检测，使得已经认识到飞行时间成像可以用于检测移动电话。
已经进一步认识到，通过检测用户的手和/或与手相关的移动电话，例如，当识别出移动电话至少部分地位于手中时，可以实现对移动电话的更精确的检测，使得可以避免仅对移动电话的错误识别(其中驾驶员不使用电话)。
因此，已经认识到，可以使用飞行时间图像，因为移动电话显示屏可以具有已知的反射率，并且在飞行时间中，除了深度/距离之外，还可以确定反射率，并且可以基于移动电话的反射率和移动电话到手的深度/距离的组合来执行移动电话检测(还可以考虑手的反射率，例如，皮肤的反射率和/或如果用户佩戴反射手表(例如，智能手表)，则可以基于该反射率来确定手)。
因此，一些实施方式涉及用于检测车辆的用户手中的移动电话的飞行时间物体检测电路，该飞行时间物体检测电路被配置为：基于预定反射率图案来检测该用户手中的移动电话，该预定反射率图案指示该移动电话至少部分地位于该手中。
如上所述，飞行时间可以指用于生成场景(例如，物体)的深度图/图像的任何方法，诸如间接飞行时间、直接飞行时间等。此外，根据一些实施方式，除了深度图/图像之外，飞行时间物体检测电路还可以被配置为例如通过测量检测到的光量与发射的光量相比来确定场景的反射率。
在一些实施方式中，发射的光包括红外光，使得例如获得物体在红外光谱中的反射率。
然而，本公开不限于反射率的直接测量。例如，也可以测量其他(物理)参数，其可以指示反射率，例如消光、吸收和/或类似的。
电路可以属于任何种类的处理器，例如CPU(中央处理单元)、GPU(图形处理单元)、FPGA(现场可编程门阵列)等，或者任何种类的计算机、服务器、相机(系统)等，或者它们的任何组合，例如两台计算机、服务器和计算机、CPU和GPU等。
此外，物体可以由物体检测电路检测，其中该物体可以包括移动电话、平板电脑等，其具有预定的(特定的)反射率(签名)(例如，在红外范围内)，例如，因为移动电话可以具有特定的显示屏或显示屏上的特定涂层，其可以具有特定的反射率(签名/特性)，或者由于移动电话的材料。
根据一些实施方式，当移动电话至少部分地位于用户手中时，可以检测到移动电话，例如在应该向用户发出警告的情况下(例如，如果用户是车辆的驾驶员则应该警告用户在驾驶时使用移动电话)，或者当用户持有移动电话时(例如，当识别出用户想要进行呼叫时)，应该建立特定的数据连接。
在一些实施方式中，当用户在车辆内或车辆上时，飞行时间物体检测电路用于检测用户手中的移动电话，其中本公开不限于任何种类的车辆，例如汽车、自行车、摩托车等。此外，飞行时间物体检测电路可以设想在火车(或船舶或飞机等)内，例如在休息舱中，使得当识别出用户想要进行呼叫时，通知用户(例如，作为移动电话上的消息)她或他不允许在休息舱中进行呼叫。
如下面将进一步讨论的，ToF物体检测电路可被配置为基于包括被配置为获取置信度和深度图像的ToF传感器的驾驶室内ToF设备来生成电话检测状态。ToF设备可以是ToF物体检测电路的一部分，反之亦然，或者可以是两个不同的实体。例如，外部设备可以形成ToF物体检测电路。例如，远程服务器可以形成ToF物体检测电路，并且必要的ToF数据可以经由空中接口传输到服务器。
电话检测状态可以基于ToF传感器视场中的手的识别，以便确定手的位置。例如，可以限定与手相关的(放大的，即视场的一部分)边界框或ROI(感兴趣区域)。
如上所述，在一些实施方式中，ToF物体检测电路被配置成：基于预定反射率图案来检测用户手中的该移动电话，该预定反射率图案指示移动电话至少部分位于该手中。
正如已经讨论过的，移动电话或其显示器可能具有已知的反射率。反射率图案可以包括在预定区域内(例如，在显示屏上)的反射率的稳定分布，例如相同的反射率或预定阈值内的反射率。反射率图案还可以包括预定区域内的不同反射率。例如，如果移动电话的显示屏被确定为预定区域，则可以应用不同的涂层，使得不同的涂层可以产生不同的反射率。例如，在前置相机被认为是显示器的一部分的情况下，前置相机可以被不同地涂覆或者根本不涂覆。
可以基于以下非限制性公式获得反射率图像(用于估计物体(或例如ROI-手+电话)的反射率)：
反射率＝(深度*深度*置信度)/(预定值)，
其中，该预定值可以是常数、变量、基于模型、保存在特征图中等。
根据本公开确定反射率的另一种方式是使用彩色传感器，例如具有840nm滤光器、940nm滤光器等，而不是ToF传感器。第一图像可以在光源开启(没有滤光器)的情况下拍摄，第二图像可以在光源关闭(有滤光器)的情况下拍摄。可以比较第一图像和第二图像以确定彩色传感器视场中的物体的反射率。
如果手的一部分(例如，手指)覆盖显示屏的一部分，则显屏的已知反射率可以被手指中断，使得可以产生反射率图案，由此可以得出手的一部分覆盖显示屏的一部分的结论。
在一些实施方式中，ToF物体检测电路确定预定反射率被中断，使得反射率图案出现，而在其他实施方式中，反射率图案包括指示显示器的第一反射率和指示手的第二反射率(例如，皮肤反射率、手套材料反射率等)。
因此，在一些实施方式中，可以首先检测手，并且可以在手的附近检测移动电话。
如上所述，当识别出指示移动电话至少部分地位于手中的反射率图案时，检测到移动电话在手中。
因此，移动电话也可以部分不位于手中，例如，比手大的移动电话可以仅位于手掌中。
在一些实施方式中，即使手的任何部分都没有覆盖或包围移动电话，手也被检测到，而在其他实施方式中，通过检测手的至少一部分覆盖或包围移动电话来检测手。
在一些实施方式中，预定反射率图案指示移动电话至少部分地被手的至少一部分包围。
因此，可以识别或检测到用户抓着移动电话，例如抓着边缘，但是显示屏可能没有被覆盖，而这可能取决于拍摄ToF深度图像的视角。
因此，在一些实施方式中，预定反射率图案指示移动电话被手的至少一部分至少部分遮挡。因此，即使手的一部分不与显示屏接触，移动电话也可能被部分遮挡，但是根据视角，反射率图案可能会改变。
然而，在一些实施方式中，当手与显示屏接触时，移动电话被部分遮挡。
为了检测用户手中的移动电话，在一些实施方式中，飞行时间物体检测电路进一步被配置为：生成标记的飞行时间图像。
例如，基于可以指示图像或深度图的ToF数据，可以生成标记的图像。图像可以涉及基于ToF采集过程的任何类型的数据结构。因此，本公开不限于图像可见，因为唯一的要求可以包括数据结构可以由ToF物体检测电路处理。例如，图像可以被输入到人工智能中，因此，可以编译ToF数据，以便适应人工智能在数据结构方面的要求。然而，在一些实施方式中，ToF数据可以直接(不改变)输入到ToF物体检测电路中。例如，ToF物体检测电路和ToF测量电路或ToF采集电路可以具有公共部分，使得它们可以本质上被配置为使用相同的数据结构。例如，可以在同一芯片(例如，处理器)上提供人工智能，作为图像处理单元等。
图像可以被标记为例如具有预定深度的图像元素(例如像素)被去除、标记等。
通常，每个图像元素可以基于以下至少一个来标记：像素饱和度、像素置信度(例如，在不限制本公开的情况下，可以标记高置信度)、像素反射率(例如，背景范围、手范围、移动电话范围)、像素邻域噪声方差。
在非限制性示例中，可以基于上述条件中的至少两个的组合来标记像素，例如，基于像素饱和度和像素邻域噪声方差。
例如，如果饱和度低于预定阈值，则可以确定该像素代表背景，但既不代表手也不代表移动电话，使得该像素可以被标记为被忽略，而不在这方面限制本公开，特别是因为饱和度也可以高于预定阈值，以便标记该像素和/或以便确定它指示手或电话。
关于像素置信度，如间接ToF的情况通常已知的那样，如果本领域技术人员通常已知的I和Q值高，则置信度可能变高，因为置信度可能基于例如I和Q的(毕达哥拉斯)相加。因此，高置信度可以指示要检测的物体(例如，手或电话)，使得这些像素可以被标记为例如属于感兴趣的区域。然而，高置信度也可能表示有物体阻挡了视线。
像素可以基于像素的反射率来标记。如本文所讨论的，移动电话(例如，其显示器)可以具有独特的反射率，使得指示移动电话的像素可以被相应地标记。此外，背景可以具有漫反射率或根本没有反射率，使得漫反射率分布可以指示例如背景。此外，皮肤还可以具有独特的反射率特性，使得手像素(指示手的像素)可以被相应地标记。
考虑到像素邻域噪声方差，例如，可以考虑直接或间接相邻像素的噪声的统计方差，并且可以基于该方差来标记像素。然而，本公开不限于方差，因为可以设想噪声的任何统计测量，例如均方根偏差、显著性等。
因此，基于标记的图像，可以确定可以指示手和移动电话的感兴趣区域。
然而，在一些实施方式中，生成可用性图像，其中具有高于或低于预定阈值的深度的像素被去除。基于可用性图像，基于上述条件(即，像素饱和度、像素置信度、像素反射率、像素邻域噪声方差)中的至少一者来生成标记图像。
为了获得可用性图像，可以例如基于上面给出的反射率公式、基于反射率的测量(例如，入射光量相对于出射光量)等来生成反射率图像。
可用性图像通过限定与手相关的背景深度并去除具有比背景深度更深(或更低)的深度信息的像素来包括可用像素。在一些实施方式中，也保留饱和的像素(尽管它们可能位于背景中)和/或也保留具有低置信度(例如，低于预定阈值的置信度)但具有接近手的深度(例如，在预定范围内)的像素。
在一些实施方式中，可用性图像在手的邻域中的像素(即，远离指示手的像素的预定数量的像素)被保留，因为这些像素可以指示移动电话。
换句话说：在一些实施方式中，飞行时间物体检测电路进一步被配置为：去除具有预定反射率的飞行时间图像的图像元素，用于生成标记的飞行时间图像。
在一些实施方式中，飞行时间物体检测电路进一步被配置为：对标记的飞行时间图像应用形态学操作，用于生成物体检测图像。
通常，形态学操作用于例如基于周围像素标签信息来生成连接的像素组。
因此，如果像素具有与其相邻像素相同或相似的标签(例如，各个像素标签值在预定范围内)，则可以连接这些像素。由此，可以去除或校正(“清除”)错误标记的像素，并且可以修剪感兴趣区域的轮廓。
因此，在一些实施方式中，飞行时间物体检测电路被配置成：基于至少一个周围的图像元素，对标记的飞行时间图像的图像元素应用所述形态学操作，以生成物体检测图像。
形态学操作可以基于以下至少一项：侵蚀和扩张。
侵蚀可用于从错误标记的像素去除(小的)噪声分量，并减少感兴趣区域的轮廓上的像素数量。例如，侵蚀效率可以依赖于像素的标签值，或者依赖于标签值的组合(例如，像素饱和度和像素邻域噪声方差，或者像素反射率和像素置信度，等等)。
扩张可以用于将较大的像素组连接在一起并填充小的孔。例如，像素可能已经被错误地去除，尽管它可能已经指示移动电话的显示(例如，由于在生成可用性图像的阶段中的错误去除或者由于测量误差)。例如，基于该扩张，可以基于相邻像素恢复该像素。
在一些实施方式中，每个连接的像素组(其也可以被称为“检测到的分量”)指示随后可以在后续检测过程中使用的分量(component)。
对于基于形态学操作生成的图像，这里将其称为物体检测图像。
在一些实施方式中，飞行时间物体检测电路进一步配置成：检测物体检测图像中指示手的至少一个手部特征。
手部特征可以指示手指、手掌、拇指、指甲等，并且可以基于已知的特征检测方法来检测。
在一些实施方式中，可以分析每个连接的像素组(即，每个分量)。基于该分析，相对于检测到的手部特征的至少一个(最短)距离可以被限定为潜在的电话分量(电话候选)。
在一些实施方式中，可以用至少一种统计方法分析每个检测到的分量，并且可以生成检测到的分量的列表。
在一些实施方式中，手的位置基于手掌中心位置。例如，可以相对于手掌中心生成检测到的分量的列表，并且可以基于分量到手掌中心的距离来选择分量。在一些实施方式中，到手掌中心的距离最短的检测到的分量可以是潜在的电话分量。
对于潜在的电话分量，可以执行主成分分析(PCA)(这是本领域技术人员通常已知的)，而在这方面不限制本公开，因为可以使用任何其他分析方法。PCA可以指示分量的轮廓和其他度量(例如，分量的表面性质)。
在一些实施方式中，飞行时间物体检测电路进一步被配置为：基于在该物体检测图像中检测到的至少一个手部特征，检测指示移动电话的至少一个移动电话特征。
例如，基于与上述度量(构成移动电话特征)相结合的潜在电话分量，可以确定移动电话检测状态(例如，电话检测或无电话检测等)。例如，如果度量位于预定范围内，则移动电话检测状态可以是积极的(或消极的)。
换句话说：在一些实施方式中，飞行时间物体检测电路，进一步被配置为：将至少一个检测到的移动电话特征与预定移动电话特征进行比较。
例如，对于每个图像(或者对于每个帧)，电话检测状态事件可以被存储(例如，在存储介质中，该存储介质可以是ToF物体检测电路的一部分或者可以是外部存储体)。在一些实施方式中，在预定数量的积极的移动电话检测状态事件之后，可以确定(并且在一些实施方式中输出)积极的移动电话检测状态。
在一些实施方式中，移动电话检测状态(如果是积极的)与每个图像或每个帧的二维或三维移动电话位置一起输出。
一些实施方式涉及用于检测车辆用户手中的移动电话的飞行时间物体检测方法，该飞行时间物体方法包括：基于预定反射率图案来检测用户手中的移动电话，该预定反射率图案指示移动电话至少部分地位于手中，如本文所讨论的。
例如，ToF物体检测方法可以利用根据本公开的ToF物体检测电路来执行。
在一些实施方式中，预定反射率图案指示移动电话至少部分地被手的至少一部分包围，如本文所讨论的。在一些实施方式中，预定反射率图案指示移动电话被手的至少一部分至少部分遮挡，如本文所讨论的。在一些实施方式中，飞行时间物体检测方法进一步包括：生成标记的飞行时间图像，如本文所讨论的。在一些实施方式中，飞行时间物体检测方法还包括：去除具有预定反射率的飞行时间图像的图像元素，用于生成标记的飞行时间图像，如本文所讨论的。在一些实施方式中，飞行时间物体检测方法进一步包括：对标记的飞行时间图像应用形态学操作，以生成物体检测图像，如本文所讨论的。在一些实施方式中，飞行时间物体检测方法进一步包括：基于至少一个周围的图像元素，对标记的飞行时间图像的图像元素应用形态学操作，用于生成物体检测图像，如本文所讨论的。在一些实施方式中，飞行时间物体检测方法进一步包括：在物体检测图像中检测指示手的至少一个手部特征，如本文所讨论的。在一些实施方式中，飞行时间物体检测方法进一步包括：基于在物体检测图像中检测到的至少一个手部特征，检测指示移动电话的至少一个移动电话特征，如本文所讨论的。在一些实施方式中，飞行时间物体检测方法进一步包括：将至少一个检测到的移动电话特征与预定移动电话特征进行比较，如本文所讨论的。
在一些实施方式中，在本文中描述的方法还被实现为计算机程序，当在计算机和/或处理器上执行时，使计算机和/或处理器执行该方法。在一些实施方式中，还提供了一种非暂时性计算机可读记录介质，存储有计算机程序产品，当该计算机程序产品由诸如上述处理器的处理器执行时，使得本文所述的方法被执行。
回到图1，示意性地描绘了根据本公开的车辆的驾驶室1包括方向盘S、包括iToF相机和ToF物体检测电路的ToF系统2。调整iToF相机，使得可以拍摄场景3的图像，以便可以对场景3执行ToF物体检测方法。
在场景3中，可以看到嵌入在仪表板5中的信息娱乐系统4、手6和移动电话7。在这种情况下，在100个连续帧中检测到手6中的移动电话7，使得基于100个积极的电话检测状态事件建立从移动电话7到信息娱乐系统4的无线接入。
图2以框图的形式描绘了根据本公开的物体检测方法10，该方法由图1的ToF系统2执行。
在11处，用iToF相机获取置信度和深度图像。
在12处，由ToF物体检测电路确定手的位置。
在13处，基于以下内容生成移动电话检测状态：
为了生成移动电话检测状态，在14处，基于可用性图像和基于像素饱和度创建标记图像，如本文所讨论的，其中本公开不限于此。
在15处，如本文所讨论的，将形态学操作应用于标记的图像，以基于相邻像素信息生成连接的像素组。换句话说：如本文所讨论的，获得图像的分量。
在16处，基于手的位置来分析每个连接的像素组(即，每个分量)，并且如这里所讨论的，与手的距离最短的分量被限定为潜在的电话候选。
在17处，如本文所讨论的，将电话候选度量与预定度量阈值进行比较，用于生成电话检测状态。
在18处，确定度量是否与阈值匹配。如果它们不匹配，则在19处判定没有移动电话在使用。如果它们确实匹配，则在20处确定有移动电话在使用。因此，然后检测到用户手中的移动电话。
图3描绘了根据本公开的ToF物体检测电路30的另一实施方式。物体检测电路30包括ToF系统31，其在本实施方式中是iToF相机。此外，包括处理器32，该处理器被配置为执行根据本公开的物体检测方法，如将在参考图4和图5下讨论的物体检测方法35和/或40，或者在参考图2下讨论的物体检测方法10。
此外，Tof物体检测电路30包括信息娱乐系统33，可以基于处理器32的决定和基于Tof系统31的图像建立到该信息娱乐系统33的连接。此外，信息娱乐系统33可以触发ToF系统来获得图像，使得根据本公开的方法可以基于信息娱乐系统来执行。
图4以框图的形式描绘了ToF物体检测方法的实施方式。
在35处，基于预定反射率图案检测驾驶员手中的移动电话36，该预定反射率图案指示移动电话至少部分地位于手中，如本文所讨论的。
图5以框图的形式描绘了根据本公开的ToF物体检测方法40的另一实施方式。
在41处，从ToF相机获得ToF图像。
在42处，ToF图像的图像元素基于它们的反射率被去除，从而生成可用性图像，如本文所讨论的。
在43处，如本文所讨论的，基于至少一个标记条件生成标记的ToF图像。
在44处，应用至少一个形态学操作以获得物体检测图像，如本文所讨论的。
在45处，在物体检测图像中检测至少一个手部特征，并且在46处，在物体检测图像中检测至少一个电话特征。
在47处，如本文所讨论的，比较所检测到的特征。
在48处，如本文所讨论的，基于比较来检测移动电话。
图6a描绘了根据本公开的ToF物体检测方法50在ToF图像和各自处理的ToF图像方面的实施方式。
在左侧示出了ToF深度图像51，其中不同的深度值由图像的不同散列表示。如可以看到的，也示出了手52、移动电话53和其他物体。然而，物体检测还没有发生。
在中间示出了基于ToF图像51标记的标记图像55，使得检测和去除背景，以及去除另外的物体54，因为它们的深度值高于预定阈值。在标记图像55中，不同的散列表示不同的标签。
在右侧，示出了基于标记图像55的形态学操作的物体检测图像56。物体检测图像表示原始图像的一部分，使得仅可以看到被检测的手52和移动电话53，使得移动电话53(其被圈起来以指示检测)被检测到在手52(其周围描绘矩形以指示检测)中。
图6b描绘了ToF物体检测方法50的替代表示，即作为ToF物体检测方法50’，其中描绘了真实ToF图像51’、真实标记图像55’和真实物体检测图像56’。然而，省略了对各个图像的重复描述，并参考图6a的描述。
参考图7，示出了飞行时间(ToF)成像装置60的实施方式，其可用于深度感测或提供距离测量，特别是用于本文所讨论的技术，其中ToF成像装置60被配置为iToF相机。ToF成像装置60具有飞行时间物体检测电路67，该飞行时间物体检测电路67被配置为执行本文所讨论的方法并且形成对ToF成像装置60的控制(并且如本领域技术人员通常已知的，其包括(未示出)相应的处理器、存储器和存储体)。
ToF成像装置60具有调制光源61，并且它包括发光元件(基于激光二极管)，其中在本实施方式中，发光元件是窄带激光元件。
如本文所讨论的，光源61向场景62(感兴趣区域或物体)发射光，即调制光，该场景62反射该光。反射光由光学叠层63聚焦到光检测器64。
如本文所讨论的，光检测器64具有飞行时间成像部分65和微透镜阵列66，其中，飞行时间成像部分基于形成在像素阵列中的多个CAPD实现，微透镜阵列66将从场景62反射的光聚焦到飞行时间成像部分65(到图像传感器65的每个像素)。
当检测到从场景62反射的光时，光的发射时间和调制信息被馈送到包括飞行时间测量单元68的飞行时间物体检测电路或控制器67，飞行时间测量单元68也从飞行时间成像部分65接收相应的信息。基于从光源61接收到的调制光，飞行时间测量单元68计算从光源61发射并被场景62反射的接收到的调制光的相移，并基于此计算图像传感器65和场景65之间的距离d(深度信息)。
该深度信息从飞行时间测量单元68馈送到飞行时间物体检测电路67的3D图像重建单元69，该3D图像重建单元69基于深度数据重建(生成)场景62的3D图像。此外，如本文所讨论的，执行物体ROI检测、图像标记、应用形态学操作和移动电话识别。
根据本公开的实施例的技术适用于各种产品。例如，根据本公开的实施方式的技术可以实现为包括在移动体中的设备，移动体是汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动车辆、飞机、无人机、船舶、机器人、建筑机械、农业机械(拖拉机)等任何种类。
图8是描绘车辆控制系统7000的示意性配置的示例的框图，车辆控制系统7000是可应用根据本公开实施方式的技术的移动车身控制系统的示例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图8所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。将多个控制单元相互连接的通信网络7010可以例如是符合任意标准的车载通信网络，例如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)、FlexRay(注册商标)等。
每个控制单元包括：根据各种程序执行算术处理的微型计算机；存储体部分，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，用于驱动各种控制目标设备。每个控制单元进一步包括：网络接口(I/F)，用于通过通信网络7010执行与其他控制单元的通信；以及通信I/F，用于通过有线通信或无线电通信与车辆内外的设备、传感器等进行通信。图8所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部分7640、信标接收部分7650、车内设备I/F 7660、声音/图像输出部分7670、车载网络I/F 7680和存储部分7690。其它控制单元同样包括微型计算机、通信I/F、存储部分等。
驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元7100用作用于产生诸如内燃机、驱动马达等的车辆的驱动力产生设备的控制设备、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角度的转向机构、用于产生车辆的制动力的制动设备等。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制设备的功能。
驱动系统控制单元7100与车辆状态检测部分7110连接。例如，车辆状态检测部分7110包括检测车身的轴向旋转运动的角速度的陀螺仪传感器、检测车辆加速度的加速度传感器、以及用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器中的至少一者。驱动系统控制单元7100使用从车辆状态检测部分7110输入的信号执行算术处理，并且控制内燃机、驱动马达、电动助力转向设备、制动设备等。
车身系统控制单元7200根据各种程序控制提供给车身的各种设备的操作。例如，车身系统控制单元7200用作用于无钥匙进入系统、智能钥匙系统、电动车窗设备或诸如前照灯、倒车灯、制动灯、转向信号灯、雾灯等的各种灯的控制设备。在这种情况下，从移动设备发送的无线电波作为钥匙或各种开关的信号的替代，可以被输入到车身系统控制单元7200。车身系统控制单元7200接收这些输入无线电波或信号，并控制车辆的门锁设备、电动车窗设备、灯等。
电池控制单元7300根据各种程序控制作为驱动电机的电源的二次电池7310。例如，从包括二次电池7310的电池设备向电池控制单元7300提供关于电池温度、电池输出电压、电池中剩余电量等的信息。电池控制单元7300使用这些信号执行算术处理，并且执行用于调节二次电池7310的温度的控制或者控制提供给电池设备等的冷却设备。
车外信息检测单元7400检测关于包括车辆控制系统7000的车辆的外部的信息。例如，车外信息检测单元7400与成像部分7410和车外信息检测部分7420中的至少一个部分连接。成像部分7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机中的至少一者。例如，车外信息检测部7420包括用于检测当前大气状况或天气状况的环境传感器和用于检测包括车辆控制系统7000的车辆的周边上的另一车辆、障碍物、行人等的周边信息检测传感器中的至少一者。
例如，环境传感器可以是检测雨的雨滴传感器、检测雾的雾传感器、检测日照度的日照传感器和检测降雪的雪传感器中的至少一者。周边信息检测传感器可以是超声波传感器、雷达设备和激光雷达设备(光检测和测距设备或激光成像检测和测距设备)中的至少一者。成像部分7410和车外信息检测部分7420中的每一个可以被设置为独立的传感器或设备，或者可以被设置为集成了多个传感器或设备的设备。
图9示出了成像部分7410和车外信息检测部分7420的安装位置的示例。成像部分7910、7912、7914、7916和7918例如设置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置和车辆内部的挡风玻璃上部的位置中的至少一个位置。设置到前鼻的成像部分7910和设置到车辆内部的挡风玻璃的上部的成像部分7918主要获得车辆7900的正面的图像。设置到侧视镜的成像部分7912和7914主要获得车辆7900的侧面的图像。设置到后保险杠或后门的成像部分7916主要获得车辆7900的后部图像。设置在车辆内部的挡风玻璃上部的成像部分7918主要用于检测前面的车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图9描绘了各个成像部分7910、7912、7914和7916的拍摄范围的示例。成像范围a表示设置到前鼻的成像部分7910的成像范围。成像范围b和成像范围c分别表示设置到侧视镜的成像部分7912和7914的成像范围。成像范围d表示设置到后保险杠或后门的成像部分7916的成像范围。例如，通过叠加由成像部分7910、7912、7914和7916成像的图像数据，可以获得从上方观察的车辆7900的鸟瞰图像。
设置到车辆7900的前部、后部、侧面和角落以及车辆内部的挡风玻璃的上部的车外信息检测部分7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达设备。例如，设置在车辆7900的前鼻部、后保险杠、车辆7900的后门以及车辆内部的挡风玻璃的上部的车外信息检测部分7920、7926和7930可以是LIDAR设备。这些车外信息检测部分7920～7930主要用于检测前方车辆、行人、障碍物等。
回到图8，将继续描述。车外信息检测单元7400使成像部分7410对车辆外部的图像成像，并接收成像的图像数据。此外，车外信息检测单元7400从连接到车外信息检测单元7400的车外信息检测部分7420接收检测信息。在车外信息检测部分7420是超声波传感器、雷达设备或激光雷达设备的情况下，车外信息检测单元7400发送超声波、电磁波等，并接收所接收的反射波的信息。基于接收到的信息，车外信息检测单元7400可以执行检测诸如人、车辆、障碍物、标志、路面上的字符等的物体的处理，或者检测到它们的距离的处理。车外信息检测单元7400可以基于接收到的信息执行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于接收到的信息计算到车外物体的距离。
另外，基于接收到的图像数据，车外信息检测单元7400可以执行识别人、车辆、障碍物、标志、路面上的字符等的图像识别处理，或者检测到它们的距离的处理。车外信息检测单元7400可以对接收到的图像数据进行诸如失真校正、对准等的处理，并组合由多个不同成像部分7410成像的图像数据，以生成鸟瞰图像或全景图像。车外信息检测单元7400可以使用由包括不同成像部分的成像部分7410成像的图像数据来执行视角转换处理。
车内信息检测单元7500包括根据本公开的飞行时间物体检测电路，并且被配置为检测关于车辆内部的信息。此外，车内信息检测单元7500例如与检测驾驶员状态的驾驶员状态检测部分7510连接。驾驶员状态检测部分7510可以包括对驾驶员成像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等中，并且检测坐在座椅上的乘员或握着方向盘的驾驶员的生物信息。基于从驾驶员状态检测部分7510输入的检测信息，车内信息检测单元7500可以计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可以确定驾驶员是否在打瞌睡。车内信息检测单元7500可以对通过声音的收集获得的音频信号进行诸如噪声消除处理等的处理。
集成控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。集成控制单元7600与输入部分7800连接。输入部分7800由能够由乘员进行输入操作的设备实现，例如触摸面板、按钮、麦克风、开关、操纵杆等。集成控制单元7600可以被提供通过麦克风输入的语音的语音识别而获得的数据。输入部分7800例如可以是使用红外线或其他无线电波的遥控设备，或者支持车辆控制系统7000的操作的外部连接设备，例如移动电话、个人数字助理(PDA)等。输入部分7800可以是例如相机。在这种情况下，乘员可以通过手势输入信息。或者，可以输入通过检测乘员佩戴的可穿戴设备的移动而获得的数据。此外，输入部分7800例如可以包括输入控制电路等，该输入控制电路等基于使用上述输入部分7800的乘员等输入的信息生成输入信号，并且将生成的输入信号输出到集成控制单元7600。乘员等通过操作输入部分7800向车辆控制系统7000输入各种数据或给出用于处理操作的指令。
存储部分7690可以包括存储由微计算机执行的各种程序的只读存储器(ROM)和存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部分7690可以通过诸如硬盘驱动器(HDD)等的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等来实现。
通用通信I/F 7620是广泛使用的通信I/F，该通信I/F调解(mediates)与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可以实现蜂窝通信协议，例如全球移动通信系统(GSM(注册商标))、全球微波接入互操作性(WiMAX(注册商标))、长期演进(LTE(注册商标))、LTE-advanced(LTE-A)等，或者另一无线通信协议，如无线LAN(也称为无线保真(Wi-Fi(注册商标))、蓝牙(注册商标)等。通用通信I/F 7620可以例如经由基站或接入点连接到存在于外部网络(例如，互联网、云网络或公司专用网络)上的装置(例如，appEcation服务器或控制服务器)。此外，通用通信I/F 7620可以例如使用对等(P2P)技术连接到存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或者机器类型通信(MTC)终端)。
专用通信I/F 7630是支持为在车辆中使用而开发的通信协议的通信I/F。专用通信I/F 7630可以实现标准协议，例如车辆环境中的无线接入(WAVE)(其是作为较低层的电气和电子工程师协会(IEEE)802.1Ip和作为较高层的IEEE1609的组合)、专用短程通信(DSRC)或蜂窝通信协议。专用通信I/F 7630通常执行V2X通信作为概念，包括车辆和车辆之间的通信(车辆到车辆)、道路和车辆之间的通信(车辆到基础设施)、车辆和住宅之间的通信(车辆到住宅)以及行人和车辆之间的通信(车辆到行人)中的一者或多者。
定位部分7640例如通过接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)来执行定位，并且生成包括车辆的纬度、经度和高度的位置信息。顺便提及，定位部分7640可以通过与无线接入点交换信号来识别当前位置，或者可以从具有定位功能的终端，例如移动电话、个人手持电话系统(PHS)或智能电话，获得位置信息。
信标接收部分7650例如接收从安装在道路等上的无线电台发送的无线电波或电磁波，从而获得关于当前位置、拥堵、封闭道路、必要时间等的信息。顺便提及，信标接收部分7650的功能可以包括在上述专用通信I/F 7630中。
车内设备I/F 7660是调解微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可以使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线通用串行总线(WUSB)的无线通信协议来建立无线连接。此外，车内设备I/F 7660可以经由图中未描绘的连接终端(以及必要时的电缆)通过通用串行总线(USB)、高清多媒体接口(HDMI(注册商标))、移动高清链路(MHL)等建立有线连接。例如，车内设备7760可以包括乘员拥有的移动设备和可穿戴设备以及携带到车辆中或附接到车辆的信息设备中的至少一者。车内设备7760还可以包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。
车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680按照通信网络7010支持的预定协议发送和接收信号等。
集成控制单元7600的微计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部分7640、信标接收部分7650、车内设备I/F 7660和车载网络I/F 7680中的至少一者获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可以基于所获得的关于车辆内部和外部的信息来计算驱动力产生设备、转向机构或制动设备的控制目标值，并将控制命令输出到驱动系统控制单元7100。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制，该功能包括车辆的碰撞避免或减震、基于跟随距离的跟随驾驶、车辆速度保持驾驶、车辆碰撞的警告、车辆偏离车道的警告等。此外，微型计算机7610可以通过基于所获得的关于车辆周围的信息来控制驱动力产生设备、转向机构、制动设备等，来执行用于自动驾驶的协作控制，该协作控制使得车辆在不依赖于驾驶员等的操作的情况下自主行驶。
微计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位部分7640、信标接收部分7650、车内设备I/F 7660和车载网络I/F 7680中的至少一者获得的信息，生成车辆和诸如周围结构、人等的物体之间的三维距离信息，并且生成包括关于车辆当前位置的周围环境的信息的局部地图信息。此外，微型计算机7610可以基于所获得的信息来预测诸如车辆碰撞、行人接近等、进入封闭道路等的危险，并且生成警告信号。警告信号例如可以是用于产生警告声音或点亮警告灯的信号。
声音/图像输出部分7670将声音和图像中的至少一个的输出信号发送到输出设备，该输出设备能够在视觉上或听觉上向车辆的乘员或车辆的外部通知信息。在图8的示例中，示出了音频扬声器7710、显示部分7720和仪表面板7730作为输出设备。显示部分7720可以例如包括车载显示器和平视显示器中的至少一者。显示部分7720可以具有增强现实(AR)显示功能。输出设备可以是这些设备之外的其他设备，并且可以是另一设备，如耳机、可穿戴设备，诸如由乘员佩戴的眼镜型显示器等、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以诸如文本、图像、表格、图形等各种形式可视地显示由微计算机7610执行的各种处理获得的结果或从另一控制单元接收的信息。另外，在输出设备是音频输出设备的情况下，音频输出设备将由再现的音频数据或声音数据等构成的音频信号转换成模拟信号，并以听觉方式输出模拟信号。
顺便提及，在图8所示的示例中，经由通信网络7010彼此连接的至少两个控制单元可以集成为一个控制单元。可替换地，每个单独的控制单元可以包括多个控制单元。此外，车辆控制系统7000可以包括图中未示出的另一控制单元。此外，由上述描述中的一个控制单元执行的部分或全部功能可以分配给另一个控制单元。也就是说，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的算术运算。类似地，连接到一个控制单元的传感器或设备可以连接到另一个控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。
顺便提及，用于实现根据本公开的飞行时间物体检测电路的功能或实现根据本公开的飞行时间物体检测方法的计算机程序可以在控制单元等之一中实现。另外，还可以提供存储这种计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。另外，上述计算机程序可以例如在不使用记录介质的情况下经由网络分发。
在上述车辆控制系统7000中，根据本实施方式的飞行时间物体检测电路可以应用于图8所示的应用示例中的集成控制单元7600。
此外，飞行时间物体检测电路的至少一部分组成元件可以在图8所示的集成控制单元7600的模块(例如，用单个管芯形成的集成电路模块)中实现。可替换地，飞行时间物体检测电路可以由图8所示的车辆控制系统7000的多个控制单元来实现。
应当认识到，实施方式描述了具有方法步骤的示例性排序的方法。然而，方法步骤的具体顺序仅用于说明目的，不应被解释为具有约束力。例如，图5的实施方式中45和46的顺序可以互换。方法步骤顺序的其他变化对于本领域技术人员来说可能是显而易见的。
此外，应该认识到，根据本公开的ToF物体检测电路可以基于现有的(驾驶室内)ToF设备来实现，因为它可能只需要处理现有的ToF数据。在这种情况下，ToF图像处理流水线可以包括滤光阶段，该滤光阶段可以是目标函数的函数。例如，典型ToF图像处理的滤光阶段可能会降低图像的质量，以至于电话检测可能变得具有挑战性。由于电话的黑色涂层，反射率通常可以被认为是低的，使得“常规的”置信度滤光和平滑可能会留下与移动电话相对应的区域具有太少的像素，不能有效地用于“典型的”(已知的)检测流水线中。
例如，这样的问题可以通过在过滤阶段之前复制流水线来克服，使得根据本公开的ToF物体检测方法可以基于原始/未过滤的图像信息来应用，同时继续“正常”流水线，使得来自两个流水线的数据可以被组合以提高检测效率。
请注意，将ToF物体检测电路30划分为单元31至单元33仅用于说明目的，并且本公开不限于特定单元中的任何特定功能划分。例如，处理器32可以是ToF系统31的一部分，或者它可以由相应的编程处理器、现场可编程门阵列(FPGA)等实现，其将被配置为处理ToF采集并执行根据本公开的ToF物体检测方法。
下面参照图2、图4、图5、图6a和图6b描述一种用于控制电子设备的方法，例如上面讨论的ToF物体检测电路2、30或67。当在计算机和/或处理器(例如在ToF相机中)上执行该方法时，该方法还可以被实现为使计算机和/或处理器(例如上面讨论的处理器32)执行该方法的计算机程序。在一些实施方式中，还提供了一种非暂时性计算机可读记录介质，存储有计算机程序产品，该计算机程序产品当由诸如上述处理器的处理器执行时，使得执行所述方法。
在本说明书中描述的和在所附权利要求中要求的所有单元和实体，如果没有另作说明，可以实现为集成电路逻辑，例如在芯片上，并且如果没有另作说明，可以通过软件实现由这些单元和实体提供的功能。
就上述公开的实施方式而言，至少部分地使用软件控制的数据处理装置来实现，应当理解，提供这种软件控制的计算机程序以及提供这种计算机程序的传输、存储或其他介质被设想为本公开的方面。
注意，本技术也可以如下所述配置。
(1)一种飞行时间物体检测电路，用于检测车辆的用户手中的移动电话，所述飞行时间物体检测电路被配置为：
基于预定反射率图案来检测所述用户手中的所述移动电话，所述预定反射率图案指示所述移动电话至少部分地位于所述手中。
(2)根据(1)所述的飞行时间物体检测电路，其中，所述预定反射率图案指示所述移动电话至少部分地被所述手的至少一部分包围。
(3)根据(1)或(2)所述的飞行时间物体检测电路，其中，所述预定反射率图案指示所述移动电话至少部分地被所述手的至少一部分遮挡。
(4)根据(1)至(3)中任一项所述的飞行时间物体检测电路，进一步被配置为：生成标记的飞行时间图像。
(5)根据(4)所述的飞行时间物体检测电路，进一步被配置为：去除具有预定反射率的飞行时间图像的图像元素，用于生成所述标记的飞行时间图像。
(6)根据(4)或(5)所述的飞行时间物体检测电路，进一步被配置为：对所述标记的飞行时间图像应用形态学操作，用于生成物体检测图像。
(7)根据(6)所述的飞行时间物体检测电路，进一步被配置为：基于至少一个周围的图像元素，对所述标记的飞行时间图像的图像元素应用所述形态学操作，用于生成所述物体检测图像。
(8)根据(6)或(7)所述的飞行时间物体检测电路，进一步被配置为：在所述物体检测图像中检测指示所述手的至少一个手部特征。
(9)根据(8)所述的飞行时间物体检测电路，进一步被配置为：基于在所述物体检测图像中检测到所述至少一个手部特征，检测指示所述移动电话的至少一个移动电话特征。
(10)根据(9)所述的飞行时间物体检测电路，进一步配置成：将检测到的至少一个移动电话特征与预定移动电话特征进行比较。
(11)一种飞行时间物体检测方法，用于检测车辆的用户手中的移动电话，所述飞行时间物体方法包括：
基于预定反射率图案来检测所述用户手中的所述移动电话，所述预定反射率图案指示所述移动电话至少部分地位于所述手中。
(12)根据(11)所述的飞行时间物体检测方法，其中，所述预定反射率图案指示所述移动电话至少部分地被所述手的至少一部分包围。
(13)根据(11)或(12)所述的飞行时间物体检测方法，其中，所述预定反射率图案指示所述移动电话至少部分地被所述手的至少一部分遮挡。
(14)根据(11)至(13)中任一项所述的飞行时间物体检测方法，进一步包括：生成标记的飞行时间图像。
(15)根据(14)所述的飞行时间物体检测方法，进一步包括：去除具有预定反射率的飞行时间图像的图像元素，用于生成所述标记的飞行时间图像。
(16)根据(14)或(15)所述的飞行时间物体检测方法，进一步包括：对所述标记的飞行时间图像应用形态学操作，用于生成物体检测图像。
(17)根据(16)所述的飞行时间物体检测方法，进一步包括：基于至少一个周围的图像元素对所述标记的飞行时间图像的图像元素应用所述形态学操作，用于生成所述物体检测图像。
(18)根据(16)或(17)所述的飞行时间物体检测方法，进一步包括：在所述物体检测图像中检测指示所述手的至少一个手部特征。
(19)根据(18)所述的飞行时间物体检测方法，进一步包括：基于在所述物体检测图像中检测到的所述至少一个手部特征，检测指示所述移动电话的至少一个移动电话特征。
(20)根据(19)所述的飞行时间物体检测方法，进一步包括：将检测到的至少一个移动电话特征与预定移动电话特征进行比较。
(21)一种计算机程序，包括程序代码，当在计算机上执行时，使计算机执行根据(11)至(20)中任一项所述的方法。
(22)一种非暂时性计算机可读记录介质，存储有计算机程序产品，当所述计算机程序产品由处理器执行时，使根据(11)至(20)中任一项的方法被执行。

Claims (20)

1.一种飞行时间物体检测电路，用于检测车辆的用户手中的移动电话，所述飞行时间物体检测电路被配置为：
基于预定反射率图案来检测所述用户手中的所述移动电话，所述预定反射率图案指示所述移动电话至少部分地位于所述手中。
2.根据权利要求1所述的飞行时间物体检测电路，其中，所述预定反射率图案指示所述移动电话至少部分地被所述手的至少一部分包围。
3.根据权利要求1所述的飞行时间物体检测电路，其中，所述预定反射率图案指示所述移动电话至少部分地被所述手的至少一部分遮挡。
4.根据权利要求1所述的飞行时间物体检测电路，进一步被配置为：生成标记的飞行时间图像。
5.根据权利要求4所述的飞行时间物体检测电路，进一步被配置为：去除具有预定反射率的飞行时间图像的图像元素，用于生成所述标记的飞行时间图像。
6.根据权利要求4所述的飞行时间物体检测电路，进一步被配置为：对所述标记的飞行时间图像应用形态学操作，用于生成物体检测图像。
7.根据权利要求6所述的飞行时间物体检测电路，进一步被配置为：基于至少一个周围的图像元素，对所述标记的飞行时间图像的图像元素应用所述形态学操作，用于生成所述物体检测图像。
8.根据权利要求6所述的飞行时间物体检测电路，进一步被配置为：在所述物体检测图像中检测指示所述手的至少一个手部特征。
9.根据权利要求8所述的飞行时间物体检测电路，进一步被配置为：基于在所述物体检测图像中检测到的所述至少一个手部特征，检测指示所述移动电话的至少一个移动电话特征。
10.根据权利要求9所述的飞行时间物体检测电路，进一步被配置为：将至少一个检测到的移动电话特征与预定移动电话特征进行比较。
11.一种飞行时间物体检测方法，用于检测车辆的用户手中的移动电话，所述飞行时间物体方法包括：
基于预定反射率图案来检测所述用户手中的所述移动电话，所述预定反射率图案指示所述移动电话至少部分地位于所述手中。
12.根据权利要求11所述的飞行时间物体检测方法，其中，所述预定反射率图案指示所述移动电话至少部分地被所述手的至少一部分包围。
13.根据权利要求11所述的飞行时间物体检测方法，其中，所述预定反射率图案指示所述移动电话至少部分地被所述手的至少一部分遮挡。
14.根据权利要求11所述的飞行时间物体检测方法，进一步包括：生成标记的飞行时间图像。
15.根据权利要求14所述的飞行时间物体检测方法，进一步包括：去除具有预定反射率的飞行时间图像的图像元素，用于生成所述标记的飞行时间图像。
16.根据权利要求14所述的飞行时间物体检测方法，进一步包括：对所述标记的飞行时间图像应用形态学操作，用于生成物体检测图像。
17.根据权利要求16所述的飞行时间物体检测方法，进一步包括：基于至少一个周围的图像元素，对所述标记的飞行时间图像的图像元素应用所述形态学操作，用于生成所述物体检测图像。
18.根据权利要求16所述的飞行时间物体检测方法，进一步包括：在所述物体检测图像中检测指示所述手的至少一个手部特征。
19.根据权利要求18所述的飞行时间物体检测方法，进一步包括：基于在所述物体检测图像中检测到的所述至少一个手部特征，检测指示所述移动电话的至少一个移动电话特征。
20.根据权利要求19所述的飞行时间物体检测方法，进一步包括：将至少一个检测到的移动电话特征与预定移动电话特征进行比较。
CN202180077288.0A 2020-11-23 2021-11-18 飞行时间物体检测电路和飞行时间物体检测方法 Pending CN116457843A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20209254.0 2020-11-23
EP20209254 2020-11-23
PCT/EP2021/082126 WO2022106531A1 (en) 2020-11-23 2021-11-18 Time-of-flight object detection circuitry and time-of-flight object detection method

Publications (1)

Publication Number Publication Date
CN116457843A true CN116457843A (zh) 2023-07-18

Family

ID=73544069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180077288.0A Pending CN116457843A (zh) 2020-11-23 2021-11-18 飞行时间物体检测电路和飞行时间物体检测方法

Country Status (5)

Country Link
US (1) US20240004075A1 (zh)
EP (1) EP4248422A1 (zh)
JP (1) JP2023550078A (zh)
CN (1) CN116457843A (zh)
WO (1) WO2022106531A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016207353A1 (de) * 2016-04-29 2017-11-02 Robert Bosch Gmbh Verfahren und Vorrichtung zum Detektieren eines Benutzens eines elektronischen Geräts durch einen Fahrer für ein Fahrzeug
FR3063557B1 (fr) * 2017-03-03 2022-01-14 Valeo Comfort & Driving Assistance Dispositif de determination de l'etat d'attention d'un conducteur de vehicule, systeme embarque comportant un tel dispositif, et procede associe
EP3493116B1 (en) * 2017-12-04 2023-05-10 Aptiv Technologies Limited System and method for generating a confidence value for at least one state in the interior of a vehicle

Also Published As

Publication number Publication date
JP2023550078A (ja) 2023-11-30
WO2022106531A1 (en) 2022-05-27
US20240004075A1 (en) 2024-01-04
EP4248422A1 (en) 2023-09-27

Similar Documents

Publication Publication Date Title
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN110691986B (zh) 用于计算机视觉的设备、方法和非暂时性计算机可读记录介质
JP7226440B2 (ja) 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
JP2023126642A (ja) 情報処理装置、情報処理方法、及び、情報処理システム
KR102635265B1 (ko) 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법
Ortiz et al. Applications and services using vehicular exteroceptive sensors: A survey
WO2017188017A1 (ja) 検出装置、検出方法、およびプログラム
US20220397675A1 (en) Imaging systems, devices and methods
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
EP3904826A1 (en) Distance measuring device and distance measuring method
US20240071122A1 (en) Object recognition method and time-of-flight object recognition circuitry
US20240056694A1 (en) Imaging device, image processing method, and image processing program
CN115128566A (zh) 雷达数据确定电路及雷达数据确定方法
JP2019145021A (ja) 情報処理装置、撮像装置、及び撮像システム
US20220165066A1 (en) Information processing apparatus, information processing method, and program
CN116457843A (zh) 飞行时间物体检测电路和飞行时间物体检测方法
CN111868778B (zh) 图像处理装置、图像处理方法以及存储介质
CN114788257A (zh) 信息处理装置、信息处理方法、程序、成像装置和成像系统
US20220148283A1 (en) Information processing apparatus, information processing method, and program
WO2024009739A1 (ja) 光学式測距センサ、及び光学式測距システム
US20240127042A1 (en) Information processing device, information processing system, information processing method, and recording medium
WO2022128985A1 (en) Time-of-flight image sensor circuitry and time-of-flight image sensor circuitry control method
CN113167883A (zh) 信息处理装置、信息处理方法、程序、移动体控制装置和移动体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination