CN112584015A - 物体探测方法、装置、存储介质和电子设备 - Google Patents

物体探测方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN112584015A
CN112584015A CN202011406181.XA CN202011406181A CN112584015A CN 112584015 A CN112584015 A CN 112584015A CN 202011406181 A CN202011406181 A CN 202011406181A CN 112584015 A CN112584015 A CN 112584015A
Authority
CN
China
Prior art keywords
detection area
target
current detection
region
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011406181.XA
Other languages
English (en)
Other versions
CN112584015B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Robotics Co Ltd
Original Assignee
Cloudminds Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Robotics Co Ltd filed Critical Cloudminds Robotics Co Ltd
Priority to CN202011406181.XA priority Critical patent/CN112584015B/zh
Publication of CN112584015A publication Critical patent/CN112584015A/zh
Priority to PCT/CN2021/122451 priority patent/WO2022116675A1/zh
Application granted granted Critical
Publication of CN112584015B publication Critical patent/CN112584015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本公开涉及一种物体探测方法、装置、存储介质和电子设备，该方法包括：根据多个预设探测区域中当前探测区域对应的第一像素信息，确定待探测物体的第一物体特征，每个预设探测区域为由图像传感器上的目标像素点组成的区域，在第一物体特征满足当前探测区域对应的区域切换条件的情况下，从多个预设探测区域中确定除当前探测区域外的目标探测区域，根据目标探测区域对应的第二像素信息，确定待探测物体的第二物体特征。本公开对待探测物体进行探测所需的功耗低，物体探测设备的成本低，且物体探测设备的重量和体积小。并且，可以对当前探测区域进行切换，选择合适的目标探测区域进行物体探测，以在确保物体探测精度的同时，降低物体探测的功耗。

Description

物体探测方法、装置、存储介质和电子设备
技术领域
本公开涉及物体探测技术领域，具体地，涉及一种物体探测方法、装置、存储介质和电子设备。
背景技术
随着科学技术的不断进步和机器人技术的不断发展，各种类型的机器人被广泛应用于多个领域之中。在某些特定应用场景下，通常需要机器人具备导航，避障以及捕获等功能(例如，智能扫地机器人)，这就要求机器人能够对周围环境中的物体进行探测。相关技术中，主要是采用超声、红外、激光雷达等传感装置作为机器人的导航避障器件，并通过导航避障器件来实现物体探测的。然而，采用这些传感装置作为导航避障器件会存在各种缺陷。例如，超声和红外传感装置的价格比较便宜，但只能进行近距离的物体探测，并且当情况复杂时，物体探测的失败次数会比较多。而激光雷达虽然对物体进行探测的准确度高、探测距离远，但价格昂贵、主动扫描耗电高，并且其体积和重量相对较大，并不适合应用于大多数的机器人上。
发明内容
为了解决相关技术中存在的问题，本公开提供了一种物体探测方法、装置、存储介质和电子设备。
为了实现上述目的，根据本公开实施例的第一方面，提供一种物体探测方法，应用于物体探测设备，所述设备包括镜头和图像传感器，所述镜头包括多个第一微透镜和多个第二微透镜，所述第一微透镜的视场角大于所述第二微透镜的视场角，所述方法包括：
根据多个预设探测区域中当前探测区域对应的第一像素信息，确定待探测物体的第一物体特征；
其中，每个所述预设探测区域为由所述图像传感器上的目标像素点组成的区域，每个所述预设探测区域对应的所述目标像素点不同，所述目标像素点包括第一像素点，和/或第二像素点，所述第一像素点为多个所述第一微透镜在所述图像传感器上的投影区域包括的像素点，所述第二像素点为多个所述第二微透镜在所述图像传感器上的投影区域包括的像素点，所述第一像素信息为所述当前探测区域对应的所述目标像素点采集到的像素点信息；
在所述第一物体特征满足所述当前探测区域对应的区域切换条件的情况下，从多个所述预设探测区域中确定除所述当前探测区域外的目标探测区域；
根据所述目标探测区域对应的第二像素信息，确定所述待探测物体的第二物体特征，所述第二像素信息为所述目标探测区域对应的所述目标像素点采集到的像素点信息。
可选地，所述第一物体特征包括所述待探测物体与所述物体探测设备的第一距离，以及所述待探测物体的第一尺寸和第一移动速度；所述区域切换条件包括以下条件中的任一条件：
所述第一尺寸小于所述当前探测区域对应的第一尺寸阈值，或所述第一尺寸大于或等于所述当前探测区域对应的第二尺寸阈值，所述第二尺寸阈值大于所述第一尺寸阈值；
所述第一距离大于所述当前探测区域对应的第一距离阈值，或所述第一距离小于或等于所述当前探测区域对应的第二距离阈值，所述第二距离阈值小于所述第一距离阈值；
所述第一移动速度小于所述当前探测区域对应的第一速度阈值，或所述第一移动速度大于或等于所述当前探测区域对应的第二速度阈值，所述第二速度阈值大于所述第一速度阈值。
可选地，所述方法还包括：
在所述第一物体特征不满足所述当前探测区域对应的区域切换条件的情况下，将所述第一物体特征作为所述第二物体特征。
可选地，所述预设探测区域包括大视场角探测区域，小视场角探测区域和全透镜探测区域，所述大视场角探测区域对应的所述目标像素点包括所述第一像素点，所述小视场角探测区域对应的所述目标像素点包括所述第二像素点，所述全透镜探测区域包括所述大视场角探测区域和所述小视场角探测区域。
可选地，所述全透镜探测区域对应的所述目标像素点的数量大于所述小视场角探测区域，所述小视场角探测区域对应的所述目标像素点数量大于所述大视场角探测区域。
根据本公开实施例的第二方面，提供一种物体探测装置，应用于物体探测设备，所述设备包括镜头和图像传感器，所述镜头包括多个第一微透镜和多个第二微透镜，所述第一微透镜的视场角大于所述第二微透镜的视场角，所述装置包括：
处理模块，用于根据多个预设探测区域中当前探测区域对应的第一像素信息，确定待探测物体的第一物体特征；
其中，每个所述预设探测区域为由所述图像传感器上的目标像素点组成的区域，每个所述预设探测区域对应的所述目标像素点不同，所述目标像素点包括第一像素点，和/或第二像素点，所述第一像素点为多个所述第一微透镜在所述图像传感器上的投影区域包括的像素点，所述第二像素点为多个所述第二微透镜在所述图像传感器上的投影区域包括的像素点，所述第一像素信息为所述当前探测区域对应的所述目标像素点采集到的像素点信息；
确定模块，用于在所述第一物体特征满足所述当前探测区域对应的区域切换条件的情况下，从多个所述预设探测区域中确定除所述当前探测区域外的目标探测区域；
所述处理模块，还用于根据所述目标探测区域对应的第二像素信息，确定所述待探测物体的第二物体特征，所述第二像素信息为所述目标探测区域对应的所述目标像素点采集到的像素点信息。
可选地，所述第一物体特征包括所述待探测物体与所述物体探测设备的第一距离，以及所述待探测物体的第一尺寸和第一移动速度；所述区域切换条件包括以下条件中的任一条件：
所述第一尺寸小于所述当前探测区域对应的第一尺寸阈值，或所述第一尺寸大于或等于所述当前探测区域对应的第二尺寸阈值，所述第二尺寸阈值大于所述第一尺寸阈值；
所述第一距离大于所述当前探测区域对应的第一距离阈值，或所述第一距离小于或等于所述当前探测区域对应的第二距离阈值，所述第二距离阈值小于所述第一距离阈值；
所述第一移动速度小于所述当前探测区域对应的第一速度阈值，或所述第一移动速度大于或等于所述当前探测区域对应的第二速度阈值，所述第二速度阈值大于所述第一速度阈值。
可选地，所述处理模块，还用于在所述第一物体特征不满足所述当前探测区域对应的区域切换条件的情况下，将所述第一物体特征作为所述第二物体特征。
可选地，所述预设探测区域包括大视场角探测区域，小视场角探测区域和全透镜探测区域，所述大视场角探测区域对应的所述目标像素点包括所述第一像素点，所述小视场角探测区域对应的所述目标像素点包括所述第二像素点，所述全透镜探测区域包括所述大视场角探测区域和所述小视场角探测区域。
可选地，所述全透镜探测区域对应的所述目标像素点的数量大于所述小视场角探测区域，所述小视场角探测区域对应的所述目标像素点数量大于所述大视场角探测区域。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面提供的物体探测方法的步骤。
根据本公开实施例的第四方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面提供的物体探测方法的步骤。
通过上述技术方案，本公开首先通过根据多个预设探测区域中当前探测区域对应的目标像素点采集到的第一像素信息，确定待探测物体的第一物体特征，其中，每个预设探测区域为由图像传感器上的目标像素点组成的区域，每个预设探测区域对应的目标像素点不同，目标像素点包括第一像素点，和/或第二像素点，然后在第一物体特征满足当前探测区域对应的区域切换条件的情况下，从多个预设探测区域中确定除当前探测区域外的目标探测区域，并根据目标探测区域对应的目标像素点采集到的第二像素信息，确定待探测物体的第二物体特征。本公开通过第一微透镜和第二微透镜，划分对应不同数量的目标像素点的多个预设探测区域，并通过目标探测区域对应的第二像素信息，确定待探测物体的第二物体特征，能够在低功耗条件下实现对待探测物体的准确探测，同时物体探测设备的结构简单，降低了物体探测设备的成本、重量和体积。并且，可以对当前探测区域进行切换，选择合适的目标探测区域进行物体探测，以在确保物体探测精度的同时，降低物体探测的功耗。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种物体探测方法的流程图；
图2是根据一示例性实施例示出的一种第一微透镜和第二微透镜的视场角的示意图；
图3是根据一示例性实施例示出的另一种物体探测方法的流程图；
图4是根据一示例性实施例示出的一种第一微透镜和第二微透镜的分布示意图；
图5是根据一示例性实施例示出的一种物体探测装置的框图；
图6是根据一示例性实施例提供的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在介绍本公开提供的物体探测方法、装置、存储介质和电子设备之前，首先对本公开各个实施例所涉及应用场景进行介绍。该应用场景为利用物体探测设备对周围环境中的待探测物体进行探测。其中，物体探测设备可以设置在终端设备上，物体探测设备可以包括镜头和图像传感器。图像传感器位于该镜头的像侧表面对应的一侧，并且具有朝向像侧表面的成像表面，成像表面由多个像素点组成，镜头与图像传感器之间可以完全贴合在一起，也可以间隔一定的距离。镜头可以是平面镜头或曲面镜头，图像传感器可以为CMOS(英文：Complementary Metal-Oxide-Semiconductor，中文：互补金属氧化物半导体)传感器，也可以为CCD(英文：Charge-coupled Device，中文：电荷耦合元件)，还可以是其他任意的感光传感器，本公开对此不作具体限制。该终端设备例如可以是智能机器人、智能手机、平板电脑、智能手表和智能手环等终端设备。
图1是根据一示例性实施例示出的一种物体探测方法的流程图。如图1所示，应用于物体探测设备，该设备包括镜头和图像传感器，该镜头包括多个第一微透镜和多个第二微透镜，第一微透镜的视场角大于第二微透镜的视场角，该方法可以包括以下步骤：
步骤101，根据多个预设探测区域中当前探测区域对应的第一像素信息，确定待探测物体的第一物体特征。
其中，每个预设探测区域为由图像传感器上的目标像素点组成的区域，每个预设探测区域对应的目标像素点不同，目标像素点包括第一像素点，和/或第二像素点，第一像素点为多个第一微透镜在图像传感器上的投影区域包括的像素点，第二像素点为多个第二微透镜在图像传感器上的投影区域包括的像素点，第一像素信息为当前探测区域对应的目标像素点采集到的像素点信息。
举例来说，为了避免采用超声、红外、激光雷达等传感装置进行物体探测存在的缺陷，可以通过镜头和图像传感器来构建一种新的传感装置来进行物体探测。具体的，首先可以将镜头划分成排列为网格式的多个第一微透镜和多个第二微透镜。例如，可以通过光刻的方式(或其他技术)在镜头上形成网格式的多个第一微透镜和多个第二微透镜，或者通过一层纳米膜在镜头上形成网格式的多个第一微透镜和多个第二微透镜。
其中，每个第一微透镜对应图像传感器上的一个或多个第一像素点，每个第一微透镜对应的第一像素点为该第一微透镜在图像传感器上的投影区域包括的像素点。当某一第一微透镜捕获到待探测物体时，会在该第一微透镜对应的第一像素点上进行成像。每个第二微透镜对应图像传感器上的一个或多个第二像素点，每个第二微透镜对应的第二像素点为该第二微透镜在图像传感器上的投影区域包括的像素点。当某一第二微透镜捕获到待探测物体时，会在该第二微透镜对应的第二像素点上进行成像。第一微透镜的FOV(英文：Field of View，中文：视场角)大于第二微透镜的FOV，如图2所示，图2中的虚线为第一微透镜的FOV，图2中的实线为第二微透镜的FOV。
然后，可以根据像素点的类型(第一像素点或第二像素点)，将图像传感器的成像表面划分为多个预设探测区域，每个预设探测区域可以是由目标像素点组成的区域。每个预设探测区域对应的目标像素点不同，且目标像素点的数量不同，目标像素点可以包括第一像素点，和/或第二像素点，即预设探测区域对应的目标像素点可以只包括第一像素点，也可以只包括第二像素点，还可以同时包括第一像素点和第二像素点。物体探测设备在对待探测物体进行探测时，可以从多个预设探测区域中选取某一预设探测区域作为当前探测区域，并通过当前探测区域对应的目标像素点采集到的第一像素信息，计算待探测物体的第一物体特征。第一像素信息可以包括当前探测区域对应的每个目标像素点的像素值，第一物体特征可以包括待探测物体与物体探测设备的第一距离，以及待探测物体的第一尺寸和第一移动速度。其中，根据第一像素信息计算第一物体特征的具体实现方式可以参考相关技术中描述的方式，此处不再详细赘述。
步骤102，在第一物体特征满足当前探测区域对应的区域切换条件的情况下，从多个预设探测区域中确定除当前探测区域外的目标探测区域。
示例地，在通过不同预设探测区域对应的目标像素点对待探测物体进行探测时，所使用的目标像素点的数量不同，目标像素点采集到的像素点信息的数据量不同，这会导致通过不同预设探测区域对应的目标像素点对待探测物体进行探测的解析力和功耗不同。其中，预设探测区域对应的目标像素点的数量越多，对待探测物体进行探测的解析力越高，同时对待探测物体进行探测的功耗越大。解析力可以反映对待探测物体进行探测的性能，解析力越高，对待探测物体进行探测的性能越好，即对待探测物体进行探测的精度越高。
因此，可以预先设置每个预设探测区域对应的区域切换条件，以便物体探测设备在通过每个预设探测区域对应的目标像素点对待探测物体进行探测时，可以判断该预设探测区域对待探测物体进行探测的解析力是否不足或解析力是否过剩。每个预设探测区域对应的区域切换条件，可以是根据该预设探测区域所能探测的待探测物体与物体探测设备的距离范围，以及待探测物体的尺寸范围和移动速度范围设置的。在第一物体特征满足当前探测区域对应的区域切换条件的情况下，说明通过当前探测区域对应的目标像素点对待探测物体进行探测的解析力不足或解析力过剩，需要对当前探测区域进行切换。当确定当前探测区域对应的目标像素点对待探测物体进行探测的解析力不足时，可以从多个预设探测区域中选择解析力更高的预设探测区域作为目标探测区域(即选择目标像素点数量更多的预设探测区域)，来对待探测物体进行探测。当确定当前探测区域对应的目标像素点对待探测物体进行探测的解析力过剩时，可以从多个预设探测区域中选择解析力更小的预设探测区域作为目标探测区域，来对待探测物体进行探测，即选择目标像素点数量更少的预设探测区域，来对待探测物体进行探测，从而降低对待探测物体进行探测的功耗。通过将当前探测区域切换为目标探测区域，可以在确保物体探测性能(探测精度)的同时，降低物体探测的功耗，从而满足不同场景需要。
步骤103，根据目标探测区域对应的第二像素信息，确定待探测物体的第二物体特征，第二像素信息为目标探测区域对应的目标像素点采集到的像素点信息。
在本步骤中，可以根据目标探测区域对应的目标像素点采集到的第二像素信息，计算待探测物体的第二物体特征。第二物体特征可以包括待探测物体与物体探测设备的第二距离，以及待探测物体的第二尺寸和第二移动速度。其中，根据第二像素信息计算第二物体特征的具体实现方式可以参考相关技术中描述的方式，此处不再详细赘述。
综上所述，本公开首先通过根据多个预设探测区域中当前探测区域对应的目标像素点采集到的第一像素信息，确定待探测物体的第一物体特征，其中，每个预设探测区域为由图像传感器上的目标像素点组成的区域，每个预设探测区域对应的目标像素点不同，目标像素点包括第一像素点，和/或第二像素点，然后在第一物体特征满足当前探测区域对应的区域切换条件的情况下，从多个预设探测区域中确定除当前探测区域外的目标探测区域，并根据目标探测区域对应的目标像素点采集到的第二像素信息，确定待探测物体的第二物体特征。本公开通过第一微透镜和第二微透镜，划分对应不同数量的目标像素点的多个预设探测区域，并通过目标探测区域对应的第二像素信息，确定待探测物体的第二物体特征，能够在低功耗条件下实现对待探测物体的准确探测，同时物体探测设备的结构简单，降低了物体探测设备的成本、重量和体积。并且，可以对当前探测区域进行切换，选择合适的目标探测区域进行物体探测，以在确保物体探测精度的同时，降低物体探测的功耗。
图3是根据一示例性实施例示出的另一种物体探测方法的流程图。如图3所示，该方法还包括以下步骤：
步骤104，在第一物体特征不满足当前探测区域对应的区域切换条件的情况下，将第一物体特征作为第二物体特征。
举例来说，在第一物体特征不满足当前探测区域对应的区域切换条件的情况下，说明通过当前探测区域对应的目标像素点对待探测物体进行探测的解析力满足要求，且解析力没有过剩，不需要对当前探测区域进行切换。可以直接将第一物体特征作为第二物体特征。
可选地，第一物体特征包括待探测物体与物体探测设备的第一距离，以及待探测物体的第一尺寸和第一移动速度，区域切换条件可以包括以下条件中的任一条件：
1)第一尺寸小于当前探测区域对应的第一尺寸阈值，或第一尺寸大于或等于当前探测区域对应的第二尺寸阈值，第二尺寸阈值大于第一尺寸阈值。
2)第一距离大于当前探测区域对应的第一距离阈值，或第一距离小于或等于当前探测区域对应的第二距离阈值，第二距离阈值小于第一距离阈值。
3)第一移动速度小于当前探测区域对应的第一速度阈值，或第一移动速度大于或等于当前探测区域对应的第二速度阈值，第二速度阈值大于所述第一速度阈值。
示例地，第一尺寸阈值为当前探测区域所能探测的待探测物体的最小尺寸，第一距离阈值为当前探测区域所能探测的待探测物体与物体探测设备的最大距离，第一速度阈值为当前探测区域所能探测的待探测物体的最小速度。当第一尺寸小于当前探测区域对应的第一尺寸阈值，第一距离大于当前探测区域对应的第一距离阈值，第一移动速度小于当前探测区域对应的第一速度阈值中的任一条件满足时，说明当前探测区域对应的目标像素点对待探测物体进行探测的解析力不足，需要对当前探测区域进行切换。
第二尺寸阈值为当前探测区域所能探测的待探测物体的最大尺寸，第二距离阈值为当前探测区域所能探测的待探测物体与物体探测设备的最小距离，第二速度阈值为当前探测区域所能探测的待探测物体的最大速度。当第一尺寸大于或等于当前探测区域对应的第二尺寸阈值，第一距离小于或等于当前探测区域对应的第二距离阈值，第一移动速度大于或等于当前探测区域对应的第二速度阈值中的任一条件满足时，说明当前探测区域对应的目标像素点对待探测物体进行探测的解析力过剩，需要对当前探测区域进行切换。
进一步的，第一微透镜和第二微透镜的形状和尺寸可以相同，也可以不同。
在一种场景中，可以将镜头按预设排列方式划分成排列为网格式的、形状和尺寸相同的多个第一微透镜和多个第二微透镜。预设排列方式例如可以是将第一微透镜和第二微透镜按照一定比例平均分布在镜头上，以第一微透镜与第二微透镜按照1:8平均分布在镜头上为例，第一微透镜与第二微透镜在镜头上的分布方式可以如图4所示，图4中的最小的方格对应一个像素点，图4中的由阴影填充的九宫格为第一微透镜，图4中的由虚线围成的九宫格为第二微透镜。
可选地，预设探测区域包括大视场角探测区域，小视场角探测区域和全透镜探测区域，大视场角探测区域对应的目标像素点包括第一像素点，小视场角探测区域对应的目标像素点包括第二像素点，全透镜探测区域包括大视场角探测区域和小视场角探测区域。
在另一种场景中，若在镜头上包括的第一微透镜的数量大于第二微透镜的数量，则全透镜探测区域对应的目标像素点的数量大于小视场角探测区域，小视场角探测区域对应的目标像素点数量大于大视场角探测区域。那么大视场角探测区域，小视场角探测区域和全透镜探测区域的解析力的大小关系为：全透镜探测区域＞小视场角探测区域＞大视场角探测区域，功耗的大小关系为：全透镜探测区域＜小视场角探测区域＜大视场角探测区域。
以预设探测区域包括大视场角探测区域，小视场角探测区域和全透镜探测区域，且在镜头上第一微透镜的数量大于第二微透镜的数量为例进行说明，在物体探测设备启动后，可以由用户手动从大视场角探测区域，小视场角探测区域和全透镜探测区域中选择一个预设探测区域作为当前探测区域，来对待探测物体进行探测。也可以采用自动选择的方式，例如，首先可以默认选取大视场角探测区域，再通过大视场角探测区域对应的目标像素点采集到的第一像素信息，计算待探测物体的第一物体特征，并判断第一物体特征是否满足大视场角探测区域对应的区域切换条件。若判断第一尺寸小于大视场角探测区域对应的第一尺寸阈值，第一距离大于大视场角探测区域对应的第一距离阈值，第一移动速度小于大视场角探测区域对应的第一速度阈值中的任一条件满足(此时大视场角探测区域对应的目标像素点对待探测物体进行探测的解析力不足，表象为相邻的目标像素点的像素值差别较大或像素值变化过慢)，将大视场角探测区域切换为小视场角探测区域。
之后通过小视场角探测区域对应的目标像素点采集到的第一像素信息，重新计算待探测物体的第一物体特征，并判断重新计算的第一物体特征是否满足小视场角探测区域对应的区域切换条件。若判断重新计算的第一尺寸小于小视场角探测区域对应的第一尺寸阈值，重新计算的第一距离大于小视场角探测区域对应的第一距离阈值，重新计算的第一移动速度小于小视场角探测区域对应的第一速度阈值中的任一条件满足(此时小视场角探测区域对应的目标像素点对待探测物体进行探测的解析力不足，表象为相邻的目标像素点的像素值差别较大)，将小视场角探测区域切换为全透镜探测区域。
然后通过全透镜探测区域对应的目标像素点采集到的第一像素信息，重新计算待探测物体的第一物体特征，并判断重新计算的第一物体特征是否满足全透镜探测区域对应的区域切换条件。若判断重新计算的第一尺寸大于或等于当前探测区域对应的第二尺寸阈值，重新计算的第一距离小于或等于当前探测区域对应的第二距离阈值，重新计算的第一移动速度大于或等于当前探测区域对应的第二速度阈值中的任一条件满足(此时全透镜探测区域对应的目标像素点对待探测物体进行探测的解析力过剩，表象为相邻的目标像素点的像素值差别较小)，将全透镜探测区域切换为小视场角探测区域。
综上所述，本公开首先通过根据多个预设探测区域中当前探测区域对应的目标像素点采集到的第一像素信息，确定待探测物体的第一物体特征，其中，每个预设探测区域为由图像传感器上的目标像素点组成的区域，每个预设探测区域对应的目标像素点不同，目标像素点包括第一像素点，和/或第二像素点，然后在第一物体特征满足当前探测区域对应的区域切换条件的情况下，从多个预设探测区域中确定除当前探测区域外的目标探测区域，并根据目标探测区域对应的目标像素点采集到的第二像素信息，确定待探测物体的第二物体特征。本公开通过第一微透镜和第二微透镜，划分对应不同数量的目标像素点的多个预设探测区域，并通过目标探测区域对应的第二像素信息，确定待探测物体的第二物体特征，能够在低功耗条件下实现对待探测物体的准确探测，同时物体探测设备的结构简单，降低了物体探测设备的成本、重量和体积。并且，可以对当前探测区域进行切换，选择合适的目标探测区域进行物体探测，以在确保物体探测精度的同时，降低物体探测的功耗。
图5是根据一示例性实施例示出的一种物体探测装置的框图。如图5所示，应用于物体探测设备，该设备包括镜头和图像传感器，该镜头包括多个第一微透镜和多个第二微透镜，第一微透镜的视场角大于第二微透镜的视场角，该装置200包括：
处理模块201，用于根据多个预设探测区域中当前探测区域对应的第一像素信息，确定待探测物体的第一物体特征。
其中，每个预设探测区域为由图像传感器上的目标像素点组成的区域，每个预设探测区域对应的目标像素点不同，目标像素点包括第一像素点，和/或第二像素点，第一像素点为多个第一微透镜在图像传感器上的投影区域包括的像素点，第二像素点为多个第二微透镜在图像传感器上的投影区域包括的像素点，第一像素信息为当前探测区域对应的目标像素点采集到的像素点信息。
确定模块202，用于在第一物体特征满足当前探测区域对应的区域切换条件的情况下，从多个预设探测区域中确定除当前探测区域外的目标探测区域。
处理模块201，还用于根据目标探测区域对应的第二像素信息，确定待探测物体的第二物体特征，第二像素信息为目标探测区域对应的目标像素点采集到的像素点信息。
可选地，第一物体特征包括待探测物体与物体探测设备的第一距离，以及待探测物体的第一尺寸和第一移动速度。区域切换条件包括以下条件中的任一条件：
1)第二尺寸小于当前探测区域对应的第一尺寸阈值，或第二尺寸大于或等于当前探测区域对应的第二尺寸阈值，第二尺寸阈值大于第一尺寸阈值。
2)第二距离大于当前探测区域对应的第一距离阈值，或第二距离小于或等于当前探测区域对应的第二距离阈值，第二距离阈值小于第一距离阈值。
3)第二移动速度小于当前探测区域对应的第一速度阈值，或第二移动速度大于或等于当前探测区域对应的第二速度阈值，第二速度阈值大于第一速度阈值。
可选地，处理模块201，还用于在第一物体特征不满足当前探测区域对应的区域切换条件的情况下，将第一物体特征作为第二物体特征。
可选地，预设探测区域包括大视场角探测区域，小视场角探测区域和全透镜探测区域，大视场角探测区域对应的目标像素点包括第一像素点，小视场角探测区域对应的目标像素点包括第二像素点，全透镜探测区域包括大视场角探测区域和小视场角探测区域。
可选地，全透镜探测区域对应的目标像素点的数量大于小视场角探测区域，小视场角探测区域对应的目标像素点数量大于大视场角探测区域。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
综上所述，本公开首先通过根据多个预设探测区域中当前探测区域对应的目标像素点采集到的第一像素信息，确定待探测物体的第一物体特征，其中，每个预设探测区域为由图像传感器上的目标像素点组成的区域，每个预设探测区域对应的目标像素点不同，目标像素点包括第一像素点，和/或第二像素点，然后在第一物体特征满足当前探测区域对应的区域切换条件的情况下，从多个预设探测区域中确定除当前探测区域外的目标探测区域，并根据目标探测区域对应的目标像素点采集到的第二像素信息，确定待探测物体的第二物体特征。本公开通过第一微透镜和第二微透镜，划分对应不同数量的目标像素点的多个预设探测区域，并通过目标探测区域对应的第二像素信息，确定待探测物体的第二物体特征，能够在低功耗条件下实现对待探测物体的准确探测，同时物体探测设备的结构简单，降低了物体探测设备的成本、重量和体积。并且，可以对当前探测区域进行切换，选择合适的目标探测区域进行物体探测，以在确保物体探测精度的同时，降低物体探测的功耗。
图6是根据一示例性实施例示出的一种电子设备700的框图。如图6所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的物体探测方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的物体探测方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的物体探测方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的物体探测方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种物体探测方法，其特征在于，应用于物体探测设备，所述设备包括镜头和图像传感器，所述镜头包括多个第一微透镜和多个第二微透镜，所述第一微透镜的视场角大于所述第二微透镜的视场角，所述方法包括：
根据多个预设探测区域中当前探测区域对应的第一像素信息，确定待探测物体的第一物体特征；
其中，每个所述预设探测区域为由所述图像传感器上的目标像素点组成的区域，每个所述预设探测区域对应的所述目标像素点不同，所述目标像素点包括第一像素点，和/或第二像素点，所述第一像素点为多个所述第一微透镜在所述图像传感器上的投影区域包括的像素点，所述第二像素点为多个所述第二微透镜在所述图像传感器上的投影区域包括的像素点，所述第一像素信息为所述当前探测区域对应的所述目标像素点采集到的像素点信息；
在所述第一物体特征满足所述当前探测区域对应的区域切换条件的情况下，从多个所述预设探测区域中确定除所述当前探测区域外的目标探测区域；
根据所述目标探测区域对应的第二像素信息，确定所述待探测物体的第二物体特征，所述第二像素信息为所述目标探测区域对应的所述目标像素点采集到的像素点信息。
2.根据权利要求1所述的方法，其特征在于，所述第一物体特征包括所述待探测物体与所述物体探测设备的第一距离，以及所述待探测物体的第一尺寸和第一移动速度；所述区域切换条件包括以下条件中的任一条件：
所述第一尺寸小于所述当前探测区域对应的第一尺寸阈值，或所述第一尺寸大于或等于所述当前探测区域对应的第二尺寸阈值，所述第二尺寸阈值大于所述第一尺寸阈值；
所述第一距离大于所述当前探测区域对应的第一距离阈值，或所述第一距离小于或等于所述当前探测区域对应的第二距离阈值，所述第二距离阈值小于所述第一距离阈值；
所述第一移动速度小于所述当前探测区域对应的第一速度阈值，或所述第一移动速度大于或等于所述当前探测区域对应的第二速度阈值，所述第二速度阈值大于所述第一速度阈值。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述第一物体特征不满足所述当前探测区域对应的区域切换条件的情况下，将所述第一物体特征作为所述第二物体特征。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述预设探测区域包括大视场角探测区域，小视场角探测区域和全透镜探测区域，所述大视场角探测区域对应的所述目标像素点包括所述第一像素点，所述小视场角探测区域对应的所述目标像素点包括所述第二像素点，所述全透镜探测区域包括所述大视场角探测区域和所述小视场角探测区域。
5.根据权利要求4所述的方法，其特征在于，所述全透镜探测区域对应的所述目标像素点的数量大于所述小视场角探测区域，所述小视场角探测区域对应的所述目标像素点数量大于所述大视场角探测区域。
6.一种物体探测装置，其特征在于，应用于物体探测设备，所述设备包括镜头和图像传感器，所述镜头包括多个第一微透镜和多个第二微透镜，所述第一微透镜的视场角大于所述第二微透镜的视场角，所述装置包括：
处理模块，用于根据多个预设探测区域中当前探测区域对应的第一像素信息，确定待探测物体的第一物体特征；
其中，每个所述预设探测区域为由所述图像传感器上的目标像素点组成的区域，每个所述预设探测区域对应的所述目标像素点不同，所述目标像素点包括第一像素点，和/或第二像素点，所述第一像素点为多个所述第一微透镜在所述图像传感器上的投影区域包括的像素点，所述第二像素点为多个所述第二微透镜在所述图像传感器上的投影区域包括的像素点，所述第一像素信息为所述当前探测区域对应的所述目标像素点采集到的像素点信息；
确定模块，用于在所述第一物体特征满足所述当前探测区域对应的区域切换条件的情况下，从多个所述预设探测区域中确定除所述当前探测区域外的目标探测区域；
所述处理模块，还用于根据所述目标探测区域对应的第二像素信息，确定所述待探测物体的第二物体特征，所述第二像素信息为所述目标探测区域对应的所述目标像素点采集到的像素点信息。
7.根据权利要求6所述的装置，其特征在于，所述第一物体特征包括所述待探测物体与所述物体探测设备的第一距离，以及所述待探测物体的第一尺寸和第一移动速度；所述区域切换条件包括以下条件中的任一条件：
所述第一尺寸小于所述当前探测区域对应的第一尺寸阈值，或所述第一尺寸大于或等于所述当前探测区域对应的第二尺寸阈值，所述第二尺寸阈值大于所述第一尺寸阈值；
所述第一距离大于所述当前探测区域对应的第一距离阈值，或所述第一距离小于或等于所述当前探测区域对应的第二距离阈值，所述第二距离阈值小于所述第一距离阈值；
所述第一移动速度小于所述当前探测区域对应的第一速度阈值，或所述第一移动速度大于或等于所述当前探测区域对应的第二速度阈值，所述第二速度阈值大于所述第一速度阈值。
8.根据权利要求6所述的装置，其特征在于，所述处理模块，还用于在所述第一物体特征不满足所述当前探测区域对应的区域切换条件的情况下，将所述第一物体特征作为所述第二物体特征。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。
CN202011406181.XA 2020-12-02 2020-12-02 物体探测方法、装置、存储介质和电子设备 Active CN112584015B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011406181.XA CN112584015B (zh) 2020-12-02 2020-12-02 物体探测方法、装置、存储介质和电子设备
PCT/CN2021/122451 WO2022116675A1 (zh) 2020-12-02 2021-09-30 物体探测方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011406181.XA CN112584015B (zh) 2020-12-02 2020-12-02 物体探测方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN112584015A true CN112584015A (zh) 2021-03-30
CN112584015B CN112584015B (zh) 2022-05-17

Family

ID=75127215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011406181.XA Active CN112584015B (zh) 2020-12-02 2020-12-02 物体探测方法、装置、存储介质和电子设备

Country Status (2)

Country Link
CN (1) CN112584015B (zh)
WO (1) WO2022116675A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116676A1 (zh) * 2020-12-02 2022-06-09 达闼机器人股份有限公司 物体探测装置、方法、存储介质和电子设备
WO2022116675A1 (zh) * 2020-12-02 2022-06-09 达闼机器人股份有限公司 物体探测方法、装置、存储介质和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103531596A (zh) * 2013-09-22 2014-01-22 华中科技大学 一种基于单眼套叠的全色复眼成像探测芯片
CN105509894A (zh) * 2015-12-07 2016-04-20 华中科技大学 一种液晶基图像与波前双模电调成像探测芯片
CN109443196A (zh) * 2018-09-28 2019-03-08 顺丰科技有限公司 一种体积测量方法及系统
CN110244314A (zh) * 2019-06-24 2019-09-17 北京机械设备研究所 一种“低慢小”目标探测识别系统与方法
CN110441769A (zh) * 2018-05-03 2019-11-12 北京航空航天大学 基于sar序贯图像的目标定位方法、装置及存储介质
CN110458888A (zh) * 2019-07-23 2019-11-15 深圳前海达闼云端智能科技有限公司 基于图像的测距方法、装置、存储介质和电子设备
WO2020114930A1 (de) * 2018-12-03 2020-06-11 Carl Zeiss Microscopy Gmbh Verfahren und vorrichtung zum nachweis von fluoreszenzsignalen in einer dreidimensionalen region einer probe
CN111896933A (zh) * 2020-07-16 2020-11-06 深圳市速腾聚创科技有限公司 激光雷达系统及探测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602005004544T2 (de) * 2005-09-19 2008-04-30 CRF Società Consortile per Azioni, Orbassano Multifunktioneller optischer Sensor mit einer an Mikrolinsen gekoppelten Matrix von Photodetektoren
GB2488519A (en) * 2011-02-16 2012-09-05 St Microelectronics Res & Dev Multi-channel image sensor incorporating lenslet array and overlapping fields of view.
JP2014211305A (ja) * 2011-08-26 2014-11-13 三洋電機株式会社 物体検出装置および情報取得装置
DE102018129972A1 (de) * 2018-11-27 2020-05-28 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung von Objekten
CN109829393B (zh) * 2019-01-14 2022-09-13 北京鑫洋泉电子科技有限公司 一种移动物体探测方法、装置及存储介质
CN111458045A (zh) * 2020-04-22 2020-07-28 电子科技大学 一种基于焦面哈特曼波前传感器的大视场波前探测方法
CN112600994B (zh) * 2020-12-02 2023-04-07 达闼机器人股份有限公司 物体探测装置、方法、存储介质和电子设备
CN112584015B (zh) * 2020-12-02 2022-05-17 达闼机器人股份有限公司 物体探测方法、装置、存储介质和电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103531596A (zh) * 2013-09-22 2014-01-22 华中科技大学 一种基于单眼套叠的全色复眼成像探测芯片
CN105509894A (zh) * 2015-12-07 2016-04-20 华中科技大学 一种液晶基图像与波前双模电调成像探测芯片
CN110441769A (zh) * 2018-05-03 2019-11-12 北京航空航天大学 基于sar序贯图像的目标定位方法、装置及存储介质
CN109443196A (zh) * 2018-09-28 2019-03-08 顺丰科技有限公司 一种体积测量方法及系统
WO2020114930A1 (de) * 2018-12-03 2020-06-11 Carl Zeiss Microscopy Gmbh Verfahren und vorrichtung zum nachweis von fluoreszenzsignalen in einer dreidimensionalen region einer probe
CN110244314A (zh) * 2019-06-24 2019-09-17 北京机械设备研究所 一种“低慢小”目标探测识别系统与方法
CN110458888A (zh) * 2019-07-23 2019-11-15 深圳前海达闼云端智能科技有限公司 基于图像的测距方法、装置、存储介质和电子设备
CN111896933A (zh) * 2020-07-16 2020-11-06 深圳市速腾聚创科技有限公司 激光雷达系统及探测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116676A1 (zh) * 2020-12-02 2022-06-09 达闼机器人股份有限公司 物体探测装置、方法、存储介质和电子设备
WO2022116675A1 (zh) * 2020-12-02 2022-06-09 达闼机器人股份有限公司 物体探测方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN112584015B (zh) 2022-05-17
WO2022116675A1 (zh) 2022-06-09

Similar Documents

Publication Publication Date Title
CN112600994B (zh) 物体探测装置、方法、存储介质和电子设备
KR102272254B1 (ko) 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치
US8724013B2 (en) Method and apparatus with fast camera auto focus
KR101554639B1 (ko) 뎁스 맵 생성을 이용하는 방법 및 장치
US10044926B2 (en) Optimized phase detection autofocus (PDAF) processing
US20170244896A1 (en) Multiple lenses system and portable electronic device employing the same
CN112584015B (zh) 物体探测方法、装置、存储介质和电子设备
US10564390B2 (en) Focusing control device, focusing control method, focusing control program, lens device, and imaging device
CN108668086B (zh) 自动对焦方法、装置、存储介质及终端
US11343422B2 (en) Focusing control device, focusing control method, focusing control program, lens device, and imaging device
US20170094189A1 (en) Electronic apparatus, imaging method, and non-transitory computer readable recording medium
US12003867B2 (en) Electronic device and method for displaying image in electronic device
CN114286011B (zh) 对焦方法和装置
US20220245839A1 (en) Image registration, fusion and shielding detection methods and apparatuses, and electronic device
CN111507144B (zh) 触摸面积获取方法、装置、智能设备及存储介质
US20220268935A1 (en) Electronic device comprising camera and method thereof
CN111630839A (zh) 一种图像处理方法及装置
US10520793B2 (en) Focusing control device, focusing control method, focusing control program, lens device, and imaging device
US11997401B2 (en) Image sensor, image acquisition apparatus, and electronic apparatus with improved performance
CN111260682B (zh) 目标对象的追踪方法、装置、存储介质和电子设备
US20230139967A1 (en) Image sensor, image acquisition apparatus, and electronic apparatus including the image acquisition apparatus
CN117289290A (zh) dTOF测距方法及系统
CN111901539A (zh) 图像获取方法、图像获取装置及终端设备
CN114827438A (zh) 协处理芯片、电子设备以及触控响应方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

GR01 Patent grant
GR01 Patent grant