CN117529926A - 用于增强的包裹检测的非对称相机传感器定位 - Google Patents

用于增强的包裹检测的非对称相机传感器定位 Download PDF

Info

Publication number
CN117529926A
CN117529926A CN202180099463.6A CN202180099463A CN117529926A CN 117529926 A CN117529926 A CN 117529926A CN 202180099463 A CN202180099463 A CN 202180099463A CN 117529926 A CN117529926 A CN 117529926A
Authority
CN
China
Prior art keywords
image
lens
imaging
image sensor
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180099463.6A
Other languages
English (en)
Inventor
雅各比·科尔顿·格里洛
亚德里恩·米尔恰·普罗卡
威廉·文森特·杜兰
陈志豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN117529926A publication Critical patent/CN117529926A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/186—Video door telephones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本文档描述了用于增强的包裹检测的非对称相机传感器定位。在各方面，电子门铃具有图像传感器，该图像传感器被旋转到纵向取向并且相对于相机的透镜竖直移位，从而导致图像传感器相对于透镜的非对称定位。透镜将成像圈投射到图像传感器上，并且图像传感器具有传感器检测区域，该传感器检测区域具有在成像圈内的上部角部和在成像圈外的下部角部，以使得能够捕获位于成像圈的下部分中并且靠近成像圈的边缘的对象。然后，对捕获的图像执行透镜畸变校正以提供最终图像，该最终图像可用于检测可以位于成像圈内但在常规传感器检测区域之外的包裹。

Description

用于增强的包裹检测的非对称相机传感器定位
背景技术
随着用于捕获图像和/或视频的电子门铃的进步，许多用户已经开始依赖于他们的门铃数据来确定包裹是否已经被递送。然而，许多现有的电子门铃具有有限视场(FOV)的相机。通常，门铃被定向为使得能够图像捕获人的面部，但不必要捕获该人的脚，因为用户可能更有兴趣(为了安全性)看到人的面部。在许多情况下，如果包裹被递送得太靠近门铃(例如，被放置在门铃下方并且靠近门铃被安装在其上的墙壁)，则包裹可能在相机的FOV之外。
用户可以接收邮递的通知并且检索邮递驾驶员到达和离开的图像数据，但是如果用户希望检查他们的被递送的包裹的状态，则如果包裹在相机的FOV之外(例如，如果包裹被放置得太靠近门铃)，则用户可能无法在门铃数据中看到包裹。此外，包裹检测算法可以应用于门铃数据，但是如果包裹在相机的FOV之外，则无法在捕获的图像中检测到包裹，并且用户可能不被通知该包裹。如果包裹不在相机的FOV中并且有人接近来取走或窃取包裹，则用户可能不会被通知包裹已被取走。
扩展相机的FOV的一个方案是使用具有180°视角(AOV)的门铃相机。然而，此类相机增加了制造成本并且可能需要附加的架构特征来防止红外(IR)眩光。使用这样的相机还可能提供可能不重要的附加图像数据(例如，像素数据)来在用户设备上显示，包括人的头部上方的区域。因为当用户查看门铃数据时，可以在屏幕(例如智能电话的显示屏)上的应用中显示的像素数量有限，所以不重要的附加图像数据消耗屏幕可用面积(screen realestate)并且可能导致更小的显示图像、降低的图像质量和降低的用户体验。
发明内容
本文档描述了用于增强的包裹检测的非对称相机传感器定位。在各方面，电子门铃具有图像传感器，该图像传感器被旋转到纵向(portrait)取向并且相对于相机的透镜竖直移位，从而导致图像传感器相对于透镜的非对称定位。透镜将成像圈(image circle)投射到图像传感器上，并且图像传感器具有传感器检测区域，该传感器检测区域具有在成像圈内的上部角部并且具有在成像圈外的下部角部，以使得能够捕获位于成像圈的下部分中并且靠近成像圈的边缘的对象。然后，对捕获的图像执行透镜畸变(lens distortion)校正以提供可用于检测包裹的最终图像，该包裹可以包括在成像圈内但在常规传感器检测区域之外。
在一些方面，公开了一种电子门铃。电子门铃包括具有透镜光轴并且提供表示由透镜捕获的场景的成像圈的透镜。成像圈具有由中间部分分隔开并且以竖直堆叠布置的上部分和下部分。上部分位于成像圈的上边缘附近，而下部分位于成像圈的下边缘附近。电子门铃还包括具有传感器检测区域的图像传感器。图像传感器相对于成像圈的部分的竖直堆叠以纵向取向定位，传感器检测区域的纵向取向具有大于水平尺寸的竖直尺寸。此外，图像传感器相对于透镜从透镜光轴竖直移位偏移距离，以使图像传感器能够捕获靠近成像圈的下边缘位于成像圈的下部分中的对象的图像。
提供此发明内容以引入关于用于增强的包裹检测的非对称相机传感器定位的简化概念，其在以下具体实施方式和附图中进一步描述。本发明内容不旨在标识所要求保护的主题的必要特征，也不旨在用于确定所要求保护的主题的范围。
附图说明
参考以下附图，在本文档中描述了用于增强的包裹检测的非对称相机传感器定位的一个或多个方面的细节。在描述和附图中的不同实例中使用相同的附图标记指示类似的元件：
图1示出了与常规相机门铃相比用于增强的包裹检测的非对称相机传感器定位的示例实施方式；
图2示出了图1的电子门铃的示例实施方式的等轴测视图；
图3示出了图2的电子门铃沿线3-3截取的剖视图，以及电子门铃的相机侧端部在剖视图中的放大图；
图4示出了基于图像传感器相对于透镜的非对称定位的关于成像圈的传感器检测区域的示例实施方式；
图5示出了传感器检测区域相对于成像圈偏移以增强包裹检测的示例实施方式；
图6示出了根据电子门铃中的非对称相机传感器定位的透镜畸变校正的示例实施方式；
图7描绘了根据本文描述的技术的用于校正由非对称定位的相机传感器捕获的图像的透镜畸变的示例方法；以及
图8是示出包括示例设备的示例系统的框图，该示例设备可以被实现为实现如参考图1-7描述的非对称相机传感器定位的各方面的任何电子设备(例如，电子门铃)。
具体实施方式
概述
本文档描述了用于增强的包裹检测的非对称相机传感器定位。与常规门铃相机相比，本文描述的技术提供了具有更大竖直FOV的电子门铃相机。例如，电子门铃相机包括图像传感器，该图像传感器被旋转到纵向取向并且还从相机的透镜竖直偏移。该非对称定位使得图像传感器能够捕获位于基本上处于电子门铃相机下方的地面上的对象(例如，包裹)的图像，其中该对象可以由常规透镜捕获但没有被透镜充分地投射到常规图像传感器上。然后在后处理中校正所捕获的图像中的透镜畸变，以向用户提供干净的最终图像，其中该图像可以包括站立的人的面部以及地面上的包裹。
不仅增加了竖直FOV，而且增加了对用户有用像素的数量，从而得到增加的图像质量和效率以及增强的用户体验。与图像的角部附近的对象相关联的透镜畸变减小。此外，使用标准160°透镜的整体效率增加。虽然所描述的用于增强的包裹检测的非对称相机传感器定位的特征和概念可以在任何数量的不同环境中实现，但是在以下示例的场境中描述了各方面。
示例设备
图1示出了与常规门铃相机相比用于增强的包裹检测的非对称相机传感器定位的示例实施方式。许多常规门铃相机捕获具有宽水平视场(hFOV)和短竖直视场(vFOV)的图像，这使得能够对人而未必对地面上的对象(例如，包裹)进行图像捕获。示例100示出了常规门铃相机102，该常规门铃相机102被安装到墙壁104(由竖直虚线表示)并且具有竖直AOV106，该竖直AOV 106大约为104°并且被定向为捕获具有大约6英尺(ft)2英寸(in)(1.88米(m))的高度并且站在距常规门铃相机102大约2英尺(0.6m)的水平距离112处的人110的头部和面部108。在该示例中，常规门铃相机102无法捕获位于基本上在常规门铃相机102和其竖直AOV 106下方的区(例如，区116)(例如，竖直AOV 106的边缘、常规门铃相机102、地面和墙壁104之间的体积)中的包裹114的图像。在示例图示中，包裹114位于距墙壁104大约6英寸(0.15m)的距离118处，并且从常规门铃相机102“隐藏”。
示例120示出了如本文所述的具有非对称相机传感器定位的电子门铃122。电子门铃122包括大约130°的竖直AOV 124，该竖直AOV 124提供相应的vFOV，该vFOV实现上述人110的头部和面部108以及位于地面上的包裹114的图像捕获。与常规竖直AOV 106相比，使用更大竖直AOV(例如，竖直AOV 124)减小了区126的尺寸，增大了用于图像捕获的对应vFOV，并且防止包裹114被“隐藏”。为了增强电子门铃122的竖直AOV 124超过常规门铃相机102的竖直AOV106，电子门铃122包括相机传感器(例如，图像传感器128)，该相机传感器以纵向取向定向并且与电子门铃122的相机透镜(例如，透镜130)非对称地对准，从而得到从成像圈134偏移(例如，不光学居中)的传感器检测区域132。特别地，图像传感器128不与透镜130光学同轴对准，而是竖直偏移。以这种方式，电子门铃122可以通过使用类似的组件和架构并且在不实施更昂贵的图像传感器和/或透镜的情况下实现比常规门铃相机102更大的竖直AOV(和更大的vFOV)。成像圈134是由透镜130透射到图像传感器128上的光锥的横截面。图像传感器128的传感器检测区域132表示由图像传感器128感测的光的区域。通常，成像圈134被投射到传感器检测区域132上以使图像传感器128能够检测成像圈134的至少一部分。取决于某些因素(例如，焦距、透镜130与图像传感器128之间的距离、图像传感器128的对准、尺寸)，传感器检测区域132可捕获投射到图像传感器128上的成像圈134中的一些或全部。下面描述这些和其他特征的进一步细节。
图2示出了来自图1的电子门铃122的示例实施方式的等轴测视图200。电子门铃122包括壳体202，壳体202具有细长形状(例如，在前视图中基本上为椭圆形)，其中相对的圆形端部与壳体202的纵轴线(longitudinal axis)204相交。相机模块(例如，具有图1中的图像传感器128和透镜130的相机模块206)靠近壳体202的第一端(例如，相机侧端部208)被定位在壳体202内。可按压按钮210靠近壳体202的第二端(例如，按钮侧端部212)被定位。
壳体202可以包括塑料材料并且例如使用注塑成型技术形成。壳体202可以包括任何合适的几何形状，包括图2所示的示例几何形状。例如，壳体202可以包括形成壳(例如，中空的、基本上椭圆形的壳)的多个部件，该多个部件配合在一起(例如，卡扣在一起)以形成腔体以容纳电子门铃122的各种部件。壳体202还可以包括与相机模块206对准的通孔或透明区，以使得相机模块206能够通过通孔或透明区观看并且捕获场景的图像或视频。
按钮210可以包括可用于启动功能的任何合适的按钮(例如，打开或关闭开关的机械按钮、检测用户触摸的电容传感器)。例如，按钮210的致动可以启动功能，包括可听门铃的振铃、向门铃的所有者的智能电话传输电子通知、启动相机模块206等。可以通过激活按钮210来启动任何合适的功能。
图3示出了沿着线3-3截取的图2的电子门铃122的截面图300以及截面图300中的电子门铃的相机侧端部208的放大视图302。在壳体202内，电子门铃122包括多个印刷电路板(PCB)，包括至少主逻辑板304和相机板306。也可以使用附加的PCB。PCB可以包括各种集成电路(IC)部件，包括用于发光二极管(LED)、麦克风或用于检测诸如触摸输入、按钮按压、语音命令或运动的输入的传感器的片上系统(SoC)IC设备、处理器和IC部件。电子门铃122还包括相机模块206(例如，相机)、电池308、按钮210和扬声器模块310。电池308可以定位在相机侧端部208和按钮侧端部212之间。
扬声器模块310可以朝向电子门铃122的前方和/或侧方(例如，与壳体202的正面312正交的侧面)输出音频波。扬声器模块310可以使访客(例如，按下按钮210的用户)能够收听可听消息，包括来自门铃的所有者的录制的音频消息或实时音频传输。
电池308向电子门铃122提供电力并且使得电子门铃122能够是无线的。因为电子门铃122是电池供电的，所以电子门铃122可以安装在任何合适的位置，而不必将电子门铃122硬接线到电源。例如，电子门铃122可以在用户的房屋上靠近其前门来安装，而不必在房屋中钻孔以将电线连接到房屋内部的电源。
PCB(例如，主逻辑板304、相机板306)可以例如由玻璃增强环氧树脂材料(诸如FR4)形成。在一些情况下，PCB可以包括单层导电迹线并且是单层板。在其他情况下，PCB可以是多层板，其包括由介电材料层分隔的多层导电迹线。
电子门铃122还包括靠近相机侧端部208定位在壳体202内的无源红外(PIR)传感器314。PIR传感器314被配置为检测PIR传感器314的FOV内的对象(例如，人或动物)的运动。
相机模块206包括各种部件，包括图像传感器128和透镜130。在各方面中，透镜130具有光学中心(例如，透镜光轴316，其表示穿过透镜130的几何中心并连接透镜表面的曲率中心的直线)。图像传感器128也具有光学中心(例如，图像传感器光轴318)，其在常规相机系统中通常与透镜130的透镜光轴316对准。然而，在本文所述的电子门铃122中，图像传感器光轴318与透镜光轴316竖直偏移。关于图4描述进一步的细节。
图4示出了基于图像传感器128相对于透镜130的非对称定位(在图1中示出)的传感器检测区域132与成像圈134的关系的示例实施方式400。在各方面中，图像传感器128相对于透镜130移位，以便相对于成像圈134移位传感器检测区域132。此外，图像传感器128旋转90度，以使传感器检测区域132具有纵向取向(例如，3:4纵向取向)。此纵向取向提供大于图像传感器128的水平尺寸(例如，宽度404)的竖直尺寸(例如，高度402)。通过实施图像传感器128的纵向取向及移位两者，竖直AOV(及对应vFOV)增加(例如，参见图1中的示例120，其示出约130°的竖直AOV 124)。因此，图像传感器128的高度402使得图像传感器128能够捕获与约130°的透镜130的竖直AOV相对应的成像圈134的区域。
成像圈134可包括多个部分，包括由中间部分410分隔开并且以竖直堆叠布置的上部分406和下部分408。上部分位于成像圈的上边缘412附近。下部分位于成像圈的下边缘414附近。在一些实例中，中间部分可进一步分成由中心部分420分隔开并且以水平堆叠布置的左部分416和右部分418。注意，术语“上”和“下”是相对于所示示例描述的，并且不旨在相对于部件相对于外部因素(例如，地球、重力)的特定取向进行限制。所描述的技术还可以通过在本文中切换术语“上”和“下”并且在具有镜像反转的透镜布置中应用技术来实现，其中场景的投射图像在由图像传感器128检测时被反转。
在各方面中，成像圈134可以与具有大约160°的AOV范围的透镜130相关联(称为160°透镜)，其可以比180°透镜便宜得多。在使用160°透镜的常规相机系统中，如果传感器检测区域132的所有角部位于成像圈134内，则传感器检测区域132(例如，具有矩形形状)可能不捕获在成像圈134(例如，具有椭圆形形状)中捕获的图像的上部分和下部分。
然而，在所示出的示例中，传感器检测区域132的上部两个角部(例如，上部角部422)位于成像圈134的椭圆形形状(例如，圆形形状)内部，并且下部两个角部(例如，下部角部424)位于成像圈134的边界外部。图像传感器光轴318与透镜光轴316水平对准(例如，沿着水平轴426对准)，但竖直移位(例如，沿着竖直轴428)以便与透镜光轴316在竖直方向上非对称。在使用镜像反转透镜布置的示例中，下部角部424可以位于成像圈134内部，而上部角部422位于成像圈134外部。
该图像传感器光轴318可以相对于透镜光轴316移位任何合适的距离(例如，偏移距离430)，这使得图像传感器128能够捕获成像圈134的靠近成像圈134的边界(例如，边缘)的下部分408。在示例中，偏移距离430可以基本上在0.15毫米(mm)至0.35mm的范围内。在各方面中，上部分406(例如，成像圈134的上边缘412与传感器检测区域132的顶部边缘432之间的区域)可能不包括有用的像素，因为其通常包括人的头部上方的具有不感兴趣或不重要的图像数据的区域。因此，在成像圈内定位传感器检测区域132的上部角部422防止所捕获的图像的上部两个角部区域具有黑色像素。然而，下部分408可能包括有用的像素，因为它可以包括位于靠近安装电子门铃122的墙壁的地面上的包裹114(图1所示)。因此，将下部角部424定位在成像圈134外部使得能够捕获下部分408。
因为传感器检测区域132的一部分超出投射到图像传感器128上的成像圈134的下边缘414，所以传感器检测区域132可以包括两个下部角部区域434，这两个下部角部区域434导致所捕获的图像的对应底部角部区域中的黑色像素(例如，渐晕)。因此，由图像传感器128捕获的图像的底部角部区域变为黑色，但可使用畸变校正技术来校正。然而，移位图像传感器128减少了可能由应用于图像的畸变校正技术引入的畸变和图像伪影，尤其是对于图像的角部附近的对象。在各方面中，传感器检测区域132的底部边缘(例如，在成像圈134之外的角部(例如，下部角部424)之间的底部边缘438)的中心(例如，中点436)被定位在成像圈134内，而不是与成像圈134的边缘相切或在成像圈134的外部。传感器检测区域132的底部边缘438相对于成像圈134的这种定位减少了包括在捕获的图像的底部附近的黑色像素的数量，并且提高了本文描述的透镜畸变校正技术的效率。然而，在另一示例中，传感器检测区域132的底部边缘438的中心可以与成像圈134的边缘(例如，下边缘414)相切。在又一示例中，传感器检测区域132的底部边缘438的中点436可以位于成像圈134的下边缘414之外，但是可能导致需要一些附加的后处理过程来移除的附加的黑色像素。
另外，相对于成像圈134移位传感器检测区域132通过增加(例如，最大化)对于用户的有用像素的数量来增加图像的质量。例如，捕获上部分406并且随后裁剪对应的数据降低了图像质量，因为像素被“扔掉”。通过捕获有限数量的像素，移除一部分(例如，上部分406)，然后放大所得图像以在用户的屏幕上显示，图像的剩余部分可能变得模糊或像素化。因此，通过移位传感器检测区域132，图像传感器128捕获图像的具有有用图像数据和/或对用户重要的那些部分(例如，用于捕获人的面部以及位于电子门铃122下方的地面上的包裹的更大vFOV)。因此，如本文所述，移位图像传感器128并对所捕获的图像执行后处理不仅增加了用于捕获图像的vFOV，而且还减少了(例如，最小化)用于最终结果的像素的数量，这增加了(例如，最大化)图像质量。
图5示出了传感器检测区域相对于成像圈移位以增强包裹检测的示例实施方式500。在所示示例中，成像圈134被示出为基本上是椭圆(例如，圆)。然而，成像圈134可以是基于透镜130的形状和曲率的任何合适的形状。传感器检测区域132捕获投射到图像传感器128上的成像圈134的一部分。在所示示例中，成像圈134包括站在电子门铃122前面的人(例如，人110)的图像。在成像圈134的下部分408中示出了包裹(例如，包裹114)。成像圈134的上部分406捕获图像中的人110的头部和面部108上方的空间，并且不包括与人110相关联的任何数据。在图像传感器128捕获被界定在传感器检测区域132内的图像的一部分之后，可以对所捕获的图像执行畸变校正，其示例参考图6进行描述。
图6示出了根据电子门铃中的非对称相机传感器定位的透镜畸变校正的示例实施方式600。首先，图像传感器128(来自图1并且相对于透镜130移位)捕获图像(例如，图像602-1)，该图像包括成像圈134的一部分和在传感器检测区域132的底部附近的成像圈134外部的部分(例如，两个下部角部区域434)。如图所示，捕获的图像602-1包括成像圈134的下部分408和与传感器检测区域132的两个下部角部区域434相对应的黑色角部区域604-1。然而，所捕获的图像602-1不包括在传感器检测区域132的顶部边缘432上方的成像圈134的上部分406。所捕获的图像602-1还包括包裹114-1。在一些方面中，所捕获的图像602-1还可以包括靠近黑色角部区域604-1的暗像素(例如，区606-1)或成像圈134的边缘附近的其它伪影。
梯形(keystone)校正608应用于所捕获的图像602-1以提供用于非对称校正的梯形形变(keystoned)图像602-2。因为捕获图像602-1由于图像传感器128相对于透镜130的非对称定位而包括竖直非对称性，所以应用梯形校正608以移除一些透镜畸变。
梯形形变图像602-2被矫直(straightened)以提供矫直图像602-3，该矫直图像校正原始捕获图像602-1中的一些透镜畸变(例如，竖直非对称性)。注意，矫直图像602-3中的人110-2比原始捕获图像602-1中的人110-1更瘦(例如，更少畸变)。另外，黑色角部区域604-1在尺寸上减小到黑色角部区域604-2。区606-1的尺寸也减小到区606-2。在一些方面中，包裹114-1由于梯形形变图像602-2的矫直而可以被更改。例如，矫直图像602-3中的包裹114-2小于原始捕获图像602-1中的包裹114-1。然而，包裹114-2的尺寸足以被识别为用户的门口上的包裹。在各方面中，梯形校正608包括向图像应用不规则四边形(trapezoidal)形状，该不规则四边形形状在图像的顶部较窄并且在图像的底部较宽。梯形校正降低了在图像的后续去曲化(dewarping)期间朝向图像的顶部引入伪影的风险。
矫直图像602-3的边缘被去曲化以提供去曲化图像602-4。将矫直图像602-3的边缘去曲化从图像的底部去除了黑色角部区域604-2。在各方面中，去曲化可能导致对包裹114-3的一些畸变，但是人110-3的透镜畸变显著降低。此外，一些畸变可能是可接受的，因为完全校正畸变可能会将伪影引入到图像中，这劣化了最终图像并削减了用户体验。在示例中，去曲化图像602-4可以包括在成像圈134的边缘附近的变暗像素的区606-3。
可以增亮去曲化图像602-4以去除区606-3中的变暗像素并提供最终图像602-5。最终图像602-5包括畸变校正图像，该畸变校正图像包括人110-3(包括人的头部和面部)和包裹114-3，其中在最终图像602-5的底部角部(例如，底部角部区域610)中没有黑色或变暗的像素。最终图像602-5随后可被提供给用户的设备(例如，智能电话)以供显示。
示例方法
图7描绘了根据本文描述的技术的用于校正由具有非对称图像传感器定位的电子门铃引起的透镜畸变的示例方法700。在各方面中，方法700可以由电子门铃122的一个或多个处理器执行。
在702处，捕获或接收图像，该图像至少部分地基于相对于透镜非对称地定位的图像传感器而具有透镜畸变。在各方面中，图像传感器128相对于透镜130非对称地定位，从而导致图像传感器光轴318(例如，图像传感器128的光学中心)从透镜光轴316(例如，透镜130的光学中心)的竖直偏移。此外，图像传感器128以纵向取向定向。由于图像传感器128相对于透镜130的取向和非对称定位，传感器检测区域132从成像圈134的中心竖直偏移，以包括成像圈134的下部分(例如，下部分408)和超出成像圈134的边界的区(例如，下部角部区434)，这导致捕获的图像具有黑色角部区域604-1。
在704处，将梯形校正应用于所捕获的图像以提供梯形形变图像。举例来说，梯形校正608可以应用于所捕获的图像602-1以提供可用于校正由图像传感器128相对于透镜130的非对称定位而产生的竖直非对称性的梯形形变图像602-2。
在706处，矫直梯形形变图像以提供矫直图像。例如，可以矫直梯形形变图像602-2以校正竖直非对称性并提供矫直图像602-3。在一个示例中，梯形形变图像602-2的矫直在图像的顶部比在图像的底部基本上更多地拉伸梯形形变图像602-2。
在708处，使矫直图像去曲化以提供去曲化图像。例如，矫直图像602-3的边缘被去曲化以提供去曲化图像602-4。去曲化移除了与传感器检测区域132的两个下部角部区域434相对应的黑色区域(例如，黑色角部区域604)。
在710处，增亮去曲化图像以提供最终图像。例如，增亮去曲化图像602-4以提供最终图像602-5，其透镜畸变得到校正并且没有黑色角部。
在712处，将最终图像提供到计算机可读存储存储器。例如，最终图像602-5可以存储在本地存储装置或远程存储装置(例如，在线存储装置)中。因为电子门铃122是电池供电的，所以最终图像602-5可以被无线地传送到远程数据存储装置。
在714处，将最终图像输出到用户设备(例如，智能电话)。在示例中，可以基于对访问本地存储装置或远程存储装置的请求将最终图像602-5提供给用户设备。任选地，可以在712处将最终图像提供到存储器存储装置之前或同时，在714处将最终图像输出到用户设备。因此，本文描述的技术包括3:4纵向配置的图像传感器的梯形去曲化，以提供具有没有黑色角部的增强的vFOV的最终图像602-5。这些技术使得能够增强位于成像圈134的下部分408中的包裹或其他对象的包裹检测，该包裹或其他对象通常可能在常规图像传感器的FOV之外。因此，可以基于最终图像602-5来检测这样的包裹，并且可以向与电子门铃122相关联的另一电子设备的用户提供通知，以向用户通知包裹存在，或者在一些情况下，包裹已经被移除。
示例计算系统
图8是示出包括示例设备802的示例系统800的框图，示例设备802可以被实现为实现如参考图1-图7描述的非对称相机传感器定位的各方面的任何电子设备(例如，电子门铃122)。示例设备802可以是任何类型的计算设备、客户端设备、移动电话、平板电脑、通信、娱乐、游戏、媒体回放和/或其他类型的设备。此外，示例设备802可以被实现为被配置用于在网络上通信的任何其他类型的电子设备，诸如恒温器、门铃、危险检测器、相机、灯单元、调试设备、路由器、边界路由器、加入者路由器(joiner router)、加入设备、端设备、领导者、接入点、集线器和/或其他电子设备。示例设备802可以与电子电路、微处理器、存储器、输入-输出(I/O)逻辑控制、通信接口和组件以及用于经由网络进行通信的其他硬件、固件和/或软件集成。此外，设备802可以用各种组件来实现，诸如具有任何数量和组合的不同组件，如下文进一步描述的。
设备802包括使能设备数据806——诸如在网络中的设备之间传送的数据、正在接收的数据、被调度用于广播的数据、数据的数据分组、在设备之间同步的数据等——的有线和/或无线通信的通信设备804。设备数据可以包括任何类型的通信数据，以及由在设备上执行的应用生成的音频、视频和/或图像数据。通信设备804还可以包括用于蜂窝电话通信和/或用于网络数据通信的收发器。通信设备804可以包括用于多个不同的无线通信系统的无线无线电系统。无线无线电系统可以包括Wi-Fi、蓝牙TM、移动宽带、低功耗蓝牙(BLE)和/或点对点IEEE 802.15.4。每个不同的无线电系统可以包括针对特定无线通信技术实现的无线电设备、天线和芯片组。
设备802还包括输入/输出(I/O)接口808，诸如提供设备、数据网络(例如，内部网络、外部网络等)和其他设备之间的连接和/或通信链路的数据网络接口。I/O接口可以用于将设备耦合到任何类型的组件、外围设备和/或附件设备。I/O接口还包括数据输入端口，经由该数据输入端口可以接收任何类型的数据、媒体内容和/或输入，诸如设备的用户输入，以及从任何内容和/或数据源接收的任何类型的通信数据，诸如音频、视频和/或图像数据。
设备802包括处理系统810，其可以至少部分地用硬件来实现，诸如利用处理可执行指令的任何类型的微处理器、控制器等。处理系统可以包括集成电路的组件、可编程逻辑器件、使用一或多个半导体形成的逻辑器件，以及硅和/或硬件中的其它实施方式，诸如实现为片上系统(SoC)的处理器和存储器系统。可选地或附加地，设备可以用可以用处理和控制电路实现的软件、硬件、固件或固定逻辑电路中的任何一个或组合来实现。设备802还可以包括将设备内的各种组件耦合的任何类型的系统总线或其他数据和命令传输系统。系统总线可以包括不同总线结构和架构以及控制和数据线中的任何一个或组合。
设备802还包括计算机可读存储存储器812，诸如可以由计算设备访问并且提供对数据和可执行指令(例如，软件应用、模块、程序、功能等)的持久存储的数据存储设备。本文描述的计算机可读存储存储器不包括传播信号。计算机可读存储存储器的示例包括易失性存储器和非易失性存储器、固定和可移除媒体设备以及维护用于计算设备访问的数据的任何合适的存储器设备或电子数据存储。计算机可读存储存储器可以包括各种存储器装置配置中的随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器和其它类型的存储存储器的各种实施方式。
计算机可读存储存储器812提供设备数据806和各种设备应用814的存储，诸如作为软件应用被维持在计算机可读存储存储器上并且由处理系统810执行的操作系统。设备应用还可以包括设备管理器，诸如任何形式的控制应用、软件应用、信号处理和控制模块、特定设备本地的代码、特定设备的硬件抽象层等。在该示例中，设备应用还包括智能家庭应用816，其实现非对称相机传感器定位的各方面以用于增强的包裹检测，诸如当示例设备802被实现为本文描述的任何电子设备时。设备802还包括电源818，诸如电池308。交流(AC)电源也可用于对设备的电池充电。
在各方面中，针对电子门铃122描述的技术的至少一部分可以在分布式系统中实现，诸如在平台822中的“云”820上实现。云820包括和/或代表用于服务824和/或资源826的平台822。
平台822使硬件的底层功能抽象化，诸如服务器设备(例如，包括在服务824中)和/或软件资源(例如，包括为资源826)，并且将示例设备802与其他设备、服务器等通信地连接。资源826还可以包括当在远离示例设备802的服务器上执行计算机处理时可以利用的应用和/或数据。另外，服务824和/或资源826可以促进订户网络服务，诸如通过互联网、蜂窝网络或Wi-Fi网络。平台822还可以用于抽象和缩放资源以服务于经由平台实现的资源826的需求，诸如在具有分布在整个系统800中的功能的互连设备实施方式中。例如，功能可以部分地在示例设备802处以及经由抽象云820的功能的平台822来实现。
下面描述一些示例：
一种电子门铃，其包括：透镜，其具有透镜光轴并且提供表示由所述透镜捕获的场景的成像圈，所述成像圈具有上部分和下部分，所述上部分和所述下部分由中间部分分隔开并且以竖直堆叠布置，所述上部分位于所述成像圈的上边缘附近，所述下部分位于所述成像圈的下边缘附近；以及图像传感器，其具有传感器检测区域，所述图像传感器：相对于所述成像圈的部分的竖直堆叠以纵向取向定位，所述传感器检测区域的纵向取向具有大于水平FOV的竖直FOV；以及相对于所述透镜朝向所述成像圈的所述下部分从所述透镜光轴竖直移位一偏移距离，以使得所述图像传感器能够捕获靠近所述成像圈的所述下边缘位于所述成像圈的所述下部分中的对象的图像。
图像传感器可以被配置处于3:4纵向取向。
传感器检测区域可以具有矩形形状，并且成像圈可以具有椭圆形形状；并且传感器检测区域可以包括位于成像圈内的两个上部角部和位于成像圈外的两个下部角部。
图像传感器可以具有图像传感器光轴；并且图像传感器可以相对于透镜竖直移位以使图像传感器光轴沿所述透镜的竖直轴从透镜光轴偏移所述偏移距离。
图像传感器光轴可以平行于透镜光轴。
偏移距离可以基本上在0.15毫米至0.35毫米的范围内。
成像圈表示基于具有大约160°的视角的透镜的场景。
图像传感器可以相对于透镜的纵向取向和竖直移位使得图像传感器能够捕获与大约130°的透镜的竖直视角相对应的成像圈的区域。
电子门铃可以进一步包括处理器，该处理器被配置为对由图像传感器捕获的图像执行透镜畸变校正，以去除捕获的图像的下部角部区域中的黑色区域。
所述处理器可以被配置以通过以下方式来执行透镜畸变校正：将梯形校正应用于所捕获的图像以提供梯形形变图像，该梯形形变图像可用于校正竖直非对称性；以及矫直所述梯形形变图像以校正所述竖直非对称性并且提供矫直图像。
处理器可以被配置为通过进一步对矫直图像进行去曲化以去除下部角部区域中的黑色区域并且提供去曲化图像来执行透镜畸变校正。
处理器可以被配置以通过进一步增亮去曲化图像以提供用于显示的最终图像来执行透镜畸变校正。
图像传感器可以被定位为使传感器检测区域的底部边缘的中点位于成像圈内。
一种用于校正由具有非对称图像传感器定位的电子门铃引起的透镜畸变的方法，所述方法包括：使用所述电子门铃的图像传感器捕获图像，所述图像传感器具有：以纵向取向定向的传感器检测区域；以及图像传感器光轴，所述图像传感器光轴从所述电子门铃的透镜的透镜光轴竖直移位，所述传感器检测区域具有位于由所述透镜投射到所述图像传感器上的成像圈内的上部角部和位于所述成像圈外的下部角部；对所捕获的图像应用梯形校正，以提供梯形形变图像，该梯形形变图像可用于校正由所述竖直移位的图像传感器光轴产生的竖直非对称性；矫直所述梯形形变图像以校正所述竖直非对称性并提供矫直图像；对所述矫直图像进行去曲化以去除对应于所述传感器检测区域的所述下部角部的黑色区域并且提供去曲化图像；增亮所述去曲化图像以提供最终图像以用于在电子设备上显示。
该方法还可以包括：基于最终图像来检测靠近成像圈的边缘位于成像圈的下部分中的包裹；以及向电子设备的用户提供包裹存在的指示。
结论
尽管已经以特定于特征和/或方法的语言描述了用于增强的包裹检测的非对称相机传感器定位的各方面，但是所附权利要求书的主题不必限于所描述的具体特征或方法。相反，特定特征和方法被公开作为用于增强包裹检测的所要求保护的非对称相机传感器定位的示例实施方式，并且其他等效特征和方法旨在在所附权利要求书的范围内。此外，描述了各种不同的方面，并且应当理解，每个所描述的方面可以独立地或结合一个或多个其他所描述的方面来实现。

Claims (15)

1.一种电子门铃，包括：
透镜，所述透镜具有透镜光轴并且提供表示由所述透镜捕获的场景的成像圈，所述成像圈具有由中间部分分隔开并且以竖直堆叠布置的上部分和下部分，所述上部分位于所述成像圈的上边缘附近，所述下部分位于所述成像圈的下边缘附近；以及
具有传感器检测区域的图像传感器，所述图像传感器：
相对于所述成像圈的部分的所述竖直堆叠以纵向取向定位，所述传感器检测区域的所述纵向取向具有大于水平尺寸的竖直尺寸；以及
相对于所述透镜朝向所述成像圈的所述下部分从所述透镜光轴竖直移位一偏移距离，以使得所述图像传感器能够捕获靠近所述成像圈的所述下边缘位于所述成像圈的所述下部分中的对象的图像。
2.根据权利要求1所述的电子门铃，其中，所述图像传感器被配置处于3:4纵向取向。
3.根据权利要求1或权利要求2所述的电子门铃，其中：
所述传感器检测区域具有矩形形状并且所述成像圈具有椭圆形形状；以及
所述传感器检测区域包括位于所述成像圈内的两个上部角部和位于所述成像圈外的两个下部角部。
4.根据前述权利要求中任一项所述的电子门铃，其中：
所述图像传感器具有图像传感器光轴；以及
所述图像传感器相对于所述透镜竖直移位以使所述图像传感器光轴沿所述透镜的竖直轴从所述透镜光轴偏移所述偏移距离。
5.根据权利要求4所述的电子门铃，其中，所述图像传感器光轴平行于所述透镜光轴。
6.根据前述权利要求中任一项所述的电子门铃，其中，所述偏移距离基本上在0.15毫米至0.35毫米的范围内。
7.根据前述权利要求中任一项所述的电子门铃，其中，所述成像圈表示基于具有约160°的视角的所述透镜的所述场景。
8.根据前述权利要求中任一项所述的电子门铃，其中，所述图像传感器相对于所述透镜的所述纵向取向和所述竖直移位使得所述图像传感器能够捕获与所述透镜的约130°的竖直视角相对应的所述成像圈的区域。
9.根据前述权利要求中任一项所述的电子门铃，进一步包括处理器，所述处理器被配置为对由所述图像传感器捕获的图像执行透镜畸变校正，以去除所捕获的图像的下部角部区域中的黑色区域。
10.根据权利要求9所述的电子门铃，其中，所述处理器被配置为通过以下方式执行透镜畸变校正：
将梯形校正应用于所捕获的图像来提供梯形形变图像，所述梯形形变图像能够用于校正竖直非对称性；以及
矫直所述梯形形变图像以校正所述竖直非对称性并提供矫直图像。
11.根据权利要求10所述的电子门铃，其中，所述处理器被配置为通过以下操作来执行所述透镜畸变校正：进一步对所述矫直图像进行去曲化，以去除所述下部角部区域中的所述黑色区域并且提供去曲化图像。
12.根据权利要求11所述的电子门铃，其中，所述处理器被配置为通过进一步增亮所述去曲化图像以提供用于显示的最终图像来执行所述透镜畸变校正。
13.根据任一前述权利要求所述的电子门铃，其中，所述图像传感器被定位成使所述传感器检测区域的底部边缘的中点位于所述成像圈内。
14.一种用于校正由具有非对称图像传感器定位的电子门铃引起的透镜畸变的方法，所述方法包括：
使用所述电子门铃的图像传感器捕获图像，所述图像传感器具有：
以纵向取向定向的传感器检测区域；以及
图像传感器光轴，所述图像传感器光轴从所述电子门铃的透镜的透镜光轴竖直移位，所述传感器检测区域具有位于由所述透镜投射到所述图像传感器上的成像圈内的上部角部和位于所述成像圈外的下部角部；
对所捕获的图像应用梯形校正，以提供梯形形变图像，所述梯形形变图像能够用于校正由竖直移位的图像传感器光轴产生的竖直非对称性；
矫直所述梯形形变图像以校正所述竖直非对称性并提供矫直图像；
对所述矫直图像进行去曲化，以去除与所述传感器检测区域的所述下部角部相对应的黑色区域并提供去曲化图像；
增亮所述去曲化图像以提供用于在电子设备上显示的最终图像。
15.根据权利要求14所述的方法，进一步包括：
基于所述最终图像，检测靠近所述成像圈的边缘位于所述成像圈的下部分中的包裹；以及
向所述电子设备的用户提供存在所述包裹的指示。
CN202180099463.6A 2021-08-02 2021-08-02 用于增强的包裹检测的非对称相机传感器定位 Pending CN117529926A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2021/044190 WO2023014345A1 (en) 2021-08-02 2021-08-02 Asymmetric camera sensor positioning for enhanced package detection

Publications (1)

Publication Number Publication Date
CN117529926A true CN117529926A (zh) 2024-02-06

Family

ID=77499933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180099463.6A Pending CN117529926A (zh) 2021-08-02 2021-08-02 用于增强的包裹检测的非对称相机传感器定位

Country Status (3)

Country Link
US (1) US20230032321A1 (zh)
CN (1) CN117529926A (zh)
WO (1) WO2023014345A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2021351627B2 (en) 2020-10-02 2024-03-14 Google Llc Image-capturing doorbell device
US11277941B1 (en) 2020-10-02 2022-03-15 Google Llc Thermal-control system of a video-recording doorbell and associated video-recording doorbells

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2941067B1 (fr) * 2009-01-14 2011-10-28 Dxo Labs Controle de defauts optiques dans un systeme de capture d'images
JP6568374B2 (ja) * 2015-03-27 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10412286B2 (en) * 2017-03-31 2019-09-10 Westboro Photonics Inc. Multicamera imaging system and method for measuring illumination
US10389982B1 (en) * 2018-04-23 2019-08-20 Kuna Systems Corporation Video security camera with two fields of view
US10805556B1 (en) * 2019-01-22 2020-10-13 Amazon Technologies, Inc. Storage units with shifted-lens cameras
US20210127059A1 (en) * 2019-10-29 2021-04-29 Microsoft Technology Licensing, Llc Camera having vertically biased field of view

Also Published As

Publication number Publication date
WO2023014345A1 (en) 2023-02-09
US20230032321A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
JP6626954B2 (ja) 撮像装置及びフォーカス制御方法
US20230032321A1 (en) Asymmetric Camera Sensor Positioning for Enhanced Package Detection
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
CN108399349B (zh) 图像识别方法及装置
US20140009571A1 (en) Wide Field of View Reflector and Method of Designing and Making Same
CN109660723B (zh) 一种全景拍摄方法及装置
US9986155B2 (en) Image capturing method, panorama image generating method and electronic apparatus
CN108965666B (zh) 一种移动终端及图像拍摄方法
CN103858234A (zh) 超广角影像的处理系统与方法
CN108900750A (zh) 一种图像传感器及移动终端
JP2011024015A (ja) 撮影システム、移動体、撮影制御方法
CN108900751A (zh) 一种图像传感器、移动终端及拍摄方法
CN108600712A (zh) 一种图像传感器、移动终端及图像拍摄方法
WO2020015626A1 (zh) 移动终端及图像拍摄方法
CN108965665A (zh) 一种图像传感器及移动终端
US9871956B2 (en) Multiple lenses in a mobile device
EP3621292B1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
CN110072057B (zh) 图像处理方法及相关产品
KR102575271B1 (ko) Pos 기기와 연동된 감시 카메라 및 이를 이용한 감시 방법
CN108616687A (zh) 一种拍照方法、装置和移动终端
US9158087B2 (en) Stereoscopic lens docking station
WO2018189980A1 (ja) 光通信方法
US20130147980A1 (en) Apparatus and associated method for face tracking in video conference and video chat communications
CN106488168A (zh) 电子终端中采集的画面的角度切换方法及装置
KR102374428B1 (ko) 그래픽 센서, 이동 단말 및 그래픽 촬영 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination