CN108140235A - 用于产生图像视觉显示的系统和方法 - Google Patents

用于产生图像视觉显示的系统和方法 Download PDF

Info

Publication number
CN108140235A
CN108140235A CN201680059407.9A CN201680059407A CN108140235A CN 108140235 A CN108140235 A CN 108140235A CN 201680059407 A CN201680059407 A CN 201680059407A CN 108140235 A CN108140235 A CN 108140235A
Authority
CN
China
Prior art keywords
composograph
electronic device
depth information
image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680059407.9A
Other languages
English (en)
Other versions
CN108140235B (zh
Inventor
郭烽
毕宁
B·福鲁坦保尔
张涛
任剑锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108140235A publication Critical patent/CN108140235A/zh
Application granted granted Critical
Publication of CN108140235B publication Critical patent/CN108140235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明描述一种由电子装置执行的方法。所述方法包含获取合成图像。所述合成图像包含从一或多个图像传感器俘获的图像的组合。所述方法还包含获取深度信息。所述深度信息是基于深度传感器与所述合成图像中的至少一个对象之间的距离测量值。所述方法进一步包含基于所述深度信息调节合成图像视觉显示。

Description

用于产生图像视觉显示的系统和方法
技术领域
本公开大体上涉及电子装置。更具体地说，本公开涉及用于产生图像视觉显示的系统和方法。
背景技术
一些电子装置(例如，相机、视频摄录影机、数码相机、蜂窝式手机、智能手机、计算机、电视机、汽车、个人相机、可穿戴式相机、虚拟现实装置(例如，头戴装置)、扩增现实装置(例如，头戴装置)、混合现实装置(例如，头戴装置)、运动相机、监控摄像头、安装摄像头、互联摄像头、机器人、无人机、智能电器、医疗保健设备、机顶盒等)俘获和/或利用图像。举例来说，智能手机可以俘获和/或处理静态图像和/或视频图像。所述图像可经处理、显示、存储和/或发射。所述图像可描绘例如包含风景和/或对象的场景。
在一些情况下，图像可被变形。举例来说，图像可能以变形所述图像中的风景和/或对象的方式被描绘。在例如采用广角镜头时的一些情形中，失真可能是尤其明显的。自此论述可了解，减少图像变形的方法可为有益的。
发明内容
本发明描述一种由电子装置执行的方法。所述方法包含获取合成图像。合成图像包含从一或多个图像传感器俘获的图像的组合。所述方法也包含获取深度信息。深度信息是基于深度传感器与所述合成图像中的至少一个对象之间的距离测量值。所述方法进一步包括基于所述深度信息调节合成图像视觉显示。
调节所述合成图像视觉显示可包含基于所述深度信息调节再现的几何形状。所述深度信息可以是动态的。调节合成图像视觉显示可包含调节所述再现的几何形状，使得所述至少一个对象在所述再现的几何形状的竖直部分上被再现。
该方法可包括插入至少一个模型到所述图像视觉显示的三维空间中。所述模型对应于所述至少一个对象。
深度信息可指示深度传感器与最近对象之间的距离。所述至少一个对象可包含多个对象。深度信息可指示深度传感器与所述多个对象之间的平均对象距离。
所述方法可包含基于对象检测识别所关注区。所述方法也可包含基于所述所关注区缩放所述合成图像视觉显示的至少一部分。
调节合成图像视觉显示可包含减小透视变形。合成图像视觉显示可以是环绕视图。
还描述一种电子装置。所述电子装置包含处理器，其被配置成获取合成图像。合成图像包含从一或多个图像传感器俘获的图像的组合。处理器还被配置成获取深度信息。深度信息是基于深度传感器与所述合成图像中的至少一个对象之间的距离测量值。所述处理器被进一步配置成基于所述深度信息调节合成图像视觉显示。
同样描述一种设备。所述设备包含用于获取合成图像的装置。合成图像包含从一或多个图像传感器俘获的图像的组合。所述设备还包含用于获取深度信息的装置。深度信息是基于深度传感器与所述合成图像中的至少一个对象之间的距离测量值。所述设备进一步包括用于基于所述深度信息调节合成图像视觉显示的装置。
还描述一种计算机程序产品。所述计算机程序产品包含具有指令的非暂时性有形计算机可读媒体。所述指令包含用于使得电子装置获取合成图像的代码。合成图像包含从一或多个图像传感器俘获的图像的组合。所述指令还包含用于致使所述电子装置获取深度信息的代码。深度信息是基于深度传感器与所述合成图像中的至少一个对象之间的距离测量值。指令进一步包含用于致使所述电子装置基于所述深度信息调节合成图像视觉显示的代码。
附图说明
图1为说明俯视图或鸟瞰图图像视觉显示的一个实例的图解；
图2为说明环绕视图图像视觉显示的一个实例的图解；
图3为说明电子装置的一个实例的框图，在所述电子装置中可实施用于产生图像视觉显示的系统和方法；
图4为说明用于产生图像视觉显示的一种方法的一种配置的流程图；
图5为说明可根据本文中公开的系统和方法实施的元件的更多特定实例的图解；
图6根据本文中公开的系统和方法说明合成图像视觉显示的一个实例；
图7根据本文中公开的系统和方法说明合成图像视觉显示的另一实例；
图8根据本文中公开的系统和方法说明合成图像视觉显示的又一实例；
图9根据本文中公开的系统和方法说明合成图像视觉显示的又一实例；
图10为说明用于产生图像视觉显示的一种方法的更多特定组态的流程图；以及
图11说明可包含在经配置以实施本文中所公开的系统和方法的各种配置的电子装置内的特定组件。
具体实施方式
本文中公开的系统和方法提供用于产生图像视觉显示的方法。图像视觉显示可以是图像的呈现和/或演示。一些图像视觉显示可能无法表示维度(例如，高度、深度等)或可能致使图像表现变形和/或反常。举例来说，三维(three-dimensional，3D)场景的简单二维(two-dimensional，2D)呈现可减小或破坏场景的维度(例如，高度、深度等)形态。举例来说，城市的2D卫星图像可能致使高建筑物被表现为扁平。当建筑物以更接近的视角出现在3D中时，这移除对建筑物高度的感觉。可能出现其它失真。因此，具有变形的呈现视角的图像可以是用处较小的和/或较不被期望的。
本文中公开的系统和方法可产生可以提高一或多个图像的形态的图像视觉显示。举例来说，本文中公开的系统和方法可减少呈现变形和/或视角变形的出现。另外或替代地，本文中公开的系统和方法可产生可以提高一或多个图像的深度的表现。举例来说，一或多个图像(例如，合成图像)可以以将更多维度(例如，高度、深度等)提供到图像的方式被再现和/或呈现。所述图像视觉显示可基于深度信息被调整。
图1为说明俯视图或鸟瞰图图像视觉显示102的一个实例的图解。显示系统可被实施成展示图像视觉显示。显示系统的实例可包含一或多个显示器、头戴式显示器(head-mounted display，HMD)、手持型显示器(例如，智能手机、平板装置等)、车辆中的集成控制台显示器等。机动车中的一些显示系统可描绘二维(2D)鸟瞰图图像视觉显示102。在一些配置中，显示系统可被，可被耦合到先进的驾驶员辅助系统(advanced driver assistantsystem，ADAS)上或可以是其的部分。在图1中展示的实例中，车辆106包含四个摄像头。前部摄像头俘获前部场景104a、右侧摄像头俘获右侧场景104b、后置摄像头俘获后部场景104c，以及左侧摄像头俘获左侧场景104d。场景104a到104d的图像可被合成来形成2D鸟瞰图图像视觉显示102。如可观察到的那样，鸟瞰图图像视觉显示102聚焦在车辆106周围的区域。应注意，在图像视觉显示中，车辆106可被描绘为实际车辆106的模型或图示。
鸟瞰图图像视觉显示102的一个不足之处为一些对象看起来可能为扁平的或变形的，且可能缺少高度或深度感。举例来说，一组栅栏108、人110，以及树112可能看起来是扁平的。在驾驶员查看鸟瞰图视觉显示102的情形中，驾驶员可能无法获得一或多个对象的高度。这甚至可能致使驾驶员因鸟瞰图视觉显示102缺乏高度描绘而将车辆106与对象(例如，栅栏108)碰撞。
图2为说明环绕视图图像视觉显示202的一个实例的图解。对于显示系统(例如，ADAS中的显示系统)，2D鸟瞰图图像视觉显示的扩展可以是环绕视图图像视觉显示202。来自多个摄像头的图像可以被合成以产生合成图像。在这个实例中，合成图像被整合成碗形的再现的几何形状220以产生环绕视图图像视觉显示202。如可观察到的那样，环绕视图图像视觉显示202使得车辆206(例如，车辆模型、图示等等)周围的地面表现为扁平，但图像中的其它对象具有高度感。举例来说，房屋216、另一车辆214和消防栓218在环绕视图图像视觉显示202中分别表现为具有高度(例如，3维，高度、深度)。应注意，在图像视觉显示中，车辆206可被描绘为实际车辆206的模型或图示。
，在一些状况下，环绕视图图像视觉显示202可基于再现的几何形状220的形状变形一或多个对象。举例来说，如果在图2中再现的几何形状220的碗形状的“底部”更大，那么其它车辆214可被表现为扁平化的。然而，如果再现的几何形状220的碗形状的“侧边”更大，那么车辆206周围的地面可被表现为上翘的，好像车辆206在坑底部一样。因此，再现的几何形状220的大约形状可基于场景而不同。举例来说，如果对象(例如，具有至少一个给定高度的对象)更接近所述图像传感器，那么具有更小底部(例如，底部直径)的再现的几何形状可避免对象形态的平坦化。然而，如果场景描绘高对象不在所述图像传感器附近的开放区域，那么具有更大底部(例如，底部直径)的再现的几何形状可更佳地描绘场景。
在本文中公开的系统和方法的一些配置中，可利用多个广角鱼眼摄像头来产生鸟瞰图图像视觉显示和/或环绕视图图像视觉显示。环绕视图图像视觉显示可适应性地基于深度信息和/或场景内容被调整。举例来说，电子装置可基于深度信息改变所述图像视觉显示(例如，再现的几何形状、投影视图等)。举例来说，深度信息可指示到所述图像中的一或多个对象的距离(例如，深度)、从摄像头到一或多个对象的距离等。在一些配置中，再现的几何形状(例如，所述图像的投影)的直径可基于深度信息被控制。
深度信息的一个实例是(从电子装置、从图像传感器和/或深度传感器等)到场景中的最接近对象的距离。深度信息的另一实例为(从电子装置、从图像传感器和/或深度传感器等等，到场景中的多个对象的)平均距离。
根据本文中公开的系统和方法，所述图像视觉显示(例如，投影视图)可基于场景(例如，场景的深度信息)被调整和/或改变。尽管一些投影是2D且如影片一样滚动的，但本文中公开的系统和方法可提供3D效果(例如，特定对象可表现为“弹出式”的)。另外或替代地，所述图像视觉显示可被动态地调整(例如，更新)来描绘城市视图(例如，更窄视图，其中一或多个对象接近摄像头)或绿地视图(例如，更宽视图，其中一或多个对象离摄像头更远)。另外或替代地，所关注区(region of interest，ROI)可被识别且/或缩放能力可基于来自对象检测的深度或场景被设定。
图3为说明电子装置322的一个实例的框图，在所述电子装置中可实施用于产生图像视觉显示的系统和方法。电子装置322的实例可包含相机、视频摄录影机、数码相机、蜂窝式手机、智能手机、计算机(例如，台式计算机、膝上型计算机等)、平板装置、媒体播放器、电视机、车辆、汽车、个人相机、可穿戴式相机、虚拟现实装置(例如，头戴装置)、扩增现实装置(例如，头戴装置)、混合现实装置(例如，头戴装置)、运动相机、监控摄像头、安装摄像头、互联摄像头、机器人、飞机、无人机、无人驾驶飞行器(unmanned aerial vehicle，UAV)、智能电器、医疗保健设备、游戏控制台、个人数字助理(personal digital assistant，PDA)、机顶盒等。电子装置322可包含一或多个组件或元件。组件或元件中的一或多个可实施在硬件(例如，电路系统)或硬件与软件的组合(例如，具有指令的处理器)中。
在一些配置中，电子装置322可包含处理器330、存储器338、显示器340、一或多个图像传感器324、一或多个光学系统326和/或通信接口328。处理器330可被耦合到(例如，与其电子通信)存储器338、显示器340、图像传感器324、光学系统326和/或通信接口328上。
在一些配置中，电子装置322可执行结合图4到11中的一或多个描述的功能、程序、方法、步骤等中的一或多个。额外地或替代地，电子装置322可包含结合图4到11中的一或多个描述的结构中的一或多个。
通信接口328可允许电子装置322与一或多个其它电子装置通信。举例来说，通信接口328可提供用于有线和/或无线通信的接口。在一些配置中，通信接口328可耦合到一或多个天线344以用于发射和/或接收射频(radio frequency，RF)信号。另外或替代地，通信接口328可允许一种或多种类别的有线(例如通用串行总线(USB)、以太网等)通信。
在一些配置中，可实施和/或利用多个通信接口328。举例来说，一个通信接口328可为蜂窝式(例如，3G、长期演进(Long Term Evolution，LTE)、CDMA等)通信接口328，另一通信接口328可为以太网接口，另一通信接口328可为通用串行总线(universal serialbus，USB)接口，且又一通信接口328可为无线局域网(wireless local area network，WLAN)接口(例如，电气电子工程师学会(Institute of Electrical and ElectronicsEngineers，IEEE)802.11接口)。在一些配置中，通信接口328可发送信息(例如，图像信息、深度信息、图像视觉显示信息等)到另一装置(例如，车辆、智能手机、摄像头、显示器、远程服务器等)和/或从所述另一装置接收信息。举例来说，所述电子装置322可与车辆(例如，另一车辆)共用信息。
所述电子装置322可获取一种或多种图像(例如，数字图像、图像帧、视频等)。举例来说，所述电子装置322可包含一种或多种图像传感器324和/或一种或多种光学系统326(例如，镜头)，所述光学系统将位于光学系统326视野内之场景和/或对象的图像对焦到所述图像传感器324上。相机(例如，可见光谱相机)可包含至少一个图像传感器和至少一个光学系统。在一些配置中，图像传感器324可俘获一或多个图像。光学系统326可耦接到处理器330和/或受其控制。另外或替代地，电子装置322可从另一装置(例如，耦合到电子装置322上的一或多个外部图像传感器、网络服务器、交通摄像头、水下摄像头、机动车摄像头、网络摄像头等)请求和/或接收一或多个图像。在一些配置中，电子装置322可经由通信接口328请求和/或接收一或多个图像。举例来说，电子装置322可包含或可不包含摄像头(例如，图像传感器324和/或光学系统326)，且可从一或多个远程装置接收图像。图像中的一或多个(例如，图像帧)可包含一或多个场景和/或一或多个对象。
在一些配置中，电子装置322可包含图像数据缓冲器(未展示)。所述图像数据缓存器可缓冲(例如，存储)来自图像传感器324的图像数据。被缓冲的图像数据可被提供到处理器330。
在一些配置中，电子装置322可包含摄像头软件应用程序和/或显示器340。当摄像头应用程序正在运行时，图像传感器324可俘获位于光学系统326的视野内的对象的图像。图像传感器324正俘获的图像可呈现在显示器340上。在一些配置中，这些图像可快速连续地以相对较高帧率被显示，使得在任何给定时刻，定位于光学系统326的视野内的场景和/或对象都被呈现在显示器340上。电子装置322所获取的一或多个图像可为一或多个个视频帧和/或一或多个静态图像。在一些配置中，显示器340可呈现额外或替代信息。举例来说，显示器340可呈现对应于一或多个检测到的和/或被跟踪的对象的一或多个所关注区(例如，限界框)。另外或替代地，显示器340可呈现深度信息(例如，到图像视觉显示中的一或多个对象(例如，选定对象)的一或多个估计距离)。
处理器330可包含和/或实施图像获取器332。图像帧中的一或多个可提供到合成图像获取器332。在一些配置中，合成图像获取器332可根据结合图4到5和10中的一或多个描述的方法、功能、程序、步骤和/或结构中的一或多个操作。合成图像获取器332可获取合成图像。合成图像可以是图像的组合。举例来说，多个图像可被拼接在一起以形成合成图像。用于形成合成图像的多个图像可从单一图像传感器(例如，一个图像传感器在多个位置(例如，角度、旋转、位置等)处)俘获或可从多个图像传感器(例如，从不同位置)俘获。如上文所述，所述图像可从包含在电子装置322中的图像传感器324俘获，或可从一或多个远程图像传感器俘获。
在一些配置中，合成图像获取器332可组合图像以形成合成图像。举例来说，合成图像获取器332可执行图像对准(例如，对齐)、缝隙查找和/或合并。图像对准可包含确定图像之间的叠加区域和/或对准图像。缝隙查找可包含确定图像之间的叠加区域中的缝隙。可产生缝隙以提高图像之间的连续性(例如，减小不连续性)。举例来说，合成图像获取器332可确定缝隙，图像沿这些缝隙可良好匹配(例如，其中边缘、对象、纹理、颜色和/或亮度匹配良好)。合并图像可包含接合图像(例如，沿缝隙)和/或丢弃信息(例如，裁切像素)。
应注意在一些配置中，图像对准(例如，叠加区域确定)和/或缝隙查找可为可选的。举例来说，摄像头(例如，图像传感器324和光学系统326)可被离线校正，使得叠加区域和/或缝隙被预先确定。在这些配置中，图像可基于预先确定的重叠和/或缝隙被合并。
在一些配置中，合成图像获取器332可请求和/或接收一或多个合成图像。举例来说，合成图像获取器332可经由通信接口328从远程装置(例如，外部相机、远程服务器、远程电子装置等)请求和/或接收合成图像。在这些配置中，合成图像获取器332可能不合成图像(例如，可能不执行图像对准、缝隙查找和/或合并)。
在一些配置中，合成图像获取器332可以是可选的。举例来说，图像视觉显示调节可在单一图像和/或未合成图像上执行。
处理器330可包含和/或实施深度信息获取器334。深度信息获取器334可获取深度信息。深度信息指示到图像(例如，在合成图像中)中的至少一个对象的距离。举例来说，深度信息可指示电子装置322与一或多个对象之间的距离(例如，到最接近对象的距离、到多个对象的平均距离等等)。另外或替代地，深度信息可指示至少一个传感器(例如，图像传感器324、其它深度传感器)与一或多个对象之间的距离(例如，从深度传感器到最接近对象的距离、从深度传感器到多个对象的平均距离等)。在一些配置中，深度信息可包含一或多个深度图。在一些配置中，深度信息获取器334可根据图4到10中的一或多个描述的方法、功能、程序、步骤和/或结构中的一或多个操作。应注意，尽管距离测量值可取自传感器的位置，但在一些配置中测得的距离可以或可以不相对于另一点被映射(例如，转换)。举例来说，电子装置322可映射距离测量值为相关于任意点(例如，车辆中心、装置中心等)。这可允许距离测量值对应于位于(例如，以之为中心)相较深度传感器的位置不同的点处的再现的几何形状(例如，与其一致)。
获取深度信息可基于多个图像(例如，立体深度确定)、运动信息，和/或其它深度传感执行。在一些方法中，一或多个摄像头(例如，图像传感器和/或光学系统)可以是深度传感器和/或可作为深度传感器被利用。在一些配置中，例如，深度信息获取器334可接收多个图像(从图像传感器324和/或从远程图像传感器)。深度信息获取器334可三角测量图像中的一或多个对象(举例来说，在图像的叠加区域中)以确定图像传感器与一或多个对象之间的距离。举例来说，特征点的3D位置(在第一摄像头坐标系中被参考)可从两个(或更多)经过校正的摄像头被计算。随后可通过三角测量估计深度。
在一些配置中，深度信息获取器334可基于移动摄像头确定深度信息(例如，被称作从运动构造(structure from motion，SfM)的方法)。举例来说，可基于因摄像头运动(例如，摄像头相对于场景中的一或多个对象的运动)所致的两个或超过两个帧估计深度。举例来说，通过观测对象随时间(举例来说，在图像中随时间或帧)的运动，深度信息获取器334可确定图像传感器(例如，图像传感器324和/或远程图像传感器)和对象之间的距离。可匹配来自两个视图的对象点，并且可估计相对摄像头运动。随后可通过三角测量来估计(例如，产生)对象的构造和/或深度。
在一些配置中，深度信息获取器334可通过利用一或多个额外或替代深度感应方法来获取深度信息。举例来说，深度信息获取器334可从深度传感器(除一或多个可见光谱摄像头以外或替代地)接收可指示到一或多个对象的距离的信息。其它深度传感器的实例包含飞行时间摄像头(例如，红外式飞行时间摄像头)、干涉计、雷达、激光雷达、声波深度传感器、超声波深度传感器等。在一些配置中，一或多个深度传感器可包含在电子装置322内，可耦合到所述电子装置322上，和/或可与所述电子装置322通信。深度信息获取器334可基于来自一或多个深度传感器的信息估计(例如，计算)深度信息和/或可从一或多个深度传感器接收深度信息。举例来说，深度信息获取器334可从飞行时间摄像头接收飞行时间信息，且可基于飞行时间信息计算深度信息。
另外或替代地，深度信息获取器334可直接从一或多个深度传感器请求和/或接收深度信息(例如，在深度传感器直接提供深度信息的配置中)。举例来说，深度信息获取器334可从一或多个可见光谱摄像头、一或多个红外式飞行时间摄像头、干涉计、激光雷达、雷达、声波/超声波深度传感器等接收深度信息。在一些配置中，深度信息可包含一或多个深度图(其例如可对应于一或多个图像)。
在一些配置中，可实施用于获取深度信息(例如，多模深度)的方法的组合。举例来说，可实施SfM、立体三角测量和激光雷达的组合。可实施其它组合。利用多模态深度估计可提高深度信息的质量。举例来说，可利用来自不同传感器的深度信息来过滤离群值和/或减小噪点(举例来说，通过合并(例如，平均化)和/或插入多个深度图等)。
深度信息可指示一或多个对象在一或多个场景中的存在。对象可以是物体的实体主体。在一些配置中，在场景中的物体的仅一些实体主体可被检测为“对象”。举例来说，在一些配置中，仅具有至少最小高度的物体的实体主体可被电子装置322检测为“对象”。举例来说，在一些配置中，小于一厘米(cm)高的卵石可能不被检测为“对象”。最小值高度可以是预先确定的和/或可调的。举例来说，在一些配置中，大致为10cm高的路缘高度可被检测为对象，但在其它配置中，其可能不被检测为对象。出于视觉显示调节的目的，一或多个另外或替代标准(例如，宽度、深度、运动、类型等)可被利用以确定实体主体是否为“对象”。因此，电子装置322可基于一或多个标准确定场景中的一或多个实体主体是否为“对象”。这可通过仅基于被视为相当大和/或相关的实体主体执行调节(例如，通过滤除可能致使图像视觉显示调节基于对应于不相关的和/或不显著的实体主体的深度信息操作的实体主体)来提高图像视觉显示调节。
在一些配置中，电子装置322可出于图像视觉显示调节的目的确定和/或利用实体主体类型。举例来说，电子装置322(例如，处理器330和/或包含在处理器330中的实体主体类型检测器)可确定用于一或多个检测的实体主体的实体主体类型。在一些配置中，处理器330可在一或多个图像中的一或多个检测的实体主体上执行实体主体辨识(例如，对象辨识)来确定一或多个实体主体类型。举例来说，电子装置(例如，处理器330)可将一或多个实体主体属性(例如，关键点、尺度、颜色等)与已知实体主体的数据库比较。如果一或多个实体主体属性与已知实体主体的一或多个实体主体属性匹配(例如，在确定性程度内)，那么电子装置322可标记对应的被检测实体主体为已知实体主体的类型。在其它配置中，远程装置可确定一或多个实体主体类型。电子装置322可接收实体主体类型信息。
在一些配置中，电子装置322(例如，处理器330)可出于图像视觉显示调节的目的利用实体主体类型。举例来说，电子装置322(例如，处理器330)可仅对于特定实体主体类型执行图像视觉显示调节且/或可以不考虑不是所述特定实体主体类型的实体主体。举例来说，图像视觉显示调节器336可调节用于汽车、建筑物、人、动物(例如，狗)、特定植物(例如，具有足够高度的树、具有足够高度的灌木等)、栅栏等的图像视觉显示。然而，图像视觉显示调节器336可以不考虑例如垃圾箱和特定植物(例如，草、野草、低洼地带的地被植物等)的实体主体。以此方式，图像视觉显示调节器336可帮助对更相关的实体主体提供高度感(例如，深度)。在一些配置中，除了深度信息以外，实体主体类型还可以另外于或替代实体主体高度使用，以执行图像视觉显示调节。
处理器330可包含和/或实施图像视觉显示调节器336。图像视觉显示调节器336可基于深度信息生成和/或调节视觉显示视觉显示。举例来说，图像视觉显示调节器336可基于深度信息调节再现的几何形状。更具体地说，深度信息可用于调节3D显示的形状和/或可用于产生3D环绕视图以用于显示、虚拟现实和/或扩增现实(例如，供在OculusRift装置、HoloLens装置等中使用)。在一些配置中，图像视觉显示调节器336可根据结合图4到10中的一或多个所描述的方法、功能、程序、步骤和/或结构中的一或多个操作。
再现的几何形状可以是图像以之被呈现(例如，映射、投影等)的形状。举例来说，图像(例如，合成图像)可能以以下形状被再现：碗形(例如，碗内部)、杯形(例如，杯内部)、球形(例如，完整球形内部、局部球形内部、半球形内部等)、球状体形(例如，完整球状体形内部、局部球状体内部、半球状体形内部等)、圆柱形(例如，完整圆柱形内部、局部圆柱形内部等)、椭球形(例如，完整椭球形内部、局部椭球形内部、半椭球形内部等)、多面体形(例如，多面体形内部、局部多面体形内部等)、梯形棱柱形(例如，梯形棱柱形内部、局部梯形棱柱形内部等)等。在一些方法中，“碗形”(例如，多层碗形)形状可以是(完整或局部)球形、球状体或具有扁平(例如，平面)底部的椭球。再现的几何形状可以是对称的或可以不是对称的。应注意电子装置322(例如，图像视觉显示调节器336)可在图像视觉显示中插入电子装置322(例如，车辆、无人机等)的模型(例如，3D模型)或图示。在一些配置中所述模型或图示可以是预先确定的。举例来说，在一些配置中，模型上可以不再现图像数据。
一些呈现几何布置可包含向上或竖直部分。举例来说，碗形、杯形、圆柱形、箱形或棱柱形的至少一个“边”可以是所述向上或竖直部分。举例来说，具有扁平底部的形状的向上或竖直部分可从底部(例如，水平底部)转换或开始向上或竖直过渡的位置起始。举例来说，碗形形状的过渡(例如，过渡边缘)可以在扁平(例如，平面)底部与弧形(例如，球面、椭圆等)部分交叉的位置被形成。利用可以允许地面表现为更自然的具有扁平底部的再现的几何形状是有利的。其它可具有弧形底部的形状(例如，球形、椭球形等)可被利用。对于这些形状(和/或对于具有扁平底部的形状)，向上或竖直部分可以与再现的几何形状的中心(例如，底部中心)和/或与大于或等于特定斜率的形状的一部分相隔一定距离被建立。外边缘上翘的图像视觉显示可被称为“环绕视图”图像视觉显示。
在一些配置中，图像视觉显示可以被调整以避免和/或减小场景中的一或多个对象的变形。举例来说，调节图像视觉显示可包含减小(视角或呈现)变形来更准确地描绘场景。一种可避免和/或减小的变形是场景中的对象的平坦化。举例来说，一些具有相当大的高度的对象，例如人、树、建筑物等，当被再现在碗形环绕视图的底部上时，可表现为扁平的。本文中所描述的系统和方法可调节视觉显示(例如，环绕视图的形状、“碗形”的直径等)以避免平坦化一或多个对象。举例来说，在“城市”视图中，更靠近距离处的对象可以被再现在“碗形”的侧边上，然而在“绿地”视图中，更大距离处的对象可被再现在“碗形”的侧边上。在一些配置中，可见对象(例如，“弹出式”对象、子画面、3D模型等)可被插入以便以较少变形再现一或多个对象。可产生视差效果(其中前景对象可被表现为相对于背景移动)，其可在图像视觉显示中提供深度的表现。
电子装置322可在显示器340上呈现图像视觉显示(例如，合成图像视觉显示)。举例来说，处理器330可将图像视觉显示提供到显示器340，其可呈现图像视觉显示。
调节所述图像视觉显示可包含基于所述深度信息改变再现的几何形状。举例来说，调节图像视觉显示可包含调节再现的几何形状的一或多个尺度和/或参数(例如，半径、直径、宽度、长度、高度、曲面角度、角点角度、周长、大小、中心距等)。应注意再现的几何形状可以是或可以不是对称的。
在一些例子中，再现的几何形状可表达为其中x是第一尺寸、y是第二尺寸、z是第三尺寸、a是再现的几何形状沿所述第一尺寸(例如，长度)的半径、b是再现的几何形状沿第二尺寸(例如，宽度)的半径、c是再现的几何形状沿第三尺寸(例如，高度)的半径，并且d是几何形状大小的标量。调节再现的几何形状可包含基于深度信息调节参数(例如a、b、c和/或d)中的任一种。举例来说，再现的几何形状的长度和宽度可被调整成将到对象的距离与最近深度大致匹配。在另一个实例中，长度和宽度可以是不同的。举例来说，当驾驶车辆穿过狭窄但长的通道(例如，隧道、停车库等)时，再现的几何形状的宽度可以被调整成相对较小，而长度可以被调整为相对较大。
在一些配置中，调节图像视觉显示可包含改变再现的几何形状的上翘或竖直边缘在哪里(例如，从电子装置、摄像头和/或图像传感器到其的距离)出现。上翘或竖直边缘可以是再现的几何形状转换或开始从底部(例如，扁平底部)过渡到向上(例如，竖直)的位置。举例来说，上翘或竖直边缘可以被调整，使得其对应于(例如，在距离其的一定距离内)最近对象距离(或例如平均对象深度)。因此，调整图像视觉显示可包含调整再现的几何形状，使得一或多个对象被再现在所述再现的几何形状的向上或竖直部分上。
在一些配置中，可仅在不包括一或多个端值的范围内作出调节。举例来说，再现的几何形状可以相对于深度信息(例如，最近对象距离、平均对象深度等)在1米到100米的范围内改变。在这个实例中，如果深度信息指示最近对象比100米更远，那么再现的几何形状可仅被调整到100米，而不更远。在其它配置中，可以不利用距离限制。
在一些实例中，所述形状(例如，碗形、圆柱形、杯形等)的底部或底面积可以被调整。举例来说，底部半径可以被调整成延伸到小于或等于到最近对象(或平均对象距离)的距离(例如，在小于其的量内)的距离。在一个实例中，底部直径可以被调整成使得底部延伸到大致在最近对象一米距离内。因此，如果最近对象(或平均对象深度)更远，那么底部直径可以被扩展，且/或如果最近对象(或平均对象深度)更靠近，那么底部直径可以被收缩。
图像视觉显示可以从视点(例如，视角、摄像头角度等)被呈现。举例来说，图像视觉显示可以从以下视点被呈现：从上到下的视点、从后到前的视点(例如，从后到前提高、从后到前降低等)、从前向后视点(例如，从前向后提高、从前向后降低等)、倾斜视点(例如，后方微向上悬停视点、其它倾斜角视点等)等等。另外或替代地，图像视觉显示可以被旋转和/或转换。
在一些配置中，基于深度信息调整图像视觉显示可包含调整图像视觉显示的视点、旋转和/或转换图像视觉显示。在一些方法中，当一或多个对象更接近时，视点可被调整来更接近地“放大”电子装置(例如，车辆)。这可以在对象位于接近电子装置位置的情形中呈现更多细节。反之，当对象不在附近而更远时，视点可被“缩小”以呈现更宽的视图。在其它方法中，当一或多个对象更远时，视点可以“放大”和减小到地面的角度。这可以提供对于开放空间的更自然的视角。当一或多个对象在中等距离时，视点可以“缩小”且增大到地面的角度(对于更多的“从上到下”视图)。这可以更佳地说明周围的全部，包含后部(其例如在导航停车场时有帮助)。当一或多个对象在附近时，视点可以“放大”且减小到地面的角度。这可以在较紧密的空间中更详细地说明(其例如可以在紧凑通道、隧道或车库中驾驶时有帮助)。
另外或替代地，再现的几何形状可以基于深度信息被转换和/或旋转。举例来说，如果对象在车辆的侧视镜外壳附近，那么再现的几何形状可以被转换和/或旋转以更佳地参考侧视镜外壳呈现对象(例如，以避免在移动车辆进入密封空间，例如相邻于墙面或停车库支柱时的碰撞)。
本文中揭示的系统和方法的一些配置也可以提供自由视图再现，其中视觉显示可以从任何视点(例如，任何呈现角度)或给定范围的视点被再现。在一些配置中，图像视觉显示可以基于用户界面342输入被调整。举例来说，用户界面342(例如，触摸屏)可接收指示图像视觉显示的旋转、转换和/或缩放的输入。举例来说，图像视觉显示调节器可以基于可指示滑动方向的旋转的滑动改变图像视觉显示的旋转、可基于多点触摸拨动(例如，两手指滑动)改变图像视觉显示的转换、可指示拨动方向的转换，和/或基于多点触摸收缩或散开改变图像视觉显示的缩放。
在一些配置中，调整图像视觉显示可包含基于深度信息切换再现的几何形状。举例来说，如果车辆正接近墙面(正向或逆向)，那么再现的几何形状可以从碗形切换为矩形以便减小弧形的墙面表现。
在一些配置中，调整图像视觉显示可包含基于深度信息标记和/或突出图像视觉显示中的一或多个对象。举例来说，图像视觉显示调节器336可基于深度信息强调(例如，轮廓、颜色等)一个或对象。举例来说，图像视觉显示调节器336可基于一或多个对象距电子装置322的距离，以绿色、黄色或黑色突出显示一或多个对象。举例来说，一或多个距离范围(例如，距离阈值)内的对象可以被突出显示(例如，“上色”)。在一个方法中，到电子装置322距离为2-3米之间的对象可以以绿色突出显示，1-2米之间的对象可以以黄色突出显示，且0-1米之间的对象可以以红色突出显示。可以利用其它颜色连续谱这可以不同于其它仅在图像上叠加静态帧或线以呈现深度的方法。
在一些配置中，可基于动态数据执行图像视觉显示的调整。举例来说，调整图像视觉显示可基于动态地传感的深度信息(例如，由电子装置322动态地、实时地获取的深度信息、实际距离信息、未大致指示的地图数据等)执行。举例来说，在一些配置中，电子装置322可以不依赖于预先确定的深度信息。在一些配置中，调整图像视觉显示可能不是基于预先确定的地图数据，或可能除了预先确定的地图数据以外，还基于动态深度信息。通过允许图像视觉显示调节为弹性的且响应于改变的条件，这可以是有利的。举例来说，即使电子装置322进入通常或历史上为开放空间的区域，但是如果一或多个对象目前在附近(例如，一或多个汽车在具有开放的周围的道路附近、新借助产生了更窄的场景、行人/骑自行车的人在附近行走、附近有临时构筑的栅栏等)，那么电子装置322可仍然调节图像视觉显示以显示较窄视图。此外，本文中揭示的系统和方法甚至对于在没有地图或预先确定的数据可用(例如，在可能没有地图或预先确定的数据的车库或室内停车位中)的情形中调节图像视觉显示亦为有利的。
应注意，在一些配置中，调整图像视觉显示可能不包含合成图像。举例来说，调整图像视觉显示可能不包含拼接或再拼接图像。在一些配置中，合成图像可以与调整图像视觉显示分开地被确定(例如，不基于调整图像视觉显示)。举例来说，调整图像视觉显示可改变用于图像(例如，合成图像)的再现的几何形状，但可能不改变图像数据(例如，像素数据)自身和/或可能不改变多个图像是如何合成的。
在一些配置中，电子装置322可在图像视觉显示的3D空间中插入一或多个3D模型(例如，弹出式物品)。模型可对应于至少一个对象(例如，在场景中的对象，其可能不是电子装置322和/或可能不耦合到电子装置322上)。举例来说，电子装置322可生成模型(例如，2D模型、3D模型、子画面等)，对应于对象的图像数据可基于其被再现。在一些配置中，可基于深度信息产生模型。举例来说，电子装置322可生成表示一或多个对象的位置、大小和/或形状的一或多个模型。电子装置322可将一或多个模型插入到图像视觉显示的3D空间中，和/或可在一或多个模型上再现对应于一或多个对象的图像数据。应注意，一或多个模型可以与插入到图像视觉显示中的预先确定的模型(例如，车辆或无人机模型，其可能不具有再现于其上的动态或实时图像数据)分离。
在一些方法中，深度信息可包含对应于一或多个图像(例如，合成图像)的深度图。电子装置322可生成用于深度图中指示的一或多个对象(例如，在阈值距离内)的一或多个模型。举例来说，电子装置322可生成匹配(例如，近似地)一或多个对象的位置、大小和/或形状的一或多个2D和/或3D模型。在一个实例中，驾驶穿过场景的车辆可能在栅栏、人、树和建筑物附近。电子装置322可获取指示栅栏、人、树和建筑物的位置(例如，距离)、大小和/或形状的深度图(经由立体三角测量、从运动构造(SfM)、红外式飞行时间摄像头、激光雷达和/或雷达等)。电子装置322可将具有对应位置、大小和形状的模型插入到图像视觉显示的3D空间中。电子装置322可在图像视觉显示中的对应模型上再现对应于栅栏、人、树和建筑物的图像数据。在图像视觉显示中插入一或多个模型可向图像视觉显示提供深度感。举例来说，随着电子装置322移动穿过场景，图像视觉显示可展现模型相对于背景的视差效果。
在一些配置中，电子装置322可识别一或多个图像(例如，合成图像)中的所关注区(ROI)。举例来说，电子装置322可基于一或多个图像和/或基于深度信息执行对象检测。举例来说，电子装置322可检测例如标志、道路标志、交通标志、交通信号、人、人脸、符号(例如，字符、文字、数字等)、车辆、建筑物、障碍物等的对象。电子装置322可基于所检测到的对象识别ROI。举例来说，ROI可以是相对于所检测到的对象建立的区。在一些配置中，电子装置322可使用边界框界定所检测到的对象。ROI可以是包含在边界框内的区。电子装置322可基于ROI缩放图像视觉显示(例如，合成图像视觉显示)的至少一部分。在一个实例中，电子装置322(例如，图像视觉显示调节器336)可改变视点以放大ROI。在另一个实例中，电子装置322(例如，图像视觉显示调节器336)可在显示器340上生成放大窗口，其呈现ROI的经缩放版本。在一些配置中，电子装置322(例如，处理器330和/或显示器340可生成将放大窗口连接到图像视觉显示中的ROI的位置的一或多个线。
存储器338可存储指令和/或数据。处理器330可存取存储器338(例如从其读取和/或向其写入)。可能被存储器338所存储的指令和/或数据的实例可包含：图像数据、图像合成数据(例如，缝隙位置数据)、深度信息、图像视觉显示数据(例如，再现的几何形状数据、再现的几何形状参数、再现的几何形状视点数据、再现的几何形状转换数据、再现的几何形状旋转数据等)、对象数据(例如，位置、大小、形状等)、模型数据、合成图像获取器332指令、深度信息获取器334指令，和/或图像视觉显示调节器336指令等等。
在一些配置中，电子装置322可在显示器340上呈现用户界面342。举例来说，用户界面342可允许用户与电子装置322交互。在一些配置中，用户界面342可允许用户指示偏好(例如，图像视觉显示设定)和/或与图像视觉显示交互。举例来说，用户界面342可接收一或多个命令以改变图像视觉显示(例如，放大或缩小、旋转图像视觉显示、转换图像视觉显示、改变图像视觉显示形状、改变图像视觉显示视点等)。另外或替代地，用户界面342可接收指示图像视觉显示中的一系列对象的输入(例如，轻触)。在一些配置中，可追踪所选择的对象。举例来说，所选择的对象可通过多个摄像头视图被追踪。另外或替代地图像视觉显示调节器336可基于所选择的对象调节图像视觉显示。在一些方法中，图像视觉显示调节器336可基于所选择的对象(举例来说，除最近对象距离和/或对象距离平均值以外或替代地)调节再现的几何形状。举例来说，图像视觉显示调节器336可基于所选择的对象调节再现的几何形状、大小、视点、转换和/或旋转(以便保持所选择的对象的视图、减小所选择的对象的变形等)。
在一些配置中，显示器340可为接收来自物理触摸(例如通过手指、触控笔或其它工具)的输入的触摸屏。举例来说，触摸屏可以是接收指示使用者偏好和/或指示对图像视觉显示的一或多个修改的触摸式输入的输入界面。另外或替代地，电子装置322可包含另一输入界面或耦接到另一输入界面。举例来说，电子装置322可包含面向用户且可检测用户示意动作(例如，手部示意动作、臂部示意动作、眼部跟踪、眨眼等)的摄像机。在另一个实例中，电子装置322可被耦合到鼠标上且可检测指示输入的鼠标单击。
应注意，在一些配置中，可能不需要用户输入。举例来说，如本文中所描述，电子装置322可能自动调节图像视觉显示。
在一些配置中，电子装置322(例如，处理器330)可以任选地被耦合到先进驾驶员辅助系统(ADAS)上、为ADAS的部分(例如，被集成到其中)、包含和/或实施ADAS。举例来说，电子装置322可在车辆中呈现图像视觉显示(在内置式显示器、控制台显示器、挡风玻璃投影仪、平视显示器、光学头戴式显示器等上)。这可在情境感知和/或碰撞避免方面辅助驾驶员。
电子装置322(例如，处理器330)可以任选地被耦合到一或多个其它类别的装置上、为所述装置的部分(例如，被集成到其中)、包含和/或实施所述装置。举例来说，电子装置322可实施在装备有摄像头的无人机中。图像视觉显示调节可传达更多的维度感(例如，高度、深度等)、狭窄的空间中的更佳细节，和/或无人机目前在其中行进的开放空间的更宽视图。在另一个实例中，电子装置322(例如，处理器330)可被实施在运动相机(其包含一或多个图像传感器和/或镜头)中。图像视觉显示调节可以广角视图传达更多维度感(例如，高度、深度等)、狭窄的空间中的更佳细节，和/或运动相机目前在其中行进的开放空间的更宽视图。
图4为流程图，其说明用于产生图像视觉显示的一种方法400的一种配置。举例来说，方法400可通过本文中所描述的电子装置322来执行。
电子装置322可获取402合成图像。这可结合图1到3中的一或多个的描述来实现。举例来说，电子装置322可组合来自一或多个图像传感器的多个图像以产生合成图像。在一些配置中，电子装置322可执行图像对准、缝隙查找和/或合并。另外或替代地，电子装置322可从另一装置请求和/或接收一或多个合成图像。
电子装置322可获取404深度信息。这可以如上结合图3所描述来实现。举例来说，电子装置322可基于来自一或多个可见光谱摄像头的一或多个图像获取404深度信息。这可通过立体三角测量和/或运动信息来实现。另外或替代地，电子装置322可基于来自一或多个其它深度传感器(例如，飞行时间摄像头、干涉计、雷达、激光雷达、声波深度传感器、超声波深度传感器等)的信息获取404深度信息。另外或替代地，电子装置322可直接从一或多个深度传感器(例如，一或多个集成的和/或远程深度传感器和/或深度感应装置)请求和/或接收深度信息。
电子装置322可基于深度信息调节406合成图像视觉显示。这可以如上结合图3所描述来实现。举例来说，电子装置322可基于深度信息调节合成图像视觉显示的再现的几何形状、视点、旋转和/或转换。另外或替代地，电子装置322可基于深度信息添加至少一个模型、切换再现的几何形状和/或标记(和/或突出显示)合成图像视觉显示中的一或多个对象。
在一些配置中，电子装置322可显示合成图像视觉显示。这可以如上结合图3所描述来实现。举例来说，电子装置322(例如，处理器330)可提供合成图像视觉显示到显示器(例如，包含在电子装置322中的显示器340或到耦合到电子装置和/或与电子装置通信的显示器上)。显示器可呈现合成图像视觉显示。应注意在一些配置中，结合图3和4所描述的功能、程序和/或步骤中的一或多个可替代地在单一(例如，未合成的)图像上执行。
图5为说明可根据本文中揭示的系统和方法实施的元件562的更多特定实例的图解。元件562可包含一或多个摄像头546、合成图像获取器532、深度信息获取器534、图像视觉显示调节器536和/或显示器540。元件562中的一或多个可被实施在相同电子装置上或实施在单独电子装置上。在一些配置中，元件562中的一或多个可以是结合图3所描述的对应元件的实例。举例来说，结合图5所描述的元件562中的一或多个可被实施在结合图3所描述的电子装置322上。
一个或多个一或多个摄像头546可俘获多个图像548(例如，摄像头输入)。摄像头546可以是结合图3所描述的图像传感器324和光学系统326的实例。举例来说，各摄像头546可包含图像传感器和光学系统。
在一些配置中，摄像头546可俘获不同但叠加的图像548。在一些实例中，四个摄像头546可被安装于车辆的不同部分(例如，侧边)上。举例来说，一个摄像头546可被安装于车辆前部上、另一摄像头546可被安装于车辆右侧(例如，右侧视镜外壳)上、另一摄像头546可被安装于车辆左侧(例如，左侧视镜外壳)上，而又一摄像头546可被安装于车辆后部上。以此方式，四个摄像头546可俘获车辆周围场景的图像548。
在其它例子中，多个摄像头546可被安装在其它装置或主体上。在一个实例中，多个摄像头546可被安装于无人机上，以俘获无人机周围场景的图像548。在另一个实例中，多个(动作)摄像头546可被附接到用户(例如，穿戴者)以俘获用户周围场景的图像548。在又其它实例中，多个摄像头546可被安装在以下各装置的不同位置：智能手机、摄像机、静态相机、监控摄像机、头戴式装置(例如，虚拟现实头戴装置、扩增现实头戴装置、混合实境头戴装置、头盔、眼镜)、游戏装置、电视、电器设备、飞机、船、脚踏车、房屋、建筑物、武器(例如，枪炮)等。这些摄像头546可俘获摄像头546被附接到其上的装置或主体周围的场景大多个图像548。举例来说，图像548可描绘场景的邻接和/或叠加区域。在又其它实例中，单一摄像头546可被旋转和/或移动到不同位置，且可俘获一系列叠加图像548。应注意图像548可描绘装置或主体侧边、上方和/或下方区域中的任一者或全部。图像548可被提供到深度信息获取器534和/或合成图像获取器532。
合成图像获取器532可基于图像548产生合成图像550。举例来说，合成图像获取器532可合并图像548以从图像548的场景视图产生单一连续合成图像550。结合图5所描述的合成图像获取器532可以是结合图3所描述的合成图像获取器332的实例。举例来说，如上文所述，合成图像获取器532可执行图像对准(例如，对齐)、缝隙查找和/或合并。在一些配置中(例如，当图像对准和/或缝隙查找为预先确定时)，合成图像获取器532可直接合并图像548。合成图像550可被提供到图像视觉显示调节器536。
深度信息获取器534可获取基于图像548的深度信息554。结合图5所描述的深度信息获取器534可以是结合图3所描述的深度信息获取器334的实例。举例来说，深度信息获取器534可获取基于立体三角测量、运动信息和/或其它深度感应的深度信息554。深度信息554可被提供图像视觉显示调节器536。
图像视觉显示调节器536基于合成图像550和深度信息554产生和/或调节合成图像视觉显示560。结合图5所描述的图像视觉显示调节器536可以是结合图3所描述的图像视觉显示调节器336的一个实例。
在一些配置中，图像视觉显示调节器536可以将合成图像550再现到再现的几何形状556上。举例来说，再现的几何形状556可以是合成图像550可被再现(例如，投影、映射等)到其上的形状。应注意图像视觉显示调节器536利用一或多个再现的几何形状556。举例来说，合成图像550可以被再现到再现的几何形状556中的一或多个上，以产生环绕视图合成图像视觉显示。举例来说，环绕视图合成图像视觉显示可展示车辆周围的场景。
图像视觉显示调节器536可适应性地基于如结合图3所描述的深度信息554调节合成图像视觉显示(例如，环绕视图合成图像视觉显示)。举例来说，调节可基于一或多个最近周围对象和/或其平均深度。举例来说，图像视觉显示调节器536可设定再现的几何形状556(例如，碗形或其它3D模型)使得其适配环境。
在一些配置中，图像视觉显示调节器536可基于深度信息554调节合成图像视觉显示的再现的几何形状556、视点、旋转和/或转换。另外或替代地，图像视觉显示调节器536可基于深度信息554，在合成图像视觉显示中插入至少一个模型、切换再现的几何形状556和/或标记(和/或突出显示)一或多个对象。另外或替代地，图像视觉显示调节器536可识别ROI(举例来说，基于对象检测)。图像视觉显示调节器536可以任选地生成呈现ROI的经缩放版本的放大窗口。
在一些配置中，图像视觉显示调节器536可包含模型插入器558。模型插入器558可插入对应于如上文结合图3所述的对象的至少一个模型。举例来说，模型插入器558可产生一或多个特定对象或一些场景内容的弹出式3D效果，其表现为从再现的几何形状556(例如，碗形或其它3D模型)弹出。
所得合成图像视觉显示560可被提供到显示器540。结合图5所描述的显示器540可以是结合图3所描述的显示器340的实例。显示器540可呈现合成图像视觉显示560。
图6根据本文中揭示的系统和方法说明合成的图像视觉显示668的一个实例。合成图像视觉显示668是环绕视图(例如，碗形)。在这个实例中，车辆606可包含若干摄像头(例如，4个：一个安装到前部、安装到所述右侧、一个安装到左侧，以及一个安装到后部)。取自摄像头的图像可以如上文所述被合成以产生合成图像。合成图像可以被再现在再现的几何形状620上。在这个实例中，车辆606可以获取深度信息，其指示最近对象(例如，信箱)在距离车辆606的相对较大距离664处(例如，大致6米)。应注意车辆606可在图像视觉显示中被描绘(例如，插入)成实际车辆606的模型或图示。
如图6中可观察到的，再现的几何形状620的过渡边缘666可被调整，使得再现的几何形状620的底部直径665延伸到接近最近对象距离。此外，视点可被调整，使得视角相对低至地面，但些微地较高，且在车辆606后。这些调节允许合成图像视觉显示668表现得更自然，使得远处的树和建筑物具有高度感。在其它方法中，直径(跨越整个再现的几何形状)可另外或替代地基于深度信息被调整(例如，相对于最近对象距离和/或平均对象距离)。举例来说，直径可被调整成对应于最近对象距离或平均对象距离(或在一定范围内)。
图7根据本文中揭示的系统和方法说明合成的图像视觉显示768的另一实例。合成图像视觉显示768是环绕视图(例如，碗形)。在这个实例中，车辆706可包含若干摄像头(例如，4个：一个安装到前部、安装到所述右侧、一个安装到左侧，以及一个安装到后部)。取自摄像头的图像可以如上文所述被合成以产生合成图像。合成图像可以被再现到再现的几何形状720上。在这个实例中，车辆706可获取深度信息，其指示最近对象(例如，栅栏)在距离车辆706的中等距离764处(例如，大致3米)。应注意车辆706可在图像视觉显示中被描绘(例如，插入)成实际车辆706的模型或图示。
如图7中可观察到的，再现的几何形状720的过渡边缘766可被调整，使得再现的几何形状720的底部直径765接近地延伸到最近对象。此外，视点可被调整成使得视角垂直于地面(例如，从上到下)，同时在车辆706上方。这些调节允许合成图像视觉显示768展示整个车辆外围周围，同时仍然允许树和建筑物具有高度感。这可以在停车场中的导航(例如，倒车、以中等距离围绕对象转向等)中辅助驾驶员。
图8根据本文中揭示的系统和方法说明合成的图像视觉显示868的又一实例。合成图像视觉显示868是环绕视图(例如，碗形)。在这个实例中，车辆806可包含若干摄像头(例如，4个：一个安装到前部、安装到所述右侧、一个安装到左侧，以及一个安装到后部)。取自摄像头的图像可以如上文所述被合成以产生合成图像。合成图像可被再现在再现的几何形状820上。在这个实例中，车辆806可获取深度信息，其指示最近对象(例如，旁边的墙壁)在距离车辆806的接近距离864a(例如，大致1.5米)处。如可进一步观察到的，到车辆806前面的最近对象大距离864b相对较大(大致8米)。在这个实例中，再现的几何形状820的底部可被调整成椭圆形，允许合成图像视觉显示868给车辆806侧边的墙壁和车辆806前面的墙壁两者以高度感，同时减小地面变形的表现。
如图8中可观察到的，再现的几何形状820的过渡边缘866可被调整，使得再现的几何形状820的底部长度865a接近地延伸到车辆806前面的墙壁，再现的几何形状820的底部宽度865b接近地延伸到车辆806旁边的墙壁。此外，视点可被调整，使得视角高于地面(例如，大致70度)，同时在车辆806上方。这些调节允许合成图像视觉显示868强调距离墙壁多进，同时允许墙壁具有高度感。这可以在接近的通道或车库中的导航中辅助驾驶员。
图9根据本文中揭示的系统和方法说明合成的图像视觉显示968的又一实例。合成图像视觉显示968为环绕视图(例如，碗形)。在这个实例中，车辆906可包含若干摄像头(例如，4个：一个安装到前部、安装到所述右侧、一个安装到左侧，以及一个安装到后部)。取自摄像头的图像可以如上文所述被合成以产生合成图像。合成图像可被再现在再现的几何形状920上。在这个实例中，车辆906可获取深度信息，其指示到树970和一些建筑物972a、972b的距离。
模型可被插入到再现的几何形状920中。如所说明，对应于树970和建筑物972a、972b的图像数据可被再现在模型上。这可在合成图像视觉显示968中提供3D效果。
图10为说明用于产生图像视觉显示的一种方法1000的更多特定组态的流程图。举例来说，方法1000可通过本文中所描述的电子装置322来执行。
电子装置322可获取1002合成图像。这可结合图1到4中的一或多个的描述来实现。
电子装置322可获取1004深度信息。这可结合图3和4中的一或多个的描述来实现。
电子装置322可确定1006一或多个前景对象和/或一或多个背景对象。举例来说，电子装置322可确定1006场景中的一或多个对象(如果存在)的哪些是前景对象或背景对象。举例来说，如上文所述，相机参数(例如，预计算的摄像头参数)和/或相对位置距离可被利用来构建深度图(例如，合成深度图)和计算场景距离。场景可包含背景对象，例如远处的建筑物、树等。所述场景可另外或替代地包含前景对象，例如行人和车辆。对于场景中检测到的对象，电子装置322(例如，深度信息获取器334)可确定哪些对象是前景对象和/或哪些对象是背景对象。举例来说，电子装置322可将对象分选为前景对象和背景对象类别。在一些方法中，电子装置322(例如，深度信息获取器334)可将比阈值距离更近的任何对象识别成前景对象，以及将比阈值距离更远的任何对象识别成背景对象。在一些配置中，可能没有固定的阈值距离(举例来说，因为前景可以是例如行人和车辆的移动对象)。
电子装置322可确定1008图像(例如，合成图像)中是否存在任何前景对象。如果存在至少一个前景对象，那么电子装置322(例如，图像视觉显示调节器336)可基于一或多个前景对象距离调节1010图像视觉显示。举例来说，电子装置322可基于最近前景对象距离和/或前景对象平均距离调节1010图像视觉显示。
一些用于调整再现的几何形状的方法(例如，界定几何形状宽度)可基于前景对象深度平均值(例如，全部前景对象距离的平均值)。举例来说，平均前景对象深度可为被界定为其中di是到前景对象的距离，而指标i和N是前景对象的总数。可利用di<D的一或多个前景对象控制再现的几何形状。举例来说，电子装置322可相对于最近前景对象距离或平均前景对象距离调节再现的几何形状的一或多个参数(例如，直径、半径、宽度、长度、曲面角度等)(例如，使得它们对应于所述对象距离或在其的一定范围内)。
在图像中没有前景对象的情况中(例如，di＝0且D＝0)，电子装置322(例如，图像视觉显示调节器336)可基于一或多个背景对象距离调节1012图像视觉显示(例如，合成图像视觉显示)。举例来说，电子装置322可调节一或多个参数(例如，直径)使得再现的几何形状的尺寸等于最近背景对象距离或平均背景对象距离(或在所述距离的一定范围内)。
应注意在一些配置中，电子装置322可执行如上文所述的一或多个额外调节。举例来说，电子装置322可插入模型(例如，特定对象或一些场景内容或其它3D模型的弹出式3D效果)。本文中所描述的调节中的一或多个可基于动态和实时场景。
在一些配置中，电子装置322可显示1014合成图像视觉显示。这可结合图3和4中的一或多个的描述来实现。
图11说明可包含在经配置以实施本文中所揭示的系统和方法的各种配置的电子装置1122内的特定组件。电子装置1122的实例可包含相机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机(例如，台式计算机、膝上型计算机等)、平板装置、媒体播放器、电视机、车辆、汽车、个人相机、可穿戴式相机、虚拟现实装置(例如，头戴装置)、扩增现实装置(例如，头戴装置)、混合现实装置(例如，头戴装置)、运动相机、监控摄像头、安装摄像头、互联摄像头、机器人、飞机、无人机、无人驾驶飞行器(UAV)、智能电器、医疗保健设备、游戏控制台、个人数字助理(PDA)、机顶盒等。电子装置1122可根据结合图3描述的电子装置322实施。电子装置1122包含处理器1101。处理器1101可以是通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(digital signal processor，DSP)、微控制器、可编程门阵列，等。处理器1101可被称为中央处理单元(central processing unit，CPU)。虽然电子装置1122中只展示单一处理器1101，但是在替代配置方案中，可实施处理器的组合(例如，ARM和DSP)。
电子装置1122还包含存储器1180。存储器1180可为能够存储电子信息的任何电子组件。存储器1180可实施为随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、随处理器包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器等，包含其组合。
数据1184a和指令1182a可被储存于记忆体1180中。指令1182a可通过处理器1101来实行以实施方法(例如，方法400、方法1000)、程序、步骤和/或本文中所描述的功能中的一或多个。执行指令1182a可涉及使用存储于存储器1180中的数据1184a。当处理器1101执行指令1182时，指令1182b的各个部分可加载到处理器1101上，和/或各条数据1184b可加载到处理器1101上。
电子装置1122还可包含发射器1190和接收器1192，以允许将信号发射到电子装置1122和从所述电子装置接收信号。发射器1190和接收器1192可统称为收发器1194。一或多个天线1188a至1188b可电耦合到收发器1194。电子装置1122还可包含(未展示)多个发射器、多个接收器、多个收发器和/或额外天线。
电子装置1122可包含数字信号处理器(DSP)1196。电子装置1122还可包含通信接口1198。通信接口1198可允许和/或启用一或多个种类的输入和/或输出。举例来说，通信接口1198可包含一或多个端口和/或通信装置，以用于将其它装置链接到电子装置1122。在一些配置中，通信接口1198可包含发射器1190、接收器1192，或其两者(例如，收发器1194)。另外或替代地，通信接口1198可包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、摄像机等)。举例来说，通信接口1198可允许用户与电子装置1122交互。
电子装置1122的各种组件可通过一或多个总线耦合在一起，所述一或多个总线可包含电力总线、控制信号总线、状态信号总线、数据总线等。为清楚起见，各种总线在图11中被说明为总线系统1186。
术语“确定”涵盖多种多样的动作，且因此“确定”可以包含计算、运算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查实及类似者。并且，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)等。此外，“确定”可包括解决、选择、挑选、建立等等。
除非另外明确地指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”和“基于至少”两者。
术语“处理器”应广义上解释为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些情况下，“处理器”可以指专用集成电路(application specific integrated circuit，ASIC))、可编程逻辑装置(programmable logic device，PLD)、现场可编程门阵列(field programmable gatearray，FPGA)等。术语“处理器”可指代处理装置的组合，例如DSP和微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此类配置。
术语“存储器”应当广义地解释为涵盖能够存储电子信息的任何电子组件。术语存储器可指各种类型的处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(non-volatile random access memory，NVRAM)、可编程只读存储器(programmable read-only memory，PROM)、可擦除可编程只读存储器(erasableprogrammable read-only memory，EPROM)、电可擦除PROM(electrically erasable PROM，EEPROM)、快闪存储器、磁性或光学数据存储器、寄存器等。如果处理器可从存储器读取信息和/或写入信息到存储器，那么存储器被称为与处理器电子通信。与处理器成一体的存储器与处理器电子通信。
术语“指令”和“代码”应当被解释为广泛地包含任何类型的计算机可读语句。举例来说，术语“指令”和“代码”可指代一或多个程序(program)、例程、子例程、函数、程序(procedure)等。“指令”和“代码”可以包括单个计算机可读语句或许多计算机可读语句。
本文中所描述功能可实施于由硬件执行的软件或固件中。所述功能可存储为计算机可读媒体上的一或多个指令。术语“计算机可读媒体”或“计算机程序产品”指代可由计算机或处理器存取的任何有形的存储媒体。借助于实例而非限制，计算机可读媒体可包含任何可用于以指令或数据结构形式载运或存储需要的程序代码，且可由计算机存取的媒体。应注意，计算机可读媒体可为有形且非暂时性的。术语“计算机程序产品”是指计算装置或处理器，其与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)组合。如本文中所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
还可经由发射媒体发射软件或指令。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(digital subscriber line，DSL)或无线技术(例如，红外线、无线电及微波)从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如，红外线、无线电及微波)包含在传输媒体的定义中。
本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非正描述的方法的适当操作需要步骤或动作的特定次序，否则，在不脱离权利要求书的范畴的情况下，可修改特定步骤及/或动作的次序及/或使用。
另外，应了解用于执行本文中描述的方法和技术的模块和/或其它适当装置可以下载和/或通过装置获取。举例来说，装置可耦合到服务器以促进用于执行本文中所描述的方法的装置的传递。替代地，本文中所描述的各种方法可经由存储装置(例如，随机存取存储器(RAM)、只读存储器(ROM)、例如压缩光盘(compact disc，CD)或软性磁盘的物理存储媒体等)，使得装置可在耦接到存储装置或提供存储装置到装置后即刻获取各种方法。
应理解，权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可在本文中所描述的系统、方法和设备的布置、操作和细节方面作出各种修改、改变和变更。

Claims (30)

1.一种由电子装置执行的方法，其包括：
获取合成图像，其中所述合成图像包括从一或多个图像传感器俘获的图像的组合；
获取深度信息，其中所述深度信息是基于深度传感器与所述合成图像中的至少一个对象之间的距离测量值；以及
基于所述深度信息调节合成图像视觉显示。
2.根据权利要求1所述的方法，其中调节所述合成图像视觉显示包括基于所述深度信息调节再现的几何形状。
3.根据权利要求2所述的方法，其中调节所述合成图像视觉显示包括调节所述再现的几何形状，使得所述至少一个对象被再现在所述再现的几何形状的竖直部分上。
4.根据权利要求1所述的方法，其进一步包括将至少一个模型插入到所述图像视觉显示的三维空间中，其中所述模型对应于所述至少一个对象。
5.根据权利要求1所述的方法，其中所述深度信息指示所述深度传感器与最近对象之间的距离。
6.根据权利要求1所述的方法，其中所述至少一个对象包括多个对象，且其中所述深度信息指示所述深度传感器与所述多个对象之间的平均对象距离。
7.根据权利要求1所述的方法，其中所述深度信息是动态的。
8.根据权利要求1所述的方法，其进一步包括：
基于对象检测识别所关注区；以及
基于所述所关注区缩放所述合成图像视觉显示的至少一部分。
9.根据权利要求1所述的方法，其中调节所述合成图像视觉显示包括减小透视变形。
10.根据权利要求1所述的方法，其中所述合成图像视觉显示是环绕视图。
11.一种电子装置，其包括：
处理器，其被配置成：
获取合成图像，其中所述合成图像包括从一或多个图像传感器俘获的图像的组合；
获取深度信息，其中所述深度信息是基于深度传感器与所述合成图像中的至少一个对象之间的距离测量值；以及
基于所述深度信息调节合成图像视觉显示。
12.根据权利要求11所述的电子装置，其中所述处理器被配置成基于所述深度信息调节再现的几何形状。
13.根据权利要求12所述的电子装置，其中所述处理器被配置成调节所述再现的几何形状，使得所述至少一个对象被再现在所述再现的几何形状的竖直部分上。
14.根据权利要求11所述的电子装置，其中所述处理器被配置成将至少一个模型插入到所述图像视觉显示的三维空间中，其中所述模型对应于所述至少一个对象。
15.根据权利要求11所述的电子装置，其中所述深度信息指示所述深度传感器与最近对象之间的距离。
16.根据权利要求11所述的电子装置，其中所述至少一个对象包括多个对象，且其中所述深度信息指示所述深度传感器与所述多个对象之间的平均对象距离。
17.根据权利要求11所述的电子装置，其中所述深度信息是动态的。
18.根据权利要求11所述的电子装置，其中所述处理器被配置成：
基于对象检测识别所关注区；以及
基于所述所关注区缩放所述合成图像视觉显示的至少一部分。
19.根据权利要求11所述的电子装置，其中所述处理器被配置成通过调节所述合成图像视觉显示来减小透视变形。
20.根据权利要求11所述的电子装置，其中所述合成图像视觉显示是环绕视图。
21.一种设备，其包括：
用于获取合成图像的装置，其中所述合成图像包括从一或多个图像传感器俘获的图像的组合；
用于获取深度信息的装置，其中所述深度信息是基于深度传感器与所述合成图像中的至少一个对象之间的距离测量值；以及
用于基于所述深度信息调节合成图像视觉显示的装置。
22.根据权利要求21所述的设备，其中用于调节所述合成图像视觉显示的装置包括用于基于所述深度信息调节再现的几何形状的装置。
23.根据权利要求21所述的设备，其进一步包括用于将至少一个模型插入到所述图像视觉显示的三维空间中的装置，其中所述模型对应于所述至少一个对象。
24.根据权利要求21所述的设备，其中所述深度信息指示所述深度传感器与最近对象之间的距离。
25.根据权利要求21所述的设备，其中所述至少一个对象包括多个对象，且其中所述深度信息指示所述深度传感器与所述多个对象之间的平均对象距离。
26.一种计算机程序产品，其包括其上具有指令的非暂时性有形计算机可读媒体，所述指令包括：
用于致使电子装置获取合成图像的代码，其中所述合成图像包括从一或多个图像传感器俘获的图像的组合；
用于致使所述电子装置获取深度信息的代码，其中所述深度信息是基于深度传感器与所述合成图像中的至少一个对象之间的距离测量值；以及
用于致使所述电子装置基于所述深度信息调节合成图像视觉显示的代码。
27.根据权利要求26所述的计算机程序产品，其中用于致使所述电子装置调节所述合成图像视觉显示的所述代码包括用于致使所述电子装置基于所述深度信息调节再现的几何形状的代码。
28.根据权利要求26所述的计算机程序产品，其进一步包括用于致使所述电子装置将至少一个模型插入到所述图像视觉显示的三维空间中的代码，其中所述模型对应于所述至少一个对象。
29.根据权利要求26所述的计算机程序产品，其中所述深度信息指示所述深度传感器与最近对象之间的距离。
30.根据权利要求26所述的计算机程序产品，其中所述至少一个对象包括多个对象，且其中所述深度信息指示所述深度传感器与所述多个对象之间的平均对象距离。
CN201680059407.9A 2015-10-14 2016-08-26 用于产生图像视觉显示的系统和方法 Active CN108140235B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/883,406 2015-10-14
US14/883,406 US10262466B2 (en) 2015-10-14 2015-10-14 Systems and methods for adjusting a combined image visualization based on depth information
PCT/US2016/049072 WO2017065883A1 (en) 2015-10-14 2016-08-26 Systems and methods for producing an image visualization

Publications (2)

Publication Number Publication Date
CN108140235A true CN108140235A (zh) 2018-06-08
CN108140235B CN108140235B (zh) 2021-08-17

Family

ID=56926276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680059407.9A Active CN108140235B (zh) 2015-10-14 2016-08-26 用于产生图像视觉显示的系统和方法

Country Status (5)

Country Link
US (1) US10262466B2 (zh)
EP (1) EP3362982B1 (zh)
KR (1) KR20180070571A (zh)
CN (1) CN108140235B (zh)
WO (1) WO2017065883A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108814452A (zh) * 2018-08-22 2018-11-16 上海炬佑智能科技有限公司 扫地机器人及其障碍检测方法
CN109190533A (zh) * 2018-08-22 2019-01-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110378276A (zh) * 2019-07-16 2019-10-25 顺丰科技有限公司 车辆状态获取方法、装置、设备、及存储介质
CN110728151A (zh) * 2019-10-23 2020-01-24 深圳报业集团 基于视觉特征的信息深度处理方法及系统
CN111198638A (zh) * 2019-12-18 2020-05-26 珠海格力电器股份有限公司 一种基于摄像头自动调节显示屏显示大小的方法和空调
CN112989900A (zh) * 2019-12-13 2021-06-18 深动科技（北京）有限公司 一种精确检测交通标志或标线的方法
CN113412499A (zh) * 2019-02-08 2021-09-17 捷豹路虎有限公司 用于车辆的图像系统
US11740762B2 (en) 2020-02-27 2023-08-29 Toshiba Carrier Corporation Equipment management apparatus and equipment management screen generating method

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5889495B2 (ja) * 2014-02-14 2016-03-22 オリンパス株式会社 内視鏡システム
US9610476B1 (en) * 2016-05-02 2017-04-04 Bao Tran Smart sport device
WO2017145645A1 (ja) * 2016-02-25 2017-08-31 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
US10034066B2 (en) * 2016-05-02 2018-07-24 Bao Tran Smart device
US10748339B2 (en) 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
US10591277B2 (en) * 2016-07-28 2020-03-17 Liberty Reach Inc. Method and system for measuring outermost dimension of a vehicle positioned at an inspection station
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US20180157974A1 (en) * 2016-12-05 2018-06-07 Disney Enterprises, Inc. Data-driven ghosting using deep imitation learning
US10297059B2 (en) * 2016-12-21 2019-05-21 Motorola Solutions, Inc. Method and image processor for sending a combined image to human versus machine consumers
US11696629B2 (en) 2017-03-22 2023-07-11 A Big Chunk Of Mud Llc Convertible satchel with integrated head-mounted display
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
EP3619600A4 (en) 2017-05-01 2020-10-21 Symbol Technologies, LLC METHOD AND APPARATUS FOR OBJECT STATE DETECTION
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
US11495118B2 (en) * 2017-06-27 2022-11-08 Oneevent Technologies, Inc. Augmented reality of a building
JP6861375B2 (ja) * 2017-06-30 2021-04-21 パナソニックＩｐマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
KR102316314B1 (ko) * 2017-07-28 2021-10-22 현대모비스 주식회사 차량의 주차 지원 장치, 시스템 및 방법
WO2019064062A1 (en) * 2017-09-26 2019-04-04 Innoviz Technologies Ltd. SYSTEMS AND METHODS FOR DETECTION AND LOCATION BY LIGHT
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
US10643342B2 (en) 2018-02-08 2020-05-05 Huawei Technologies Co., Ltd. Group optimization depth information method and system for constructing a 3D feature map
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
US10694103B2 (en) 2018-04-24 2020-06-23 Industrial Technology Research Institute Building system and building method for panorama point cloud
US10845166B2 (en) * 2018-05-05 2020-11-24 Robert Marshall Campbell Surveillance device
US20190349571A1 (en) * 2018-05-11 2019-11-14 Ford Global Technologies, Llc Distortion correction for vehicle surround view camera projections
US10984586B2 (en) 2018-07-27 2021-04-20 Microsoft Technology Licensing, Llc Spatial mapping fusion from diverse sensing sources
US10964111B2 (en) * 2018-07-27 2021-03-30 Microsoft Technology Licensing, Llc Controlling content included in a spatial mapping
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
CN110956069B (zh) * 2019-05-30 2022-06-21 魔门塔(苏州)科技有限公司 一种行人3d位置的检测方法及装置、车载终端
US11341663B2 (en) * 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
KR20190089791A (ko) * 2019-07-11 2019-07-31 엘지전자 주식회사 삼차원 어라운드 뷰 제공 장치 및 방법
USD916838S1 (en) 2019-09-10 2021-04-20 MagMutual Intermediate Holding Company Display screen or portion thereof with transitional graphical user interface
USD917539S1 (en) 2019-09-10 2021-04-27 MagMutual Intermediate Holding Company Display screen or portion thereof with transitional graphical user interface
USD926211S1 (en) 2019-09-10 2021-07-27 MagMutual Intermediate Holding Company Display screen or portion thereof with transitional graphical user interface
US11435884B1 (en) 2019-09-10 2022-09-06 MagMutual Intermediate Holding Company Impactor, impactor mitigator, and entity structure graphical object visualization system and corresponding methods
USD916837S1 (en) 2019-09-10 2021-04-20 MagMutual Intermediate Holding Company Display screen or portion thereof with transitional graphical user interface
US11164260B1 (en) 2019-09-10 2021-11-02 MagMutual Intermediate Holding Company Systems and methods for simulating and visualizing loss data
USD926212S1 (en) 2019-09-10 2021-07-27 MagMutual Intermediate Holding Company Display screen or portion thereof with transitional graphical user interface
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11917119B2 (en) 2020-01-09 2024-02-27 Jerry Nims 2D image capture system and display of 3D digital image
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11943418B2 (en) 2020-04-16 2024-03-26 Eys3D Microelectronics Co. Processing method and processing system for multiple depth information
EP3896604A1 (en) * 2020-04-16 2021-10-20 Toyota Jidosha Kabushiki Kaisha Vehicle driving and monitoring system; method for maintaining a sufficient level of situational awareness; computer program and computer readable medium for implementing the method
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
EP4233008A1 (en) * 2020-10-26 2023-08-30 Jerry Nims Vehicle terrain capture system and display of 3d digital image and 3d sequence
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11953602B2 (en) * 2020-11-18 2024-04-09 GM Global Technology Operations LLC Detecting three-dimensional structure models at runtime in vehicles
ES2929248A1 (es) * 2021-05-25 2022-11-25 Rendon Walter Rolando Galvez Semaforo peatonal autonomo energeticamente
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
US20230386350A1 (en) * 2022-05-25 2023-11-30 Verizon Patent And Licensing Inc. Systems and methods for indoor positioning of unmanned aerial vehicles
US11948259B2 (en) * 2022-08-22 2024-04-02 Bank Of America Corporation System and method for processing and intergrating real-time environment instances into virtual reality live streams
DE102022124085A1 (de) 2022-09-20 2024-03-21 Connaught Electronics Ltd. Darstellung von Bilddaten in einem Fahrzeug abhängig von Sensordaten

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020167589A1 (en) * 1993-02-26 2002-11-14 Kenneth Schofield Rearview vision system for vehicle including panoramic view
US20060155442A1 (en) * 2005-01-13 2006-07-13 Trw Automotive U.S. Llc Method and apparatus for locating an object of interest within an image
US20100073480A1 (en) * 2009-09-30 2010-03-25 Hoek Steven G Blind spot detection system and method using preexisting vehicular imaging devices
CN102834849A (zh) * 2011-03-31 2012-12-19 松下电器产业株式会社 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2309453A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
WO2010019926A1 (en) 2008-08-14 2010-02-18 Real D Stereoscopic depth mapping
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
EP2738445B1 (en) * 2010-11-08 2018-01-10 LG Innotek Co., Ltd. Lighting apparatus
WO2013016409A1 (en) * 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
US9762880B2 (en) * 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
US10257506B2 (en) 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
US8983176B2 (en) 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
WO2015081213A1 (en) 2013-11-27 2015-06-04 Children's National Medical Center 3d corrected imaging
US9384662B2 (en) * 2014-04-17 2016-07-05 Ford Global Technologies, Llc Parking assistance for a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020167589A1 (en) * 1993-02-26 2002-11-14 Kenneth Schofield Rearview vision system for vehicle including panoramic view
US20060155442A1 (en) * 2005-01-13 2006-07-13 Trw Automotive U.S. Llc Method and apparatus for locating an object of interest within an image
US20100073480A1 (en) * 2009-09-30 2010-03-25 Hoek Steven G Blind spot detection system and method using preexisting vehicular imaging devices
CN102834849A (zh) * 2011-03-31 2012-12-19 松下电器产业株式会社 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108814452A (zh) * 2018-08-22 2018-11-16 上海炬佑智能科技有限公司 扫地机器人及其障碍检测方法
CN109190533A (zh) * 2018-08-22 2019-01-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109190533B (zh) * 2018-08-22 2021-07-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN113412499A (zh) * 2019-02-08 2021-09-17 捷豹路虎有限公司 用于车辆的图像系统
CN110378276A (zh) * 2019-07-16 2019-10-25 顺丰科技有限公司 车辆状态获取方法、装置、设备、及存储介质
CN110378276B (zh) * 2019-07-16 2021-11-30 顺丰科技有限公司 车辆状态获取方法、装置、设备、及存储介质
CN110728151A (zh) * 2019-10-23 2020-01-24 深圳报业集团 基于视觉特征的信息深度处理方法及系统
CN110728151B (zh) * 2019-10-23 2024-03-12 深圳报业集团 基于视觉特征的信息深度处理方法及系统
CN112989900A (zh) * 2019-12-13 2021-06-18 深动科技（北京）有限公司 一种精确检测交通标志或标线的方法
CN111198638A (zh) * 2019-12-18 2020-05-26 珠海格力电器股份有限公司 一种基于摄像头自动调节显示屏显示大小的方法和空调
US11740762B2 (en) 2020-02-27 2023-08-29 Toshiba Carrier Corporation Equipment management apparatus and equipment management screen generating method

Also Published As

Publication number Publication date
US10262466B2 (en) 2019-04-16
CN108140235B (zh) 2021-08-17
EP3362982A1 (en) 2018-08-22
EP3362982B1 (en) 2020-12-30
KR20180070571A (ko) 2018-06-26
US20170109940A1 (en) 2017-04-20
WO2017065883A1 (en) 2017-04-20

Similar Documents

Publication Publication Date Title
CN108140235A (zh) 用于产生图像视觉显示的系统和方法
US20210166495A1 (en) Capturing and aligning three-dimensional scenes
US10565779B2 (en) Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
CN111257866B (zh) 车载摄像头和车载雷达联动的目标检测方法、装置及系统
EP3378033B1 (en) Systems and methods for correcting erroneous depth information
CN108419446B (zh) 用于激光深度图取样的系统及方法
US10630962B2 (en) Systems and methods for object location
US8817079B2 (en) Image processing apparatus and computer-readable recording medium
CN107660337A (zh) 用于从鱼眼摄像机产生组合视图的系统及方法
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
CN111104893A (zh) 目标检测方法、装置、计算机设备及存储介质
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
US11417063B2 (en) Determining a three-dimensional representation of a scene
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
WO2021149509A1 (ja) 撮像装置、撮像方法、及び、プログラム
JP2011205385A (ja) 立体映像制御装置および立体映像制御方法
Vámossy Map building and localization of a robot using omnidirectional image sequences
US11847787B2 (en) Method and apparatus for image registration
CN117452411A (zh) 障碍物检测方法和装置
CN118011428A (zh) 测距方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant