CN109691109B - 多视角成像系统和方法 - Google Patents

多视角成像系统和方法 Download PDF

Info

Publication number
CN109691109B
CN109691109B CN201780053101.7A CN201780053101A CN109691109B CN 109691109 B CN109691109 B CN 109691109B CN 201780053101 A CN201780053101 A CN 201780053101A CN 109691109 B CN109691109 B CN 109691109B
Authority
CN
China
Prior art keywords
image
array
weighting
perspective
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780053101.7A
Other languages
English (en)
Other versions
CN109691109A (zh
Inventor
D·E·波特尔
A·Y·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN109691109A publication Critical patent/CN109691109A/zh
Application granted granted Critical
Publication of CN109691109B publication Critical patent/CN109691109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

系统包括处理器，用于通过所述成像设备阵列的第一成像设备捕获场景的第一图像，通过所述成像设备阵列的第二成像设备捕获所述场景的第二图像，执行所述第一图像和所述第二图像的图像分析，并且确定在所述第一图像中存在对象，并且所述对象存在于所述第二图像中，所述第一图像表示所述对象的第一视角，并且所述第二图像表示与所述对象的所述第一视角不同的所述对象的第二视角，使用基于已知对象列表的分类对所述对象进行分类，并且基于所述分类加权所述第一图像的对象部分和所述第二图像的对象部分，基于所述加权压缩所述第一图像和所述第二图像，将所述第一图像和所述第二图像编码为多视角图像数据，并且基于所述分类将所述多视角图像数据存储在所述非暂态计算机可读介质中。

Description

多视角成像系统和方法
相关申请的交叉引用
本申请与2016年9月23日提交的名称为“MULTI-PERSPECTIVE IMAGING SYSTEMAND METHOD”的美国专利申请62/398,678相关，并且根据35U.S.C.§119(e)的规定要求该美国专利申请的优先权，该专利申请的全部内容均以引用方式并入本文以用于所有目的。
技术领域
所描述的实施方案整体涉及从多个视角捕获和处理场景的图像的多视角成像系统。多视角成像系统可包含在车辆内。
背景技术
常规来讲，车载相机是有限的设备，其可以安装在车辆的仪表板上以记录车辆外部的视图。然而，这些相机具有有限的视角、视场和分辨率。此外，它们可能会阻碍驾驶室的视野并且存储空间有限。通过车辆乘客的手持设备获得的车辆外部视图的图像可能是不合适且失焦的。简而言之，基于车辆的成像将受益于许多改进。
发明内容
一种系统包括用于执行图像捕获应用的处理器。图像捕获应用可从成像设备阵列接收图像，每个图像在大致相同的时间描绘对象的不同视角。图像捕获应用可对对象的图像进行分类和加权，并基于分类和/或权重来存储对象的图像。图像捕获应用可由计算设备执行，该计算设备捕获来自在车辆外部以特定布置进行布置的成像设备阵列的图像。
根据一个实施方案，一种系统包括成像设备阵列、处理器和存储指令的非暂态计算机可读介质，当所述指令由处理器执行时，使处理器执行操作，包括：通过成像设备阵列的第一成像设备捕获场景的第一图像，通过成像设备阵列的第二成像设备捕获场景的第二图像，执行第一图像和第二图像的图像分析并确定第一图像中存在对象并且该对象存在于第二图像中，第一图像表示对象的第一视角，并且第二图像表示与对象的第一视角不同的对象的第二视角，使用基于已知对象列表的分类对对象进行分类，并且基于分类对第一图像的对象部分和第二图像的对象部分进行加权，基于加权压缩第一图像和第二图像，将第一图像和第二图像编码为多视角图像数据，并且基于分类将多视角图像数据存储在非暂态计算机可读介质中。
根据另一实施方案，一种方法包括由处理器通过成像设备阵列的第一成像设备捕获场景的第一图像，由处理器通过成像设备阵列的第二成像设备捕获场景的第二图像，由处理器执行第一图像和第二图像的图像分析，并且确定对象存在于第一图像中并且该对象存在于第二图像中，第一图像表示对象的第一视角，并且第二图像表示与对象的第一视角不同的对象的第二视角，由处理器对具有基于已知对象列表的分类的对象进行分类，并且基于分类对第一图像的对象部分和第二图像的对象部分进行加权，由处理器基于加权压缩第一图像和第二图像，由处理器将第一图像和第二图像编码为多视角图像数据，并且由处理器基于分类将多视角图像数据存储在非暂态计算机可读介质中。
根据另一实施方案，一种非暂态计算机可读介质包括存储在其上的指令，当所述指令由处理器执行时，使处理器执行操作，包括：通过成像设备阵列的第一成像设备捕获场景的第一图像，通过成像设备阵列的第二成像设备捕获场景的第二图像，执行第一图像和第二图像的图像分析，并且确定对象存在于第一图像中并且对象存在于第二图像中，第一图像表示对象的第一视角，并且第二图像表示与对象的第一视角不同的对象的第二视角，使用基于已知对象列表的分类对对象进行分类，并且基于分类对第一图像的对象部分和第二图像的对象部分进行加权，基于加权压缩第一图像和第二图像，将第一图像和第二图像编码为多视角图像数据，并且基于分类将多视角图像数据存储在非暂态计算机可读介质中。
根据以下结合附图的优选实施方案和方面的详细书面描述，本公开的这些和其他方面、特征和优点将变得显而易见，尽管可以在不脱离本公开的新颖概念的精神和范围的情况下实现对其的改变和修改。
附图说明
附图示出了本公开的实施方案和/或方面，并且与书面描述一起用于解释本公开的原理。在任何可能的情况下，贯穿附图中使用的相同附图标记是指实施方案的相同或类似的元件，并且其中：
图1A示出了根据示例性实施方案的多视角成像系统的框图。
图1B示出了根据示例性实施方案的由多视角成像系统捕获的示例性图像。
图1C示出了根据示例性实施方案的多视角成像系统的示例性数据库表。
图2示出了根据示例性实施方案的计算设备的框图。
图3示出了根据示例性实施方案的图像捕获应用的框图。
图4示出了根据示例性实施方案的用于捕获图像的流程图。
图5示出了与示例性实施方案一起使用的示例性计算机设备的框图。
具体实施方式
根据示例性实施方案，多视角成像系统包括成像设备阵列和具有图像捕获应用的计算设备，该图像捕获应用使用成像设备阵列捕获图像。图像捕获应用可从成像设备阵列接收图像，每个图像在大致相同的时间描绘对象的不同视角。图像捕获应用可对对象执行图像分析，并且使用基于已知对象列表的分类对对象进行分类，并且基于分类和其他信息诸如关于对象的深度信息和对象的位置对图像的对象部分进行加权。图像捕获应用可基于分类和/或权重来压缩图像，将图像编码为多视角图像数据，并且基于分类和/或权重来存储多视角图像数据。由成像设备阵列捕获的对象可以是车辆视野中的对象，诸如行人、道路标志、障碍物、车辆、动物和风景等。在一个实施方案中，车辆可以是自动车辆。
为了促进对本公开的原理的理解，参考在附图中示出的实施方案，并且将使用特定语言来描述它们。然而，应当理解，并非因此而意在限制本公开的范围；如本公开所涉及领域的技术人员通常会想到的那样，设想了所描述或示出的实施方案的任何改变和其他修改，以及其中示出了本公开的原理的任何其他应用。
从车辆拍摄静止图像和/或视频在有许多情况下可能是有益的。图像和/或视频可用于记录和捕获与车辆相关联的信息，包括车辆的活动。车辆周围的环境可以为车辆的乘客提供与道路、其他车辆、障碍物和车辆周围环境相关联的信息。车辆可包括安装在车辆上的成像设备阵列，例如相机，其提供车辆周围环境的多视角时间同步的视频或静止图像。成像设备可安装在车辆的外部和/或车辆的内部，并且可以集成到车辆的设计中。成像设备可以连接至由车辆提供并由车辆提供动力的电基础结构。另外，成像设备可与多视角成像系统相关联以及/或者可以是用于车辆的视觉系统的一部分。成像设备阵列中的每个成像设备的光轴的空间位置、焦距和取向是已知的并且被设计成提供重叠的视场。成像设备阵列提供全景图像、宽视场、高分辨率图像以及车辆周围环境的多视角图像。可基于在图像中找到的对象来存储图像数据。
在一个示例中，由成像设备阵列捕获的图像和/或视频可由计算设备处理，以允许在某一刻从多个视角观看。作为示例，成像设备阵列可捕获从安装在车辆的第一侧的外部上的成像设备观看的场景的视频，从安装在车辆前部的成像设备观看的场景的视频，从安装在车辆的第二侧的外部上的成像设备观看的场景的视频，以及从安装在车辆后部的成像设备观看的场景的视频。计算设备可显示从车辆的第一侧观看的场景的视频，转变到从车辆前方观看的场景的视频，转变到从车辆的第二侧观看的场景的视频，并且转变到从车辆后部观看的场景的视频。计算设备可显示从任何视点或视角观看的视频，并且可在显示视频时将视频从一个视点或视角转变到另一个视点。
在另一个实施方案中，计算设备可基于阵列中的成像设备的相对空间位置和取向来生成场景或环境的距离图。另外，计算设备可使用由成像设备阵列从多个视角获得的信息来确定场景或环境中的对象的表面的双向反射分布函数(BRDF)信息。这可允许计算设备根据成像设备阵列确定照明源，例如来自车辆的前灯、路灯或阳光。多视角成像系统可由车辆的乘客通过选择触摸屏上的按钮、经由指纹传感器认证、语音激活和/或手势激活来激活。另选地，可基于车辆的位置、车辆的移动或被确定为在多视角成像系统的成像设备的视野中的对象来激活多视角成像系统。
多视角成像系统可确定由成像设备阵列捕获的特定图像是否特别重要，并且确定是否将特定图像存储在存储器中以及/或者是否基于特别的重要性压缩特定图像。特别的重要性或加权可基于特定图像的计算机视觉和图像分析。多视角图像系统可包括可被识别以智能地存储图像和/或视频的对象类别、风景、形状、颜色和位置的数据库。对于特定时间段，多视角成像系统可具有特定存储阈值，并且可以自动编辑、丢弃和/或压缩图像和/或视频以适合特定存储阈值。作为示例，多视角成像系统可以每X分钟存储一兆兆字节的数据。如果某些图像被认为不太重要，则可将其压缩和/或丢弃。另外，多视角图像系统可将图像存档在可以是网络可访问存储设备或系统的其他存储器中。当存储空间变得有限时，多视角图像系统可将图像丢弃或存档。图像可以根据其日期、加权和其他因素进行存档。
多视角成像系统提供对图像中的对象的稳健检测，该对象从各种不同的视角捕获在图像中。多视角成像系统基于图像中对象的分类和加权智能地将图像存储在存储器中。
用户可以受益于对图像中特定对象的检测。例如，个人数据可用于使用图像中多组期望类别的对象和/或位置信息来更准确地检测图像中的特定对象。因此，使用此类个人数据使用户能够影响和控制所传送的内容。
用户可以选择性地阻止使用或访问个人数据。结合本文所述的一些或全部技术的系统可包括防止或阻止访问此类个人数据的硬件和/或软件。例如，系统可允许用户“加入”或“退出”参与对个人数据或其部分的收集。而且，用户可以选择不提供位置信息，或允许提供一般位置信息(例如，地理区域或区)而非精确的位置信息。
负责此类个人数据的收集、分析、公开、传输、存储或其它用途的实体应遵守已确立的隐私政策和/或实践。此类实体应保障和保护对此类个人数据的访问，并确保有权访问个人数据的其他人也遵守。此类实体应实施满足或超出对维护个人数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，实体应该收集用户的个人数据以用于合法且合理的用途，并且不在这些合法用途之外共享或出售数据。此类收集应仅在用户知情同意之后进行。此外，第三方可评估这些实体以确认其对已确立的隐私政策和/或隐私实践的遵守。
下文将参考图1A至图5讨论这些实施方案和其他实施方案。然而，本领域的技术人员将容易地理解，本文相对于这些附图所给出的详细描述仅出于说明性目的，而不应被理解为是限制性的。
图1A示出了根据示例性实施方案的多视角成像系统100的框图。多视角成像系统100包括可以在车辆内的计算设备102。计算设备102可嵌入在车辆中或与车辆相关联，该车辆包括运输人和/或货物的机器，包括地面机动车辆、船只和飞机，以及其他车辆。车辆可包括引擎诸如内燃机、电动机，或者可以是混合配置。
另外，多视角成像系统100包括成像设备104，诸如成像设备1、成像设备2、成像设备3…成像设备N的阵列。成像设备阵列104包括高清晰度相机，并且可用于捕获包括二维图像和/或三维图像的图像和/或视频，包括对象的二维图像或对象的三维图像、对象的高度、对象的形状、对象的取向和与该对象相关联的其他视觉方面和特性。成像设备阵列104可以安装在车辆上。成像设备阵列104可具有各种布置，包括位于车辆外部的成像设备阵列、位于车辆内部的成像设备阵列、位于车辆内部的多维成像设备阵列和/或位于车辆外部的多维成像设备阵列等。图1A示出了一种可能的布置，其包括多个成像设备，这些成像设备位于彼此平行的轴上并且在每个成像设备之间具有特定距离。在这种情况下，成像设备104的阵列可位于车辆的一侧，例如，位于车辆的车门上。计算设备102可包括处理器106、存储器108和显示器110。
成像设备阵列104中的每个成像设备可从多个不同的视角大致同时捕获场景的图像和/或视频。场景可包括对象。例如，图1B示出了由成像设备阵列104捕获的图像112A至112F。如第一图像112A所示，成像设备阵列104的第一成像设备捕获视图或场景的背景中的山的图像。计算设备102将对象分类为山，并且对示出为虚线内的区域的图像的对象部分120进行加权。由成像设备阵列104的第二成像设备捕获的第二图像112B从另一视角捕获背景中的山并且还捕获视图前景中的树。计算设备102对山和树进行分类并对图像的每个对象部分120进行加权。由成像设备阵列104的第三成像设备捕获的第三图像112C从另一视角捕获视图前景中的树。计算设备102对第三图像112C和第四图像112D中的树进行分类，并对图像的对象部分120进行加权。在第二图像112B中，树显示在图像的右侧。在第三图像112C中，树位于图像的中心。由成像设备阵列104的第四成像设备捕获的第四图像112D从另一视角捕获视图前景中的树。
由成像设备阵列104的第五成像设备捕获的第五图像112E捕获视图前景中的交通信号。第五图像可来自与图像112A至112D的场景不同的场景。由成像设备阵列104的第六成像设备捕获的第六图像112F捕获视图前景中的行人。第六图像可来自与第五图像的场景相同的场景，并且行人可能正在等待穿过与第五图像中的交通信号相关联的人行横道。
作为示例，被示出为虚线内的区域的图像的对象部分可以被赋予具有0.00至1.00之间的值的权重，其中0.00是可以分配给图像的对象部分的最低权重，而1.00是可以分配给图像的对象部分的最高权重。权重可基于分类和计算设备可用的其他信息，诸如与图像相关联的元数据。虚线内的图像的对象部分可包括图像的子集或部分，其包括被分类为特定对象并且表示对象的视角的对象。
图像112A至112F可由成像设备阵列104的不同成像设备捕获以及/或者可由成像设备阵列104的相同成像设备捕获。另外，当成像设备104的阵列在安装在车辆上时运动时以及/或者当成像设备104的阵列静止时，可以捕获图像112A至112F。
计算设备102可确定在每个图像中存在对象，诸如山、树、交通信号和/或行人，并且可基于已知对象的列表对对象进行分类。计算设备102可基于分类对每个图像的对象部分进行加权，并且可基于分类和/或权重来压缩和/或丢弃每个图像。可基于分类和/或权重对图像进行编码并将其存储在存储器108中。另外，图像可由计算设备102解码并显示在显示器110上。
计算设备102和车辆可以各种方式或其组合进行通信。当相对接近时，车辆和计算设备102可使用蓝牙、WiFi或其他此类短程无线方法。在较远的范围，计算设备102和其他计算设备可使用蜂窝通信网络或另一通信网络进行通信。因此，通信可涉及互联网、内联网、蜂窝通信网络、WiFi网络、分组网络、近程无线网络或其他有线和/或无线通信网络或前述的任意组合。例如，计算设备102和其他计算设备可使用公共协议(例如，超文本传输协议(HTTP)和/或安全超文本传输协议(HTTPS))以分组、消息或其他通信来传送数据。计算设备102和其他计算设备可以与同多视角成像系统100相关联的其他可选服务器计算设备通信。
车辆和/或计算设备102可包括基于蓝牙4.0规范或另一规范的蓝牙低功耗(BLE)、蓝牙LE、蓝牙智能)功能性。根据示例性实施方案，计算设备102被配对并使用短程无线网络(例如，蓝牙(IEEE标准802.15))进行无线通信。近程无线网络可以是无线个人局域网(WPAN)。
在另一示例中，车辆可创建用于与计算设备102通信的个人局域网和/或网状网络。另外，车辆和计算设备102可使用Zigbee、Wi-Fi、近场磁感应、音(声)波和/或红外(光)波等进行通信。
多视角成像系统100还包括存储数据的数据库，该数据包括图像和与图像相关联的信息，例如，图像中的对象的一组分类和表示。如图1A所示，在一个实施方案中，多视角成像系统100包括存储器108，该存储器可包括可具有有组织的数据集合的数据库。例如，存储器108可包括存储由成像设备阵列104捕获的图像的第一数据库，包括与在成像设备阵列104捕获的图像中检测的一组对象相关联的信息的第二数据库，以及存储图像中找到的对象表示的第三数据库，在图像中找到的对象的分类，位于图像中的对象部分的权重信息，以及其他元数据诸如位置信息。数据库可包括其他数据库和信息。
图1C中示出了第三数据库的表的示例。用图像识别(ID)001识别的第一图像可包括被分类为“山”的山对象部分。该对象部分可具有0.5的权重，并且图像可具有指示图像是在Denver,CO中捕获的元数据。用图像ID 002识别的第二图像可包括被分类为“树”的树对象部分。该对象部分可具有0.25的权重，并且图像可具有指示图像是在Denver,CO中捕获的元数据。用图像ID 003识别的第三图像可包括被分类为“交通信号”的交通信号对象部分。对象部分可具有0.4的权重，并且图像可具有指示图像是在Chicago,IL捕获的元数据。用图像ID 004识别的第四图像可包括被分类为“行人”的行人对象部分。对象部分可具有0.7的权重，并且图像可具有指示图像是在Chicago,IL捕获的元数据。
数据库可包括非关系数据库和/或关系数据库。例如，信息可存储在包含表格的文件(例如，电子表格)、数据库表、关系数据库管理系统(RDBMS)、密钥值存储、开源的分布式数据库管理系统诸如不仅仅是SQL(NoSQL)数据库管理系统、内存数据库(IMDB)管理系统或其他适当的数据库管理系统。计算设备102可将信息和数据存储在存储器108中，并且计算设备102可从存储器108中检索信息和数据。
图1A和图2示出了根据示例性实施方案的计算设备102的框图。计算设备102可具有包括处理器106和存储器108的硬件部件。处理器106处理机器/计算机可读可执行指令和数据，并且存储器108存储机器/计算机可读可执行指令和数据，所述数据包括应用，包括图像捕获应用202。处理器106和存储器108是硬件。处理器106可以是处理单元。在一个实施方案中，处理器106包括安全区域处理器(SEP)。SEP存储并保护生物识别信息和密码信息以及其他信息。存储器108包括随机存取存储器(RAM)和非暂态存储器，例如，非暂态计算机可读存储介质诸如闪存存储器或硬盘驱动器。非暂态存储器可包括任何有形计算机可读介质，包括例如磁盘和/或光盘、闪存驱动器等。
另选地，计算设备102可以是具有处理器和存储器的专用电子设备。计算设备102可以是具有操作单元或模块的电子设备，所述操作单元或模块被布置成执行当前公开的技术的各种操作。
计算设备102的操作单元由执行本公开的原理的硬件或硬件与软件的组合实施。本领域的技术人员将理解，图3中所示的操作单元可被组合或被分离为子块，以实现本公开的原理。因此，本文的描述支持操作单元的任何可能的组合或分离或进一步限定。
如图2所示，数据库可存储在存储器108中，或者可存储在另一个位置。在一个示例中，该位置可以是计算设备102可用的本地位置以及/或者该位置可以是网络可访问位置。
计算设备102还可以包括触摸屏显示器设备110诸如用于接收输入并显示输出的液晶显示器(LCD)、传感器114、相机或成像设备104、全球定位系统(GPS)设备116，以及通信总线118。计算设备102可包括用于通信的无线通信设备，包括无线收发器、蜂窝收发器、蓝牙收发器等。
触摸屏显示设备110可用于接收包括激活成像设备104阵列的输入并显示包括由成像设备阵列104捕获的图像和/或视频的输出。传感器114和成像设备104可用于生物识别和认证以激活成像设备阵列。传感器114可包括指纹传感器、虹膜识别设备、眼静脉验证设备、麦克风、负载或重量传感器(例如，应变仪)、压力传感器、心电图(ECG)传感器、雷达设备、激光雷达设备和近红外设备等。成像设备104可与处理器106和传感器114耦接以用于对象识别。触摸屏显示器设备110和/或成像设备104可用于接收手势。麦克风可用于接收口头命令，诸如激活成像设备104的阵列。全球定位系统设备116可接收GPS信号，从而确定计算设备102和成像设备阵列104的当前位置。当前位置可以是成像设备阵列104结合在其中的车辆的位置。
图3示出了根据示例性实施方案的计算设备102的图像捕获应用202的框图。计算设备102包括其上存储图像捕获应用202的存储器108中的计算机可读介质(CRM)302。计算机可读介质302可包括易失性介质、非易失性介质、可移动介质、不可移动介质和/或可由处理器106访问的另一可用介质。
作为示例而非限制，计算机可读介质302包括计算机存储介质和通信介质。计算机存储介质包括以用于存储信息的方法或技术实施的非暂态存储存储器、易失性介质、非易失性介质、可移动介质和/或不可移动介质，所述信息为诸如计算机/机器可读/可执行指令、数据结构、程序模块或其他数据。通信介质可包含计算机/机器可读/可执行指令、数据结构、程序模块或其他数据，并且包括信息传递介质或系统，这两者均为硬件。
图像捕获应用202包括捕获模块或单元304，用于通过成像设备阵列104捕获图像。捕获模块304可从成像设备阵列104的每个成像设备获得原始图像数据，并且将该原始图像数据存储在包括数据库的存储器108中。捕获模块304可将一些或所有图像数据存储在存储器108中。另选地，捕获模块304可将一些或所有图像数据存储在另一个位置，诸如网络可访问的存储位置。
图像捕获应用202还包括图像分析模块或单元306，用于对由成像设备阵列104捕获的每个图像执行图像分析。图像分析模块306分析图像中的特征或图案，并且可提取每个特征或图案作为要分类的可能对象。图像分析模块306可确定在由成像设备阵列104捕获的每个图像中是否存在对象。图像分析模块306可使用计算机视觉算法和一组对象来检测由成像设备阵列104捕获的图像。该组对象的表示可存储在存储器108中，并且可包括对于系统100特别重要的特定对象、风景、形状、颜色和/或位置。对象可包括人、动物、道路标志(例如，停车标志)、交通信号、车辆和其他对象。
图像捕获应用202还包括分类模块或单元308，用于对图像分析模块306所检测到的对象进行分类。由图像分析模块306在每个图像中检测到的每个对象可具有特定的分类。例如，第一对象可被分类为山。第二对象可被分类为道路标志。第三对象可被分类为水牛等。该分类可基于存储在存储器中的与图像中确定的特征和图案最相似的对象集合。另外，通过将第一图像的对象部分和第二图像的对象部分与已知对象列表中的对象的图像中的特征和图案进行比较，分类模块或单元308可确定由成像设备阵列104的成像设备捕获的第一图像的对象部分中的对象是与第二图像的对象部分中的对象相同的对象。
图像捕获应用202还包括对象模块或单元310，用于查看、添加、删除和/或修改成像设备阵列104可检测的对象列表。换句话讲，图像捕获应用202捕获和存储的对象列表可以是可定制的。例如，对象模块310可从用户接收允许用户将新对象(例如，特定的人)添加到对象列表的输入。用户可向图像捕获应用202提供要由图像捕获应用找到的对象的文本和/或图像，并且图像分析模块306可使用文本和/或图像来确定对象并将其分类。另选地，对象模块310可从用户接收允许用户从对象列表中删除对象或指示对象不太重要的输入。
图像捕获应用202还包括加权模块或单元312，所述加权模块或单元对每个图像的对象部分例如被确定为包括对象的表示的图像的子集进行加权并且/或者基于重要性信息对整个图像进行加权。例如，加权模块312可以较高的权重级别对被分类为山的图像的对象部分进行加权，并且可以较低的权重级别对被分类为道路标志的图像的对象部分进行加权。该加权信息可指示特定对象和/或特定图像的重要性。图像捕获应用202可使用该加权信息来压缩和/或存储图像。
在某些情况下，诸如在远离家庭位置的度假期间的公路旅行中，山或已知的人可具有更高的权重。然而，在其他情况下，诸如在市中心位置的高峰时段的繁忙街道上，道路标志可具有更高的权重。在另一个示例中，诸如在具有较高犯罪情况和/或车辆碰撞的位置，对象诸如另一车辆或行人可具有更高的权重。加权模块312可使用可与从GPS设备116获得的当前位置相关联的地图数据(例如，人口信息、犯罪信息、交通信息)，并且可使用其他信息，诸如针对由当前位置处的其他计算设备和车辆在图像中捕获的对象的其他图像和权重信息。
另外，加权模块312可使用从传感器114获得的信息，诸如与对象相关联的深度信息，以及与图像相关联的其他元数据信息。如果对象远离成像设备104的阵列，则可以为对象分配较低的权重。然而，如果对象在成像设备104阵列的附近，则可以为对象分配更高的权重。传感器114可使用飞行时间或另一种方法来确定距离。该距离可基于从雷达设备、激光雷达设备或近红外设备等接收的信息。成像设备阵列104和/或传感器114可用于确定图像中对象的BRDF信息。因此，加权模块312可基于BRDF信息对对象进行加权。
图像捕获应用202包括压缩模块或单元314，所述压缩模块或单元压缩、编码和存储由成像设备阵列104捕获的图像。压缩模块314可基于分类和/或加权来压缩图像或图像的一部分。在一个示例中，如果图像中没有对象或者加权不满足特定阈值，则压缩模块314可以丢弃图像并且不将其存储在存储器108中。例如，如果在图像内存在权重为0.5的对象部分，则压缩模块314可以仅存储图像。由成像设备阵列在具有该对象部分的大致相同时间捕获的图像可存储在存储器108中。在特定实例中，图像可具有权重为0.25的对象部分。该压缩模块314可在具有该对象部分的大致相同的时间丢弃该图像和由成像设备阵列捕获的所有其他图像。
在另一示例中，压缩模块314可基于分类和/或加权来压缩图像或图像的至少对象部分。如果图像被认为不重要或不包括重要对象，则压缩可处于更高级别或更高压缩级别。另选地，如果图像被认为是重要的或包括重要对象，则压缩可处于较低级别或较低压缩级别。例如，如果存在权重为0.3的对象部分，则压缩模块314可在大致相同的时间压缩图像和由成像设备阵列捕获的所有其他图像。在特定实例中，图像可具有权重为0.33的对象部分。该压缩模块314可以压缩该图像和与对象相关的所有图像。压缩水平可以是无损压缩水平，或者可以是有损压缩水平，这取决于权重以及其他因素。
图像捕获应用202还包括用户界面模块或单元316，用于在显示器110上显示用户界面。例如，用户界面模块316生成本机和/或基于web的图形用户界面(GUI)，其接受输入并提供由计算设备102的用户查看的输出。计算设备102可提供实时自动和动态刷新的图像捕获信息。用户界面模块316可将数据发送至计算设备102的图像捕获应用202的其他模块，并且异步地从计算设备102的图像捕获应用202的其他模块检索数据，而不干扰由计算设备102显示的用户界面的显示和行为。
图像捕获应用202可以是计算设备102可执行的应用和/或服务的部件。例如，图像捕获应用202可以是可部署的可执行代码的单个单元。根据一个方面，图像捕获应用202可以是web应用程序、本机应用程序和/或从数字分发应用程序平台下载的移动应用程序(例如，app)，该数字分发应用程序平台允许用户浏览并下载利用移动软件开发工具包(SDK)开发的应用程序。
图4示出了根据示例性实施方案的用于捕获图像的过程400的流程图。图4所示的过程400始于操作402。
在402，计算设备102使用成像设备阵列104开始捕获图像。成像设备阵列104可通过成像设备阵列104的第一成像设备捕获场景的第一图像/视频。成像设备阵列104可由用户响应于用户输入而激活。用户输入可包括在显示器110上选择按钮，或者可以是口头命令。另选地，用户输入可以是触摸屏上的手势。更进一步地，成像设备阵列104可基于当前位置，或者当成像设备阵列确定图像中存在特定对象时自动开始捕获图像。
在404，计算设备102使用成像设备阵列104继续捕获图像/视频。成像设备阵列104可通过成像设备阵列104的第二成像设备捕获场景的第二图像/视频。可以与第一图像大致同时捕获第二图像。成像设备阵列104中的其他成像设备也与第一图像和第二图像大致同时捕获场景的图像。例如，第三图像/视频可由成像设备阵列的第三成像设备捕获，第四图像/视频可由成像设备阵列的第四成像设备捕获，等等。
在406，计算设备102执行第一图像和第二图像的图像分析，并确定对象存在于场景中。第一图像可表示对象的第一视角，第二图像可表示不同于对象的第一视角的对象的第二视角。
在408，计算设备102基于已知对象的列表对具有特定分类的第一图像和第二图像中的对象进行分类，并且基于从传感器114和GPS设备116获得的分类和其他信息，诸如深度信息、BRDF信息、地图数据和位置信息，对第一图像的对象部分(例如，包括图像的表示的图像的子集)和第二图像的对象部分(例如，包括图像的表示的图像的子集)进行加权。另外，计算设备102可使用相同的分类对第一图像和第二图像中的对象进行分类，例如，在第一图像和第二图像中具有相同的对象。通过将第一图像的对象部分和第二图像的对象部分与已知对象列表中的对象的图像中的特征和图案进行比较，并且使用深度信息、BRDF信息、地图数据和位置信息，计算设备102可确定第一图像的对象部分中的对象是与第二图像的对象部分中的对象相同的对象。在一个示例中，对象可以是人，或者可以是地理特征诸如山或树。山对象部分可以被分配0.5的权重，并且树对象部分可以被分配0.2的权重。
在410，计算设备102基于分类和/或加权来压缩第一图像和第二图像。例如，计算设备102可基于分类和/或加权以特定压缩级别压缩第一图像的对象部分和第二图像的对象部分。作为另一个示例，计算设备可基于分类和/或加权以第一特定压缩级别压缩第一图像的对象部分和第二图像的对象部分，并且以第二特定压缩级别压缩第一图像的非对象部分和第二图像的非对象部分第一特定压缩级别可以是无损压缩级别，并且第二特定压缩级别可以是有损压缩级别。压缩还可以基于包括深度信息、BRDF信息、地图数据和位置信息的附加信息。
在412，计算设备102将第一图像和第二图像编码为表示对象的多视角图像数据，并且在414，计算设备将多视角图像数据存储在存储器108中。另选地，当加权不满足特定阈值或者图像中没有分类对象时，计算设备102可以丢弃第一图像和第二图像。
计算设备102或另一计算设备可以解码多视角图像数据并在显示器110或另一显示设备上显示包括第一图像和第二图像以及其他图像的场景的表示。
在示例性实施方案中，成像设备阵列104可以安装在车辆的外部以及/或者可以安装在车辆的内部。成像设备阵列104可用于捕获和生成环境的全景静止图像和/或从多个视角捕获的环境的视频。可从多个视角观看环境，并且可在显示器110和/或另一显示设备上从多个视角观看视频。
例如，显示器110可显示场景的表示，包括从某一视角显示对象，包括从车辆前部的成像设备、在车辆的第一侧上的成像设备、在车辆的第二侧上的成像设备，以及车辆后部的成像设备。车辆的前部、车辆的第一侧、车辆的第二侧和车辆的后部均可包括成像设备104(1-N)的阵列，每个成像设备可提供不同的视角。作为另一个示例，显示器110可显示场景的表示，包括从对象的第一视角显示对象并且转换为从对象的第二视角显示对象。
参考图5，提供了具有可实现本文论述的各种系统和方法的计算单元的示例性计算系统500的详细描述。计算系统500可以适用于计算设备102和其他计算或网络设备。应当理解，这些设备的具体实施方式可具有可能的不同具体计算架构，并非所有这些都在本文中进行了具体论述，但是将被本领域的普通技术人员理解。
计算机系统500可以是能够执行计算机程序产品以执行计算机过程的计算系统。数据和程序文件可被输入到计算机系统500中，该计算机系统读取文件并执行其中的程序。图5示出了计算机系统500的一些元件，包括硬件处理器502、数据存储设备504、存储器设备508和/或端口508至512。另外，本领域技术人员将认识到的其他元件可被包括在计算系统500中，但是在图5中没有明确地示出或者在本文中没有进一步地讨论。计算机系统500的各种元件可通过通信总线、点对点通信路径或图5中没有明确示出的其他通信手段彼此通信。
处理器502可包括例如中央处理单元(CPU)、微处理器、微控制器、数字信号处理器(DSP)和/或内部级别的高速缓存。可存在处理器502，使得处理器502包括单个中央处理单元或能够执行指令并且彼此并行执行操作(通常被称为并行处理环境)的许多处理单元。
计算机系统500可以是常规计算机、分布式计算机或任何其他类型的计算机，诸如通过云计算架构可用的外部计算机。本发明所描述的技术任选地以存储在一个或多个数据存储设备504上、存储在一个或多个存储器设备506上并且/或者经由端口508至512进行通信的软件来实现，从而将图5中的计算机系统500转换为用于实现本文所述的操作的专用机器。计算机系统500的示例包括个人计算机、终端、工作站、移动电话、平板电脑、膝上型电脑、个人计算机、多媒体控制台、游戏控制台、机顶盒等。
数据存储设备504可包括能够存储在计算系统500内生成或采用的数据的任何非易失性数据存储设备，诸如用于执行计算机过程的计算机可执行指令，其可包括应用程序和管理计算系统500的各种组件的操作系统(OS)两者的指令。数据存储设备504可包括但不限于磁盘驱动器、光盘驱动器、固态驱动器(SSD)、闪存驱动器等。数据存储设备504可以包括可移动的数据存储介质、不可移动的数据存储介质和/或使用这种计算机程序产品经由有线或无线网络架构可用的外部存储设备，包括数据库管理产品、网络服务器产品、应用服务器产品和/或其他附加软件组件。可移动数据存储介质的示例包括光盘只读存储器(CD-ROM)、数字通用光盘只读存储器(DVD-ROM)、磁光盘、闪存驱动器等。不可移动数据存储介质的示例包括内部磁硬盘、SSD等。存储器设备506可包括易失性存储器(例如，动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)和/或非易失性存储器(例如，只读存储器(ROM)、闪存存储器等)。
包含根据本发明所述的技术实现系统和方法的机制的计算机程序产品可驻留在可被称为机器可读介质的数据存储设备504和/或存储器设备506中。应当理解，机器可读介质可包括能够存储或编码指令以执行本公开的操作中的任何操作以供机器执行的任何有形的非暂态介质，或者能够存储或编码由这样的指令使用或与这样的指令相关联的数据结构和/或模块。机器可读介质可包括存储可执行指令或数据结构的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。
在一些具体实施中，计算机系统500包括用于与其他计算设备或网络设备进行通信的端口，诸如输入/输出(I/O)端口508、通信端口510和子系统端口512。应当理解，端口508-512可被组合或分离，并且更多或更少的端口可被包括在计算机系统500中。
I/O端口508可连接到I/O设备或其他设备，通过所述设备，信息被输入到计算系统500或从其输出。此类I/O设备可包括但不限于输入设备、输出设备和/或环境换能器设备。
在一个具体实施中，输入设备经由I/O端口508将诸如人语音、物理移动、物理触摸或压力等人生成的信号转换为电信号作为输入数据到计算系统500中。类似地，输出设备可经由I/O端口508将从计算系统500接收到的电信号转换成可作为输出由人感测到的信号，诸如声音、光和/或触摸。输入设备可以是数字字母混合输入设备，包括用于经由I/O端口508向处理器502传送信息和/或命令选择的字母数字键和其他键。输入设备可以是另一种类型的用户输入设备，包括但不限于：方向和选择控制设备，诸如鼠标、轨迹球、光标方向键、操纵杆和/或轮；传感器，诸如相机、麦克风、位置传感器、取向传感器、重力传感器、惯性传感器和/或加速度计；和/或触敏显示屏(“触摸屏”)。输出设备可包括但不限于显示器、触摸屏、扬声器、触感和/或触觉输出设备等。在一些具体实施中，例如就触摸屏而言，输入设备和输出设备可以是相同的设备。
环境换能器设备将一种形式的能量或信号转换成另一种形式，以经由I/O端口508输入到计算系统500或从该计算系统输出。例如，计算系统500内生成的电信号可以被转换成另一种类型的信号，和/或反之亦然。在一个具体实施中，环境换能器设备感测计算设备600本地或远程的环境的特征或方面，诸如光、声、温度、压力、磁场、电场、化学性质、物理运动、取向、加速度、重力和/或诸如此类。此外，环境换能器设备可以产生信号来对示例性计算设备500本地或远程的环境施加某种影响，诸如某个对象(例如，机械致动器)的物理运动、对物质的加热或冷却、添加化学物质和/或诸如此类。
在一个具体实施中，通信端口510连接到网络，计算机系统500可通过该网络接收用于执行本文所述的方法和系统的网络数据，以及发送由其确定的信息和网络配置改变。换句话讲，通信端口510将计算机系统500连接到通信接口设备，所述一个或多个通信接口设备被配置为通过有线或无线通信网络或连接在计算系统500和其他设备之间传输并且/或者接收信息。这样的网络或连接的示例包括但不限于通用串行总线(USB)、以太网、Wi-Fi、
Figure BDA0001980600070000171
近场通信(NFC)、长期演进(LTE)等等。此类通信接口设备可经由通信端口510被用于直接通过点对点通信路径、通过广域网(WAN)(例如互联网)、通过局域网(LAN)、通过蜂窝(例如，第三代(3G)或第四代(4G))网络或通过另一种通信手段来与其他机器通信。此外，通信端口510可与用于电磁信号发送和/或接收的天线通信。在一些示例中，可以采用天线来接收全球定位系统(GPS)数据以便于确定机器或另一个设备的位置。
计算机系统500可包括用于与系统通信的子系统端口512。
在示例性具体实施中，对象检测信息和软件以及其他模块和服务可通过存储在数据存储设备504和/或存储器设备506上并由处理器502执行的指令来体现。计算机系统500可与计算机的一部分集成或以其他方式形成计算机的一部分。在一些情况下，计算机系统500是可与计算机的各种系统或子系统通信并结合其工作的便携式设备。
图5所示的系统仅仅是可采用本公开各方面或根据本公开各方面来配置的计算机系统的一个可能示例。应当理解，可利用存储用于在计算系统上实现本发明所公开的技术的计算机可执行指令的其他非暂态有形计算机可读存储介质。
在本公开中，所公开的方法可实施为由设备可读的指令集或软件。此外，应当理解，本发明所公开的方法中的步骤的特定次序或分级结构为示例性方法的实例。基于设计偏好，应当理解，在被保留在本发明所公开的主题内时，可重新布置方法中的步骤的特定次序或分级结构。所附方法权利要求呈现样本次序中的各种步骤的元素，并且并不一定意味着限于所呈现的具体次序或分级结构。
所描述的本公开可被提供作为可包括在其上存储有指令的非暂态机器可读介质的计算机程序产品或软件，该非暂态机器可读介质可用于对计算机系统(或其他电子设备)进行编程以根据本公开来执行过程。机器可读介质包括用于以机器(例如，计算机)可读的形式(例如软件、处理应用程序)存储或传输信息的任何机构。机器可读介质可包括但不限于：磁存储介质、光学存储介质；磁光存储介质、只读存储器(ROM)；随机存取存储器(RAM)；可擦除可编程存储器(例如EPROM和EEPROM)；闪存存储器；或者适用于存储电子指令的其他类型介质。
虽然已参考各种具体实施描述了本公开，但应当理解，这些具体实施是例示性的，并且本公开的范围并不限于这些具体实施。许多变型、修改、添加和改进是可能的。更一般地，已在特定具体实施的上下文中描述了根据本公开的实施方案。在本公开的各种实施方案中可以不同方式将功能在框中分开或组合在一起，或以不同术语进行描述。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的本公开的范围内。

Claims (23)

1.一种系统，包括：
成像设备阵列；
处理器；和
非暂态计算机可读介质，所述非暂态计算机可读介质存储指令，所述指令在由所述处理器执行时使所述处理器来执行以下操作，包括：
通过所述成像设备阵列的第一成像设备捕获场景的第一图像；
通过所述成像设备阵列的第二成像设备捕获所述场景的第二图像；
执行所述第一图像和所述第二图像的图像分析并确定在所述第一图像中存在对象并且所述对象存在于所述第二图像，所述第一图像表示所述对象的第一视角，并且所述第二图像表示与所述对象的所述第一视角不同的所述对象的第二视角；
使用基于已知对象的列表的分类对所述对象进行分类，并且基于所述分类对所述第一图像的对象部分和所述第二图像的对象部分进行加权；
基于所述加权压缩所述第一图像和所述第二图像；
将所述第一图像和所述第二图像编码为多视角图像数据；以及
基于所述加权存储所述多视角图像数据。
2.根据权利要求1所述的系统，所述操作还包括：
对所述多视角图像数据进行解码并使用所述第一图像和所述第二图像显示所述场景的表示。
3.根据权利要求1所述的系统，所述操作还包括：
基于所述分类和所述加权中的一者以特定压缩级别压缩所述第一图像和所述第二图像。
4.根据权利要求1所述的系统，所述操作还包括：
基于所述分类和所述加权中的一者，以特定压缩级别压缩所述第一图像的所述对象部分和所述第二图像的所述对象部分。
5.根据权利要求1所述的系统，所述操作还包括：
基于所述分类和所述加权中的一者，以第一特定压缩级别压缩所述第一图像的所述对象部分和所述第二图像的所述对象部分，并且以第二特定压缩级别压缩所述第一图像的非对象部分和所述第二图像的非对象部分，所述第一特定压缩级别包括无损压缩级别，并且所述第二特定压缩级别包括有损压缩级别。
6.根据权利要求1所述的系统，所述操作还包括：
当所述加权不满足特定阈值时丢弃所述第一图像和所述第二图像。
7.根据权利要求1所述的系统，所述系统还包括传感器设备，所述操作还包括：
使用所述传感器设备确定从所述第一图像设备和所述第二成像设备到所述对象的距离以确定飞行时间；
基于所述距离对所述第一图像的所述对象部分和所述第二图像的所述对象部分进行加权；以及
基于所述加权压缩所述第一图像和所述第二图像，并且将所述第一图像和所述第二图像编码为所述多视角图像数据。
8.根据权利要求1所述的系统，所述系统还包括全球定位系统GPS设备，所述操作还包括：
使用所述GPS设备确定所述对象的位置；
基于所述对象的所述位置加权所述第一图像的所述对象部分和所述第二图像的所述对象部分；以及
基于所述加权压缩所述第一图像和所述第二图像，并且将所述第一图像和所述第二图像编码为所述多视角图像数据。
9.根据权利要求1所述的系统，所述操作还包括：
基于所述第一图像和所述第二图像确定用于所述对象的双向反射分布函数BRDF信息；
基于所述BRDF信息对所述第一图像的所述对象部分和所述第二图像的所述对象部分进行加权；以及
基于所述加权压缩所述第一图像和所述第二图像，并且将所述第一图像和所述第二图像编码为所述多视角图像数据。
10.根据权利要求1所述的系统，所述操作还包括：
激活所述成像设备阵列以响应于用户输入开始捕获图像，所述用户输入包括对触摸屏设备和麦克风中的一者的输入。
11.根据权利要求1所述的系统，所述操作还包括：
激活所述成像设备阵列以响应于用户输入开始捕获图像，所述用户输入包括在触摸屏上做出的手势和口头命令中的一者。
12.根据权利要求1所述的系统，所述操作还包括：
当所述成像设备阵列确定所述对象存在于所述第一图像和所述第二图像中的一者时，激活所述成像设备阵列以开始捕获图像。
13.根据权利要求1所述的系统，所述系统还包括全球定位系统GPS设备，所述操作还包括：
使用所述GPS设备确定位置；
激活所述成像设备阵列以开始基于所述位置捕获图像。
14.根据权利要求1所述的系统，所述系统还包括车辆，所述成像设备阵列安装在所述车辆的外部。
15.根据权利要求1所述的系统，所述系统还包括车辆，所述成像设备阵列安装在所述车辆的内部。
16.根据权利要求1所述的系统，所述操作还包括：
使用所述多视角图像数据生成所述对象的全景图像。
17.根据权利要求1所述的系统，所述操作还包括：
显示所述场景的表示包括从某一视角显示所述对象，所述视角包括车辆的前部、所述车辆的第一侧、所述车辆的第二侧和所述车辆的后部。
18.根据权利要求1所述的系统，所述操作还包括：
显示所述场景的表示，包括从所述对象的所述第一视角显示所述对象并且转变为从所述对象的所述第二视角显示所述对象。
19.根据权利要求1所述的系统，所述图像分析还包括：
通过将所述第一图像的所述对象部分和所述第二图像的所述对象部分与所述已知对象列表中的对象的图像中的特征和图案进行比较，确定所述第一图像的所述对象部分中的所述对象是与所述第二图像的所述对象部分中的所述对象相同的对象。
20.根据权利要求19所述的系统，所述图像分析还包括基于深度信息、BRDF信息、地图数据和位置信息，确定所述第一图像的所述对象部分中的所述对象是与所述第二图像的所述对象部分中的所述对象相同的对象。
21.根据权利要求19所述的系统，所述图像分析还包括将所述第一图像的所述对象部分确定为表示所述对象的所述第一图像的子集，并且将所述第二图像的所述对象部分确定为表示所述对象的所述第二图像的子集。
22.一种方法，包括：
通过成像设备阵列的第一成像设备捕获场景的第一图像；
通过所述成像设备阵列的第二成像设备捕获所述场景的第二图像；
由至少一个处理器执行所述第一图像和所述第二图像的图像分析并确定在所述第一图像中存在对象并且所述对象存在于所述第二图像，所述第一图像表示所述对象的第一视角，并且所述第二图像表示与所述对象的所述第一视角不同的所述对象的第二视角；
由所述至少一个处理器使用基于已知对象的列表的分类对对象进行分类，并且基于所述分类对所述第一图像的对象部分和所述第二图像的对象部分进行加权；
由所述至少一个处理器基于所述加权压缩所述第一图像和所述第二图像；
由所述至少一个处理器将所述第一图像和所述第二图像编码为多视角图像数据；以及
基于所述加权存储所述多视角图像数据。
23.一种包括存储在其上的指令的非暂态计算机可读介质，所述指令在被处理器执行时，使得所述处理器执行以下操作，包括：
通过成像设备阵列的第一成像设备捕获场景的第一图像；
通过所述成像设备阵列的第二成像设备捕获所述场景的第二图像；
执行所述第一图像和所述第二图像的图像分析并确定在所述第一图像中存在对象并且所述对象存在于所述第二图像，所述第一图像表示所述对象的第一视角，并且所述第二图像表示与所述对象的所述第一视角不同的所述对象的第二视角；
使用基于已知对象的列表的分类对所述对象进行分类，并且基于所述分类对所述第一图像的对象部分和所述第二图像的对象部分进行加权；
基于所述加权压缩所述第一图像和所述第二图像；
将所述第一图像和所述第二图像编码为多视角图像数据；以及
基于所述加权存储所述多视角图像数据。
CN201780053101.7A 2016-09-23 2017-09-22 多视角成像系统和方法 Active CN109691109B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662398678P 2016-09-23 2016-09-23
US62/398,678 2016-09-23
PCT/US2017/052924 WO2018057866A1 (en) 2016-09-23 2017-09-22 Multi-perspective imaging system and method

Publications (2)

Publication Number Publication Date
CN109691109A CN109691109A (zh) 2019-04-26
CN109691109B true CN109691109B (zh) 2023-05-12

Family

ID=60153423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780053101.7A Active CN109691109B (zh) 2016-09-23 2017-09-22 多视角成像系统和方法

Country Status (3)

Country Link
US (1) US10482594B2 (zh)
CN (1) CN109691109B (zh)
WO (1) WO2018057866A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929704B2 (en) * 2018-03-12 2021-02-23 Phantom Auto Inc. Landscape video stream compression using computer vision techniques
US10452959B1 (en) * 2018-07-20 2019-10-22 Synapse Tehnology Corporation Multi-perspective detection of objects
US11580687B2 (en) 2018-12-04 2023-02-14 Ottopia Technologies Ltd. Transferring data from autonomous vehicles
DE102018221920A1 (de) * 2018-12-17 2020-06-18 Robert Bosch Gmbh Inhaltsadaptive verlustbehaftete Kompression von Messdaten
US11010605B2 (en) 2019-07-30 2021-05-18 Rapiscan Laboratories, Inc. Multi-model detection of objects
FR3102629A1 (fr) * 2019-10-25 2021-04-30 Valeo Vision Procédé de gestion des données d'images et dispositif d'éclairage automobile
FR3102627A1 (fr) * 2019-10-25 2021-04-30 Valeo Vision Procédé de gestion des données d'images et dispositif d'éclairage automobile
FR3102630A1 (fr) * 2019-10-25 2021-04-30 Valeo Vision Procédé de gestion des données d'images et dispositif d'éclairage automobile
FR3115745B1 (fr) * 2020-10-30 2023-10-06 Valeo Vision Procédé de gestion des données d'image et dispositif d'éclairage automobile

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5959673A (en) * 1995-10-05 1999-09-28 Microsoft Corporation Transform coding of dense motion vector fields for frame and object based video coding applications
US7899616B2 (en) * 1997-10-22 2011-03-01 Intelligent Technologies International, Inc. Method for obtaining information about objects outside of a vehicle
WO2001072052A2 (en) * 2000-03-24 2001-09-27 Reality Commerce Corporation Method and apparatus for parallel multi-viewpoint video capturing and compression
US7299190B2 (en) * 2002-09-04 2007-11-20 Microsoft Corporation Quantization and inverse quantization for audio
US20050131660A1 (en) * 2002-09-06 2005-06-16 Joseph Yadegar Method for content driven image compression
US7769228B2 (en) * 2004-05-10 2010-08-03 Siemens Corporation Method for combining boosted classifiers for efficient multi-class object detection
US8730322B2 (en) * 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
JP2008509438A (ja) * 2004-08-06 2008-03-27 ユニヴァーシティ オブ ワシントン 可変固定視距離で走査される光表示装置
KR101199498B1 (ko) * 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
US7657126B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
JP4605715B2 (ja) * 2006-06-14 2011-01-05 Ｋｄｄｉ株式会社 多視点画像圧縮符号化方法、装置及びプログラム
TWI338640B (en) * 2008-10-28 2011-03-11 Wistron Corp Image recording systems and related recording methods for recording moving image of the vehicle, and machine readable medium thereof
US8532437B2 (en) * 2009-05-18 2013-09-10 Citrix Systems, Inc. Systems and methods for block recomposition for compound image compression
US20110122224A1 (en) * 2009-11-20 2011-05-26 Wang-He Lou Adaptive compression of background image (acbi) based on segmentation of three dimentional objects
AU2009243528B2 (en) * 2009-12-04 2013-08-01 Canon Kabushiki Kaisha Location-based signature selection for multi-camera object tracking
CN102906810B (zh) * 2010-02-24 2015-03-18 爱普莱克斯控股公司 支持视觉受损的个体的扩增的现实全景
TWI407773B (zh) * 2010-04-13 2013-09-01 Nat Univ Tsing Hua 提供三維立體影像之方法及系統
US8660178B2 (en) * 2010-07-01 2014-02-25 Broadcom Corporation Method and system for multi-layer rate control for a multi-codec system
JP5420074B2 (ja) * 2010-07-02 2014-02-19 パナソニック株式会社 映像信号変換装置、映像信号変換方法
JP5735227B2 (ja) * 2010-07-16 2015-06-17 ルネサスエレクトロニクス株式会社 画像変換装置及び画像変換システム
US8731317B2 (en) * 2010-09-27 2014-05-20 Xerox Corporation Image classification employing image vectors compressed using vector quantization
US20120286974A1 (en) * 2011-05-11 2012-11-15 Siemens Corporation Hit and Run Prevention and Documentation System for Vehicles
JP5966256B2 (ja) * 2011-05-23 2016-08-10 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US8619148B1 (en) * 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
US9064295B2 (en) * 2013-02-04 2015-06-23 Sony Corporation Enhanced video encoding using depth information
US9894311B2 (en) * 2013-07-30 2018-02-13 Robert Bosch Gmbh Adaptive methods for wireless camera communication
US10525883B2 (en) * 2014-06-13 2020-01-07 Magna Electronics Inc. Vehicle vision system with panoramic view
US10311302B2 (en) * 2015-08-31 2019-06-04 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
US20170195568A1 (en) * 2016-01-06 2017-07-06 360fly, Inc. Modular Panoramic Camera Systems

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Depth based region of interest extraction for multi-view video coding;YUN ZHANG etal;《2009 International Conference on Machine Learning and Cybernetics》;20090715;第2221页摘要-第2225页结论 *
Vision perceptual based rate control algorithm for multi-view video coding;Pei-Jun Lee etal;《Proceedings 2011 International Conference on System Science and Engineering》;20110610;全文 *

Also Published As

Publication number Publication date
WO2018057866A1 (en) 2018-03-29
US10482594B2 (en) 2019-11-19
CN109691109A (zh) 2019-04-26
US20180089816A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
CN109691109B (zh) 多视角成像系统和方法
US20220270512A1 (en) Augmented Reality Panorama Systems and Methods
US11158067B1 (en) Neighborhood alert mode for triggering multi-device recording, multi-camera locating, and multi-camera event stitching for audio/video recording and communication devices
US11049334B2 (en) Picture-based vehicle loss assessment
RU2731370C1 (ru) Способ распознавания живого организма и терминальное устройство
GB2519277B (en) Method for performing facial recognition
US10366300B1 (en) Systems and methods regarding 2D image and 3D image ensemble prediction models
US8938092B2 (en) Image processing system, image capture apparatus, image processing apparatus, control method therefor, and program
JPWO2018021067A1 (ja) 画像処理装置および画像処理方法
US10825310B2 (en) 3D monitoring of sensors physical location in a reduced bandwidth platform
JP2016031576A (ja) 物体検出装置
JP6944135B2 (ja) 画像処理装置および画像処理方法
CN109891463B (zh) 图像处理设备和图像处理方法
TW202109514A (zh) 圖像處理方法、圖像處理裝置、電子設備和電腦可讀儲存媒體
JP7389028B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20180151039A1 (en) Neighborhood Security Cameras
JPWO2019235366A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
KR102054930B1 (ko) 영상 공유 방법 및 이를 위한 장치
KR20230086457A (ko) 화재 감지 시스템의 구축을 위한 전차 장치 및 그 방법
CN113965726A (zh) 处理交通视频的方法、装置以及系统
US11945404B2 (en) Tracking and video information for detecting vehicle break-in
WO2021261499A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP7143263B2 (ja) 符号化パラメータを用いて対象識別位置を決定する対象識別方法、装置及びプログラム
CN113592003A (zh) 一种图片传输方法、装置、设备及存储介质
KR102631324B1 (ko) 지능형 비전로봇을 통한 사용자 서비스를 제공하는 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant