CN117083556A - 改进的沉浸式观看体验 - Google Patents

Abstract

本专利提供了一套新颖的立体成像技术。这种技术允许能够立体显示的非常大的视野数据集，如大于270°的水平视野和180°的垂直视野。因此，可以以比用户可视化的更大的方式记录数据。因此，用户可以选择他/她想要观看的数据集的那个子集。然后，允许用户通过头部跟踪和眼部跟踪自然地观看，以允许人看见并审视场景，就像人自然地在那里实时观看一样。

Description

改进的沉浸式观看体验

技术领域

本公开的方面通常涉及头部显示单元上的立体图像。

相关申请的交叉引用

本申请要求于2021年4月8日提交的美国专利申请17/225,610的优先权。

引言

虚拟现实显示器向用户提供3D图像。

发明内容

本文中提到的所有实施例、方面和特征可以以任何技术上可以想到的方式组合。

本专利教导了通过实现一系列立体成像系统用于沉浸式观看体验的方法、软件和设备。

本专利的优选实施方案是从智能装置获取图像。智能装置可以包括笔记本电脑、电话、平板电脑、HDU、电视机或监视器。智能装置配有左摄像头和右摄像头。所述左摄像头和所述右摄像头相隔立体距离。优选实施方案具有等于普通成人的立体距离间隔。所述左摄像头在第一时间点获取区域的左视透视图像。所述右摄像头也在所述第一时间点获取所述区域的右视透视图像。所述左视透视图像和所述右视透视图像包括立体图像。接着，将所述立体图像经由无线连接从所述智能装置发送到头部显示单元(head display unit,HDU)。通常，这将通过蓝牙或互联网来完成。接着，将立体图像显示到头部显示单元(HDU)上，该头部显示单元可以包括虚拟现实显示器、增强现实显示器或混合现实显示器。HDU具有左眼显示器和右眼显示器。左眼显示器匹配在用户的左眼上。右眼显示器匹配在用户的右眼上。HDU由第一用户佩戴。HDU在接近实时的第二时间点(例如，在所述第一时间点的5秒内)向所述第一用户显示所述立体图像。左视透视图像显示在所述左眼显示器上，右视透视图像显示在所述右眼显示器上。

一些实施方式包括近实时立体图像的双向通信和显示。(注：随着这种发展，假设带宽随着5G通信的出现而增加。如果由于某种原因，5G不可用，那么摄像头分辨率可以调节到本地可用的带宽。)用户1将被立体摄像头实时观看，并且这些立体图像将通过互联网(或其他传输手段)传输给用户2，用户2将接收图像并在立体显示单元(例如，虚拟现实、混合现实头戴设备)上接近实时地显示这些图像。同时，用户2将被立体摄像头实时观看，并且这些立体图像将通过互联网(或其他传输手段)传输给用户1，用户1将接收图像并在立体显示单元(例如，虚拟现实、混合现实头戴设备)上接近实时地显示这些图像。

在一些实施方式中，多个用户将被立体摄像头同时实时观看，并且这些立体图像将通过互联网(或其他传输手段)传输给其他用户，其他用户将接收图像并在他们各自的立体显示单元(例如，虚拟现实、混合现实头戴设备)上接近实时地显示这些图像。

在一些实施方式中，用户可以选择将立体摄像头指向感兴趣的风景场景或对象，而不是被他们的立体摄像头观看。

在一些实施方式中，不会同时发送和显示，而是更像当前的电子邮件系统，其中，用户1写入电子邮件并发送它，并且在一段时间之后，用户2将检索电子邮件并随后回复它。在这种情况下，用户1将记录一系列立体图像；将这些立体图像发送给用户2，用户2在随后的某个时间检索立体图像并在立体显示单元上显示该立体图像。此时，用户2可以通过创建并发送他的/她的立体图像集来响应。在这些实施过程中，预计用户将提供音频以伴随立体图像。

一些实施方式包括近实时立体图像的单向通信和由独立用户显示。用户1将被立体摄像头实时观看，并且这些立体图像将通过互联网(或其他传输手段)传输给用户2，用户2将接收图像并在立体显示单元(例如，虚拟现实、混合现实头戴设备)上接近实时地显示这些图像。在该实施方式下，用户2将不配备立体摄像头，而用户1可以或可以不配备立体显示单元，但是在任一情况下，用户1将不接收用户2的立体图像。在该实施方式下，对仅接收的用户的数量没有限制。例如，教授可以采用立体摄像头进行讲座，课堂上的人员将接收立体图像。在其他实施方式中，用户1将记录一系列立体图像；将这些立体图像发送给用户2，用户2在随后的某个时间检索立体图像并在立体显示单元上显示该立体图像。在这些实施过程中，预计用户将提供音频以伴随立体图像。

一些实施方式包括以接近实时的方式实时记录并显示/回放立体图像。用户可以使用具有立体摄像头(在说明书的后面部分描述)和连接到立体摄像头的记录介质的混合现实头部显示单元。用户可以：选择将立体摄像头指向感兴趣的风景场景或对象；使用立体摄像头拍摄这些感兴趣的区域/对象；将立体图像记录并存储在记录介质中；并且可以选择显示正在混合现实头部显示单元上记录的内容。在拍摄阶段之后，用户可以选择将记录的立体图像转发给配备有立体显示单元的其他人。

一些实施方式包括实时记录由激光测距仪(laser range finder,LRF)(也称为激光雷达(LIDAR))获得的立体图像和相关距离。在一些实施方式中，用户可以：使用具有立体摄像头和激光测距仪的混合现实头部显示单元(在说明书的后面部分描述)；以及连接到头部显示单元的记录介质，以接收、记录并存储来自立体摄像头和激光测距仪的数据。在一些实施方式中，用户可以精确地绘制区域(例如，房间、房屋或建筑物)的地图，在此期间，快速激光扫描与立体摄像头和激光测距仪的转动相结合(例如，立体摄像头可以安装在头部显示单元三脚架和/或万向架等上)。用户还可以选择指向立体摄像头和激光测距仪以确定对象的距离。在一些实施方式中，可以在虚拟空间中重建正在被立体拍摄和测量的区域。

这个系统有若干个关键组件。可以结合双组摄像头。这些摄像头可以以类似于目前的单个摄像头的方式附加到笔记本电脑。双摄像头将相隔一个眼间距离，使得观看由这些摄像头收集的立体图像的人将为接收者提供3D效果。在一些实施方式中，可以提供可变的/可调节的眼间距离：对于儿童来说，间距很小；对于中等身材的人来说，间距适中；对于大个子来说，比正常间距要宽。可以提供定制的眼间距离。在一些实施方式中，摄像头将被设置在笔记本电脑的内部，俯瞰键盘并聚焦在用户的面部。在其他实施方式中，摄像头可以设置在笔记本电脑的外部，使得接收者可以观看用户的位置的周围环境/风景。可替代地，两组摄像头可以附加到笔记本电脑——一组在里面，一组在外面。可以通过键盘输入、下拉菜单和相关的光标输入以及音频输入等来控制摄像头。

在一些实施方式中，两个立体摄像头可以附加到智能手机。可以用与笔记本电脑相同的方式来处理眼间距离。摄像头可以位于前侧(即，具有交互图标的一侧)或后侧(即，与前侧相对的一侧)或两侧。

在一些实施方式中，两个立体摄像头可以附加到头部显示单元(HDU)。可以用与笔记本电脑相同的方式来处理眼间距离。在该实施方式中，HDU可以：通过无线或连接电缆连接到记录装置；如上所述连接到互联网进行交互式通信；或者通过HDU显示器观看；或者通过这些交互的组合观看。注意，HDU可以在混合现实模式下运行。

在一些实施方式中，两个立体摄像头可以附加到智能眼镜(例如，太阳镜)。可以用与笔记本电脑相同的方式来处理眼间距离。在该实施方式中，智能太阳镜可以：通过无线或连接电缆连接到记录装置；如上所述连接到互联网进行交互式通信；或者通过智能太阳镜显示器观看；或者通过这些交互的组合观看。注意，智能太阳镜可以在混合现实模式下运行。

在一些实施方式中，两个立体摄像头可以附加到智能平板电脑。可以用与笔记本电脑相同的方式来处理眼间距离。在该实施方式中，智能平板电脑可以：通过无线或连接电缆连接到记录装置；如上所述连接到互联网进行交互式通信；或者通过HDU观看；或者通过这些交互的组合观看。

在一些实施方式中，可以利用商业3D摄像头的两个立体摄像头。将根据商业3D摄像头的规格来处理眼间距离。在该实施方式中，商业3D摄像头可以：通过无线或连接电缆连接到记录装置；如上所述连接到互联网进行交互式通信；或者通过HDU观看；或者通过这些交互的组合观看。

在一些实施方式中，两个微型摄像头集群将安装在上述摄像头配置中的每一个中。将为每个摄像头指定不同的视角，从而以非常高的分辨率提供非常宽的同步视野。可以用与笔记本电脑相同的方式来处理眼间距离。在该实施方式中，微型摄像头集群可以：通过无线或连接电缆连接到记录装置；如上所述连接到互联网进行交互式通信；或者通过HDU观看；或者通过这些交互的组合观看。注意，在该实施方式中，非常宽的视野将名义上超过显示单元的视野，并且重要的是，用户(或观看者)可以选择视野的子集以在任何特定时间观看，并且根据他们的兴趣导向改变视野的选择。

在一些实施方式中，将指定微型摄像头对的单个球。将为每个摄像头对指定不同的视角，从而以非常高的分辨率提供非常宽的同步视野。基于球上的位置，不同的摄像头对将有助于非常宽的同步视野。球的表面可以是球形的和光滑的或刻面的，以为每个摄像头对提供平坦的表面。可以作为摄像头对的构件的标准分离或用于特殊目的的自定义分离来处理眼间距离。注意，具有适当间距的相邻摄像头可以在任何时间点有助于在不同时间点的立体图像对。在该实施方式中，微型摄像头对可以：通过无线或连接电缆连接到记录装置；如上所述连接到互联网进行交互式通信；或者连接到HDU。注意，在该实施方式中，非常宽的视野将名义上超过显示单元的视野，并且重要的是，用户(或观看者)可以选择视野的子集以在任何特定时间观看，并且根据他们的兴趣导向改变视野的选择。

在一些实施方式中，新的功能将被结合到HDU中，以与微型摄像头集群或单个球或微型摄像头对一起操作。HDU需要结合倾斜仪来实时监控头部位置的方向和倾斜度。HDU需要提供眼部跟踪能力。初始化过程将使HDU的初始视角和倾斜度与立体图像的视野的中心同步。然后，用户可以使用控制单元选择要在HDU上显示的子视野。(注：这可以通过多种选项来完成，包括但不限于：下拉菜单上可用的编号区域；圈出感兴趣的区域；语音命令等)然后，在显示该子区域并且结合眼部跟踪器之后，将眼部中心凹区域聚焦在感兴趣区域的特定区域上，所述感兴趣区域是由两个摄像头集群内的特定摄像头或球内的摄像头捕获的。注意，眼部跟踪器可以将每只眼部投射的视线映射到显示器上的点或网格，这又可以与特定的摄像头相关联。

在一些实施方式中，将应用图像处理来为用户提供虚拟背景，该虚拟背景可以附加到用户的显示器，该虚拟背景将是3D的。背景可以是二维的，但优选为3D的。可以从各种3D场景库中选择背景，如海滩场景、山地场景或办公室场景。在一些实施方案中，3D场景库可以是动态的，如瀑布或海洋中的波浪。

在一些实施方式中，将应用图像处理来向用户的身体提供图像增强(例如，去除丘疹、改善的发把(hair bulk)或发式)。

在一些实施方式中，将应用图像处理来为用户提供人工附属物，该附属物可以附加到用户的显示器，该附属物将是3D的。一个实施例是在商务会议中附加给用户的西装和领带，它会遮挡T恤。附属物将被注册到用户的特征，如面部和身体结构。

一些实施方案包括在所述智能装置附近使用麦克风。可以在智能装置上录制声音。声音可以在所述HDU附近的扬声器上播放，其中，所述播放所述声音与所述立体图像同步发生。

一些实施方案包括将智能装置移动得更远离所述区域内的对象。这将使对象看起来移动得远离观看HDU上的立体图像的用户。

一些实施方案包括将智能装置移动得更靠近所述区域内的对象。这将使对象看起来移动得更靠近观看HDU上的立体图像的用户。

一些对象包括在左摄像头和右摄像头上传感器随着时间推移的倾斜。具体地，在初始时间点，对应于所述左摄像头的传感器所面对的方向与对应于所述右摄像头的传感器所面对的方向是平行的。随后，对应于所述左摄像头的所述传感器所面对的方向与对应于所述右摄像头的所述传感器所面对的方向会聚。

一些实施方案包括一系列获取。例如，立体图像可以允许用户观看自己的立体图像。

一些实施方案包括使用立体摄像头集群和立体激光雷达获取。一些实施方案包括集成用于头部跟踪和眼部跟踪系统的惯性测量单元(inertial measurement unit,IMU)，以引导显示在所述HDU上的立体图像的视野。

一些实施方案包括将立体成像装置放置在凸面(有或没有网格)或一组机械臂上。

本专利中的一些技术是通过利用以下描述的技术来实现的：美国专利申请#15/878,463，用于医学成像的交互式3D光标；美国专利申请#16/010,925，将手术装置或解剖特征的3D数字表示交互式放置到用于术前计划的3D放射性图像中；美国专利申请#15/904,092，处理3D医学影像以增强可视化；美国专利申请#15/949,202，配备有智能手术装置的智能手术室；美国专利#9,473,766，用于三维观看图像的方法和设备；美国专利#9,615,806，用于创建和显示来自双平面荧光图像获取的伪影校正的三维(3D)体积数据的方法和设备；美国专利#14/644,489，用于创建和显示来自双平面荧光图像获取的伪影校正的三维(3D)体积数据的方法和设备；美国专利#9,980,691，用于三维观看图像的方法和设备；美国专利#9,349,183，用于三维观看图像的方法和设备；美国专利申请#16/195,251，用于虚拟运动、可变形组织和虚拟放射性解剖的体积医学成像中的交互式体素操作：美国专利申请#16/509,592，辅助外科手术的可植入标记物；美国专利申请#16/524,275，使用地理注册工具操纵三维医学影像；PCT/US19/478，放射科医生的虚拟工具包；美国专利申请#16/563,985，用于虚拟工具与地理注册工具的交互的方法和设备；美国专利申请#16/594,139，用于在不同配置下对结构进行3D成像检查并分析形态变化的方法和设备；美国专利申请#16/683,256，用于在不同配置下对结构进行3D成像检查并分析形态变化的方法和设备；美国专利申请#16/703,629，具有体积对向3D光标的放射科医生辅助的机器学习；PCT/US19/239，具有交互式、体积对向3D光标的放射科医生辅助的机器学习；美国临时申请#62/843,612，一种创建计算机生成的患者特定图像的方法；美国临时申请#62/846,770，一种用于改善3D体积内优先项目的可视化的优先化体绘制的方法；美国临时申请#62/850,002，一种在医务人员分析和报告期间创建人工智能生成的鉴别诊断和管理建议工具箱的方法；美国专利申请#16/654,047，一种通过实施人工智能来实时修改成像协议的方法；美国临时申请#62/856/185，一种基于眼部跟踪的图像处理方法；美国专利申请#16/506,073，一种通过指针显示血流方向的方法；美国专利申请#62/906,125，一种用于移动流体的立体渲染的方法和装置；以及，美国专利申请#62/939,685，用于开发器官特定坐标系的方法和设备。

附图说明

图1A示出了视频录制的俯视图。

图1B示出了视频录制的显示的2D图像帧。

图2示出了本发明的系统硬件。显示了一个文本框。

图3示出了系统软件。

图4示出了将摄像头坐标系映射到GPS坐标系。

图5A示出了优选的坐标系，该坐标系具有从点D向下看向x-y平面的视图。

图5B示出了优选的坐标系，该坐标系具有从点C看向y-z平面的视图。

图6A示出了在坐标系上绘制的多个观看者正在观看的位置。

图6B示出了如表格中显示的图6A中多个观看者正在观看的位置。

图7A示出了在时间点#1，其中，三个观察者正在俯瞰城市场景。

图7B示出了在时间点#2，其中，图7A中的三个观察者仍然俯瞰城市场景，但是在俯瞰该场景的不同部分。

图8A示出了从普通城市中心的杆上的近似球形的立体摄像头系统向下的视图。

图8B示出了对应于图8A中观察到的对象的β坐标。

图9A示出了自然场景，其示出了距用户不同距离的多个对象。

图9B示出了一个表格，该表格显示了对象、距离、摄像头角度、使用的摄像头和注释。

图10A示出了从左摄像头指向桌子上的两个对象(易拉罐和蜂蜜罐)的直视图(直视桌子的末端)。

图10B示出了来自左摄像头的第二幅图像，其处于相同的位置，但是向内倾斜20°(朝向易拉罐和蜂蜜罐)。

图10C示出了从左摄像头指向桌子上的两个对象(易拉罐和蜂蜜罐)的直视图(直视桌子的末端)。

图10D示出了来自左摄像头的第二幅图像，其处于相同的位置，但是向内倾斜20°(朝向易拉罐和蜂蜜罐)。

图11示出了立体摄像头系统与智能装置的集成。

图12A示出了配备有立体摄像头的智能装置的图像。

图12B示出了立体摄像头球。在优选实施方案中，立体摄像头球将移动并聚焦以观察感兴趣的对象。

图12C示出了头部显示单元(HDU)，该头部显示单元具有两个立体摄像头集群，该立体摄像头集群安装在佩戴者佩戴HDU时眼部所在的位置附近。

图12D示出了多立体摄像头系统/摄像头集群。

图13示出了智能立体摄像头的示例性立体摄像头配置。

图14A示出了在第一时间点用于智能手机的示例性立体摄像头配置。

图14B示出了在第二时间点用于智能手机的示例性立体摄像头配置。

图15A示出了第一倾斜角与第一会聚点。

图15B示出了第二倾斜角与第二会聚点。

图16A示出了第一立体分离与第一会聚点。

图16B示出了第二立体分离与第二会聚点。

图17A示出了第一倾斜角和第一立体分离与第一会聚点。

图17B示出了第二倾斜角和第二立体分离与第二会聚点。

图18A示出了一组两个(左和右)立体摄像头集群中的一些水平摄像头的布置。

图18B示出了一组两个(左和右)立体摄像头集群中的一些水平摄像头的布置。

图19A示出了具有两个立体摄像头集群的第一头部显示单元的俯视图，以向前方向提供了立体观看。

图19B示出了具有七个摄像头集群的第二头部显示单元的俯视图，其将提供近180°水平视野的立体观看。

图19C示出了具有间隔开的十个立体摄像头集群的头部显示单元的俯视图，使得可以实现360°立体观看。

图20A示出了半球形高分辨率摄像头集群的侧视图。

图20B示出了半球形高分辨率摄像头集群的底视图。

图21A示出了在第一位置包含两个高分辨率摄像头集群的凸面的底视图。

图21B示出了在第二位置包含两个高分辨率摄像头集群的凸面的底视图。

图22A示出了用户的眼部的俯视图，其显示了用户的眼部处于直向前的位置。

图22B示出了凸面上两个摄像头的俯视图，其显示了摄像头处于直向前的位置。

图22C示出了用户的眼部的俯视图，其显示了用户的眼部处于向右看的位置。

图22D示出了凸面上两个摄像头的俯视图，其显示了摄像头处于直向前的位置。

图23示出了包含三个立体摄像头对(或摄像头集群对)的大凸面的俯视图，它们显示为随时间移动。

图24示出了可旋转的立体长焦镜头系统。

图25示出了立体激光雷达系统的俯视图。

图26A示出了用户观看由图26B中的摄像头收集的图像。

图26B示出了在凸面上的两个移动摄像头的位置，其对应于图26A中的HDU方向。

图26C示出了用户观看由图26D中的摄像头收集的图像。

图26D示出了在凸面上的两个移动摄像头的位置，其对应于图26C中的HDU方向。

图27A示出了用户观看由图27B中的摄像头收集的图像。

图27B示出了凸面上的被选择的两个摄像头，它们对应于图27A中的HDU方向。

图27C示出了用户观看由图27D中的摄像头收集的图像。

图27D示出了凸面上的摄像头位置，其对应于图27C中的HDU方向。

图28示出了用于用左眼摄像头生成相应的左眼视图和用右眼摄像头生成右眼视图的网格系统。

图29A示出了具有立体摄像头的头部显示单元的外视图。

图29B示出了具有立体摄像头的头部显示单元的内视图(如果向内看)。

图30A示出了具有两个立体摄像头集群的头部显示单元。

图30B示出了摄像头集群。

图31示出了两个或更多个用户之间的示例性单向立体交互。

图32示出了两个或更多个用户之间的示例性双向立体交互。

图33A示出了在具有立体摄像机的笔记本电脑上工作的佩戴具有立体显示器的HDU的第一用户与在具有立体摄像机的笔记本电脑上工作的佩戴具有立体显示器的HDU的第二用户之间的立体通信。

图33B示出了具有带有立体摄像头的笔记本电脑的第一用户与佩戴具有立体显示器的HDU的第二用户之间的立体通信。

图33C示出了具有笔记本电脑的第一用户与佩戴HDU并拿着具有立体摄像头的电话的第二用户之间的立体通信。

图33D示出了在具有立体摄像头的笔记本电脑上工作的佩戴具有立体显示器的HDU的第一用户与在具有立体摄像头的电话上工作的佩戴具有立体显示器的HDU的第二用户之间的立体通信。

图34A示出了佩戴HDU的用户，该用户在第一位置拿着具有立体摄像头的智能手机。

图34B示出了佩戴HDU的用户，该用户在第二位置拿着具有立体摄像头的智能手机。

图34C示出了佩戴HDU的用户，该用户在第三位置拿着具有立体摄像头的智能手机。

图35A示出了用轮子上的摄像头集群观察摄影师的俯视图。

图35B示出了在轮子上的摄像头集群上观察摄影师的前视图。

图36A示出了橄榄球场的俯视图，显示了多个摄像头集群的放置。

图36B示出了橄榄球场的侧视图，显示了多个摄像头集群的放置。

图37A示出了具有不同镜头组的立体摄像头集群。

图37B示出了来自图37A的横截面A的俯视图。

图37C示出了来自图37A的横截面B的俯视图。

图37D示出了来自图37A的横截面C的俯视图。

图38示出了用户在城镇中行走并记录立体图像。

图39A示出了头部显示单元上的立体摄像头集群的俯视图。

图39B示出了头部显示单元上的立体摄像头集群的侧视图。

图40A示出了立体摄像头系统的瞬时视野(field of view,FOV)的俯视图。

图40B示出了立体摄像头系统的瞬时视野(FOV)的俯视图。

图41A示出了用户的图像和用户的自然背景场景的左视图。

图41B示出了用户的图像和用户的模拟的立体背景场景的实施的左视图。

图42A示出了用户的图像和用户的动态模拟的立体背景场景的实施的左视图。

图42B示出了用户的图像和用户的动态模拟的立体背景场景的实施的左视图。

图43A示出了第一用户的立体图像的左视图。

图43B示出了第一用户的立体图像的左视图。4300b示出了第一用户，该用户的面部现在是棕褐色的。

图44A示出了具有真实服装外观的用户的立体图像集的左视角。

图44B示出了具有模拟服装外观的用户的立体图像集的左视角。

图45A示出了在正在进行事件的场景中放置具有宽视野的立体摄像头系统。

图45B示出了放置第一用户在立体HDU上观看场景内的第一视野。

图45C示出了放置第二用户在立体HDU上观看场景内的第二视野。

图46示出了一个文本框，该文本框显示了用户可以用来修改立体图像的姿势或动作。

图47示出了用于将立体摄像头与HDU集成的流程图。

图48示出了使用激光雷达以优化立体摄像头上的图像获取。

图49示出了HDU上的立体激光雷达系统。

图50A示出了在摄像头切换期间使用多个镜头的公共光圈来克服用户不愉快的“图像偏移”。

图50B示出了使用在第一位置具有反射镜的公共光圈系统。

图50C示出了使用在第二位置具有反射镜的公共光圈系统。

具体实施方式

流程图没有描绘任何特定编程语言的语法。相反，流程图示出了本领域普通技术人员制造电路或生成计算机软件以实施根据本发明所需的处理所需的功能信息。应当注意的是，许多常规程序元素，如循环和变量的初始化以及临时变量的使用，都没有显示出来。本领域普通技术人员将会理解，除非本文另有说明，否则所描述的特定的步骤顺序仅是说明性的，并且可以在不脱离本发明精神的情况下改变。因此，除非另有说明，下面描述的步骤是无序的，这意味着，当可能的时候，这些步骤可以以任何方便或期望的顺序实施。

图1示出了：

图1A示出了视频录制的俯视图。100示出了视频摄像头。101示出了视频摄像头的视野。

图1B示出了视频录制的显示的2D图像帧。102示出了视频录制的2D图像帧。这种2D图像帧可以呈现在大型电影院屏幕或家庭电视上。

图2示出了本发明的系统硬件。显示了一个文本框。

本专利的一个关键系统硬件是立体摄像头系统的使用。设想了安装在不同智能装置上的立体摄像头，该智能装置包括但不限于以下：智能手机；平板电脑；台式电脑监视器；以及笔记本电脑。另一个实施例是将移动立体摄像头安装在凸网格上。另一个实施例是使用立体摄像头集群。立体摄像头系统将生成场景中所有对象的极高分辨率的复合立体数据集。摄像头将根据它们的预期应用具有可变的眼间距离。例如，笔记本电脑会具有立体摄像头，其间距约为标准的人眼间距，约为2.5英寸。其他立体球形摄像头设置(在本专利的后面讨论)将具有比人的两眼距离大得多的立体分离，这对于以远距离提供立体观看是有利的。镜头可以是变焦镜头的定焦镜头。例如，变焦镜头可以与具有全帧设置的24-70mm镜头一起使用。

本专利的另一个关键系统硬件是视觉显示选项的使用。可以使用立体头部显示单元(HDU)，如增强现实、混合现实或虚拟现实显示器。实施例包括但不限于HoloLens、MagicLeap、Oculus、HTC Vive。理想情况下，立体HDU会同时具有头部跟踪和眼部跟踪。接着，选项是大型家庭影院电视显示器(例如，用于用户的180°-270°水平视野)，其中用户可以结合此使用各种立体显示器来产生大型FOV立体显示器。接着是与多投影仪系统相结合的大型家庭影院屏幕(例如，用于用户的180°-270°水平视野)。还可以结合包括音频系统(例如，麦克风和/或扬声器)和通信链路的系统接口。

最后，系统硬件包括支持附件。首先，全球定位系统(global positioningsystem，GPS)可以结合到摄像头系统中。接着，惯性测量单元(IMU)系统可以被结合到摄像头系统中。接着，可以结合图形用户界面(graphical user interface，GUI)，如键盘、操纵杆、鼠标或控制器。此外，激光雷达系统可以结合到摄像头系统或头部显示单元中，如美国专利申请16/828,352中所描述的，其全部内容通过引用并入本文。接着，需要计算机系统。接着，扬声器将被用于向用户提供声音。需要电源。需要麦克风用于通过语音命令进行控制。摄像头系统需要记录仪用于图像回放。需要三脚架。根据需要，也可以使用电缆。

图3示出了系统软件。首先，需要系统初始化软件和系统控制软件。需要软件来提供系统的关键组件之间的通信，该组件包括摄像头系统、HDU、图像记录仪和计算机系统。还需要数据集处理软件。例如，摄像头系统可以生成第一大小(例如，每帧150百万像素(MP))的数据集，但是以明显更小的大小(例如，每帧6MP)向用户呈现数据。在一些实施方案中，大数据集会存储在云中，并在观看期间进行流式传输(例如，通过5G速率)。因此，将需要通信软件(例如，具有互联网)。在一些实施方案中，可以基于用户的视角来实施下载的数据集的部分。例如，如果用户向前看，场景的前部将被流式传输。而且，如果用户向左看，那么场景的左侧部分将被流式传输。接着，将需要摄像头选择软件(在本专利后面讨论的多个摄像头系统中)。接着，将需要用于摄像头系统控制输入的软件。例如，输入可以来自滚球鼠标GUI或来自经由记录仪的语音命令或来自HDU传感器(例如，头部跟踪和眼部跟踪)。接着，需要图像稳定软件。接着需要目标跟踪软件。例如，如果目标可以是橄榄球队的防守后卫。接着，需要场景识别软件。例如，野生动物保护主义者寻找动物和危险区域。接着，需要在网格上实施目标跟踪与摄像头移动的集成的软件。接着，需要图像优化软件，其包括优化来自摄像头系统的图像获取或在获取后优化图像。例如，摄像头系统可以实施任务，其包括但不限于以下内容：自动对焦；会聚角调节；以及结合用于图像优化的距离数据。接着，可以实施图像拼接软件。例如，在多摄像头集群系统中，其中，摄像头集群内的第一摄像头与摄像头集群内的第二摄像头具有重叠的视野，可以将两个图像拼接在一起以去除重叠并生成一个更大的合成图像。实施了用于集成多个摄像头系统(例如，具有HDU的凸面网格系统上的双摄像头)的软件。最后，实施了电源监控管理软件。

图4示出了将摄像头坐标系映射到GPS坐标系。400示出了确定精确的初始摄像头位置(例如，在t＝0时，确定摄像头的GPS坐标)的处理块。注意，可以对具有已知GPS位置的对象(如旗杆)实施校准。401示出了初始化精确摄像头方向的处理块(例如，结合GPS初始化惯性测量单元，以确定相对于真北和水平的摄像头方向和水平，它们是整个摄像头系统的一部分)。例如，关于图5A中概述的坐标系，在第一时间点，整个摄像头装置α角可以是90°，并且摄像头β角可以是0°，以对应于真北和水平。低成本系统的一个选择可以是结合木匠水平仪的指南针。此时，摄像头系统将被地理注册。注意，可以结合头部跟踪系统。402示出了相对于哪对摄像头初始化眼部跟踪系统的处理块。403示出了处理块，其中，对于时间点，记录随时间的摄像头的位置、摄像头的方向(如果摄像头在HDU上，其将考虑头部位置的改变)以及眼部运动(例如，用于摄像头对选择)。注：图5A中描述的坐标系相对于摄像头是固定的。注意，摄像头系统的方向可以重新映射到基于来自IMU的数据的GPS和北向系统。例如，在第一时间点，摄像头的指向方向(定义为α角90°)可以与0°的真北对齐；因此，90°的α角将对应于0°的真北。IMU可以在时间点#2确定摄像头将方向改变为东北(45°)；因此，90°的α角将对应于45°的真东北。404示出了处理块，其中对于时间点，记录来自摄像头的图像。注：可以调用图像稳定。注：一些摄像头可以不实施连续录制。405示出了基于激光雷达距离、摄像头位置、摄像头方向(例如，可以基于头部跟踪而改变)的组合和集成来分配场景GPS位置内的对象的处理块。例如，这可以通过场景映射或用户在对象上放置十字准线来自动完成。可以由配备有摄像头系统的两个地理上分离的观察者使用交叉/切除方法来微调对象的位置。注：眼部跟踪也可以用于确定：随着时间的推移，用户看到了哪些位置。录音也可以补充图像。

图5A为从点D向下看向x-y平面的视图。这显示了x-y平面。摄像头位于原点。原点的参考可以是GPS位置。y轴被定义为视频摄像头面向的方向。对于一对立体摄像头，y轴被定义为从两个摄像头的中点开始沿摄像头所观察的前方的方向。在使用多摄像头的情况下，任意摄像头可以被定义为y轴。角度+α或-α用于描述场景中点的第一坐标。使用此坐标系，点A的α为0°，点B的α约为+45°，点C的α为+90°。

图5B示出了从点C看向y-z平面的视图。摄像头位于原点。z轴垂直于(法向于)x-y平面。角度+β或-β用于描述场景中点的第二坐标。使用此坐标系，点A的β为0°，点B的β为+45°，点D的β为+90°。每个点也将有第三坐标，其为离原点的距离。因此，每个点将具有坐标(α，β，r)，其中r是从该点到原点的距离。因此，点A将具有坐标(0°，0°，16m)。点B将具有坐标(+45°，+45°，13m)。点C将具有坐标(+90°，0°，25m)。点D将具有坐标(0°，+90°，25m)。应当注意的是，该摄像头系统的原点位于地图上的特定GPS位置。因此，场景内的对象可以被映射到这个优选的摄像头坐标系上。由于可以映射摄像头坐标系(如果摄像头移动或改变方向，还可以重新映射)，因此摄像头图像中的对象也可以被分配GPS坐标。

图6A示出了在坐标系上绘制的多个观看者正在观看的位置。

图6B示出了如表格中显示的图6A中多个观看者正在观看的位置。为三个观看者显示七个时间点。每个观看者都具有独特的观看模式。在本专利中，每个观察者将被提供个性化的立体图像集。

图7A示出了在时间点#1，其中，三个观察者正在俯瞰城市场景。观察者#1在时间点#1的视野700a被定位成使得观察者#1正在观察一些人外出走动的公园。观察者#1的视野朝着公园水平的小的椭圆形视野。观察者#2在时间点#1的视野701a被定位成使得观察者#2正在观察沿着城市街道的交通状况。观察者#2的视野是矩形视野，其包含了街道的重要部分。观察者#2的视野朝着街道水平的狭窄的梯形视野。观察者#3在时间点#1的视野702a被定位成使得观察者#3正在观察建筑物顶部上的旗杆。观察者#3的视野是狭窄的视野。观察者#3的视野朝着摄像头水平上方的梯形视野。

图7B示出了在时间点#2，其中，图7A中的三个观察者仍然俯瞰城市场景，但是在俯瞰该场景的不同部分。观察者#1在时间点#2的视野700b被定位成使得观察者#1现在正在观察沿着城市街道的交通模式。观察者#1在时间点#2的视野示出了街道水平的椭圆形视野。观察者#2在时间点#2的视野701b被定位成使得观察者#2现在正在观察人们正在走动的公园。观察者#2在时间点#2的视野示出了公园水平的梯形视野。观察者#3在时间点#2的视野702b被定位成使得观察者#3现在正在观察整个建筑，其在顶部上包含旗杆。观察者#3的视野是狭窄的视野。观察者#3的视野朝着摄像头水平上下方的梯形视野。

图8A示出了从普通城市中心的杆上的近似球形的立体摄像头系统向下的视图。在图的中心的黑色圆圈表示近似球形的立体摄像头系统的位置，其位于该坐标系的原点。摄像头在离地面20英尺的杆子上。x-y平面平行于地面，但高出地面20英尺。近似球形的立体摄像头系统具有在视线存在的任何地方获取非常高分辨率的图像的能力。摄像头系统持续运行，提供观看者选择的任何方向的近距离、中等距离和远距离会聚。因此，位于奥兰多的用户能够从近球面立体摄像头系统中选择图像流的一部分，并观察在他或她选择的感兴趣区域上正在发生的事情。假设奥兰多的用户想要观看安装在建筑物800的顶部上的旗帜，其坐标为(+45°，+20°，2000英尺)。类似地，位于伦敦的男人可以选择他感兴趣的图像的一部分。在此实施例中，伦敦男人对汽车802感兴趣，其坐标为(+90°，-30°，300英尺)。类似地，位于东京的女人可以选择她感兴趣的图像的一部分。她有兴趣查看坐标为(-45°，-60°，100英尺)的人801。虚线圆803示出了一个区域，其中，来自摄像头系统的处于立体模式的两个紧密间隔(例如，相距10英寸)的摄像头可以联合使用，以生成可能发生会聚的立体图像。虚线圆804示出了一个区域，其中，来自摄像头系统的处于立体模式的两个中等间隔(例如，相距20英寸)的摄像头可以联合使用，以生成可能发生会聚的立体图像。注意，虚线圈804之外示出了其中立体观看不可用的区域。注意，使用多个摄像头以创建合成图像。因此，来自每个摄像头的图像将被拼接在一起。

图8B示出了对应于图8A中观察到的对象的β坐标。

图9A示出了自然场景，其示出了距用户不同距离的多个对象。该摄像头系统具有近实时系统的能力，以基于用户在不同时刻的眼部跟踪来实现可能最佳的照片。在该时间点显示的图像具有观察该场景的人可能感兴趣的若干个对象。在该实施方案中，将需要眼部跟踪系统(例如，在头部显示单元上)。例如，如果用户正在观看山900或云901，则所使用的摄像头(例如，位于三脚架或HDU上)将被优化用于远距离观看。如果用户正在观看鹿902，那么用于向用户传递图像的摄像头将被优化用于中等距离。最后，如果用户正在观看附近的花，那么用于向用户传递图像的摄像头将被优化用于更近的距离。一个示例性场景：用户正在四处走动，为国家公园开发旅行日志。用户具有带有两对立体摄像头和一个远距离摄像头的头戴设备。录制是实时完成的。摄像头可以使用定焦镜头或变焦镜头。例如，利用针对附近对象(例如，臂长，如花902)的立体图像优化的第一对变焦镜头。利用针对中等距离对象(例如，鹿902)的立体图像优化的第二对变焦镜头。单个摄像头用于远距离对象(例如，山900或云901)。头戴设备和眼部跟踪，其根据用户观看和提供对话的位置切换摄像头对。在一些实施方案中，以附近对象的近会聚、中等距离对象的中会聚或远距离对象的无限会聚来实施拍摄，因此在单个时间点中仅收集一个距离的图像。在其他实施方案中，摄像头可以同时拍摄图像，并将图像拼接为单个合成图像。

图9B示出了一个表格，该表格显示了对象、距离、摄像头角度、使用的摄像头和注释。注意，如果需要，与近距离对象相比，中等距离对象的立体距离可以更宽。

图10A示出了从左摄像头指向桌子上的两个对象(易拉罐和蜂蜜罐)的直视图(直视桌子的末端)。注意，近对象与远对象略有重叠。

图10B示出了来自左摄像头的第二幅图像，其处于相同的位置，但是向内倾斜20°(朝向易拉罐和蜂蜜罐)。注意，与图10A相比，对象看起来稍微分开一些，并且可以更多得看到蜂蜜罐标签。还要注意，在这张20°倾斜的图像中可以看到一把椅子和一扇门(在图10A中没有显示出来)。因此，通过在向内倾斜的图像上实现改变两个结构(蜂蜜罐和易拉罐)的重叠的生理上正确的效果来产生更吸引眼部的图像，向内倾斜摄像头改进了现有技术。此外，这种技术对于利用图像的中心部分(而不是外围部分)是有用的，其可以具有优异的质量。

图10C示出了从左摄像头指向桌子上的两个对象(易拉罐和蜂蜜罐)的直视图(直视桌子的末端)。注意，近对象与远对象略有重叠。

图10D示出了来自左摄像头的第二幅图像，其处于相同的位置，但是向内倾斜20°(朝向易拉罐和蜂蜜罐)。注意，与图10C相比，对象看起来稍微分开一些，并且可以更多得看到蜂蜜罐标签。还要注意，在这张20°倾斜的图像中可以看到一把椅子和一扇门(在图10A中没有显示出来)。

图11示出了立体摄像头系统与智能装置的集成。该图示出了与互联网1100结合操作以促进用户之间的立体摄像头互换的各种立体摄像头系统和立体显示系统。1101显示笔记本电脑，其中，立体摄像头由2个黑色填充的圆圈描绘。假设这些立体摄像头位于笔记本电脑的内部(例如，笔记本电脑显示屏的上方)，并且笔记本电脑显示屏的倾斜角使得这些摄像头聚焦在笔记本电脑用户的面部，那么立体图像可以通过互联网发送到预期的接收者。这些立体摄像头将根据眼间距离分开，这将包括但不限于以下内容：成年人群中与一般成人或普通成人的相互作用标准；可调节以匹配接收者的面部结构；接近匹配不同年龄组的青年人群；宽度适合面部结构大的人等。这些立体摄像头的视角可以向内倾斜，以在距离笔记本电脑用户面部的标称距离处提供会聚。该会聚点也可以是可调节的。这将生成生理学上最精确的图像。立体摄像头位置的改变可以在外侧(即，远离笔记本电脑用户的显示器侧的外侧)。眼间距离可以如上所述。在这种配置中，立体摄像头可以直接指向前方，以向接收者提供笔记本电脑用户正在看的风景的立体图像。立体摄像头与互联网的连接显示为单向通信，因为笔记本电脑通常不会被认为是立体单元。然而，如果笔记本电脑的用户佩戴AR/MR/VR头戴设备1102或智能眼镜1103，那么将笔记本电脑连接到互联网的箭头可以是双向箭头。另一种配置是用户使用立体摄像头在笔记本电脑上录制讨论或讲座。讨论或讲座可以在以后的某个时候通过互联网或某种数字记录装置传播。1104描绘了附加到平板电脑的立体摄像头。关于眼间距离、会聚以及互联网连接的论述与为笔记本电脑提供的论述一样。1105表示智能手机。在这种配置中，立体摄像头将被放置在电话的两侧，使得用户可以在(例如，距离面部)一定距离握住电话，用于使用智能手机的显示侧进行人际立体交换。可替代地，使用智能手机的背面，立体摄像头可以指向某个对象或一般风景。智能手机可以预先制造成具有眼间距离。前后立体摄像头的会聚可以像笔记本电脑一样处理。智能手机与互联网的连接通常是单向的，即从智能手机发送立体图像。然而，如果智能手机的用户佩戴AR/MR/VR头戴设备1102或智能眼镜1103，那么将笔记本电脑连接到互联网的箭头可以是双向箭头。1102描绘了通过互联网具有双向通信的AR/MR/VR头戴设备。立体摄像头可以嵌入头戴设备中，靠近佩戴者的眼部。这些立体摄像头将收集佩戴者面前的对象和风景的立体图像，并通过互联网传输立体图像。同时，佩戴者可以观看来自另一个人的立体图像，该另一个人配备有立体摄像头，如该图中所示的那些。这些立体摄像头名义上可以指向正前方，但可以被调节以提供会聚。用于头戴设备的立体图像的录制能力在后面的图中描述。1103描绘了智能眼镜。立体摄像头可以嵌入智能眼镜中，靠近佩戴者的眼部。智能眼镜将具有不同的操作模式：收集和传输立体图像，同时同步提供“看穿”能力；以及在看穿能力不透明的情况下观看立体图像。用于智能眼镜的立体图像的录制能力在后面的图中描述。用于头戴设备的立体图像的录制能力在后面的图中描述。1106描绘了具有用于显示的监视器1107的典型台式电脑或桌面侧电脑。立体摄像头将安装在监视器1107上，并且眼间距离、会聚以及与互联网的通信将类似于笔记本电脑。然而，监视器1107将仅具有安装在监视器的显示侧上的立体摄像头。其他实施方案包括手持式立体摄像头1108。在一些实施方案中，智能装置可以直接连接(例如，蓝牙)到包括智能眼镜1103和AR/MR/VR头戴设备1102的立体观看装置。

图12A示出了配备有立体摄像头的智能装置的图像。在优选实施方案中，立体摄像头被放置在智能装置1200上指定的眼间距离处。这些摄像头被放置成使得将存在产生立体图像的重叠区域。

图12B示出了立体摄像头球。在优选实施方案中，立体摄像头球将移动并聚焦以观察感兴趣的对象。立体球形摄像头1201可以是球形的或其他圆形或凸形的。立体摄像头的位置将根据期望的观看方向和立体分离随时间改变。该方向可以来自目标跟踪或来自用户。凸球系统上较大的间隔可用于以更远距离进行立体观察。

图12C示出了头部显示单元(HDU)，该头部显示单元具有两个立体摄像头集群，该立体摄像头集群安装在佩戴者佩戴HDU时眼部所在的位置附近。配备有第一立体摄像头集群和第二立体摄像头集群的HDU 1202可以是增强现实(augmented reality,AR)、混合现实(mixed reality,MR)或虚拟现实(virtual reality,VR)单元。

图12D示出了多立体摄像头系统/摄像头集群。注意，摄像头可以是单个摄像头或摄像头集群。注意，基于感兴趣的动作或对象的位置，将选择摄像头或摄像头集群，以提供感兴趣的对象的高分辨率。不同的用户可以选择不同的感兴趣的区域，并观看特定事件的不同部分，如橄榄球比赛。

图13示出了智能立体摄像头的示例性立体摄像头配置。1301示出了针对短距离优化的第一立体摄像头对的右视图。1302示出了针对短距离优化的第一立体摄像头对的右视图。1303示出了针对中等距离优化的第一立体摄像头对的右视图。1304示出了针对中等距离优化的第一立体摄像头对的右视图。1305示出了针对更远距离优化的第一立体摄像头对的右视图。1306示出了针对更远距离优化的第一立体摄像头对的右视图。注意，不同的倾斜角可用于不同的立体摄像头对。可以使用具有可变焦距(例如，70-200mm、10-18mm等)的变焦镜头或定焦镜头(例如，17mm和85mm)。例如，70-200变焦距离将具有约3：1的比例，因此它被描述为3倍变焦。例如，使用变焦镜头，可以用缩小的图像(例如，10mm)来实施图像，但是当放大发生时(例如，18mm)，视角变窄，并且图像中的项目看起来更靠近。例如，对于85mm的定焦镜头，人们必须物理地将摄像头向内移向图像，以改变视角并使项目看起来更近。注意，85mm的定焦镜头具有85mm的焦距。通常，焦距更长的镜头会比较长，焦距更短的镜头会比较短。对于全帧摄像头(无裁切系数)，50mm镜头约等于人眼。佳能的全帧传感器的测量尺寸为24×36mm。如果变焦设置小于50mm，如24mm，则这将显示为广角变焦。另一方面，如果镜头设置更长，如70mm，那么这将显示为窄角长焦传感器。对于具有1.6的裁切系数的镜头，32mm的镜头将相当于人眼。广角镜头非常适合拍摄风景、大群人或创造强烈的视角。长角长焦设置适合拍摄野生动物。光圈是让光线进入摄像头的开口。例如，光圈f值是开口的大小，较大的数字对应较小的开口。所有镜头都有最大光圈f值。光圈的大小决定了有多少光线通过镜头。这影响快门速度和曝光。光圈f值是你正在使用的镜头的开口与焦距之比。例如，假设光圈为1英寸，并且镜头为50mm镜头(约2英寸)，则光圈f值为F/2。光圈F值也决定了景深或视野中被聚焦物体的距离。例如，iPhone 12有两个摄像头，包括超广角和广角，而iPhone12Pro有超广角、广角和长焦镜头。

图14A示出了在第一时间点用于智能手机的示例性立体摄像头配置。1400a示出了智能手机。1401a示出了智能手机1400a上的右侧立体摄像头的第一位置。1402a示出了智能手机1400a上的左侧立体摄像头的第一位置。注意，在一些实施方案中，右侧立体摄像头1401a和左侧立体摄像头1402a将具有第一倾斜角和第一立体分离。

图14B示出了在第一时间点用于智能手机的示例性立体摄像头配置。1400b示出了智能手机。1401b示出了智能手机1400b上的右侧立体摄像头的第二位置。1402b示出了智能手机1400上的左侧立体摄像头的第二位置。注意，在一些实施方案中，右侧立体摄像头1401b和左侧立体摄像头1402a将具有第二倾斜角和第二立体分离。第二倾斜角将不同于第一倾斜角。第二立体分离将不同于第一立体分离。具有合适倾斜角的窄立体分离(小于1cm)可用于获得非常小结构(例如，昆虫，如蚂蚁)的立体图像。这可以在HDU上看到。

图15A示出了左摄像头和右摄像头都具有第一倾斜角用于第一会聚点的俯视图。1500a示出了第一会聚点。1501a示出了具有第一倾斜角的左摄像头，其近似为α＝0°。1502a示出了具有第一倾斜角的右摄像头，其近似为α＝0°。

图15B示出了左摄像头和右摄像头都具有第二倾斜角用于第二会聚点的俯视图。1500b示出了第二会聚点，与图15A中的配置相比，第二会聚点更靠近左摄像头1501b和右摄像头1502b。1501b示出了具有第二倾斜角的左摄像头，其近似为α＝+20°。1502b示出了具有第二倾斜角的右摄像头，其近似为α＝-20°。注意，与图15A相比，倾斜角更陡。注意，当会聚点更近时，倾斜角更陡(与图15A相比)。

图16A示出了左摄像头和右摄像头都具有第一立体分离用于第一会聚点的俯视图。1600a示出了第一会聚点。1601a示出了左摄像头，并且1602a示出了右摄像头。注意第一立体分离1603a。

图16B示出了左摄像头和右摄像头都具有第一立体分离用于第二会聚点的俯视图。1600b示出了第二会聚点。1601b示出了左摄像头，并且1602b示出了右摄像头。注意，第二立体分离1603b，其与图16A相比间隔更近。

图17A示出了左摄像头和右摄像头具有第一立体分离和第一倾斜角用于第一会聚点的俯视图。1700a示出了第一会聚点。1701a示出了具有第一倾斜角的左摄像头，其近似为α＝0°。1702a示出了具有第一倾斜角的右摄像头，其近似为α＝0°。1703a示出了第一立体分离。

图17B示出了左摄像头和右摄像头具有第二立体分离和第二倾斜角用于第二会聚点的俯视图。1700b示出了第二会聚点，与图17A中的配置相比，第二会聚点更靠近左摄像头1701b和右摄像头1702b。1701b示出了具有第二倾斜角的左摄像头，其近似为α＝+20°。1702b示出了具有第二倾斜角的右摄像头，其近似为α＝-20°。注意，与图17A相比，倾斜角更陡。注意，当会聚点更近时，倾斜角更陡(与图15A相比)。此外，注意，与图17A相比，立体分离1703a减小了。这种组合产生了生理上精确的图像。

图18A示出了一组两个(左和右)立体摄像头集群中的一些水平摄像头的布置。双摄像头集群系统(一个用于左眼，一个用于右眼)提供周围环境的高分辨率图像和接近实时的立体图像。对于左侧摄像头集群，摄像头被标记为(从外侧到内侧)“1H”、“2H”、“3”、“4H”和“5H”。对于右侧摄像头集群，摄像头被标记为(从外侧到内侧)“5H”、“4H”、“3”、“2H”和“1H”。例如，用户可以通过从左摄像头集群中选择摄像头5H和从右摄像头集群中选择摄像头1H来实施到近会聚点的近会聚。例如，用户可以通过从左摄像头集群中选择摄像头4H和从右摄像头集群中选择摄像头2H来实施到中距离会聚点的中会聚。

包括此表，它对应于图18A，“走动时使用双摄像头集群”。在下表中，“L”表示左，“R”表示右，“H”表示水平，并且数字表示选择的摄像头。

视角	左眼摄像头选择	右眼摄像头选择
			笔直向前，不会聚	L3	R3
中会聚	L4H	R2H
			近会聚	L5H	R1H
向左看，不会聚	L2H	R2H
			向左看最远处，不会聚	L1H	R1H
向右看，不会聚	L4H	R4H
			向右看最远处，不会聚	L5H	R5H

图18B示出了一组两个(左和右)立体摄像头集群中的一些水平摄像头的布置。双摄像头集群系统(一个用于左眼，一个用于右眼)提供周围环境的高分辨率图像和接近实时的立体图像。对于左侧的摄像头集群，显示了两个垂直列。对于左侧摄像头集群的外侧列，摄像头被标记为(从上到下)“1V”、“2V”、“3”、“4V”和“5V”。对于左侧摄像头集群的内侧列，摄像头被标记为(从上到下)“4，2”、“4H”和“4，4”。对于右侧的摄像头集群，显示了两个垂直列。对于右侧摄像头集群的外侧列，摄像头被标记为(从上到下)“1V”、“2V”、“3”、“4V”和“5V”。对于右侧摄像头集群的内侧列，摄像头被标记为(从上到下)“2，2”、“4H”和“4，4”。

包括此表，它对应于图18B，“走动时使用双摄像头集群”。在下表中，“L”表示左，“R”表示右，“V”表示垂直，并且数字表示选择的摄像头。

视角	左眼摄像头选择	右眼摄像头选择
			笔直向前，不会聚	L3	R3
向上看，不会聚	L2V	R2V
			向上看最高处，不会聚	L1V	R1V
向下看，不会聚	L4V	R4V
			向下看最低处，不会聚	L5V	R5V
以中会聚向上看	L4，2	R2，2
			以中会聚向下看	L4，4	R2，4

所示的摄像头旨在说明性，并且各种其他摄像头选择可以添加到更复杂的摄像头集群中。

例如，假设儿子正旅行穿过西斯廷教堂。假设儿子佩戴着一个具有2个摄像头集群(1对)的HDU。假设母亲不在场，但想加入这场史诗般的旅行。母亲可以控制这对摄像头集群，并且看到她想看到的事物。假设这对摄像头集群位于用户的HDU的前面。假设母亲看到右边有一幅漂亮的画。她可以使用摄像头集群中的上述摄像头看向右侧，并且可以看到且欣赏这幅画。当她看不同的点时(通过迅速扫视眼部运动)，她的HDU会将视野切换到新的位置。在如图19所示的一些实施方案中，她将能够切换到不同的一对摄像头集群，以更好地看到右侧的画。

图19A示出了具有两个立体摄像头集群的第一头部显示单元的俯视图，以向前方向提供了立体观看。1900示出了第一头部显示单元。1901示出了将用于用户左眼的第一摄像头集群。1902示出了将用于用户右眼的第二摄像头集群。佩戴HDU的用户可以观看来自这对立体摄像头集群的图像，因此可以观看具有深度感知的3D图像。

图19B示出了具有七个摄像头集群的第二头部显示单元的俯视图，其将提供近180°水平视野的立体观看。1903示出了第二头部显示单元。1904示出了第一摄像头集群。1905示出了第二摄像头集群。1906示出了第三摄像头集群。1907示出了第四摄像头集群。1908示出了第五摄像头集群。1909示出了第六摄像头集群。1910示出了第七摄像头集群。可以利用不同对的摄像头集群以提供来自不同角度的立体图像。例如，通过选择第一摄像头集群1904和第二摄像头集群1905，可以在HDU的右侧实施立体成像。此外，这种配置还能够通过更大的立体距离在更长的距离内提供立体图像，如选择第一摄像头集群1904和第三摄像头集群1906。此外，如果通过彼此相距一定距离的两个HDU收集图像，则可以在非常远的距离实施立体成像。延伸部分(例如，从HDU延伸的构件)也可以用于增加立体分离。

图19C示出了具有间隔开的十个立体摄像头集群的头部显示单元的俯视图，使得可以实现360°立体观看。1911示出了HDU。1912示出了第一摄像头集群。1913示出了第二摄像头集群。1914示出了第三摄像头集群。1915示出了第四摄像头集群。1916示出了第五摄像头集群。1917示出了第六摄像头集群。1918示出了第七摄像头集群。1919示出了第八摄像头集群。1920示出了第九摄像头集群。1921示出了第十摄像头集群。跟踪在地理上与摄像头分离的用户的眼部运动和头部运动，其中，摄像头配备有可变变焦能力。例如，假设儿子站在一个美术馆的中央，母亲选择观看儿子身后远处的一座雕像。她可以选择第八摄像头集群1919和第十摄像头集群1921，并在她的HDU上用深度感知以3D方式观看雕像。

图20A示出了半球形高分辨率摄像头集群的侧视图。

图20B示出了半球形高分辨率摄像头集群的底视图。

图20A示出了半球形高分辨率摄像头集群的侧视图。如图所示，多个摄像头(显示为黑色圆圈)位于沿半球(灰色大圆圈)的不同位置。摄像头可以具有相同或不同的摄像头属性(例如，焦距、光圈f值、光圈等)。任何两个摄像头都可以用于立体图像对。此外，所选的立体图像对可以随时间而改变。例如，半球形高分辨率摄像头集群的侧面可以被设计成使得可以在50码外获得立体图像。考虑到人类的眼部通常彼此相距2.5英寸，并且在约20英尺外获得良好的立体图像，并且在50码处需要立体图像，那么，半球形高分辨率摄像头集群上的两个摄像头的间隔距离可以是18.75英寸。例如，在第一场景中，如果第一场橄榄球比赛在主队的10码线上进行，那么可以使用指向主队的10码线的立体图像对集。可替代地，如果第二场橄榄球比赛在50码线上进行，那么可以使用指向50码线的立体图像对集。第二场景是四分卫在30码线处将球传给位于达阵区中的接球手。观看者可以在第一时间点观看来自第一组摄像头的图像以聚焦于四分卫，然后在第二时间点观看来自第二组摄像头的图像以观看达阵区中的动作。安装摄像头的结构可以具有不同的尺寸和形状(即，各种曲面)。

图20B示出了半球形高分辨率摄像头集群的底视图。如图所示，多个摄像头(显示为黑色圆圈)位于沿半球(灰色大圆圈)的不同位置。

图21A示出了在第一位置包含两个高分辨率摄像头集群的凸面的底视图。2100a示出了凸面。注意，表面是优选实施方案；然而，其他方法包括：将摄像头放置在机械臂上，以实现所需的立体分离、所需的位置和所需的倾斜角。2101a示出了在第一位置的第一摄像头(或第一摄像头集群)。2102a示出了在第一位置的第二摄像头(或第二摄像头集群)。注意，该系统可以在可移动的对象上，可移动的对象可以包括具有轮子的装置、飞行无人机、橄榄球场上方的电线或头部显示单元。

图21B示出了在第二位置包含两个高分辨率摄像头集群的凸面的底视图。本发明的关键改进是在位置上移动以实现动态立体分离、动态倾斜角、动态位置的能力。这些可以被自动控制或被用户的输入控制。2100b示出了凸面。注意，表面是优选实施方案；然而，其他方法包括：将摄像头放置在机械臂上，以实现所需的立体分离、所需的位置和所需的倾斜角。2101b示出了在第二位置的第一摄像头(或第一摄像头集群)。2102b示出了在第二位置的第二摄像头(或第二摄像头集群)。

图22A示出了用户的眼部的俯视图，其显示了用户的眼部处于直向前的位置。2200a是用户的左眼，其处于直向前的位置。2201b是用户的右眼，其处于直向前的位置。

图22B示出了凸面上两个摄像头的俯视图，其显示了摄像头处于直向前的位置。2202a示出了凸面，其在本实施例中是球体。2203a是对应于用户的左眼的摄像头，其处于直向前的位置。2204a是对应于用户的右眼的摄像头，其处于直向前的位置。

图22C示出了用户的眼部的俯视图，其显示了用户的眼部处于向右看的位置。2200b是用户的左眼，其现在处于向右看的位置。2201b是用户的右眼，其现在处于向右看的位置。

图22D示出了凸面上两个摄像头的俯视图，其显示了摄像头处于直向前的位置。2202b示出了凸面，其在本实施例中是球体。2203b是对应于用户的左眼的摄像头，其现在处于向右看的位置。2204b是对应于用户的右眼的摄像头，其现在处于向右看的位置。因此，在一些实施方案中，摄像头位置由用户的头部位置(其由头部跟踪系统，例如HDU上的惯性测量单元(IMU)确定)确定，并且，摄像头方向由用户的眼部视角(其由HDU上的眼部跟踪系统确定)确定。

图23示出了包含三个立体摄像头对(或摄像头集群对)的大凸面的俯视图，它们显示为随时间移动。2300示出了凸面。在此实施方案中，凸面位于橄榄球场的50码线上方。2301a示出了用于第一立体图像对的摄像头(或摄像头集群)，其沿短划线随时间移动。2301b示出了用于第一立体图像对的摄像头(或摄像头集群)，其沿短划线随时间移动。这第一个立体图像对可以表示摄像头位置，用于随着时间的推移跟踪沿着场地中央跑的运动员。2302a示出了用于第二立体图像对的摄像头(或摄像头集群)，其沿点虚线随时间移动。2302b示出了用于第二立体图像对的摄像头(或摄像头集群)，其沿点虚线随时间移动。这第二个立体图像对可以表示摄像头位置，用于随着时间的推移跟踪沿着场地侧跑的运动员。2303a示出了用于第三立体图像对的摄像头(或摄像头集群)，其沿实线随时间移动。2303b示出了用于第三立体图像对的摄像头(或摄像头集群)，其沿实线随时间移动。这第三个立体图像对可以表示摄像头位置，用于随着时间的推移跟踪穿过场地中央的球员。根据需要，镜头可以是广角的或长焦的。长焦镜头具有狭窄的FOV，因此需要旋转它的指向方向到目标。这可以在不需要电子变焦的情况下使用。广角镜头具有宽的FOV，因此不需要旋转到目标。这可以与电子变焦结合使用。

图24示出了可旋转的立体长焦镜头系统，以获得远距离立体图像。在一些实施方案中，当使用相隔约100英尺的具有长焦能力的两个摄像头(或摄像头集群)时，可以在约2英里的距离内实施对象2401的立体成像。注意，摄像头将安装在可旋转的装置上，使得摄像头可以以精确的方式指向，以产生合适的立体重叠。此外，注意，摄像头可以放置在机械臂上，以实现目标距离内所需的立体效果。注意，这可以在飞机的机翼上实施，用于对象的立体成像(例如，飓风后的损失评估)。这也可以与目标跟踪软件结合使用，以改进搜索和救援行动(例如，在飓风之后)。

图25示出了立体激光雷达系统的俯视图。2500a示出了第一激光雷达装置。2500b示出了第二激光雷达装置。注意，第一激光雷达装置2500a与第二激光雷达装置2500b相隔一段距离。2502示出了区域中的第一对象。2503示出了区域中的第二对象。注意，从第一激光雷达装置2500a的视角来看，第二对象2503将隐藏在第一对象2502后面。

注意，从第二激光雷达装置2500b的视角将看到第二对象2503。在一些实施方案中，第一激光雷达装置2500a和第二激光雷达装置2500b一起工作以为用户生成立体图像。注意，第一3D体积可以由第一激光雷达装置2500a生成。注意，第二3D体积可以由第二激光雷达装置2500b生成。注意，HDU可以在第一眼部显示器(左眼显示器)中显示由第一激光雷达装置2500a生成的第一3D体积。注意，HDU可以在第二眼部显示器(右眼显示器)中显示由第二激光雷达装置2500b生成的3D体积。这将改进现有技术，因为它将能够显示从第一观察点隐藏的结构。可以使用立体激光雷达系统实施统计分析和人工智能分析。附加功能包括：将激光雷达系统放置在可旋转平台上；以及，将激光雷达系统放置在装置上，该装置可以调节立体分离以增强观看效果。例如，可以使用本专利其它地方教导的原理来实施短距离、中距离或远距离立体激光雷达。在一些实施方案中，第一激光雷达装置2500a不同于第二激光雷达装置2500b；例如，它们可以具有不同的频率或不同的时序(timing)。在一些实施方案中，激光雷达具有垂直扫描模式和/或水平扫描模式。在一些实施方案中，立体激光雷达系统安装在头部显示单元上。在一些实施方案中，左侧激光雷达系统安装在用户的左眼附近，并且右侧激光雷达系统安装在用户的右眼附近。

图26A示出了用户观看由图26B中的摄像头收集的图像。

图26B示出了在凸面上的两个移动摄像头的位置，其对应于图26A中的HDU方向。

图26C示出了用户观看由图26D中的摄像头收集的图像。

图26D示出了在凸面上的两个移动摄像头的位置，其对应于图26C中的HDU方向。

图26A示出了用户观看由图26B中的摄像头收集的图像。注意，用户的头部处于水平方向。

图26B示出了在凸面上的两个移动摄像头的位置，其对应于图26A中的HDU方向。2600a示出了对应于用户的右眼的摄像头位置。2601a示出了对应于用户的左眼的摄像头位置。

图26C示出了用户观看由图26D中的摄像头收集的图像。注意，用户的头部处于倾斜方向。注意，用户的头部的倾斜位置导致图26D中的摄像头系统移动。

图26D示出了在凸面上的两个移动摄像头的位置，其对应于图26C中的HDU方向。2600b示出了对应于用户的右眼的摄像头位置。2601b示出了对应于用户的左眼的摄像头位置。在该图中，用户倾斜他/她的头。注意，用户也可以向左/向右转动他的头，或者向上/向下旋转他的头，并且对于摄像头移动将发生一组相应的过程。此外，向摄像头位置的移动可以基于用户的眼间距离，或者可以故意使其更宽以增强远距离的立体观看。此外，摄像头的间距可以更窄，并向内倾斜以进行近距离的立体观看。

图27A示出了用户观看由图27B中的摄像头收集的图像。注意，用户的头部处于水平方向。

图27B示出了凸面上的被选择的两个摄像头，它们对应于图27A中的HDU方向。2700a示出了所选择的摄像头对应于用户的右眼(参见图27A中用户的头部位置)。2701a示出了所选择的摄像头对应于用户的左眼(参见图27A中用户的头部位置)。

图27C示出了用户观看由图27D中的摄像头收集的图像。注意，用户的头部处于倾斜方向。注意，用户头部的倾斜位置导致图27D中的摄像头系统摄像头的不同选择。

图27D示出了凸面上的摄像头位置，其对应于图27C中的HDU方向。2700b示出所选择的摄像头对应于用户的右眼(参见图27C中用户的头部位置现在是倾斜的)。2701b示出了所选择的摄像头对应于用户的左眼(参见图27B中用户的头部位置现在是倾斜的)。在该图中，用户倾斜他/她的头。注意，用户也可以向左/向右转动他的头，或者向上/向下旋转他的头，并且对于摄像头系统选择将发生一组相应的过程。此外，摄像头的选择可以基于用户的眼间距离，或者可以故意使其更宽以增强远距离的立体观看。此外，摄像头的间距可以更窄，并向内倾斜(如果需要)以进行近距离的立体观看。

图28示出了用于用左眼摄像头生成相应的左眼视图和用右眼摄像头生成右眼视图的网格系统。在初始化时，当系统初始化时，摄像头在t＝0时位于网格中心点，围绕网格中心点间隔布置。随后，摄像头将以相应的方式移动到左眼网格和右眼网格。左眼网格将定位，例如，用户可以向上看10°，并且摄像头可以移动围绕网格位置的间隔布置位置(0，5)；因此，眼部的坐标可以用于引导摄像头的位置和指向方向。除了视角之外，还可以实施用户的眼部跟踪以产生相应的会聚。例如，该系统可以通过虚拟医生场景在医生的预约期间被放置在椅子上而不是人上。

图29A示出了具有立体摄像头的头部显示单元的外视图。除了立体摄像头之外，这种配置还包括眼部安全激光测距仪(LRF)。LRF可以提供单个脉冲，这将提供从HDU的佩戴者到所选择的对象或表面的距离。可替代地，LRF可以是扫描激光器。立体摄像头#1和立体摄像头#2将相隔一段距离，优选普通成人的眼间距离。一些实施方案包括发射/接收记录装置，其可以经由连接电缆连接到HDU。可替代地，HDU可以容纳发射/接收记录装置。还示出了作为HDU的一部分的双向传输信号。

图29B示出了具有立体摄像头的头部显示单元的内视图(如果向内看)。显示了具有左眼显示器和右眼显示器的内视图。

图30A示出了具有两个立体摄像头集群的头部显示单元。本发明的这个实施例将具有高分辨率摄像头集群——每只眼部一个。

图30B示出了摄像头集群。该集群可以具有低密度(例如，水平方向上5个摄像头，每个具有42°的瞬时视野)，其可以覆盖210度的视场。或者，该集群可以具有更高密度(例如，水平方向上30个摄像头，每个具有7°的瞬时视野)，其可以覆盖210度的视场。用于垂直视野的类似摄像头设置将包括在该集群中。这些集群可以与眼部跟踪器一起工作，使得眼部在视场内的任何地方聚焦，都将有高分辨率或非常高分辨率的图像可用。可替代地，所有摄像头都可以一直开启，收集大量数据。这些图像可以被记录下来。在未来任何时候，整个数据集都可用于观看。

图31示出了两个或更多个用户之间的示例性单向立体交互。3100示出了用户1启动立体摄像头系统(例如，在笔记本电脑、智能手机等上)的步骤。3101示出了其中用户2(或其他用户)佩戴立体显示单元(例如，增强现实、混合现实、虚拟现实显示器)。3102示出了利用无线连接以将来自用户1的立体图像向用户2(或其他用户)发送。3103示出了在用户2(或其他用户)的立体显示单元上显示来自用户1的立体图像。注意，图像可以被增强(例如，图像稳定和本专利中讨论的其他特征)。

图32示出了两个或更多个用户之间的示例性双向立体交互。3200示出了其中用户1启动立体摄像头系统(例如，在笔记本电脑、智能手机等上)。3201示出了其中用户2启动立体摄像头系统(例如，在笔记本电脑、智能手机等上)。3202示出了其中用户1佩戴立体显示单元(例如，增强现实、混合现实、虚拟现实显示器)。3203示出了其中用户2佩戴立体显示单元(例如，增强现实、混合现实、虚拟现实显示器)。3204示出了其中利用无线连接将来自用户1的立体图像向用户2发送以及将来自用户2的立体图像向用户1发送。3205示出了其中来自用户1的立体图像被显示在用户2的立体显示单元上，并且在用户1的立体显示单元上显示来自用户2的立体图像。

图33A示出了在具有立体摄像头的笔记本电脑上工作的佩戴具有立体显示器的HDU的第一用户与在具有立体摄像头的笔记本电脑上工作的佩戴具有立体显示器的HDU的第二用户之间的立体通信。3300a示出了无线连接，在这种情况下，其为互联网。3302a示出了佩戴HDU 3302a并且在具有立体摄像头系统的笔记本电脑3303a上工作的第一用户。3304a示出了佩戴HDU 3305a并且在具有立体摄像头系统的笔记本电脑3306a上工作的第二用户。佩戴立体HDU 3302a的第一用户3301a可以经由来自笔记本电脑3306a上的第二用户的立体摄像头的图像看到第二用户3304a。佩戴立体HDU 3305a的第二用户3304a可以经由来自笔记本电脑3303a上的第一用户的立体摄像头系统的立体图像看到第一用户3301a。

图33B示出了具有带有立体摄像头的笔记本电脑的第一用户与佩戴具有立体显示器的HDU的第二用户之间的立体通信。3300b示出了无线连接，在这种情况下，其为互联网。3302b示出了第一用户，并且其正在具有立体摄像头系统的笔记本电脑上3303b工作。3304a示出了佩戴HDU 3305a的第二用户。佩戴的第一用户3301b看不到第二用户3304a。然而，如果第二用户的头戴设备3304a结合了摄像头(如本专利中所教导的)，那么第一用户3301a可以看到第二用户3304b周围环境的图像。佩戴立体HDU 3305b的第二用户3304b可以经由来自笔记本电脑3303b上的第一用户的立体摄像头系统的立体图像看到第一用户3302b。

图33C示出了具有笔记本电脑的第一用户与佩戴HDU并拿着具有立体摄像头的电话的第二用户之间的立体通信。3300c示出了无线连接，在这种情况下，其为互联网。3302c示出了在具有立体摄像头系统的笔记本电脑3303c上工作的第一用户。3304c示出了佩戴HDU 3305c并且拿着具有立体摄像头系统的电话3306a的第二用户。佩戴立体HDU 3302a的第一用户3301a可以经由笔记本电脑3306c上的第二用户的立体摄像头系统看到第二用户3304a。佩戴立体HDU 3305c的第二用户3304c可以经由来自笔记本电脑3303c上的第一用户的立体摄像头系统的图像看到第一用户3302c。第一用户3302c在立体图像中看不到第二用户3304c。

图33D示出了在具有立体摄像头的笔记本电脑上工作的佩戴具有立体显示器的HDU的第一用户与在具有立体摄像头的电话上工作的佩戴具有立体显示器的HDU的第二用户之间的立体通信。3300d示出了无线连接，在这种情况下，其为互联网。3302d示出了佩戴HDU 3304d在具有立体摄像头系统的笔记本电脑3303d上工作的第一用户。3304d示出了佩戴HDU 3305d并且拿着具有立体摄像头系统的电话3306d的第二用户。佩戴立体HDU 3304d的第一用户3302d可以经由来自电话3306d上的第二用户的立体摄像头系统的图像看到第二用户3304a。佩戴立体HDU 3305d的第二用户3304d可以经由来自笔记本电脑3303d上的第一用户的立体摄像头系统的图像看到第一用户3302d。

图34A示出了佩戴HDU的用户，该用户在第一位置拿着具有立体摄像头的智能手机。用户右手拿着智能手机，并将其指向他的面部。用户的头部显示单元以接近实时的方式显示来自用户面部的立体图像。例如，左摄像头在第一时间点获取面部的左视透视图像，并且右摄像头也在第一时间点获取面部的右视透视图像。左视透视图像和右视透视图像包括立体图像。所述智能手机被配置为将所述立体图像经由无线连接从所述智能手机发送到头部显示单元(HDU)。HDU被配置为显示来自所述智能装置的所述立体图像。HDU可以是虚拟现实显示器、增强现实显示器或混合现实显示器。HDU包括左眼显示器和右眼显示器，并在第二时间点向所述用户显示所述立体图像。第二时间点在第一时间点的5秒内。所以，这几乎是实时发生的。左视透视图像显示在所述左眼显示器上，右视透视图像显示在所述右眼显示器上。

图34B示出了佩戴HDU的用户，该用户在倾斜的第二位置拿着具有立体摄像头的智能手机。这将允许用户从倾斜的角度看到他的面部。

图34C示出了佩戴HDU的用户，该用户在第三位置(其位于用户头部的后面。)拿着具有立体摄像头的智能手机。这将允许用户看到他头部的后面。注意，可以通过移动电话靠近或远离人的面部实现各种放大位置。此外，用户可以通过眼部移动来会聚或改变视角。

图35A示出了用轮子上的摄像头集群观察男摄影师的俯视图。

3500示出了摄像师的平台。示出了摄像师的头部3501a和肩部3502。摄像师在包含大型摄像头集群的平台上，该平台提供近270°的水平视野。示出了摄像头3503a。

图35B示出了在轮子上的摄像头集群上观察男摄影师的前视图。摄像师的头部3501b显示在摄像头集群的上方。示出了摄像头3503b。平台3500被示出具有将平台3500连接到摄像头集群框架的腿部3504。在一些实施方案中，一些摄像头具有自动目标跟踪(例如，橄榄球运动员的)。在一些实施方案中，摄像师控制摄像头的子集，而其余的摄像头被自动控制。在一些实施方案中，一些摄像头是固定的(例如，定焦镜头)以捕捉其余的数据。

图36A示出了橄榄球场的俯视图，显示了多个摄像头集群的放置。3601示出了橄榄球场。摄像头集群3600a和3600b分别位于50码线和25码线处。摄像头集群3600c和3600d位于达阵区的正后方。摄像头集群3600e位于场地上方的电线上，电线可以沿着场地移动以获得比赛的可能最佳的图像。关于摄像头集群的实施例集的更多细节，参见美国专利10,317,218。

图36B示出了橄榄球场的侧视图，显示了多个摄像头集群的放置。3601示出了橄榄球场。摄像头集群3600a和3600b分别位于50码线和25码线处。摄像头集群3600c和3600d位于达阵区的正后方。摄像头集群3600e位于场地上方的电线上，电线可以沿着场地移动以获得比赛的可能最佳的图像。摄像头集群的视野可以是预先确定的。例如，边线摄像头3600a和3600b可以具有至少270°水平的视野和90°垂直的视野。

图37A示出了具有不同镜头组的立体摄像头集群。3700示出了用于摄像头集群的外壳。3701示出了用于右眼的摄像头集群中的第一摄像头，其被优化用于远距离观看。在此实施例中，远距离包括超过20英尺的距离。

3702示出了用于右眼的摄像头集群中的第二摄像头，其被优化用于中等距离观看。在此实施例中，中等距离包括10-20英尺的距离。3703示出了用于右眼的摄像头集群中的第三摄像头，其被优化用于近距离观看。在此实施例中，近距离包括小于10英尺的距离。注意，来自第一摄像头对的立体距离可以不同于来自第二摄像头对的立体距离。3704示出了用于左眼的摄像头集群中的第一摄像头，其被优化用于远距离观看。3705示出了用于左眼的摄像头集群中的第二摄像头，其被优化用于中等距离观看。3706示出了用于左眼的摄像头集群中的第三摄像头，其被优化用于近距离观看。横截面A被示出为穿过用于右眼的摄像头集群中的第一摄像头3701和用于左眼的摄像头集群中的第一摄像头3704。横截面B被示出为穿过用于右眼的摄像头集群中的第二摄像头3702和用于左眼的摄像头集群中的第二摄像头3705。横截面C被示出为穿过用于右眼的摄像头集群中的第三摄像头3703和用于左眼的摄像头集群中的第三摄像头3706。应当注意的是，摄像头集群可以具有各种规格(例如，变焦镜头、定焦镜头)。可以使用具有可变焦距(例如，70-200mm、10-18mm等)的变焦镜头。例如，70-200变焦距离将具有约3：1的比例，因此它被描述为3倍变焦。例如，使用变焦镜头，可以用缩小的图像(例如，10mm)来实施图像，但是当放大发生时(例如，18mm)，视角变窄，并且图像中的项目看起来更靠近。也可以使用定焦镜头(例如，17mm和85mm)。例如，对于85mm(焦距85mm)的定焦镜头，人们必须物理地将摄像头移近对象，以改变视角并使项目看起来更近。通常，焦距更长的镜头会比较长，焦距更短的镜头会比较短。对于全帧摄像头(无裁切系数)，50mm镜头约等于人眼。Cannon的全帧传感器测量尺寸为24×36mm。如果变焦设置小于50mm，如24mm，则这将显示为广角变焦。另一方面，如果镜头设置更长，如70mm，那么这将显示为窄角长焦传感器。对于具有1.6的裁切系数的镜头，32mm的镜头将相当于人眼。广角镜头非常适合拍摄风景、大群人或创造强烈的视角。长角长焦设置适合拍摄野生动物。光圈是让光线进入摄像头的开口。例如，光圈f值是开口的大小，较大的数字对应较小的开口。所有镜头都有最大光圈f值。光圈的大小决定了有多少光线通过镜头。这影响快门速度和曝光。光圈f值是你正在使用的镜头的开口与焦距之比。例如，假设光圈为1英寸，并且镜头为50mm镜头(约2英寸)，则光圈f值为F/2。光圈F值也决定了景深或视野中被聚焦物体的距离。例如，iPhone 12有两个摄像头，包括超广角和广角，而iPhone 12Pro有超广角、广角和长焦镜头。在本专利中，引入了立体摄像头集群。另一个新颖的特征是摄像头集群内的立体摄像头对的向内倾斜。图37A中示出了三对。如图37B至图37D所示，这些将可变地倾斜。

图37B示出了来自图37A的横截面A的俯视图。3707示出了来自摄像头3704(用于左眼的摄像头集群中的第一摄像头，其被优化用于远距离观看)的短划线。注意，3707示出了摄像头3704的指向方向。3708示出了来自摄像头3701(用于右眼的摄像头集群中的第一摄像头，其被优化用于远距离观看)的短划线。注意，3708示出了摄像头3701的指向方向。注意，摄像头3704的指向方向3707和摄像头3701的指向方向3708是平行的。

图37C示出了来自图37A的横截面B的俯视图。3709示出了来自摄像头3705(用于左眼的摄像头集群中的第二摄像头，其被优化用于中等距离观看)的短划线。注意，3709示出了摄像头3705的指向方向。3710示出了来自摄像头3702(用于右眼的摄像头集群中的第二摄像头，其被优化用于中等距离观看)的短划线。注意，3710示出了摄像头3702的指向方向。注意，摄像头3705的指向方向3709和摄像头3702的指向方向3710稍微会聚。

图37D示出了来自图37A的横截面C的俯视图。3711示出了来自摄像头3706(用于左眼的摄像头集群中的第三摄像头，其被优化用于近距离观看)的短划线。注意，3711示出了摄像头3706的指向方向。3712示出了来自摄像头3703(用于右眼的摄像头集群中的第三摄像头，其被优化用于近距离观看)的短划线。注意，3712示出了摄像头3703的指向方向。注意，对于中等距离，摄像头3706的指向方向3711和摄像头3712的指向方向3703比摄像头3705的指向方向3709和摄像头3702的指向方向3710会聚得更多。换言之，摄像头向内倾斜最多。

图38示出了用户在城镇中行走并记录立体图像。注意，本专利的目的是将GPS结合到图像的获取中。这将实现场景的空间精确立体记录。用户在不同的时间间隔穿过城市(或风景区)，戴着HDU观察该区域并录制风景和感兴趣的项目的立体图像。人3800a在时间点1(t＝1)走过风景区。他/她沿着风景区中由短划线3802描绘的路径前进，并且在时间点2(t＝2)再次显示人3800b，他/她在图中的上部位置。这个人配备有记录装置380。该图中显示了在走过风景区时可能观察到的有限实施例：具有建筑价值的建筑物3803；喷泉3804；以及公园长椅3805，有趣的人可能会坐在那里。音频功能可以被添加到记录装置中，用于沿着路径进行现场解说。这种步行可以在白天或晚上完成，只有最少的照明。游客将能够对他们去过的地方和看到的东西进行3D记录。旅行社可以提供不同地点的预览，以激发潜在的游客。

图39A示出了头部显示单元上的立体摄像头集群的俯视图。3900示出了头部显示单元。3901示出了右侧的摄像头集群。3902示出了左侧的摄像头集群。3903示出了可从其获得立体图像的视野。注意，总视野还将包含一些立体观看不可用的区域。如图所示，具有立体图像的水平视野约为120°。注意，该区域将在比人类能够欣赏的区域大得多的区域中以立体方式获取高分辨率图像。注意前面的讨论。因此，可以使用立体显示器对选择的区域进行回顾性观察。与现有技术相比，以立体距离间隔的摄像头集群的用户有所改进，因为其他大FOV装置(FOV)会导致鱼眼伪影。如本专利中所教导的，以立体方式使用的摄像头集群比现有技术有所改进，因为它提供了宽视野而没有伪影。

图39B示出了头部显示单元上的立体摄像头集群的侧视图。3900示出了HDU。3904示出了垂直视野，其也是约120°。

图40A示出了立体摄像头系统的瞬时视野(FOV)的俯视图。如前所述，y轴被定义为视频摄像头面对的方向，在该图中用箭头表示，并且α＝0°。摄影组以α＝-135°与α＝+135°之间站在摄像头后。4000a示出了水平视野。

图40B示出了立体摄像头系统的瞬时视野(FOV)的俯视图。摄影组以β＝-90°与β＝+45°之间站在摄像头后。注意，有了这种β覆盖，任何空中活动都可以与地面活动同时拍摄。许多摄像头，例如但不限于30个摄像头，可以安装在可以由摄影组控制的凸面上。4000b示出了垂直视野。

图41A示出了用户的图像和用户的自然背景场景的左视图。示出了第一用户4101a。背景场景包括一面墙，墙上显示了文书4100。注意，包括用户和背景的该场景将使用本专利中教导的立体摄像头来获取，并使用本专利中教导的立体HDU来观看，该立体HDU将由第二用户佩戴。

图41B示出了用户的图像和用户的模拟的立体背景场景的实施的左视图。示出了第一用户4101b。背景场景现在包括山4102和云4103。注意，将使用本专利中教导的立体摄像头获得用户的图像。注意，立体背景场景可以是真实世界场景的图像的显示(例如，使用远距离立体长焦镜头获取的珠穆朗玛峰的立体图像)。在此实施例中，第一用户4101b将以接近实时的方式显示给佩戴头部显示单元的第二用户。立体背景场景也将显示给佩戴头部显示单元的第二用户。附近的对象(例如，用户4101b)将被叠加在更远的对象上面。换言之，生成复合立体图像，其中复合立体图像的一些部分来自第一用户的近实时视频，而复合立体图像的其他部分来自固定的立体图像。注意，在该实施方案中，立体背景场景可以是固定的。可以建立模拟立体背景场景的数据集，其包括但不限于以下内容：办公室；图书馆；山地场景；车库；体育馆；客厅；以及椭圆形办公室。

图42A示出了用户的图像和用户的动态的模拟立体背景场景的实施的左视图。示出了第一用户4200a。背景场景现在包括山4201和云4202a。注意，云4202a是浅灰色的。注意，两只鸟4203a正在飞行，并且显示在第一用户4200a的右侧。注意，将使用本专利中教导的立体摄像头获得用户的图像。在一些实施方案中，立体视频图像可以来自实时立体摄像头。在其他实施方案中，立体视频图像可以来自录制的和重放的立体图像(例如，在显示前一个月录制的)。注意，立体背景场景可以是真实世界场景的图像的显示(例如，使用远距离立体长焦镜头获取的珠穆朗玛峰的立体图像)。在此实施例中，第一用户4200a将以接近实时的方式显示给佩戴头部显示单元的第二用户。动态的立体背景场景也将显示给佩戴头部显示单元的第二用户。附近的对象(例如，用户4200a)将被叠加在更远的对象上面。换言之，生成复合立体图像，其中复合立体图像的一些部分来自第一用户的近实时视频，而复合立体图像的其他部分来自动态的立体图像。注意，图42A中的图像是在时间点1。注意，在该实施方案中，立体背景场景可以是动态的。

图42B示出了用户的图像和用户的动态的模拟立体背景场景的实施的左视图。注意，图42B中的图像是在时间点2。示出了第一用户4200b。背景场景现在包括山4201和云4202b。注意，云4202b现在是黑暗的，并且有雨从它那里来。注意，第一用户4200b的面部表情已经改变。注意，现在在第一用户4200b的左侧示出了三只鸟4203b。注意，在该实施方案中，立体背景场景可以是动态的。可以建立动态的模拟立体背景场景的数据集，其包括但不限于以下内容：山地场景；海滩场景；篮球比赛；瀑布；商场；等等。此外，位于世界各地(甚至火星)的一组摄像头可以作为第二用户的动态的模拟背景场景被放置并被近实时地观看。注意，在一些实施方案中，用户可以只选择观看动态的模拟立体场景。

图43A示出了第一用户的立体图像的左视图。4300a示出了第一用户，其面部是白色的。4301a示出了第一用户4300a的面部上的丘疹。当第一用户使用他的智能装置的摄像头系统看自己时，他决定在通过互联网参加会议(例如，立体视频会议)之前掩盖丘疹。因此，将其交付给Zoom会议中的用户组之前，他选择通过图像处理技术将其数字化去除。另外，他想要棕褐色。因此，对立体图像实施图像处理。

图43B示出了第一用户的立体图像的左视图。4300b示出了第一用户，该用户的面部现在是棕褐色的。4301a示出了第一用户4301a面部上的皮肤区域没有面部上的现有丘疹。此外，第一用户4300b的面部现在是棕褐色的。改进的立体图像通过互联网发送到会议(例如，立体视频会议)。可以实施一系列图像编辑，其包括但不限于以下内容：化妆；发色；瘦身效果；发型；改变眼部颜色；以及其它。

图44A示出了具有真实服装外观的用户的立体图像集的左视角。4300a示出了具有真实服装外观的第一用户。

图44B示出了具有模拟服装外观的用户的立体图像集的左视角。4300b示出了具有模拟(实用类型优先于卡通类型)服装外观的第一用户，该模拟服装外观通过添加领带4301的3D模型来增强，其被注册到用户并显示在HDU中观看第一用户的第二用户的左眼图像和右眼图像中。可以实现一系列图像模拟的服装外观，包括但不限于以下内容：衬衫；夹克；领带；首饰；连衣裙；等等。

图45A示出了在正在进行事件的场景中放置具有宽视野的立体摄像头系统。4500示出了在三脚架上的凸面上的立体摄像头系统，其正在获取燃烧的建筑物4501和紧急车辆4502的立体图像。

图45B示出了放置第一用户在立体HDU上观看场景内的第一视野。第一用户正在观看顶部窗户的放大视图。建筑物的下部和紧急车辆不在第一用户的视野中。

图45C示出了放置第二用户在立体HDU上观看场景内的第二视野。第二用户正在观察紧急车辆，并且倾斜他的头以看到稍微不同的视角。这就提供了一种传递晚间新闻的新方法。

图46示出了一个文本框，该文本框显示了用户可以用来修改立体图像的姿势或动作。本专利中的一些实施方案允许用户控制(修改摄像头设置)。本专利中的其他实施方案包括一组不可修改的摄像头设置，但是允许用户选择从摄像头设置中获取哪个视野(回想图19C中的各种摄像头选择讨论)。该图表概述了用户修改所呈现的立体图像的各种姿势和动作。修改所呈现的立体图像的示例性方法包括但不限于：变焦；会聚；改变方向；以及改变亮度/配色方案。用户可以实施姿势或使用控制装置来实现对所呈现的立体图像的这些修改。示例性姿势包括但不限于以下内容：斜视(通过面部识别分析)；向前移动/向前倾斜(通过头部跟踪)；头部转动(通过头部跟踪)；将视角改变到不同的点(通过眼部跟踪)；由摄像头系统确定的手指/手/手臂姿势(例如，手指/手/手臂位置，例如，手的动作，如拍手)；以及由麦克风确定的语音命令(例如，说出词“变焦”)。此外，各种控制装置可用于实施对所呈现的立体图像的修改，其包括但不限于以下内容：标准电视控制器；操纵杆；键盘；以及鼠标(例如，滚球)。

图47示出了用于将立体摄像头与HDU集成的流程图。4700示出了将来自立体摄像头系统的立体图像向头部显示单元发送。4701示出了使用HDU的参数(例如，头部跟踪/头部倾斜、眼部跟踪)来确定感兴趣的对象(场景中用户正在观看的位置)。4702示出了使立体摄像头优化感兴趣对象的成像。4703示出了将优化的立体图像发送到HDU。

图48显示了使用激光雷达以优化立体摄像头上的图像获取。4800示出了在场景中确定具有未知距离的感兴趣的对象(例如，使用配备有头部跟踪和眼部跟踪的头部显示系统以确定感兴趣的对象)。4801示出了使用激光雷达以确定从摄像头系统到感兴趣的对象的距离和角度。4802示出了选择焦距、快门速度、光圈、ISO、立体摄像头的会聚角(立体摄像头的倾斜角)以优化感兴趣的对象的成像。4803示出了使用所选择的设置获取感兴趣的对象的图像。4304示出了向用户呈现图像。

图49示出了HDU上的立体激光雷达系统。示出了房间4900。显示人4901佩戴HDU站在房间4900的入口处。左侧激光雷达(左侧激光束显示为4903)装置扫描区域并生成第一3D体积。第一3D体积以接近实时的方式呈现在用户的左眼显示器上。右侧激光雷达装置(隔开眼间距离；右侧激光束如4902所示)扫描区域并生成第二3D体积。注意，在优选实施方案中，激光雷达装置是眼部安全的。第二3D体积以接近实时的方式呈现在用户的右眼显示器上。应当注意，第一3D体积和第二3D体积表现出至少一些重叠。在一些实施方案中，HDU包含立体摄像头系统和立体激光雷达系统。这将能够对区域进行更空间准确的分析。可以在转头、行走和其他身体运动过程中获得图像。此外，还可以结合FLIR。可以生成合成图像。在结合采用LRF的同时，L3TV摄像头将运行并提供立体图像以补充LRF距离数据。有两种LRF的运行模式：用于测量对象距离的单脉冲；以及扫描区域或体积。单脉冲可以在各种情况下使用：首先也是最重要的，确定到任何危险的距离，并在HDU上显示距离。其他用途包括但不限于虚拟家庭装修，其中，插入一组虚拟对象，以及根据LRF测量的尺寸，它们的拟合程度如何。类似地，对于建筑师来说，什么样的虚拟对象(例如，窗户、照明、工作空间等)布局能有效利用可用空间。在扫描模式下，整个房间的体积可以通过头部转动和激光扫描来绘制。围绕每个距离点，可以创建体素，并且可以从这些体素复制房间的体积和其中的对象。所有这些测量可以与立体图像一起记录，用于将来回放。这将对房地产行业产生重大效用——能够“浏览虚拟地产创建”的沉浸式效果——以3D形式查看并提供实际尺寸。在户外环境中，具有全球定位系统(global position system，GPS)的测量员可以测量到所有关键特征的距离，并根据这些测量结果对这些特征进行地理定位。徒步旅行者可以找到到关键地形特征的距离。

图50A示出了在摄像头切换期间使用多个镜头的公共光圈来克服用户不愉快的“图像偏移”。5000教导使用光圈以允许光线进入多(至少两个)摄像头系统。5001教导使用反射镜系统(例如，MEMS快速转向镜)来向第一镜头反射光。5002教导使用反射镜系统(例如，MEMS快速转向镜)来向第二镜头反射光。

图50B示出了使用在第一位置具有快速扫描镜的公共光圈系统。5003示出了光圈。5004a示出了位于第一位置的MEMS快速转向镜。5005示出了第一镜头。5006示出了第一检测器。5007示出了第二镜头。5008示出了第二检测器。注意，短划线示出了从光圈5003到MEMS快速转向镜5004a(在第一位置)通过第一镜头5005并到达第一检测器5006的光线。

图50C示出了使用在第一位置具有快速扫描镜的公共光圈系统。5003示出了光圈。5004b示出了位于第一位置的MEMS快速转向镜。5005示出了第一镜头。5006示出了第一检测器。5007示出了第二镜头。5008示出了第二检测器。注意，短划线示出了从光圈5003到MEMS快速转向镜5004b(在第二位置)通过第二镜头5007并到达第二检测器5008的光线。共同的和创造性的方面是使用单个光圈用于多个镜头。镜头和反射镜的布置可以在几何方向上改变。此外，一些设计可以用具有反射镜/镜头设置的适当布置的单个检测器来实施。在一些实施方案中，用户观看的特征(例如，视角、会聚点等)决定了反射镜的位置。

Claims (20)

1.一种方法，包括：

从智能装置获取图像

其中，所述智能装置包括由以下组成的组中的至少一种：

笔记本电脑；

电话；和

平板电脑，

其中，所述智能装置配备有左摄像头和右摄像头，

其中，所述左摄像头和所述右摄像头相隔立体距离，

其中，所述左摄像头在第一时间点获取区域的左视透视图像，

其中，所述右摄像头在所述第一时间点获取所述区域的右视透视图像，并且

其中，所述左视透视图像和所述右视透视图像包括立体图像；并且

将所述立体图像经由无线连接从所述智能装置发送到头部显示单元(HDU)；并且

将来自所述显示所述立体图像的所述立体图像显示到所述头部显示单元(HDU)上；

其中，所述HDU包括由以下组成的组中的至少一种：

虚拟现实显示器；

增强现实显示器；和

混合现实显示器；

其中，所述HDU包括左眼显示器和右眼显示器，

其中，所述HDU由第一用户佩戴，

其中，所述HDU在第二时间点向所述第一用户显示所述立体图像，

其中，所述第二时间点在所述第一时间点的5秒内，

其中，所述左视透视图像显示在所述左眼显示器上，并且

其中，所述右视透视图像显示在所述右眼显示器上。

2.根据权利要求1所述的方法，还包括：

在所述智能装置附近使用麦克风；

在所述智能装置处记录声音；并且

在所述HDU附近的扬声器上播放所述声音，其中，所述播放所述声音与所述立体图像同步发生。

3.根据权利要求1所述的方法，还包括由以下组成的组中的至少一种：

其中，所述智能装置被移动得更远离所述区域内的对象，并且其中，所述对象出现在所述HDU上，以被移动远离所述第一用户；并且

其中，所述智能装置被移动得更靠近所述区域内的对象，并且其中，所述对象出现在所述HDU上，以更靠近所述第一用户。

4.根据权利要求1所述的方法，还包括：

其中，在初始时间点，对应于所述左摄像头的传感器所面对的方向与对应于所述右摄像头的传感器所面对的方向是平行的；并且

其中，在随后的时间点，对应于所述左摄像头的所述传感器所面对的方向与对应于所述右摄像头的所述传感器所面对的方向会聚。

5.根据权利要求1所述的方法，还包括：其中，所述左眼摄像头包括摄像头集群，并且所述右眼摄像头包括摄像头集群。

6.根据权利要求1所述的方法，还包括由以下组成的组中的至少一种：

其中，所述立体图像是所述第一用户的，并且其中，佩戴所述HDU的所述用户观看自己；并且

其中，所述立体图像是第二用户的，并且其中，佩戴所述HDU的所述第一用户观看所述第二用户。

7.根据权利要求1所述的方法，还包括：其中，所述智能装置具有至少两对立体摄像头。

8.根据权利要求1所述的方法，还包括：

其中，由所述第一用户佩戴的所述HDU具有用于头部跟踪的惯性测量单元(IMU)，以及

其中，显示在由所述第一用户佩戴的所述HDU上的所述立体图像的视野根据所述第一用户的头部转动而改变。

9.根据权利要求1所述的方法，还包括：

其中，由所述第一用户佩戴的所述HDU具有用于头部跟踪的惯性测量单元(IMU)，以及

其中，显示在由所述第一用户佩戴的所述HDU上的所述立体图像的会聚根据所述第一用户的会聚而改变。

10.根据权利要求1所述的方法，还包括：

其中，由所述第一用户佩戴的所述HDU具有眼部跟踪系统，以及

其中，显示在由所述第一用户佩戴的所述HDU上的视野根据所述第一用户的视角而改变。

11.根据权利要求1所述的方法，还包括：其中，所述智能装置包括由以下组成的组中的至少一种：

HDU；

电视机；和

监视器。

12.根据权利要求1所述的方法，还包括：其中，所述智能装置包括由以下组成的组中的至少一种：

凸面；和

一组机械臂。

13.根据权利要求1所述的方法，还包括：

其中，所述区域包括第二用户和实际背景，

其中，所述实际背景被模拟背景代替，

其中，所述模拟背景呈现在所述第一用户佩戴的所述HDU上。

14.根据权利要求13所述的方法，还包括：其中，所述模拟背景随时间动态改变。

15.根据权利要求1所述的方法，还包括：

其中，所述区域包括第二用户和由所述第二用户穿着的真实服装，

其中，所述真实服装被模拟服装代替，

其中，所述模拟服装呈现在所述第一用户佩戴的所述HDU上。

16.根据权利要求1所述的方法，还包括：

其中，所述智能装置的视野大于所述HDU的视野，

其中，所述智能装置的所述视野的一部分被选择用于在所述HDU上显示，并且

其中，用于在所述HDU上显示的所述选择由所述第一用户的左眼和右眼的视角确定。

17.根据权利要求1所述的方法，还包括：

其中，所述智能装置的视野大于所述HDU的视野，

其中，所述智能装置的所述视野的一部分被选择用于在所述HDU上显示，并且

其中，用于在所述HDU上显示的所述选择由所述第一用户的头部转动角度确定。

18.根据权利要求1所述的方法，还包括：

其中，所述智能装置的视野大于所述HDU的视野，

其中，所述智能装置的所述视野的一部分被选择用于在所述HDU上显示，并且

其中，用于在所述HDU上显示的所述选择由所述第一用户的会聚确定。

19.一种设备，包括：

智能装置

其中，所述智能装置包括由以下组成的组中的至少一种：

笔记本电脑；

电话；和

平板电脑，

其中，所述智能装置配备有左摄像头和右摄像头，

其中，所述左摄像头和所述右摄像头相隔立体距离，

其中，所述左摄像头在第一时间点获取区域的左视透视图像，

其中，所述右摄像头在所述第一时间点获取所述区域的右视透视图像，并且

其中，所述左视透视图像和所述右视透视图像包括立体图像；

其中，所述智能装置被配置为将所述立体图像经由无线连接从所述智能装置发送到头部显示单元(HDU)，

HDU

其中，所述HDU被配置为显示来自所述智能装置的所述立体图像；

其中，所述HDU包括由以下组成的组中的至少一种：

虚拟现实显示器；

增强现实显示器；和

混合现实显示器；

其中，所述HDU包括左眼显示器和右眼显示器，

其中，所述HDU由用户佩戴，

其中，所述HDU在第二时间点向所述用户显示所述立体图像，

其中，所述第二时间点在所述第一时间点的5秒内，

其中，所述左视透视图像显示在所述左眼显示器上，并且

其中，所述右视透视图像显示在所述右眼显示器上。

20.一种其上具有计算机可读代码的非瞬时性计算机可读介质，所述介质包括：

用于智能装置发送图像的指令；

其中，所述智能装置包括由以下组成的组中的至少一种：

笔记本电脑；

电话；和

平板电脑，

其中，所述智能装置配备有左摄像头和右摄像头，

其中，所述左摄像头和所述右摄像头相隔立体距离，

其中，所述左摄像头在第一时间点获取区域的左视透视图像，

其中，所述右摄像头在所述第一时间点获取所述区域的右视透视图像，并且

其中，所述左视透视图像和所述右视透视图像包括立体图像，

其中，所述智能装置被配置为将所述立体图像经由无线连接从所述智能装置发送到头部显示单元(HDU)，

HDU

其中，所述HDU被配置为显示来自所述智能装置的所述立体图像；

其中，所述HDU包括由以下组成的组中的至少一种：

虚拟现实显示器；

增强现实显示器；和

混合现实显示器；

其中，所述HDU包括左眼显示器和右眼显示器，

其中，所述HDU由用户佩戴，

其中，所述HDU在第二时间点向所述用户显示所述立体图像，

其中，所述第二时间点在所述第一时间点的5秒内，

其中，所述左视透视图像显示在所述左眼显示器上，并且

其中，所述右视透视图像显示在所述右眼显示器上。