CN107801045B - 当播放增强现实场景时自动变焦的方法、设备和系统 - Google Patents

当播放增强现实场景时自动变焦的方法、设备和系统 Download PDF

Info

Publication number
CN107801045B
CN107801045B CN201710794855.XA CN201710794855A CN107801045B CN 107801045 B CN107801045 B CN 107801045B CN 201710794855 A CN201710794855 A CN 201710794855A CN 107801045 B CN107801045 B CN 107801045B
Authority
CN
China
Prior art keywords
camera
augmented reality
scene
reality scene
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710794855.XA
Other languages
English (en)
Other versions
CN107801045A (zh
Inventor
A.劳伦特
P.朱特
C.巴亚尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN107801045A publication Critical patent/CN107801045A/zh
Application granted granted Critical
Publication of CN107801045B publication Critical patent/CN107801045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本公开涉及用于在运行增强现实应用时自动适配系统的相机的变焦系数的方法、装置和系统。对捕获真实场景的相机执行姿态估计并计算AR场景的边界。根据相机截锥和边界，计算三维矩形以确定将优化相机的看到和最佳位置的观看的变焦系数。自动光学或数字适配变焦，并且通过视觉、听觉或触觉方式向用户指示最佳位置。

Description

当播放增强现实场景时自动变焦的方法、设备和系统
技术领域
本公开一般涉及增强现实的领域，并且更特别地涉及在视频直通(video pass-through)设备上运行的增强现实应用。
背景技术
增强现实(AR)应用程序将三维人造对象(例如计算机生成的图像，也称为CGI)覆盖在现实世界之上。真实和实时性能是评估AR应用的关键标准。AR设备有两种类型：“光学透视设备”，例如智能眼镜，和“视频直通”设备，例如智能手机或平板电脑。本公开涉及该第二类型的AR设备。
视频直通装置是配备有显示屏、相机和用户实时控制相机的姿态(位置和瞄准方向)的装置的装置。例如，智能手机和平板电脑在使用其前屏幕及其后向相机运行AR应用时是AR设备。在该情况下，用户通过处理设备来控制相机姿态。相机捕获的视频将在屏幕上即时绘制。AR应用将AR场景的虚拟对象覆盖在视频图像上。
在某些最佳相机角度，用户可以观看整个AR场景。然而，如果相机距离AR场景的位置太近，或者如果相机的瞄准方向不在最佳方向上，则某些AR对象超出了相机的范围。如果相机距离AR场景的位置太远，则AR对象很小并且屏幕上可能看不到细节。为了解决该问题，用户必须自己搜索最佳姿态。这样的解决方案不令人满意，原因是用户并不总是意识到他缺少对象或细节，并且原因是搜索最佳姿态是繁琐的任务，其干扰了AR应用的愉快使用。
发明内容
本公开涉及一种当运行增强现实应用时自动适配视频直通设备的相机的变焦和瞄准方向的方法。根据视频直通装置的相机的姿态估计和AR场景的边界的计算，适配相机的光学或数字变焦以便在用户不移动的情况下优化观看AR。可以向用户指示最佳位置以促使他移动。
本公开涉及一种在从相机的视点播放增强现实场景时在显示设备上绘制(render)图像的方法，所述方法包括：
-确定所述增强现实场景的边界；
-根据所述相机的姿态的估计和所述场景的边界确定变焦系数；以及
-根据所述变焦系数从所述相机在所述显示设备上绘制图像。
根据特定特征，所述方法还包括使用从包括视觉、听觉或触觉效果的组选择的效果向用户指示所述相机的位置。
根据具体实施例，根据与所述增强现实场景的至少一个元素关联的方向和权重确定所述位置。
根据具体实施例，所述增强现实场景包括对应于由所述相机捕获的真实场景的对象的非绘制元素，当确定所述增强现实场景的边界时考虑所述元素。
根据特定特征，所述相机被电动化，并且所述方法还包括根据所述增强现实场景的边界和计算的变焦系数来控制所述相机的瞄准方向。
根据具体实施例，所述相机包括光学变焦功能，并且所述方法还包括根据计算的变焦系数来控制所述光学变焦功能。在另一实施例中，根据变焦系数对图像进行数字变焦。
本公开也涉及一种具有显示器的设备，所述显示器配置成在从相机的视点播放增强现实场景时绘制图像，所述设备包括与至少一个处理器关联的存储器，所述至少一个处理器配置成：
-确定所述增强现实场景的边界；
-根据所述相机的姿态的估计和所述场景的边界确定变焦系数；
-根据所述变焦系数从前向相机绘制图像。
本公开也涉及一种具有显示器的设备，所述显示器配置成在播放增强现实场景时从相机绘制图像，所述设备包括：
-用于确定所述增强现实场景的边界的装置；
-用于根据所述相机的姿态的估计和所述场景的边界确定变焦系数的装置；
-用于根据所述变焦系数从前向相机绘制图像的装置。
本公开也涉及一种从通信网络可下载和/或记录在计算机可读的介质上和/或由处理器可执行的计算机程序产品，其包括程序代码指令，当所述计算机程序产品由处理器执行时，所述程序代码指令用于实现在播放增强现实场景时从相机绘制图像的上述方法的步骤。
附图说明
当阅读以下描述时，将更好地理解本公开，并且其他具体特征和优点将出现，以下描述参考附图，其中：
图1示出了根据本原理的具体实施例的用作视频直通设备的平板电脑的示例；
图2示出了根据本原理的具体实施例的作为图1的平板电脑用作运行AR应用的视频直通装置的示例性遮蔽头戴式显示(HMD)装置；
图3示出了根据本原理的具体实施例的如图1和2中的运行AR应用的视频直通设备的示例性实施例，其中相机被电动化并远离控制显示设备；
图4示出了根据本原理的具体实施例的基于图1、2和3的相机的截锥以及图2和3的增强现实场景的边界的计算；
图5a示出了根据本原理的具体实施例的根据图4的边界的缩小系数的示例性计算；
图5b示出了根据本原理的具体实施例的根据图4的边界的放大系数的示例性计算；
图6示出了根据本原理的具体实施例的图1、2和3的相机的最佳位置64的示例计算；
图7示出了根据本原理的具体实施例的配置成在播放增强现实场景时从图1、2和3的相机绘制图像的装置的硬件实施例；
图8示意性地示出了根据非限制性有利实施例的在诸如图7的设备的处理设备中实现的方法的实施例。
具体实施方式
现在参考附图描述主题，其中相似的附图标记始终用于指代相似的元件。在下面的描述中，为了解释的目的，阐述了许多具体细节以便提供对主题的透彻理解。应当理解，可以在没有这些具体细节的情况下实施主题实施例。
根据本公开的非限制性实施例，公开了一种在运行增强现实应用时自动适配视频直通设备的相机的变焦和瞄准方向的方法和设备。
搜索运行AR应用的视频直通设备的相机的最佳姿态在于修改相机的姿态。姿态是相机的三维空间中的位置和瞄准方向的组合。自动控制相机的位置需要电动机构来移位相机。视频直通设备通常没有配备这样的机构。
图1示出了用作视频直通设备的平板电脑10a的示例。设备10a构成包括屏幕102和相机101的装置。相机101正在拍摄包括真实对象11(例如，图1中的电视机)的世界的场景。该场景是包括在相机101的截锥12中的世界的一部分。捕获的场景实时地显示在平板电脑10a的屏幕102上。该功能使平板电脑10a成为视频直通设备。通过操纵平板电脑10a，用户控制相机101的姿态。实际上，相机101的位置和瞄准方向与设备10a的位置和方位直接相关。在特定实施例中，平板电脑10a的相机101被电动化，并且AR应用可以部分地控制相机101的瞄准方向。AR应用需要确定相机的姿态的装置。在图1中，基准标记13作为姿态估计装置的示例显示在真实对象11的屏幕上。在该示例中，AR应用处理由相机101捕获的图像，识别基准标记13并且根据标记的形状和大小来估计相机(和因此装置10a)的姿态(即，与标记相关的参考系中的位置和瞄准方向)。在变型中，AR应用根据图像中的对象的识别(例如已知在特定位置处的特定家具)来估计相机的姿态。在另一实施例中，姿态估计装置是位于房间中并且跟踪点缀在平板电脑10a背面的红外标记的红外相机系统。在另一实施例中，应用使用来自平板电脑的惯性测量单元(例如加速度计和陀螺仪)的信息来估计设备10a的姿态。本公开不限于姿态估计系统的这些示例。
图2示出了用作运行AR应用的视频直通设备的示例性遮蔽头戴式显示(HMD)设备10b。HMD 10b构成包括在用户的眼睛前方的一个或两个屏幕以及捕获用户前方的场景的至少一个相机101的装置。由相机101捕获的视频实时地绘制在HMD的屏幕上，使HMD 10a成为视频直通设备。姿态估计系统由应用使用以确定相机的位置和瞄准方向。当用户正在观看相机101正在拍摄的内容时，相机101的姿态对应于用户的注视姿态。在图2中，标记13显示在由相机观看的真实对象11的屏幕上。对于图1的平板电脑10a，可以采用任何其他类型的姿态估计系统。一旦确定相机的姿态，AR应用将人造对象添加到三维场景中。包括在相机101的截锥12中的这些对象的一部分的图像覆盖在由相机捕获的场景的图像上，并且该复合图像绘制在视频直通设备10b的屏幕上。对象之间的遮蔽(真实和人造对象)由AR应用管理。例如，在图2中，AR应用在由标记定义的参考系中并且因此在真实电视机11周围添加人造的艾菲尔铁塔21和人造的一对骰子22。用户看到包括在截锥12中的内容。因此他观看电视机11，看到埃菲尔铁塔21的一部分(只有一部分)，并且看不到这对骰子22，原因是它超出相机101的范围。
在图2所示的实施例中，用户通过移动他的头部来控制相机的姿态。在另一实施例中，相机101被电动化，并且AR应用可以部分地控制相机101的瞄准方向。姿态估计系统考虑相机101在参考系中的HMD的方向以估计姿态。
图3示出了运行AR应用的视频直通设备的示例性实施例。智能手机10c通过链路31控制电动相机103。链路31可以是有线接口(例如总线接口，广域网接口，局域网接口)或无线接口(例如IEEE 802.11接口或
Figure GDA0001477380860000051
接口)。例如，智能手机配备有惯性测量单元(IMU)，并且AR应用跟踪智能手机的移动并根据检测到的移动来控制相机的旋转。在另一实施例中，用户接口在智能手机上运行，允许用户控制相机的旋转。相机捕获包含真实对象的在其前方的场景(即，包括在其截锥中的真实世界的部分)。由相机捕获的图像被传送到智能手机并且在智能手机10c的屏幕上实时绘制。这样的系统构成视频直通设备。相机的姿态在任何时间根据其马达是已知的。在变型中，另外使用例如基于基准标记的外部姿态估计系统，例如，如果相机配备有运动装置(例如，轮子或履带)。
当运行AR应用时，设备10c将人造对象21完全或部分地覆盖在由相机103捕获的图像上。AR场景的一些人造对象可能超出相机的范围，例如，类似于图3的示例中的一对骰子22。根据本发明的特定实施例，计算增强现实场景的边界32。AR场景包含构成AR应用的AR内容的每个人造对象21和22。这是用户必须看到的。在变型中场景也包含不可见的人造对象。不可见对象是未绘制的AR场景的元素(即，对于该元素没有人造图像覆盖由相机捕获的图像上)。例如，这样的不可见对象可以包裹真实对象的形状，如图1、2和3的电视机11。因此，真实对象可以包括在场景的边界内而不需要修改由相机捕获的图像。不可见对象对应于AR应用的创建者想要包括在AR场景的边界中的真实世界的体积。边界尽可能接近地包含AR内容的元素。以包含AR内容的每个元素(其可以是人造的和真实的对象)的方式，优选以尽可能接近地包含这些元素的方式确定边界32。在图3中，AR场景的边界是AR内容的元素的集合的三维边界框。在变型中，边界可以是AR场景的边界椭圆或凸包。在特定实施例中，AR场景的元素可以是随着时间的形状的移动或变化。在变型中，场景的元素的数量可以随时间变化。在这样的实施例中，每当检测到场景的变化时计算边界。在变型中，以均匀频率计算边界，例如每十分之一秒或每半秒。
图4示出了基于相机的截锥和边界的计算。基于边界的计算和根据由相机101的姿态估计确定的虚拟世界中的相机的位置和瞄准方向，在虚拟参考系中计算出两个明显的矩形。应当理解，根据姿态估计，相机位于AR应用的虚拟世界中。相机在虚拟场景中可缩减到与真实相机的焦点对应的点。当估计相机101的姿态时，系统首先估计虚拟场景的参考系中的相机的焦点的位置，并且其次，估计相同参考系中的相机的瞄准方向41(即，取向)。图1、2和4中参考的截锥12基于姿态估计。确定棱锥42，棱锥指向相机的焦点并且包含整个边界32。在图4的示例中，边界32成形为边界框，并且棱锥42是四棱锥。在边界的变型中，棱锥42可以是圆锥或任何形状的尖体积。基于边界32和棱锥42，计算被称为边界的近面矩形43的矩形43。近面43是由以下五个条件的联合定义的矩形：
-矩形43垂直于瞄准方向41；
-矩形43是棱锥42的边界矩形；
-矩形43包含边界的整体；
-矩形43的边缘平行于截锥矩形44的边缘；
-矩形43是符合先前条件的矩形中离相机101最近的。
截锥矩形44是由位于近面矩形43的平面内的相机截锥12限定的矩形。
图5a示出了缩小系数的示例计算。对于相机101的给定姿态，如果近面矩形43包括在截锥矩形44中并且如果近面矩形43的至少一个边缘覆盖在截锥矩形44的一个边缘上，则以最大尺寸绘制AR场景。在图5a的示例中，矩形43的部分51在截锥矩形44的内部，并且剩余部分52在外部。为了最大化AR场景的绘制而不移动相机101(即，不移动截锥矩形44的中心)，截锥矩形沿着其对角线放大到使其边缘中的一个覆盖近面矩形43的外边缘以获得新的截锥矩形54。该操作对应于相机101的缩小。例如通过将新的截锥矩形54的对角线的长度除以实际截锥矩形54的对角线的长度确定变焦系数。在该示例中，变焦系数大于一，因此它对应于缩小。
图5b示出了放大系数的示例性计算。当近面矩形43完全包括在截锥矩形44中时，AR场景的绘制不是最佳的，原因是它可以以放大的方式绘制。截锥矩形44沿着其对角线53减小到使其边缘中的至少一个覆盖近面矩形43的边缘中的至少一个。在该示例中，变焦系数低于一，因此它对应于放大。根据近面矩形43和截锥矩形44确定变焦系数。
图6示出了相机101的最佳位置64的示例性计算。相机101配备有光学变焦装置，其根据来自AR应用的控制指令修改其透镜系统的焦点。相机的焦点与其视场直接相关。由于物理限制，相机101具有它无法操作的最大视场。相反地，可以确定在不再满足拍摄条件的最小视场。当AR应用将根据近面矩形43和截锥矩形44计算的变焦系数应用到相机101时，它将相机101的视场修改为其最大值之一。当达到最小视场时，这意味着相机101离近面矩形太远以致于不能以满足用户的尺寸捕获场景。相反地，当达到最大视场时，相机101离近面矩形太近，并且不能完整地捕获它，如图6中所示。在图6中，从上方看，为了清楚起见已移动矩形43、44和54。应当理解，这三个矩形属于相同平面。在该示例中，角度61对应于相机101的视场的最大开度。考虑到近面矩形43的宽度，根据本原理的特定实施例，AR应用命令相机101最大缩小。然而，相机101离近面矩形太近以致于不能捕获整个虚拟场景。AR应用不会移动相机101。然而，AR应用可以向用户指示用于虚拟场景的最佳绘制的最佳位置。例如，AR应用可以在设备10a、10b或10c的屏幕上显示箭头以向用户指示移动的方式。在变型中，系统使用听觉消息或触觉效果(例如，振动)来向用户指示最佳位置。首先，为了最佳绘制，相机101的瞄准方向必须与近面矩形43的中心交叉。在图6的示例中，用户必须向左移动。第二，称为α的最大角度61是允许最小向后位移的角度。根据相机101和三个矩形的平面之间的距离62(称为z1)，新截锥矩形54的宽度(称为w1)，和近面43的宽度(称为w2)，根据以下方程[E1]计算近面矩形43和最佳位置64之间的距离63(称为z2)：
Figure GDA0001477380860000071
在图7的示例中，促使用户向后移动z2-z1的距离。对于相机101的最小视场，使用相同的原理。
在另一实施例中，相机101未配备光学变焦装置。在这样的实施例中，AR应用使用数字变焦功能来控制绘制图像的视场。最大视场对应于相机101的视场。由于数字缩小减小图像的质量，因此确定最小视场以保持最小的质量。在该实施例中应用相同的原理。在变型中，AR内容在体验期间伴随着的边界的最大尺寸的估计。可能会要求用户朝着最佳位置仅移动一次，例如，在体验开始时。在变型中，虚拟场景的至少一个元素与主方向关联。例如，在图1、2和3的示例中，电视机11即使构成虚拟场景的非绘制元素也可以与主方向(例如其屏幕的法线)关联。根据这些主方向计算最佳位置，因此促使用户在主元素前方移动。具有主方向的虚拟场景的元素可以与权重(例如，0到100之间的整数或0到1之间的实数)关联以便计算相机101的最佳位置。优化算法用于在加权主方向之间找到最佳权衡。
在一些实施例中，相机101被电动化并且能够旋转。根据相机101的最小和最大视场来计算最佳取向。根据针对相机的实际瞄准方向计算的近面矩形43可以计算最佳取向。在变型中，由于近面矩形取决于相机的瞄准方向，因此针对可能的取向计算近面矩形。使用优化算法计算最佳取向。
图7示出了配置成在播放增强现实场景时从相机101在显示设备79上绘制图像的装置70的硬件实施例。图7是如图1至3所述的系统的示例性硬件实施例。在该示例中，设备70包括通过也传送时钟信号的地址和数据的总线73彼此连接的以下元件：
-微处理器71(或CPU)，
-显卡76，
-ROM类型74的非易失性存储器(只读存储器)，
-随机存取存储器或RAM(75)，显卡76可以嵌入随机存取存储器的寄存器，
-可选的内部姿态估计系统720，例如包括陀螺仪、加速度计和/或罗盘的惯性测量单元的形式，
-可选的一组I/O(输入/输出)设备721，例如鼠标，操纵杆，网络摄像机等，以及
-电源77。
设备70可以连接到经由地址总线73向CPU 71传输数据的外部姿态估计系统722。
设备70连接到相机101。在一些实施例中，相机101被电动化。在特定实施例中，相机101配备有光学变焦装置，其根据经由总线73接收的控制指令来修改其透镜系统的焦点。
有利地，设备70直接连接到显示屏类型的一个或多个显示设备79，其直接连接到显卡76以显示在显卡中计算的图像。在变型中，一个或多个显示设备79经由总线73连接到显卡76。在特定实施例中，姿态估计系统722和/或一个或多个显示设备79集成到设备70，例如头戴式装置、平板电脑或智能手机，如图1至3中所述。
应当注意，在存储器74、75和76的描述中使用的单词“寄存器”在所提到的每个存储器中指定低容量的存储区(一些二进制数据)以及大容量的存储区(使得能够存储整个程序，或者计算或显示代表数据的全部或部分数据)。
当接通时，微处理器71根据ROM 74的寄存器中的程序加载并执行RAM 75的寄存器中的程序的指令。
根据一个特定实施例，实现本公开特有并且在下面描述的方法的步骤的算法有利地存储在与实现这些步骤的设备70关联的显卡76的存储器GRAM中。
根据变型，电源77在设备70的外部。
图8示意性地示出了根据非限制性有利实施例的在诸如设备70的处理设备中实现的方法80的实施例。
在初始化步骤801中，设备获得播放AR应用所需的数据。关联的程序和AR场景加载在RAM 75中，并且在变型中，至少对于部分，加载在显卡76的GRAM中。估计相机101的初始姿态。
在步骤802中，估计AR场景的参考系内的相机101的姿态。在变型中，该步骤与其他步骤并行执行并且周期性迭代，例如以二十赫兹或七十赫兹。根据来自至少一个源的信息计算姿态估计。例如，相机101集成在配备有IMU的设备70中。AR应用跟踪相机的设备的差异姿态等。在变型中，该系统配备有一组红外相机，其拍摄相机101上的红外图。例如，设备70的CPU 71需要图像处理以根据红外相机的内在和外在参数估计相机的姿态。在另一变型中，相机101正在拍摄至少一个基准标记(与图1的示例中一样)，并且AR应用通过执行例如在设备70的CPU 71上的图像处理，根据识别的基准标记的已知姿态来估计相机101的姿态。
在步骤803中，计算AR场景的边界，如图3中所示。根据相机101的估计姿态(即，其位置及其瞄准方向)、其视场和边界来计算近面矩形43和截锥矩形44，如图4中所示。图8中的双线820指示方法80的以下步骤取决于系统的实施例。该方法可以包括在步骤804中，测试相机101的实际位置是否是最佳的(或离最佳位置不太远)。应当理解，词语“位置”以及“姿态”是指相机的位置和瞄准方向。例如，测试可以包括当变焦系数最小(即，相机的视场是最大的)时估计近面矩形是否可以包括在相机的视场中。如果不是，则实际位置不是最佳的，原因是无论变焦系数如何，相机离AR场景太近以至于根本不能在其截锥中包含它。当相机离场景太远(即，近面矩形占据最小截锥矩形的一小部分)时，相同的原理是适用的。在变型中，测试可以包括计算相机101是否实际上在与主方向关联的场景的元素前方。考虑与这些方向关联的权重来计算该测试。如果相机101不处于最佳位置，则执行步骤805。如果相机101通过最佳位置的测试804，则执行步骤807。在另一个实施例中，与步骤807并行地周期性执行步骤805。在另一个实施例中，在步骤803之后系统地执行步骤805。在这样的实施例中，从不执行测试804。
在步骤805中，为相机101计算最佳位置。所计算的最佳位置是从其最佳观看AR场景的视点。该计算考虑边界和相机的参数，如图6中所述。在变型中，该计算也采用与AR场景的至少一个元素关联的加权主方向以确定最佳位置。在步骤806中，通过视觉效果向用户指示所计算的最佳位置，例如通过将箭头覆盖在由AR应用绘制的图像上。在变型中，通过触觉效果向用户指示最佳位置，例如通过激活例如嵌入设备70中或由用户作为触觉手链或触觉背心佩戴的振动器。在另一变型中，由于听觉消息，例如立体嘟嘟声或语音说话，指示最佳位置。
在步骤807中，根据近面(near face)矩形43，相机101的姿态和包括其最大和最小视场的相机101的参数来计算变焦系数，如图5a和5b中所述。图8中的双线821指示以下步骤取决于系统的实施例。如果相机101配备有光学变焦装置，则可以执行步骤808。在步骤807计算出的变焦系数由设备70的CPU 71使用以向相机101的光学变焦装置发送指令。如果相机101未配备光学变焦装置，则执行步骤809而不是步骤808。在该步骤中，根据所计算的变焦系数来进行数字变焦。对由相机101捕获的图像执行剪裁，直到对应于最小视场的尺寸，在该情况下图像的质量不再足够估计。如果变焦系数对应于最大视场，则不执行裁剪。在变型中，步骤809可以在步骤808之前、之后或并行执行。如果相机101被电动化，则执行步骤810。AR应用计算相机101的最佳瞄准方向以便优化AR场景的观看条件，并且将指令发送到相机101以使其旋转。在变型中，根据系统的实施例在步骤808和/或809之前、之后或并行执行步骤810。
当已调节相机101的变焦和瞄准方向之后，执行步骤811。该步骤包括AR应用的经典处理，即将从相机101的调节视角观看的AR场景的一部分覆盖在由相机101捕获的图像上。方法80从步骤802迭代地执行以考虑相机姿态和/或AR场景的变化并更新绘制图像。
当然，本公开不限于先前描述的实施例。
特别地，本公开不限于在播放增强现实场景时从相机在显示设备上绘制的图像的方法，而是也扩展到向控制相机的马达发送指令的任何方法，或发送视觉、听觉或触觉效果以便向用户指示最佳位置的任何方法。生成用于计算变焦系数的边界和矩形所需的计算的实现方式不限于在着色器型微程序中的实现方式，而是也扩展到任何程序类型中的实现方式，例如可以由CPU型微处理器执行的程序。
本文中所述的实现方式可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现方式的上下文中讨论(例如，仅作为方法或设备讨论)，所讨论的特征的实现方式也可以以其他形式(例如，程序)实现。例如，装置可以在适当的硬件、软件和固件中实现。方法可以在例如诸如处理器的装置中实现，所述装置通常是指处理装置，包括例如计算机，微处理器，集成电路，或可编程逻辑装置。处理器也包括通信设备，例如智能手机，平板电脑，计算机，移动电话，便携式/个人数字助理(“PDA”)，以及便于终端用户之间的信息通信的其他设备。
本文中所述的各种过程和特征的实现方式可以体现在各种不同的设备或应用中，特别是例如与数据编码，数据解码，视图生成，纹理处理以及图像和相关的纹理信息和/或深度信息的其他处理关联的设备或应用。这样的设备的示例包括编码器，解码器，处理来自解码器的输出的后处理器，向编码器提供输入的预处理器，视频编码器，视频解码器，视频编解码器，网络服务器，机顶盒，笔记本电脑，个人计算机，行动电话，PDA，和其他通信设备。应当清楚，设备可以是移动的，甚至安装在移动车辆中。
另外，方法可以由处理器执行的指令来实现，并且这样的指令(和/或由实现方式产生的数据值)可以存储在处理器可读介质上，例如集成电路，软件载体或其他存储设备，例如硬盘，小型软盘(“CD”)，光盘(例如，通常称为数字通用盘或数字视频盘)，随机存取存储器(“RAM”)，或只读存储器(“ROM”)。指令可以形成有形地体现在处理器可读介质上的应用程序。指令可以在例如硬件、固件、软件或组合中。指令可以在例如操作系统、独立应用或两者的组合中找到。因此，处理器可以被表征为例如配置成执行处理的设备和包括具有用于执行处理的指令的处理器可读介质(如存储设备)的设备。此外，作为指令的附加或替代，处理器可读介质可以存储由实现方式产生的数据值。
本领域技术人员将显而易见，实现方式可以产生格式化为携带可能例如存储或传输的信息的各种信号。信息可以包括例如用于执行方法的指令，或由所述的实现方式之一产生的数据。例如，可以将信号格式化以作为数据携带用于写入或读取所述实施例的语法的规则，或者作为数据携带由所描述的实施例写入的实际语法值。这样的信号可以格式化为例如电磁波(例如，使用频谱的射频部分)或作为基带信号。格式化可以包括例如对数据流进行编码和使用编码数据流调制载波。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
已描述了许多实现方式。然而，应当理解，可以进行各种修改。例如，可以组合、补充、修改或去除不同实现方式的要素以产生其他实现方式。另外，普通技术人员将理解，其他结构和过程可以替代所公开的结构和过程，并且所得到的实现方式将以至少基本上相同的方式(一个或多个)执行至少基本上相同的功能(一个或多个)，以实现至少与所公开的实现方式基本相同的结果(一个或多个)。因此，这些和其他实现方式由本申请预期。

Claims (15)

1.一种在从相机(101、103)的视点播放增强现实场景时在显示设备(79)上绘制图像的方法(80)，所述方法包括：
-确定所述增强现实场景的边界(32)，所述边界包含所述增强现实场景的每个元素；
-根据所述相机(101、103)的姿态的估计和所述场景的边界(32)确定变焦系数；以及
-根据所述变焦系数从所述相机(101、103)在所述显示设备(79)上绘制图像。
2.根据权利要求1所述的方法，其包括使用来自包括视觉、听觉或触觉效果的组的效果向用户指示所述相机(101、103)的位置(64)。
3.根据权利要求2所述的方法，其中根据与所述增强现实场景的至少一个元素(11、21、22)关联的方向和权重确定所述位置(64)。
4.根据权利要求1或3所述的方法，其中所述增强现实场景包括对应于由所述相机(101、103)捕获的真实场景的对象的非绘制元素(11)，当确定所述增强现实场景的边界(32)时考虑所述元素。
5.根据权利要求1至3中任一项所述的方法，其包括根据所述增强现实场景的边界(32)和所述变焦系数来控制所述相机(103)的瞄准方向。
6.根据权利要求1至3中任一项所述的方法，其中所述相机(101、103)包括光学变焦功能，所述方法还包括根据所述变焦系数来控制所述光学变焦功能。
7.根据权利要求1至3中任一项所述的方法，其包括根据所述变焦系数对所述图像进行数字变焦。
8.一种具有显示器(79)的设备，所述显示器配置成在从相机(101、103)的视点播放增强现实场景时绘制图像，所述设备包括与至少一个处理器关联的存储器，所述至少一个处理器配置成：
-确定所述增强现实场景的边界(32)，所述边界包含所述增强现实场景的每个元素；
-根据所述相机(101、103)的姿态的估计和所述场景的边界(32)确定变焦系数；
-根据所述变焦系数从所述相机(101、103)绘制图像。
9.根据权利要求8所述的设备，其还包括发送器，所述发送器配置成使用来自包括视觉、听觉或触觉效果的组的效果向所述用户发送所述相机(101、103)的位置(64)的指示。
10.根据权利要求9所述的设备，其中根据与所述增强现实场景的至少一个元素(11、21、22)关联的方向和权重确定所述位置(64)。
11.根据权利要求8或10所述的设备，其中所述增强现实场景包括对应于由所述相机(101、103)捕获的真实场景的对象的非绘制元素(11)，当确定所述增强现实场景的边界(32)时考虑所述元素。
12.根据权利要求8至11中任一项所述的设备，其中所述处理器还配置成根据所述增强现实场景的边界(32)和所述变焦系数来控制所述相机(103)的瞄准方向。
13.根据权利要求8至11中任一项所述的设备，其中所述相机(101、103)包括光学变焦功能，所述处理器还配置成根据所述变焦系数来控制所述光学变焦功能。
14.根据权利要求8至11中任一项所述的设备，其中所述处理器还配置成根据所述变焦系数对所述图像进行数字变焦。
15.一种从通信网络可下载和/或记录在计算机可读的介质上和/或由处理器可执行的计算机程序产品，其包括程序代码指令，当所述计算机程序产品由处理器执行时，所述程序代码指令用于实现根据权利要求1至7中任一项所述的在播放增强现实场景时从相机(101、103)在显示设备(79)上绘制图像的方法的步骤。
CN201710794855.XA 2016-09-06 2017-09-06 当播放增强现实场景时自动变焦的方法、设备和系统 Active CN107801045B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16306115.3 2016-09-06
EP16306115.3A EP3291531A1 (en) 2016-09-06 2016-09-06 Methods, devices and systems for automatic zoom when playing an augmented reality scene

Publications (2)

Publication Number Publication Date
CN107801045A CN107801045A (zh) 2018-03-13
CN107801045B true CN107801045B (zh) 2021-05-25

Family

ID=56943452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710794855.XA Active CN107801045B (zh) 2016-09-06 2017-09-06 当播放增强现实场景时自动变焦的方法、设备和系统

Country Status (12)

Country Link
US (1) US10645298B2 (zh)
EP (2) EP3291531A1 (zh)
JP (1) JP7090410B2 (zh)
KR (1) KR102346437B1 (zh)
CN (1) CN107801045B (zh)
BR (1) BR102017019134A2 (zh)
CA (1) CA2977074A1 (zh)
ES (1) ES2726349T3 (zh)
MX (1) MX370770B (zh)
PL (1) PL3291536T3 (zh)
RU (1) RU2017131050A (zh)
TR (1) TR201906816T4 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11249304B2 (en) * 2016-12-02 2022-02-15 Disney Enterprises, Inc. Augmented reality camera frustum
CN110249626B (zh) * 2017-10-26 2020-07-31 腾讯科技（深圳）有限公司 增强现实图像的实现方法、装置、终端设备和存储介质
US11029185B2 (en) * 2017-11-30 2021-06-08 Rampart Strong, Llc Tank gauge
CN108492352B (zh) * 2018-03-22 2021-10-22 腾讯科技（深圳）有限公司 增强现实的实现方法、装置、系统、计算机设备及存储介质
EP3553630A1 (en) * 2018-04-13 2019-10-16 InterDigital CE Patent Holdings Method for assisting a positioning of a user, corresponding computer program product and device
JP2019197499A (ja) * 2018-05-11 2019-11-14 株式会社スクウェア・エニックス プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法
US11151793B2 (en) * 2018-06-26 2021-10-19 Magic Leap, Inc. Waypoint creation in map detection
CN109272444B9 (zh) * 2018-10-07 2023-06-30 朱钢 一种改善Ai智慧摄影场景优化策略的实现方法
CN109166369A (zh) * 2018-10-11 2019-01-08 龚映清 一种透明屏幕式增强现实视-触-听横屏训练系统及方法
CN109917911B (zh) * 2019-02-20 2021-12-28 西北工业大学 一种基于信息物理交互的振动触觉反馈装置设计方法
CN110312142A (zh) * 2019-07-23 2019-10-08 东华大学 一种基于5g技术的ar直播系统
CN111768659B (zh) * 2020-05-15 2022-08-30 四川科华天府科技有限公司 一种基于ar互动教学设备的变焦系统
US11115600B1 (en) * 2020-06-12 2021-09-07 Qualcomm Incorporated Dynamic field of view compensation for autofocus
KR102281584B1 (ko) * 2020-11-12 2021-07-26 주식회사 오썸피아 사용자 단말로 전망대 망원경 영상 및 증강현실 콘텐츠를 제공하는 방법, 장치, 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214000A (zh) * 2011-06-15 2011-10-12 浙江大学 用于移动增强现实系统的目标物体混合注册方法及系统
CN102457664A (zh) * 2010-10-26 2012-05-16 佳能株式会社 摄像设备
CN102473324A (zh) * 2009-08-18 2012-05-23 Metaio有限公司 用于在真实环境中表示虚拟信息的方法
EP2775424A2 (en) * 2013-03-08 2014-09-10 Samsung Electronics Co., Ltd. Method for providing augmented reality, machine-readable storage medium, and portable terminal

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4920775B2 (ja) 2010-07-08 2012-04-18 株式会社スクウェア・エニックス 画像生成装置及び画像生成プログラム
JP2012155655A (ja) 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP6126076B2 (ja) 2011-03-29 2017-05-10 クアルコム，インコーポレイテッド 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
US9870642B2 (en) 2012-08-10 2018-01-16 Here Global B.V. Method and apparatus for layout for augmented reality view
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US10235587B2 (en) * 2014-03-04 2019-03-19 Samsung Electronics Co., Ltd. Method and system for optimizing an image capturing boundary in a proposed image
CN106663411A (zh) * 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的系统和方法
US10001857B2 (en) * 2015-05-13 2018-06-19 Seiko Epson Corporation Display apparatus and method of controlling display apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473324A (zh) * 2009-08-18 2012-05-23 Metaio有限公司 用于在真实环境中表示虚拟信息的方法
CN102457664A (zh) * 2010-10-26 2012-05-16 佳能株式会社 摄像设备
CN102214000A (zh) * 2011-06-15 2011-10-12 浙江大学 用于移动增强现实系统的目标物体混合注册方法及系统
EP2775424A2 (en) * 2013-03-08 2014-09-10 Samsung Electronics Co., Ltd. Method for providing augmented reality, machine-readable storage medium, and portable terminal

Also Published As

Publication number Publication date
MX2017011381A (es) 2018-09-21
US10645298B2 (en) 2020-05-05
ES2726349T3 (es) 2019-10-03
CA2977074A1 (en) 2018-03-06
KR20180027361A (ko) 2018-03-14
JP2018067301A (ja) 2018-04-26
EP3291536A1 (en) 2018-03-07
BR102017019134A2 (pt) 2018-05-02
JP7090410B2 (ja) 2022-06-24
EP3291531A1 (en) 2018-03-07
MX370770B (es) 2020-01-03
CN107801045A (zh) 2018-03-13
RU2017131050A (ru) 2019-03-04
US20180070019A1 (en) 2018-03-08
PL3291536T3 (pl) 2019-08-30
KR102346437B1 (ko) 2022-01-05
TR201906816T4 (tr) 2019-05-21
EP3291536B1 (en) 2019-04-10

Similar Documents

Publication Publication Date Title
CN107801045B (zh) 当播放增强现实场景时自动变焦的方法、设备和系统
CN108810538B (zh) 视频编码方法、装置、终端及存储介质
US8878846B1 (en) Superimposing virtual views of 3D objects with live images
TWI659335B (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
JP6456347B2 (ja) 平面固有の特徴のターゲットのｉｎｓｉｔｕ生成
US10504295B2 (en) Systems and methods for using sensing of real object position, trajectory, or attitude to enable user interaction with a virtual object
EP3070513A1 (en) Head-mountable display system
US10964085B2 (en) Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item
CN107065164B (zh) 图像展示方法及装置
JP2018033107A (ja) 動画の配信装置及び配信方法
US11099392B2 (en) Stabilized and tracked enhanced reality images
US11128836B2 (en) Multi-camera display
CN115150555B (zh) 视频录制方法、装置、设备及介质
US11187895B2 (en) Content generation apparatus and method
Lee Novel video stabilization for real-time optical character recognition applications
KR101741149B1 (ko) 가상 카메라의 시점 제어 방법 및 장치
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质
JP2021131741A (ja) Ａｒ表示制御装置及びそのプログラム、並びに、ａｒ表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190606

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant