CN108702430A - 用于控制相机的差异瞄准方向的方法和装置 - Google Patents

用于控制相机的差异瞄准方向的方法和装置 Download PDF

Info

Publication number
CN108702430A
CN108702430A CN201680080780.2A CN201680080780A CN108702430A CN 108702430 A CN108702430 A CN 108702430A CN 201680080780 A CN201680080780 A CN 201680080780A CN 108702430 A CN108702430 A CN 108702430A
Authority
CN
China
Prior art keywords
camera
parameter
reference direction
difference function
sighted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680080780.2A
Other languages
English (en)
Other versions
CN108702430B (zh
Inventor
F.达尼奥
R.多尔
F.杰拉德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN108702430A publication Critical patent/CN108702430A/zh
Application granted granted Critical
Publication of CN108702430B publication Critical patent/CN108702430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/49—Miscellaneous game characteristics with provisions for connecting to a part of the body
    • A63F2250/497—Head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Position Input By Displaying (AREA)

Abstract

本公开涉及用于确定远程电动相机(10)的瞄准方向(22)的方法、装置或系统。由相机(10)捕获的沉浸式视频内容与参考方向(13)相关联。算出差异函数(32，42，53)的参数。该函数用于控制相机的瞄准方向(22)。其引入用户想要的旋转(21)与相机的旋转(22)之间的差异。本公开的示例目的是为了鼓励用户朝向参考方向旋转相机，防止他/她朝向相反方向旋转相机。本原理具有创建伪触觉效果的优点，激励用户看向参考方向而不使他/她不舒服。

Description

用于控制相机的差异瞄准方向的方法和装置
技术领域
本公开涉及在例如利用头戴式显示器(HMD)或TV机或诸如平板或智能电话之类的移动设备控制相机时、例如在消费沉浸式视频内容时的伪触觉反馈的领域。
背景技术
在各种现有系统中已经完成了对相机的瞄准方向的控制。这在相机沉浸在比相机可以捕获的环境更宽的环境中时是有用。例如，这样的系统用于TV表演记录或者用于安全相机遥控。游戏或沉浸式内容呈现器中的虚拟相机也可以视为配备有瞄准方向控制系统。
当控制相机的瞄准方向时，用户可以通过相机旋转来观看4π球面度环境。如果这样的特征可能在内容的沉浸方面看起来是真正的改进，由于用户只观看环境的一部分，所以他/她可能不会在给定时刻看去他/她应该看去的方向。实际上，由于用户可以在他/她处于相机的位置时注视四周，所以他/她可能因为他/她在事件发生的时刻正在观看内容的另一部分而错过一些重要事件，比如叙述的突出部分。
根据背景技术，已知的是，促使相机摇拍以使用户看向参考方向是非常有效的解决方案。然而，众所周知的是，该解决方案具有缺点。例如，它将使大多数人失去他们的视觉线索或者使他们不舒服，并且因此，它将降低用户的体验质量。
发明内容
本公开的示例目的是为了鼓励用户朝向参考方向旋转相机，防止他/她朝向相反方向旋转相机。
本公开涉及一种确定相机的瞄准方向的方法，该方法包括：
-获得至少一个参考方向的集合；
-获得与所述相机相关联的至少一个控制器的第二参数；
-根据所述参考方向来算出代表差异函数的第一参数，并且所述差异函数代表要确定的瞄准方向与由所述相机控制器的第二参数定义的方向之间的差异；以及
-通过对所述至少一个控制器的第二参数应用所述差异函数来算出所述相机的瞄准方向。
根据特定特性，所述差异函数是类似S形的函数。
根据实施例，根据相机的定位和另一对象的定位来确定所述集合的至少一个参考方向。
在该方法的变型中，所述集合的参考方向的数量随时间改变。
有利地，所述集合的至少一个参考方向与参考参数相关联，所述参考参数用于计算代表所述差异函数的所述第一参数。
根据另一变型，所述集合的至少一个参考方向随时间改变。
根据实施例，还包括将所述瞄准方向传送到所述相机。
本公开还涉及一种配置用于确定相机的瞄准方向的装置，该装置包括：
-用于获得至少一个参考方向的集合的部件；
-与所述相机相关联的至少一个控制器，用于获得代表方向命令的第二参数；
-处理器，用于根据所述参考方向来算出代表差异函数的第一参数，所述差异函数代表要确定的瞄准方向与由所述控制器的第二参数定义的方向之间的差异；以及
-处理器，其被配置为通过对所述至少一个控制器的第二参数应用所述差异函数来算出所述相机的瞄准方向。
本公开还涉及一种配置用于确定相机的瞄准方向的装置，该装置包括至少一个处理器，该处理器被配置为：
-获得至少一个参考方向的集合，
-根据至少一个参考方向的所述集合来算出代表差异函数的第一参数，
-从与所述相机相关联的控制器获得代表方向命令的第二参数，
-通过对所述至少一个控制器的第二参数应用所述差异函数来算出所述相机的瞄准方向。
本公开还涉及一种计算机程序产品，包括程序代码的指令，以用于当在计算机上执行该程序时，由至少一个处理器执行确定相机的瞄准方向的上述方法。
本公开还涉及一种非临时性处理器可读介质，具有其中存储的指令，以用于使处理器至少执行构成代表纹理的图像的上述方法。
附图说明
在阅读以下描述时将更好地理解本公开，并且将显现其他特定特征和优点，该描述参考附图，其中：
-图1图示了根据本原理的特定实施例的在确定的时间t(例如，系统的初始化时间)的受控相机系统；
-图2图示了根据本原理的特定实施例的在系统的初始化之后的时间t的图1的受控相机系统；
-图3a图示了根据本原理的特定实施例的如图2所示的相机瞄准方向和与相机控制器的参数相关联的方向之间的差异的示例图；
-图3b图示了根据本原理的特定实施例的在图1和图2的参考方向集合正在改变时，该方法可以用于计算差异函数的设定(setting)；
-图4图示了根据本原理的特定实施例的图3a和图3b的差异函数的迭代计算；
-图5图示了根据本原理的特定实施例的当图1和图2的参考方向集合包含多于一个参考方向时计算的差异函数；
-图6以图的方式示出了根据本原理的特定实施例的被配置为根据图3a、图3b、图4和图5中所示的差异函数来处理图1和图2的相机的瞄准方向的装置的硬件实施例；
-图7示出了根据本原理的非限制性有利实施例的在诸如图6的设备之类的处理设备中实现的确定相机的瞄准方向的方法的实施例。
具体实施方式
现在参考附图描述主题，其中相同的参考数字始终用于指代相同的元素。在以下描述中，为了解释的目的，阐述许多特定细节以便提供对主题的透彻理解。要理解，可以在没有这些特定细节的情况下实践主题实施例。
为了清楚起见，图1至图5图示了二维的示例并且涉及唯一的“偏航”角度(即围绕Z轴的旋转)。要理解，本原理可扩展到第三维度并且扩展到“俯仰”角度(即围绕Y轴的旋转)和扩展到“滚动”角度(即围绕X轴的旋转)。
相机(真实的或虚拟的)位于一个地方(真实的或虚拟的)并且被相机可以捕获的对象包围。这构成相机的环境，利用该环境来关联参考系以便定位对象。
相机(真实的或虚拟的)与和相机所位于的环境有关的参数集合相关联。相机的定位在与环境相关联的参考系中表示。相机在给定方向上拍摄，该给定方向在下文中称为相机的瞄准方向。
图1图示了在确定的时间t(例如系统的初始化时间)的受控相机系统1。相机10与相机瞄准方向控制器12相关联。在图1上，相机控制器12表示为头戴式显示器(HMD)。实际上，HMD可以视为相机控制器。在实施例中，HMD配备有头部姿势估算系统，例如可以包括加速度计和/或陀螺仪的集成惯性测量单元(IMU)或者例如使用红外相机的外部位置跟踪系统。当用户正在移动时，检测到的他/她的头部的位置用于定向相机的瞄准方向。相机10是放置在远程定位的电动设备。在变型中，相机10是放置在三维虚拟世界中的虚拟相机。
相机10和相机控制器12共享在系统的开始处设置的零方向11。为了清楚起见，在图1上，相机10和相机控制器12被绘制在相同的位置。在任何实施例中，它们属于分离的环境。例如，在安全系统中，相机位于外部，而用于控制其瞄准方向的操纵杆位于控制站中。在HMD的情况下，IMU属于真实世界，而相机属于虚拟世界。可以不时地将零方向重置为公共值，因为众所周知的是，可能在相机侧使用的零方向与其在相机控制器侧的对等物之间逐渐出现漂移。在第一人称视图应用中，在HMD旋转角度与相机瞄准方向之间存在一对一的对应关系。当HMD旋转通过给定角度时，相机旋转通过相同的给定角度。在另一实施例中，相机控制器是操纵杆或者键盘的一组键或智能电话。在一些实施例中，在其上呈现相机正在拍摄的东西的显示器是TV机或者计算机屏幕或者诸如智能电话或平板之类的移动设备屏幕。
获得至少一个参考方向13的集合。例如，在叙述的突出部分发生在该方向上的情况下，参考方向对应于用户应该看去的方向。提供参考方向作为内容的元数据，并且在内容流内接收或者从相同的文件读取。在变型中，从与内容不同的源获得参考方向的集合。两个数据必须同步。在另一变型中，例如使用显著图来检测感兴趣区域，归功于对内容的图像的处理而获得参考方向，例如参考方向与每个感兴趣区域相关联。由于参考方向取决于内容，所以它们的数量和参考方向本身可以随时间变化。
根据实施例，本原理旨在激励用户看向这样的参考方向，或者作为补充效果，防止用户看得太远离这样的参考方向。在用户如在视频游戏中正在探索三维(3D)模型化场景的变型中，可以不在每个方向上将场景模型化。实际上，出于成本或时间原因，对于影院阶段，可以仅将360°空间的一部分模型化。在这样的情况下，制作者可能想要防止用户看去3D场景的非模型化部分或者影院阶段的技术区域。在该变型中，参考方向对应于远离非模型化方向或影院阶段的技术区域的方向。可以同时获得若干个参考方向。例如，如果叙述包括两个演员之间的对话，则它们两个构成叙述的突出部分。参考方向可以随时间改变。在图1上，参考方向13可以在移动时跟随平面。在相机正在拍摄网球比赛的另一示例中，两个参考方向可以跟随运动员并且一个参考方向可以跟随球。
图2图示了在系统的初始化之后的时间t的图1的受控相机系统1。在图2上，相机控制器12表示为头戴式显示器(HMD)。用户已经朝向由相机10的中心和零方向11形成的参考系中的方向21(向右)旋转他/她的头部。在图2的示例中，已经获得参考方向13(在零方向的左侧)。相机10已经朝向方向22旋转。在图2上，相机10已经旋转通过比零方向11与相机控制器方向21之间形成的角度更小的角度。实际上，如通过图3a、图3b、图4和图5所解释的那样，随着参考方向13与通过相机控制器12的参数获得的方向之间的角度已经增加，计算相机瞄准方向以创建伪触觉效果。在图2的示例中，用户已经向右直到方向21旋转他/她的头部，但是他/她正在看到在方向22上拍摄的东西，而不是相机的环境中的右手边。作为他/她的真实运动与来自相机的视觉反馈之间的该差异的结果，用户感觉到伪触觉阻力。在另一实施例中，相机控制器12是鼠标设备或操纵杆，并且显示器是TV机或计算机屏幕。归功于相机瞄准方向与用户根据他/她对相机控制器的命令所期望看去的方向之间的差异，创建相同的伪触觉效果。
图3a图示了相机瞄准方向与和相机控制器的参数相关联的方向之间的差异的示例图。图3a上的角度值对应于图1和图2的零方向11与参考方向13之间的角度。曲线32表示根据图2的零方向11与相机控制器方向21之间的角度θcontrol，图2的零方向11与相机瞄准方向22之间的角度θcam°两个域都是圆形的(circular)：值从弧度到弧度(并且是与相同的角度)。线31对应于第一人称视图应用：θcam的值总是等于θcontrol的值。曲线32示出了差异函数的实施例：用户越远离参考方向驱动其相机控制器，相机旋转越少，直到完全不再旋转。在这点之后，曲线32是平坦的。有利地，如图3a上所示，差异函数是类似S形的函数：其斜率在处等于1.0并靠近界限。在变型中，差异函数是分段线性的：其斜率在附近等于1.0并且超过给定阈值等于0.0。明显地，这样的差异函数的使用使角度域的圆形属性断开。实际上，当用户命令相机控制器旋转通过π弧度(180°)时，相机旋转通过小于π弧度，并且因此不面向相反方向。该事实的结果是角度现在与角度不同，并且差异函数的域扩展越过这些界限。这在图3a、图3b和图4上通过以下事实来说明，即，越过虚线方块绘制差异函数的曲线。
图3b图示了当参考方向集合改变时该方法可以用于计算差异函数的设定。在图3b上，差异函数是类似S形的函数。其斜率在值处被约束为1.0。根据至少两个设定值33和34来计算该函数，该设定值33和34是当θcontrol的值分别等于知弧度时函数达到的值。附加设定可以规定函数的导数，即函数分别在点33和34处具有的斜率S1和S2(0.0≤S1≤1.0；0.0≤S2≤1.0)以及函数的斜率减小的速度(从值处的1.0到处的S1或处的S2)。在变型中，差异函数是分段线性的。设定33和34对于这种差异函数也是有用的。除了指示函数的斜率改变的阈值之外，还可以使用与之间的值的列表。
将设定数据设置以配置触觉效果。例如，在图3b上，值33和34越接近场景的可见部分越受限。以相同的方式，规定差异函数的局部斜率的设定调整用户在他/她试图旋转相机时通过相机控制器感觉到的伪触觉阻力。
在检测到参考方向集合的改变时，确定(即，例如计算或算出)差异函数。这可能会发生，即，在计算该函数的时刻(特别是在本方法的开始处)，用户不看去属于所计算的差异函数的方向。图4图示了差异函数的迭代计算。在图4的示例上，在初始化时间处，参考方向集合为空。用户使用相机控制器以使相机瞄准方向41(θcam＝θcontrol＝θ)。获得参考方向并且根据设定来计算差异函数42。点41不属于差异函数42的曲线。为了避免相机瞄准方向的突然偏移，计算穿过点41的第一差异函数43。在不增加与差异函数42的距离并且在趋向于时使该距离减小的约束下计算函数43。当用户使用相机控制器以朝向方向旋转相机时，促进相机旋转。相反，使旋转在相反方向上困难。在检测到相机控制器的改变时，相机的瞄准方向跟随函数43的曲线，并且计算第二差异函数。在图4的示例上，相机控制器到达点44，更接近参考方向，并且在与函数43相同的约束下计算第二差异函数45。将第二差异函数重命名为第一差异函数，并且对运算进行迭代。由于计算约束，第二差异函数越来越接近差异函数42，并且因此，达到想要的伪触觉效果，而没有相机的瞄准方向的突然偏移。
图5图示了根据一对参考方向计算的差异函数。已经获得两个参考方向。对于这些参考方向，相机必须瞄准所述参考方向。这在图5上通过点51和52图示。根据图5的示例，在以下约束下算出差异函数53：
·差异函数53穿过这些点41和42，
·差异函数在点41和42处的斜率等于1.0，
·当与点41和42分开时，差异函数的斜率小于或等于1.0，
·差异函数是连续的。
如以上在此描述的，θcontrol的域意味着是圆形的。当该方法管理唯一参考方向时，可以在不违反连续性约束的情况下使域的该圆形属性断开，使差异函数在参考方向角度值上居中。当存在至少两个参考方向时，圆形属性可以在两个参考方向角度值之间仅被断开一次。在图5上，已经做出选择以保持从点51到点52的区间中的连续性，并且在从点52到点51的区间中将其断开。结果，在从点51到点52的角度区间中观察到伪触觉“磁效果”，并且转过来(over)观察到伪触觉“阻力效果”。在变型中，做出选择以保持从点52到点51的区间中的连续性，并且在从点52到点51的区间中将其断开。在另一变型中，做出选择以保持θcontrol的域的圆形属性，从而引入双伪触觉磁效果。
图6示出了被配置为处理相机的瞄准方向的装置60的硬件实施例。在该示例中，设备60包括以下元件，这些元件通过也传输时钟信号的地址和数据总线63彼此连接：
-微处理器61(或CPU)，
-图形卡66，
-ROM(只读存储器)型的非易失性存储器64，
-随机存取存储器或RAM(65)，图形卡66可以嵌入随机存取存储器的寄存器，
-I/O(输入/输出)设备的集合，诸如例如鼠标、网络摄像头等，其在图6上未详述，以及
-电源67。
设备60连接到相机控制器62。在实施例中，相机控制器是操纵杆、键盘或遥控器。在另一实施例中，相机控制器是包括例如加速度计和/或陀螺仪的惯性测量单元。
设备60连接到相机68，配备该相机68以改变其瞄准方向，即真实相机被电动化，并且虚拟相机与被配置为控制相机瞄准方向的程序或脚本相关联。
有利地，设备60连接到显示屏类型的一个或更多个显示设备69，该显示设备69直接到图形卡66，以显示在图形卡中算出的图像。在变型中，一个或更多个显示设备69经由总线63连接到图形卡66。在特定实施例中，相机控制器62和/或一个或更多个显示设备69集成到诸如头戴式设备之类的设备60。
注意，在存储器64和66的描述中使用的词语“寄存器”在所提到的每个存储器中指定低容量的存储区(一些二进制数据)以及大容量的存储区(使得整个程序能够被存储，或者代表算出的或要显示的数据的全部或部分数据)。
当接通时，微处理器61根据ROM 64的寄存器640中的程序加载并执行RAM 650中的程序的指令。
随机存取存储器65尤其包括：
-寄存器650中，负责接通设备60的微处理器61的操作程序，
-寄存器651中，表示至少一个参考方向的数据，
-寄存器652中，表示差异函数的参数的数据，这些参数被微处理器61使用以控制相机的瞄准方向，
-寄存器653中，表示设定的数据，该设定被微处理器61使用以计算差异函数的参数。
根据一个特定实施例，实现特定于本公开的方法的步骤并且在下文中描述的算法有利地存储在与实现这些步骤的设备60相关联的图形卡66的存储器GRAM中。
根据变型，电源67在设备60外部。
图7以图的方式示出了根据非限制性有利实施例的在诸如设备60之类的处理设备中实现的方法70的实施例。
在初始化步骤71中，设备60获得方法的设定和零方向。还应注意，可以将获得本文档中的信息的步骤视为在电子设备的存储器单元中读取这样的信息的步骤，或者视为经由通信部件(例如经由有线或无线连接或者通过接触连接)从另一电子设备接收这样的信息的步骤。获得的信息存储在设备60的随机存取存储器65的寄存器653中。
步骤72包括获得代表参考方向集合的数据。在第一实施例中，经由通信部件从另一设备接收参考方向集合。这些数据可以与视频内容相关联，或者可以由专用服务器提供。在变型中，从与设备60相关联的储存介质上的文件中读取参考方向数据。在另一实施例中，通过对视频内容进行图像处理来获得参考方向集合。例如，视频内容的图像的显著图的处理允许检测高度显著区域。可以使用这样的区域的点，例如重心或具有最高显著性的像素来确定参考方向。在另一实施例中，相机正在拍摄的场景的一些对象与安置(positioning)设备相关联。根据这些对象的位置和相机的位置来设置参考方向。当这些对象中的任何对象移动时和/或当相机移动时，修改参考方向。
当在已知参考方向的集合中检测到改变时(即使在由初始化步骤71创建时)，执行计算差异函数的步骤73。差异函数将由相机控制器管理的角度值与对应于相机的瞄准方向的角度值相关联。当使用相机控制器时，这样的函数的使用生成伪触觉效果，因为相机没有如用户期望的那样做出反应。根据规定伪触觉效果的设定数据来计算差异函数。在变型中，将附加参考参数与参考方向相关联，以便使伪触觉效果适配于参考方向。两次出现的类似参考方向可能生成不同的差异函数。
步骤74包括检测相机控制器的参数的改变。根据检测到的参数的改变，更新在本文档中称为θcontrol的角度值。该角度代表用户希望相机瞄准的方向。当更新θcontrol时或者当已经在步骤73计算新的差异函数时执行下一步骤75。在变型中，将计时器与步骤74相关联，并且一旦持续时间值结束就执行步骤75，即使在步骤72没有检测到步进控制器的参数或参考方向集合的改变。
步骤75包括对θcontrol应用差异函数。该应用的结果是用于相机的瞄准方向。
可选步骤76包括将所计算的瞄准方向传送到相机。在变型中，仅在瞄准方向与相机的实际瞄准方向相差达至少阈值(例如1°或5°或10°)的情况下传送瞄准方向。在另一变型中，将瞄准方向重复地传送到相机，即使在步骤75没有算出新的瞄准方向。
如果检测到参考方向集合的改变，则在步骤72激活该方法，或者如果检测到相机控制器的参数的改变，则在步骤74激活该方法。在变型中，通过计时器的耗尽来激活该方法。
自然地，本公开不限于先前描述的实施例。具体地，本公开不限于对电动相机确定瞄准位置命令的方法，而且还扩展到将瞄准方向传送到相机的方法和控制电动相机的瞄准方向的方法。计算瞄准位置所需的算出的实现方式不限于CPU中的实现方式，而是还扩展到任何程序类型的实现方式，例如可以由GPU型微处理器执行的程序。
在此描述的实现方式可以例如以方法或处理、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实现方式的背景下进行了讨论(例如，仅作为方法或装置进行了讨论)，但是所讨论的特征的实现方式也可以以其他形式(例如程序)来实现。装置可以在例如适当的硬件、软件和固件中实现。方法例如可以在诸如例如处理器(其一般指代处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件)之类的装置中实现。处理器还包括通信设备，诸如例如智能电话、平板、计算机、移动电话、便携式/个人数字助理(“PDA”)，以及其他设备。
在此描述的各种处理和特征的实现方式可以以各种不同的装备或应用来实施，特别是例如与数据编码、数据解码、视图生成、纹理处理以及对图像和有关纹理信息和/或深度信息的其他处理相关联的装备或应用。这样的装备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、网络服务器、机顶盒、膝上型设备、个人计算机、蜂窝电话、PDA以及其他通信设备。应该清楚，装备可以是移动的，并且甚至安装在移动交通工具中。
另外，该方法可以提供由处理器执行的指令来实现，并且这样的指令(和/或由实现方式产生的数据值)可以存储在处理器可读介质上，诸如例如集成电路、软件载体或其他储存设备，诸如例如硬盘、压缩盘(“CD”)、光盘(诸如例如DVD，通常称为数字多功能盘或数字视频盘)、随机存取存储器(“RAM”)或只读存储器(“ROM”)。指令可以形成有形地实施在处理器可读介质上的应用程序。指令可以在例如硬件、固件、软件或其组合中。指令可以存在于例如操作系统、单独的应用或二者的组合中。因此，处理器可以表征为例如被配置为执行处理的设备和包括具有用于执行处理的指令的处理器可读介质(诸如储存设备)的设备二者。此外，除了指令或者代替指令，处理器可读介质可以存储由实现方式产生的数据值。
如对于本领域技术人员将明显的那样，实现方式可以产生被格式化为携带例如可以被存储或传送的信息的各种信号。信息可以包括例如用于执行方法的指令或者由所描述的实现方式之一产生的数据。例如，可以将信号格式化为携带用于写入或读取所描述的实施例的语法的规则作为数据，或者携带所描述的实施例写入的实际语法值作为数据。这样的信号例如可以被格式化为电磁波(例如，使用频谱的射频部分)或者基带信号。格式化可以包括例如对数据流进行编码以及调制具有经编码的数据流的载波。信号携带的信息例如可以是模拟或数字信息。如已知的那样，可以通过各种不同的有线或无线链路来传送信号。信号可以存储在处理器可读介质上。
已经描述了多个实现方式。然而，将理解，可以做出各种修改。例如，可以对不同实现方式的元素进行组合、补充、修改或移除，以产生其他实现方式。另外，本领域普通技术人员将理解，其他结构和处理可以替代所公开的那些结构和处理，并且所得到的实现方式将以与所公开的实现方式至少基本相同的方式来执行与所公开的实现方式至少基本相同的功能，以实现与所公开的实现方式至少基本相同的结果。因此，本申请想到这些以及其他实现方式。

Claims (15)

1.一种确定相机(10)的瞄准方向(22)的方法，其特征在于，该方法包括：
-获得(72)至少一个参考方向(13，51，52)的集合；
-获得(74)与所述相机相关联的至少一个控制器的第二参数(21，41，44)；
-根据至少一个参考方向(13，51，52)的所述集合来算出(73)代表差异函数(32，42，43，45，53)的第一参数，所述差异函数代表瞄准方向与和所述第二参数相关联的方向之间的差异；以及
-通过对所述至少一个控制器的第二参数应用所述差异函数来算出(75)所述相机的瞄准方向。
2.根据权利要求1所述的方法，其中所述差异函数(32，42，43，45，53)是类似S形的函数。
3.根据权利要求1或2所述的方法，其中根据所述相机的定位和另一对象的定位来确定所述集合的至少一个参考方向(13，51，52)。
4.根据权利要求1至3之一所述的方法，其中所述集合的参考方向(13，51，52)的数量随时间改变。
5.根据权利要求1至4之一所述的方法，其中所述集合的至少一个参考方向(13，51，52)与参考参数(33，34)相关联，所述参考参数用于计算代表所述差异函数(32，42，43，45，53)的所述第一参数。
6.根据权利要求1至5之一所述的方法，其中所述集合的至少一个参考方向(13，51，52)随时间改变。
7.根据权利要求1至6之一所述的方法，还包括将所述瞄准方向(22)传送(76)到所述相机(10)。
8.一种配置用于确定相机(10)的瞄准方向(22)的装置(60)，其特征在于，该装置包括：
-用于获得至少一个参考方向(13，51，52)的集合的部件；
-与所述相机(10)相关联的至少一个控制器(12)，用于获得代表方向命令(21)的第二参数；
-处理器，其被配置为根据至少一个参考方向(13，51，52)的所述集合来算出代表差异函数(32，42，43，45，53)的第一参数，所述差异函数代表瞄准方向与和所述第二参数相关联的方向之间的差异；以及
-处理器，其被配置为通过对所述至少一个控制器(12)的第二参数应用所述差异函数(32，42，43，45，53)来算出所述相机(10)的瞄准方向(22)。
9.根据权利要求8所述的装置，其中所述差异函数(32，42，43，45，53)是类似S形的函数。
10.根据权利要求8或9所述的装置，其中根据所述相机(10)的定位和另一对象的定位来确定所述集合的至少一个参考方向(13，51，52)。
11.根据权利要求8至10之一所述的装置，其中所述集合的参考方向(13，51，52)的数量随时间改变。
12.根据权利要求8至11之一所述的装置，其中所述集合的至少一个参考方向(13，51，52)与参考参数(33，34)相关联，所述参考参数用于计算代表所述差异函数(32，42，43，45，53)的所述第一参数。
13.根据权利要求8至12之一所述的装置，其中所述集合的至少一个参考方向(13，51，52)随时间改变。
14.根据权利要求8至13之一所述的装置，还包括用于将所述瞄准方向传送(76)到所述相机(10)的传送器。
15.一种非临时性处理器可读介质，具有其中存储的指令，以用于使处理器至少执行根据权利要求1至7中任一项所述的方法(70)的步骤。
CN201680080780.2A 2015-12-22 2016-12-19 用于控制相机的差异瞄准方向的方法和装置 Active CN108702430B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15307094.1A EP3185535A1 (en) 2015-12-22 2015-12-22 Method and apparatus for controlling a discrepant aiming direction of a camera
EP15307094.1 2015-12-22
PCT/EP2016/081693 WO2017108668A1 (en) 2015-12-22 2016-12-19 Method and apparatus for controlling a discrepant aiming direction of a camera

Publications (2)

Publication Number Publication Date
CN108702430A true CN108702430A (zh) 2018-10-23
CN108702430B CN108702430B (zh) 2021-02-09

Family

ID=55221239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680080780.2A Active CN108702430B (zh) 2015-12-22 2016-12-19 用于控制相机的差异瞄准方向的方法和装置

Country Status (10)

Country Link
US (1) US11347306B2 (zh)
EP (2) EP3185535A1 (zh)
JP (1) JP6978418B2 (zh)
KR (1) KR20180098314A (zh)
CN (1) CN108702430B (zh)
BR (1) BR112018012767A2 (zh)
CA (1) CA3009536A1 (zh)
MX (1) MX2018007697A (zh)
RU (1) RU2741791C2 (zh)
WO (1) WO2017108668A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113750529A (zh) * 2021-09-13 2021-12-07 网易（杭州）网络有限公司 游戏中的方向指示方法、装置、电子设备及可读存储介质
CN113750529B (zh) * 2021-09-13 2024-05-28 网易（杭州）网络有限公司 游戏中的方向指示方法、装置、电子设备及可读存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924690B (zh) * 2015-09-02 2021-06-25 交互数字Ce专利控股公司 用于促进扩展场景中的导航的方法、装置和系统
TWI801089B (zh) * 2021-01-11 2023-05-01 宏達國際電子股份有限公司 沉浸式系統、控制方法與相關的非暫態電腦可讀取儲存媒體
JP7486110B2 (ja) * 2021-04-16 2024-05-17 パナソニックＩｐマネジメント株式会社 映像表示システム及び映像表示方法
CN114007136A (zh) * 2021-10-29 2022-02-01 咪咕文化科技有限公司 射击比赛的直播画面生成方法、系统、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101542584A (zh) * 2006-10-16 2009-09-23 索尼株式会社 显示设备、显示方法
US20140111601A1 (en) * 2012-10-23 2014-04-24 Electronics And Telecommunications Research Institute Method and apparatus for widening viewing angle in video conferencing system
CN104977717A (zh) * 2014-04-14 2015-10-14 哈曼国际工业有限公司 头戴式显示器呈现调节

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5588914A (en) 1994-06-28 1996-12-31 The Walt Disney Company Method and system for guiding a user in a virtual reality presentation
SE528518C2 (sv) 2005-04-29 2006-12-05 Totalfoersvarets Forskningsins Sätt att navigera i en omvärld registrerad av en eller flera bildsensorer och en anordning för genomförande av sättet
JP2007020092A (ja) * 2005-07-11 2007-01-25 Matsushita Electric Ind Co Ltd 画像表示装置、画像表示方法および画像表示システム
EP2228110B1 (en) * 2009-03-09 2017-08-30 Nintendo Co., Ltd. Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein
TWI400940B (zh) * 2010-03-24 2013-07-01 Hon Hai Prec Ind Co Ltd 遠端控制軌道式攝影裝置的手持式裝置及方法
US9111498B2 (en) * 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
JP5829020B2 (ja) * 2010-12-22 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
EP2497547B1 (en) * 2011-03-08 2018-06-27 Nintendo Co., Ltd. Information processing program, information processing apparatus, information processing system, and information processing method
KR101648564B1 (ko) 2011-03-15 2016-08-16 한화테크윈 주식회사 휴대 단말, 원격 카메라, 및 휴대 단말에 의한 원격 카메라의 팬/틸트/줌 제어 방법
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US9317776B1 (en) * 2013-03-13 2016-04-19 Hrl Laboratories, Llc Robust static and moving object detection system via attentional mechanisms
WO2013179424A1 (ja) 2012-05-30 2013-12-05 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体
US9824601B2 (en) 2012-06-12 2017-11-21 Dassault Systemes Symbiotic helper
US9025880B2 (en) * 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
JP6088787B2 (ja) * 2012-10-23 2017-03-01 任天堂株式会社 プログラム、情報処理装置、情報処理方法および情報処理システム
US9058053B2 (en) 2012-10-26 2015-06-16 The Boeing Company Virtual reality display system
JP6135162B2 (ja) 2013-02-12 2017-05-31 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
US9645395B2 (en) 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US10062209B2 (en) * 2013-05-02 2018-08-28 Nintendo Co., Ltd. Displaying an object in a panoramic image based upon a line-of-sight direction
JP5925163B2 (ja) 2013-07-25 2016-05-25 三菱電機株式会社 運転支援装置
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9437159B2 (en) * 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
JP6385725B2 (ja) * 2014-06-06 2018-09-05 任天堂株式会社 情報処理システム及び情報処理プログラム
JP5981006B1 (ja) * 2015-09-14 2016-08-31 株式会社コロプラ 視線誘導のためのコンピュータ・プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101542584A (zh) * 2006-10-16 2009-09-23 索尼株式会社 显示设备、显示方法
US20140111601A1 (en) * 2012-10-23 2014-04-24 Electronics And Telecommunications Research Institute Method and apparatus for widening viewing angle in video conferencing system
CN104977717A (zh) * 2014-04-14 2015-10-14 哈曼国际工业有限公司 头戴式显示器呈现调节

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113750529A (zh) * 2021-09-13 2021-12-07 网易（杭州）网络有限公司 游戏中的方向指示方法、装置、电子设备及可读存储介质
CN113750529B (zh) * 2021-09-13 2024-05-28 网易（杭州）网络有限公司 游戏中的方向指示方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
MX2018007697A (es) 2018-11-09
RU2741791C2 (ru) 2021-01-28
CN108702430B (zh) 2021-02-09
RU2018126063A3 (zh) 2020-07-08
US11347306B2 (en) 2022-05-31
JP2019503612A (ja) 2019-02-07
BR112018012767A2 (pt) 2018-12-04
WO2017108668A1 (en) 2017-06-29
EP3395058A1 (en) 2018-10-31
JP6978418B2 (ja) 2021-12-08
US20200363866A1 (en) 2020-11-19
KR20180098314A (ko) 2018-09-03
EP3185535A1 (en) 2017-06-28
CA3009536A1 (en) 2017-06-29
RU2018126063A (ru) 2020-01-23

Similar Documents

Publication Publication Date Title
KR102506959B1 (ko) 깊이 추정 시스템의 자가 감독 훈련
US11270419B2 (en) Augmented reality scenario generation method, apparatus, system, and device
EP3291536B1 (en) Methods, devices and systems for automatic zoom when playing an augmented reality scene
WO2019218815A1 (zh) 虚拟场景中的标记元素显示方法、装置、计算机设备及计算机可读存储介质
EP3882870B1 (en) Method and device for image display, storage medium and electronic device
CN110679152A (zh) 基于虚拟对象且基于不同视频数据流中从不同有利点表示的现实世界对象生成融合现实场景的方法和系统
CN108702430A (zh) 用于控制相机的差异瞄准方向的方法和装置
WO2018014601A1 (zh) 方位跟踪方法、实现增强现实的方法及相关装置、设备
CN110249626B (zh) 增强现实图像的实现方法、装置、终端设备和存储介质
CN110163938B (zh) 动画的控制方法、装置、存储介质和电子装置
JP2016530581A (ja) 平面固有の特徴のターゲットのｉｎｓｉｔｕ生成
CN108399653A (zh) 增强现实方法、终端设备及计算机可读存储介质
CN109005401A (zh) 消费沉浸内容项时激励观看者转向参考方向的方法和装置
CN115150555B (zh) 视频录制方法、装置、设备及介质
US11980807B2 (en) Adaptive rendering of game to capabilities of device
CN116883553A (zh) 图像生成方法、装置、电子设备和可读存储介质
CN117425044A (zh) 视频生成方法、第一设备、第二设备及存储介质
CN117689826A (zh) 三维模型构建和渲染方法、装置、设备以及介质
Torrao et al. Palco: A multisensor realtime 3D cartoon production system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210108

Address after: Fa Guobali

Applicant after: Interactive Digital CE Patent Holding Co.

Address before: Icelemulino, France

Applicant before: THOMSON LICENSING

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant