CN105264436A - 用于控制与图像捕捉有关的设备的系统和方法 - Google Patents

用于控制与图像捕捉有关的设备的系统和方法 Download PDF

Info

Publication number
CN105264436A
CN105264436A CN201480032344.9A CN201480032344A CN105264436A CN 105264436 A CN105264436 A CN 105264436A CN 201480032344 A CN201480032344 A CN 201480032344A CN 105264436 A CN105264436 A CN 105264436A
Authority
CN
China
Prior art keywords
node
data
video camera
positional information
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480032344.9A
Other languages
English (en)
Other versions
CN105264436B (zh
Inventor
A.费希尔
M.麦克唐纳
J.泰勒
J.利维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CINEMA CONTROL LAB Inc
Original Assignee
CINEMA CONTROL LAB Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CINEMA CONTROL LAB Inc filed Critical CINEMA CONTROL LAB Inc
Publication of CN105264436A publication Critical patent/CN105264436A/zh
Application granted granted Critical
Publication of CN105264436B publication Critical patent/CN105264436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/561Support related camera accessories
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/563Camera grips, handles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

一种用于控制与图像捕捉有关的设备的设置的方法和系统包括捕捉感测装置的位置数据和朝向数据;相对于所述感测装置的位置和朝向数据确定将要被所述设备处理的感兴趣的区域(即节点)的位置信息;以及输出指向所述设备的控制信号,以便于基于所述感兴趣的区域的位置信息来实时控制所述设备的设置。

Description

用于控制与图像捕捉有关的设备的系统和方法
技术领域
本发明涉及在摄像机使用环境中的运动跟踪的领域。更具体地,本发明涉及用于控制摄像机或有关的设备的布景的系统和方法。
背景技术
在摄像机环境(例如电影、电视、实况转播的娱乐节目、体育赛事)中,存在操作摄像机、照明和声音的功能的多种设备。这些功能的控制和相互关系确定了观众感受到的最终图像和声音的质量。这样的一个功能是摄像机对焦。“对焦”或“调焦(rackfocusing)”是指对应于移动对象相距焦平面的物理距离而改变镜头的焦距设置的动作。例如,如果一演员在一个镜头(shot)中从相距焦平面8米移动到相距焦平面3米,调焦者(focuspuller)将在拍摄中精确地对应于演员的变化的位置而改变在镜头上的距离设置。此外,如由构图的特定美学要求指示的,调焦者可以在所述帧中将焦距从一个对象移到另一个。
调整所述焦距的该过程通过“第一助理摄像机(FirstAssistantCamera)”(第一AC)或“调焦者(FocusPuller)”手动地进行。
取决于给定的镜头的参数,通常有很小的误差的空间。如此,调焦者在电影制作的领域中的作用极其地重要;在大多数情况中,由于无法在后期制作中修复这种误差,“软的”图像通常被认为是不能用的。人们还必须考虑到演员可能不能在其后的拍摄中复制他的或她的表演,因此调焦者被期望来完美地进行每个拍摄。由于这些因素,一些制作人员认为调焦者在布景上具有最艰难的工作。
尽管调焦者可能非常熟练,当前处理由于该任务的复杂性和困难性而仍减慢了制作。
当前电影制作从舞台场面彩排(blockingrehearsal)开始,其中构建各种演员的位置。在彩排期间,摄像机助理在地板上在演员在运动中暂停的所有点处放置带状标记。然后演员们离开布景去做头发和化妆,并且替身演员为了照明、取景、和焦距标记设置的目的进入以在这些各种位置处替代他们。
一旦由摄影导演和摄像机摄影师建立了摄像机位置,第一AC开始测量演员们的标记和摄像机的焦平面之间的各种距离。以镜头的焦距筒上的一系列油彩笔/绘图笔标记、和/或以跟焦(followfocus)装置上的标记盘来记录这些距离。使用替身,通过取景器和/或机载监视器来检查这些标记以确保准确性。如果标记被重新定位以便于提供期望的特定构图,第一AC必须相应地重新测量/重新布景其标记。此外,第一AC可以在地板上放下特定距离标记——在拍摄期间随演员在他们的标记之间移动时将参考这些特定距离标记——以便于帮助准确地将焦距调整到正确的中间的距离。
当演员们回到布景时,通常存在对摄像机的彩排,其中使得调焦者和摄像师(operator)将实践该镜头并且确保所有事物都已被适当地设好了。在拍摄期间,调焦者基于演员们或对象的对话、移动、摄像机的运动而修改焦距,并且补偿演员们错过他们的标记的偏移或者任何无法预料的移动。在障碍物阻止了调焦者看见所有他的标记的情况下,他可以请求第二AC在该拍摄期间通过双通道无线电为他召集(call)标记。在一些情况下、诸如在长镜头、宽光圈、非常近的距离或者三者的任意组合的情况下,即使对象移动几毫米也可能需要立即并且非常精确的对焦校正。
在拍摄之后,如果调焦者感觉他犯了错误——可能是时间误差、遗漏标记或可能使得所述拍摄的一些部分呈现出“软的”的任何其它问题,他或她将通常报告这个问题给摄像师(最有可能在取景器中注意到该错误的人)或摄影导演,并且如果还没有计划再次拍摄,则可以要求再次拍摄。
除了敏锐的视力、反应和直觉以外,调焦者的主要工具是布的或玻璃纤维卷尺、钢卷尺测量、激光测距机以及在某些情况下的提供实时距离读数的摄像机上超声波测距仪,该测距仪被安装在遮光箱或摄像机主体的侧面上。在调焦者诸如在摄影机稳定器(steadicam)或升降机镜头(craneshot)上而不能接触摄像机的安排中,他或她将使用远程的跟焦(followfocus)系统,尽管一些调焦者更喜欢在所有时间都使用远程的系统。在上述任何情况中,仍需要调焦者在拍摄的过程期间手动地调节焦距。
当前方法是耗时的、困难的并且非常易于犯错的。由于不可用的拍摄、缓慢的布景时间和对非常有经验且高薪的调焦者的需求,这在电影的动画制作中是长久以来的技术障碍并且对导演施加了巨大的创新限制并且增加了制作成本。
申请人已知的是取决于激光、声纳和面部/物体识别跟踪的半自动的对焦系统。
这些方法本质上是相同的方法的变型,因为它们每个都感测图像的“二维平面”,并且捕捉在该平面上的任何给定的区域或像素的深度或距离信息。对于大多数高级的系统,系统的摄影师则可以选择二维图像上的点,在此时,对于该点的距离数据将然后被输入到实时控制焦距调节的电动机。
这些已知的方法表现出一些限制。更具体地,这些系统全都是“视线”(lineofsight)。它们不能对焦到在“二维图像平面”中当前不可见的物体。激光系统需要额外的摄影师以将激光对准期望的对象。如果物体快速转弯、离开取景框或者消失在另一对象或物体后面,则面部识别系统将丢失对该物体的跟踪。
可能更重要地,这些系统中没有一个真正能够实现最具挑战性的对焦任务所需要的极好的准确度、即当对象快速移动时具有宽光圈的长焦长度,并且在所述对象上的焦点非常特定、例如眼睛,因为对于LIDaR(光探测和测距)和激光系统两者,人类摄影师必须通过移动屏幕上的光标或者通过瞄准实际的激光来实时跟踪眼睛。还应注意的是,可能所不期望的是将激光投射到人的眼睛中。尽管面部识别系统理论上可以跟踪眼睛,但存在提供更高水平的精确性和准确度的需求。
申请人已知的是美国专利号5,930,740(MATHISEN)、8,448,056(PULSIPHER)和8,562,433(LARSEN);具有公开号2008/0312866(SHIMOMURA)、2010/0194879(PASVEER)、2013/0188067(KOIVUKANGAS)、2013/0222565(GUERIN)、2013/0229528(TAYLOR)和2013/0324254(HUANG)的美国专利申请,以及具有公开号JP2008/011212(KONDO)的日本专利申请。
因此,有鉴于前述,存在对改善的系统的需求,凭借其设计和组件将能够克服一些以上讨论的现有技术的问题。
发明内容
本发明的目的是提供一种系统,凭借其设计和组件,满足一些上述需要并且从而成为对现有技术已知的其它有关的系统和/或方法的改善。
本发明的目的是提供一种用于控制与图像捕捉有关的设备的设置的系统和方法。这样的设备可以包括摄像机,并且设置可以是例如焦距设置、变焦设置、光圈设置、两眼间镜头角设置、和/或控制摇摄(pan)设置、俯仰(tilt)设置、摄像机的转动设置、和/或摄像机的位置设置、和/或照明设备设置和/或声音设备设置和/或类似者。
根据本申请的方面,提供一种用于控制与图像捕捉有关的设备的设置的方法,包括:
a)捕捉在感测装置处的位置数据和朝向数据;
b)通过处理器从已经捕捉的位置数据和朝向数据确定将被所述设备处理的感兴趣的区域的位置信息;以及
c)经由所述处理器的输出端口输出指向所述设备的控制信号,以便于基于所述感兴趣的区域的位置信息实时控制所述设备的设置。
“设备”可以包括图像捕捉设备,诸如捕捉物体的图像(照片或视频图像)的摄像机和/或其可以包括与图像捕捉设备协作的设备——诸如照明设备、声音捕捉设备和/或类似者。
根据本申请的另一方面,提供一种用于控制与图像捕捉有关的设备的设置的系统,包括:
-感测装置,被配置为捕捉位置数据和朝向数据;
-处理器,与所述感测装置通信,所述处理器被配置为从所述位置数据和朝向数据确定将被所述设备处理的感兴趣的区域的位置信息;以及
-输出端口,集成在处理器中,被配置为输出指向所述设备的控制信号,以便于基于所述感兴趣的区域的位置信息实时控制所述设备的设置。
根据本申请的另一方面,提供一种非瞬时性计算机可读的贮存器,具有贮存在其上的由计算机执行的数据和指令,所述数据和指令包括:
-代码模块,用于接收感测装置的位置数据和朝向数据;
-代码模块,用于从所述位置和朝向数据确定将被所述设备处理的感兴趣的区域的位置信息;以及
-代码模块,用于输出指向所述设备的控制信号,以便于基于所述感兴趣的区域的位置信息实时控制所述设备的设置。
根据本申请的另一方面,提供一种用于控制与图像捕捉有关的设备的设置的方法,包括:
a)在存储器中贮存一个或多个标识符,每个标识符与将被所述设备处理的预定的感兴趣的区域相关联,并且贮存相应的位置信息;
b)在处理器处接收对所述一个或多个标识符的选择;以及
c)经由所述处理器的输出端口输出指向所述设备的控制信号,以便于基于所述一个或多个预定的感兴趣的区域的所选择的一个的位置信息实时控制所述设备的设置。
根据本申请的另一方面,提供一种用于控制与图像捕捉有关的设备的设置的系统,包括:
-存储器,被配置为贮存将被所述设备处理的预定的感兴趣的区域的一个或多个标识符和相应的位置信息;
-处理器,与所述存储器通信并且被配置为接收所述一个或多个标识符的选择;以及
-输出端口,与所述处理器集成,被配置为输出指向所述设备的控制信号,以便于基于所述一个或多个预定的感兴趣的区域的所选择的一个的位置信息实时控制所述设备的设置。
根据实施例,上述系统的组件被提供在中央装置(例如计算机)中,系统还包含一个或多个用户装置(例如计算机,其可以是具有触摸屏的平板计算机)以用于接收用户命令,所述用户装置与中央装置通信。更具体地,所述用户装置可以被配置为经由图形用户界面将一个或多个预定的感兴趣的区域呈现给用户,以及从用户接收所述一个或多个感兴趣的区域的选择,并且发送对所述一个或多个感兴趣的区域的引用(reference)到中央装置。
根据本申请的另一方面,提供一种非瞬时性计算机可读的贮存器,在其上贮存将被所述设备处理的预定的感兴趣的区域的一个或多个标识符以及相应的位置信息,所述计算机可读的贮存器还包含由处理器执行的数据和指令,所述数据和指令包括:
-代码模块,用于接收所述一个或多个标识符的选择;以及
-代码模块,用于输出指向所述设备的控制信号,以便于基于所述一个或多个预定的感兴趣的区域的所选择的一个的位置信息实时控制所述设备的设置。
根据本申请的另一方面,提供一种用于控制与图像捕捉有关的设备的设置的方法,包括:
a)通过可见性独立的感测装置捕捉在感测装置处的位置数据;
b)通过处理器从所述位置数据确定将被所述设备处理的感兴趣的区域的位置信息;以及
c)通过所述处理器的输出端口输出指向所述设备的控制信号,以便于基于所述感兴趣的区域的位置信息实时控制所述设备的设置。
根据本申请的另一方面,提供一种用于控制与图像捕捉有关的设备的设置的系统,包括:
-可见性独立的感测装置,被配置为捕捉位置数据;
-处理器,与所述感测装置通信,所述处理器被配置为基于所述位置和朝向数据确定将被所述设备处理的感兴趣的区域的位置信息;以及
-输出端口,与所述处理器集成,被配置为输出指向所述设备的控制信号,以便于基于所述感兴趣的区域的位置信息实时控制所述设备的设置。
根据实施例,所述系统还包括控制器,所述控制器与所述输出端口通信并且被配置为用所述控制信号控制所述设备的设置。
根据实施例,所述设置可以包括:摄像机的焦距设置、该摄像机的变焦设置、该摄像机的光圈设置、该摄像机的两眼间镜头角设置、该摄像机的摇摄设置、该摄像机的俯仰设置、该摄像机的转动设置、该摄像机的位置设置、照明设备控制设置和/或声音设备设置。
根据本申请的另一方面,提供一种非瞬时性计算机可读的贮存器,在其上贮存有由计算机执行的数据和指令,具有用于从可见性独立的感测装置接收位置数据的输入端口,所述数据和指令包括:
-代码模块,用于基于所述位置数据和朝向数据确定将被所述设备处理的感兴趣的区域的位置信息;以及
-代码模块,用于输出指向所述设备的控制信号,以便于基于所述感兴趣的区域的位置信息实时控制所述设备的设置。
根据本申请的又一方面,提供一种用于控制与图像捕捉有关的设备的设置的系统,包括:
a)传感器,安装在将由摄像机捕捉的物体上,适应于捕捉三维位置数据;
b)处理器,适应于与传感器通信以用于接收位置数据并且基于所述位置数据产生控制信号;以及
c)控制器,适应于与处理器通信,以便于响应于所述控制信号控制所述设备的设置。
在特定实施例中,所述设置可以包括:焦距设置、变焦设置、光圈设置、两眼间镜头角设置、和/或控制摇摄设置、俯仰设置、摄像机的转动设置、摄像机的位置设置、照明设备设置、声音设备设置和/或其任何组合。
在特定实施例中,由传感器装置以全部三个自由度、例如以方位、高度和转动(A、E、R)的欧拉(Eular)角捕捉朝向数据。在这样的实施例中,处理器适应于关于表示传感器装置的地点的位置和朝向数据来计算焦点或“节点”的位置。处理器从而适应于基于节点的位置产生控制信号。
“焦点”或“节点”的意思是在对象上的特定的点或感兴趣的区域,而基于此来控制设备的设置(例如,对焦、变焦、光圈、照明、声音等)。该“节点”在运动跟踪系统中有时被称为“尖端偏移”,所述运动跟踪系统例如在节点与传感器不具有相同的坐标而是处于离开传感器的固定距离处的一些情况下提供位置和朝向两者。例如,节点可以对应于人的一个眼睛,而位置和朝向数据对应于传感器所处于的人头的后部。因此,可以通过从传感器的位置和朝向来计算取决于特定的人的眼睛的定位而设置摄像机的对焦、变焦、光圈、两眼间角、控制摇摄、俯仰、转动、摄像机的位置、照明设备和/或声音设备。
在特定实施例中,所述系统还包括安装在摄像机上的传感器,即在摄像机关于要捕捉的对象而移动的情况下。
根据本申请的又一方面,提供一种用于控制与图像捕捉有关的设备的设置的方法,包括:
-捕捉与将由摄像机捕捉的对象有关的三维位置数据;
-基于位置数据产生控制信号;以及
-响应于控制信号来控制设备的设置。
根据本申请的又一方面,提供一种用于控制与图像捕捉有关的设备的设置的非瞬时性处理器-可读贮存介质,所述贮存介质包含由处理器执行以进行如下的数据和指令:
-接收与将由摄像机捕捉的对象有关的三维位置数据;
-基于位置数据产生控制信号;以及
-发送控制信号到控制器以用于控制设备的设置。
根据本申请的又一方面,提供一种用于控制与图像捕捉有关的设备的设置的系统,包括:
-要安装在要由摄像机捕捉的对象上的传感器和发送器,适应于捕捉位置和/或朝向数据;
-处理器适应于与传感器的发送器通信以用于接收位置数据以及基于所述位置和/或朝向数据发送控制信号;以及
-控制器,适应于与处理器通信,以便于接收控制信号并且响应于控制信号来控制设备的设置。
根据另外的方面,提供一种与上述系统相关联的方法。
根据另外的方面,提供一种包含执行与上述系统相关联的方法的数据和指令的非瞬时性处理器-可读贮存介质。
本发明的实施例的优点在于,使用具有非常具体的性质以在三维空间中创建多个预定的位置性和方向性‘节点’的运动跟踪数据,可以在多种移动和静止的摄影环境中实现改善水平的设备控制和自动化。
本发明的实施例的优点在于,通过或者不通过用户交互,其允许实时地跟踪和/或从在三维空间中的多个预定的静止的或移动的点(节点)选择,并且不需要任何额外的手动干预;使用软件界面或机械表盘或其它机械的输入装置在任何时间时选择这些节点中的任何一个。在焦距控制的示例中,一旦用户选择期望的节点时,系统自动地将焦距调节到该节点,并且即使节点和摄像机在移动时保持在该节点上的焦距。它还将使能对焦于在不是当前的视场中的节点上,允许物体一旦进入构图或者从其它物体(门廊、墙壁、车辆等)后面出现就被焦点对准。
当参照附图阅读下面的优选实施例的非限制性说明之后,本发明的目标、优点和特点将会变得更加明晰,所述说明仅为了示例的目的被给出。
附图说明
图1A是根据本申请的实施例的用于控制摄像机设置的系统的框图。
图1B是表示根据实施例的通过图1A中所示的系统执行的方法的步骤的流程图。
图1C是表示根据实施例的通过图1A中所示的系统执行的方法的序列图。
图2A和2B示出了根据本发明的另一个实施例的用于同时控制多个摄像机设置和摄像机控制的系统的框图。
图3是示出根据实施例的将与图1A示出的系统一起使用的单或双挑杆源基座(boompolesourcemount)的示意图。
图4是示出根据实施例的将与图1A示出的系统一起使用的摄像机臂源基座(cameraarmsourcemount)的示意图。
图5是示出根据实施例的将与图1A示出的系统一起使用的摄像机传感器基座的示意图,摄像机传感器基座包含棒和安装在棒的每个端部处的源外壳。
图5A是图5中示出的摄像机传感器基座的源外壳的透视图。
图5B是图5中示出的棒的一部分的侧平面图,示出了棒的一个端部具有从其延伸的安装轴(shaft)。
图5C是在图5A中示出的源外壳的安装孔的轮廓图,该安装孔被配置为容纳图5B中示出的棒的端部。
图6是示出根据实施例的将与图1A的系统一起使用的模块化源安装系统的示意图。
图7示出了在图1A示出的系统中的用户装置的图形用户界面(GUI)上显示的主页屏幕。
图8示出了图7中示出的GUI的节点创建/修改窗口。
图9示出了在图7中示出的主页屏幕的一部分,即定义各种节点的节点阵列。
图10示出了图9中示出的节点阵列的特定的节点按钮。
图11示出了图9中示出的节点阵列的被选择的节点按钮。
图12示出了在图7中示出的主页屏幕的一部分,即示出了定序器(sequencer)组件。
图13示出了在图7中示出的主页屏幕的另一部分,即示出了边角表盘控制界面。
图14示出了在图7中示出的主页屏幕的又一部分,即示出了另一个边角表盘控制界面。
图15示出了根据实施例的显示屏幕,其将被显示在图1A示出的系统的用户装置上,用于定义将被控制的摄像机。
图16示出了根据实施例的另一显示屏幕,其将被显示在图1A示出的系统的用户装置上,用于校准将被控制的摄像机的镜头。
图17示出了根据实施例的另一显示屏幕,其将被显示在图1A示出的系统的用户装置上,用于选择传感器装置的配置。
图18示出了根据实施例的另一显示屏幕,其将被显示在图1A示出的系统的用户装置上,用于在存储器中记录节点阵列的配置以及定序器的配置。
图19示出了根据实施例的显示屏幕的一部分,其将被显示在图1A示出的系统的用户装置上,包含用于调节将施加到节点数据的延迟/滞后补偿的量的边角控制器。
图20示出了根据实施例的替换的控制显示屏幕,其将被显示在图1A示出的系统的用户装置上,包含与线性定序器功能有关的交互图形表示。
图21示出了根据实施例的替换的控制显示屏幕,其将被显示在图1A示出的系统的用户装置上,包含与定制的定序器功能有关的交互图形表示。
图22示出了根据实施例的替换的控制显示屏幕,其将被显示在图1A示出的系统的用户装置上,包含与自由定序功能有关的交互图形表示。
图23示出了根据实施例的另外的控制显示屏幕,其将被显示在图1A示出的系统的用户装置上,包含与自由定序功能有关的交互图形表示。
图24示出了根据实施例的主页屏幕的一部分,其将被显示在图1A示出的系统中的用户装置的图形用户界面(GUI)上,即4-节点几何控制器特征。
图25示出了根据实施例的主页屏幕的一部分,其将被显示在图1A示出的系统中的用户装置的图形用户界面(GUI)上,即3-节点几何控制器特征。
具体实施方式
在下面的描述中,相同的参考标号指代类似的元素。在附图中示出的或者在本说明中描述的所述实施例和/或几何的配置和尺寸仅是为了示例的目的给出的本发明的实施例。
广泛地描述,用于控制摄像机的设置的系统和方法,根据特定的实施例,使用运动捕捉或全局的(或局部的)定位系统以产生三维位置和朝向数据。该数据通过实时计算在三维空间中的位置和朝向以及包括期望的对象和所述摄像机之间的相对距离数据的其它尺度计算的软件处理。该数据然后被用于全部实时控制诸如用于操纵与摄像机有关的设备的伺服电动机的控制设备,其中所述与摄像机有关的设备诸如镜头焦距、镜头光圈、和摄像机远程头。
更具体地,根据特定的实施例,本公开涉及控制焦距和构图,并且包括在三维空间中产生预定的点,所述预定的点在下文中被称为“节点”。节点可以是在空间中固定的节点,即一个花瓶的花。或者它可以是移动的节点,即人或动物。如果摄像机不移动或者如果摄像机有传感器,则固定的节点不需要传感器。移动的节点如移动的摄像机需要传感器。由于运动跟踪系统本质上创建了在给定的三维空间中画出无数个限定的点的可能性,因此用该数据的界面允许大得多的复杂性并且解放有创造力的和实用性的可能性。如所定义的以及在该系统中使用的"节点"的一个重要的特征是其具有位置和朝向数据两者:这允许进行智能的操作,诸如在左和右眼之间自动地对焦——见在该文献后面的"自动分析(AutoProfiling)”。
因此当参考图1时,提供一种用于控制诸如摄像机12的与图像捕捉有关的设备112的设置的系统10。系统10包括一个或多个感测装置114,诸如传感器14,其被配置为在感测装置处捕捉位置数据和朝向数据。系统10还包括嵌入在数据处理装置28(在这里还被称为"数据处理单元")中的处理器16。处理器16与感测装置114通信,并且被配置为基于所述位置和朝向数据确定将被所述设备112处理的感兴趣的区域的位置信息x。处理器16还包括被配置为输出指向所述设备112的控制信号输出端口43,以便于基于所述感兴趣的区域的位置信息来实时控制所述设备112的设置。
系统10还包括与输出端口43通信的控制器118并且被配置为用控制信号控制设备112的设置。系统10还包括存储器132,诸如RAM32,以用于贮存位置数据和朝向数据。系统10还包括设备112。根据该实施例,感测装置114是可见性独立的(visibilityindependent)(即非视线传感器),并且包括发送器22。系统10还包括在发送器22和处理器16之间通信的接收器26。系统10还包括用户装置40,所述用户装置40包含用户界面42,并且所述用户界面42通过无线通信网络39与数据处理装置28通信。
更具体地,图1示出了用于控制摄像机12的设置的系统10。系统10包括传感器14,每个传感器被安装在要由摄像机12捕捉的物体上,并且每个传感器适应于基于每个传感器14的地点捕捉三维位置数据。系统10还包括适应于与传感器14通信以用于基于位置数据接收位置数据和发送控制信号的处理器16。系统10还包括适应于与处理器16通信的以便于响应于控制信号控制摄像机12的设置的控制器18。
还如图1中所示,传感器14每一个被硬连线20到集线器(hub)/发送器22。集线器/发送器22经由无线射频(RF链接)通信方式24通信到通用串行总线(USB)接收器26,其又经由USB连接27连接到具有处理器16嵌入在其中的数据处理装置28。
数据处理装置28还包括电源30和DDR3随机存取存储器(RAM)32,并且嵌入闪速非易失性计算机贮存器34。数据处理装置28还包括WiFi通信模块36和ZigbeeTM无线通信模块38以用于通过无线数据网络39与用户装置40通信,其中所述用户装置40在该示例中是iPadTM,并且所述数据处理装置28包括用户界面42。应理解的是,iPadTM可以用任何其它合适的计算机装置(诸如例如AndroidTM平板计算机)替代或者组合。
控制器18通过硬线(hardwire)44连接到数据处理装置28。控制器18附接到摄像机12中的区域中,并且包括CypressPSOCTM5LP微控制器单元(MCU)46、以及电源48。H桥50、52、54将控制器18连接到分别自动地操作摄像机12的特定的设置、即焦距、光圈和变焦的各个伺服电动机56、58、60。
应理解,根据替换实施例,上述组件可以以任何合适的方式通过任何合适的通信方式互连。
实际上并且例如,在图2A和2B中所示的实施例中,多个摄像机12被系统10'控制。每个摄像机12连接到“从属”数据处理装置28b,所述“从属”数据处理装置28b可经由用户装置40的相应的用户界面而操作。“从属”数据处理装置28b与“主”数据处理装置28a通信。
图2A和2B的剩余组件指的是图1中所示的相似组件。
在图1和2中所示的实施例中,传感器系统由磁性运动跟踪系统来提供。更具体地,传感器14由感应线圈和系统10、10'提供,还包括交流电(AC)磁源产生器(见图3)。集线器22供电传感器14,翻译数据并且在射频24上发送位置数据。优选地,磁源与机载电源一起安装在定制可伸缩的杆基座上。
可选地,可以提供射频中继器以延伸从运动捕捉系统的数据传输的范围。USBRF接收器需要从传感器获得数据并且将其发送到摄像机。如果在摄像机和传感器之间的距离非常大(例如当使用2000mm或200mm的镜头以用于商用的汽车等时)则可能需要增大范围。此外可选地,可以提供USB中继器以便于延伸从运动捕捉系统的数据传输的范围。
每个用户装置40、即iPadTM的用户界面42包括触摸屏,并且用户装置40适应于执行与一个或多个中央控制器28、28a、28b通信的界面软件。
可选地,可以提供机械的输入装置(例如焦距控制表盘或滑块)以充当模拟/数字接口以向所述软件增加额外的控制特征。例如,如在图2A和2B中所示的,用户装置40之一具有包括对焦旋钮62的用户界面42。
中央数据处理装置28以LinuxTM操作系统操作,并且进行大部分处理以控制一个或多个伺服电动机56、58、60。
如之前所述的,伺服电动机56、58、60机械地调节摄像机设置,诸如例如,焦距、变焦、光圈和/或控制摇摄、俯仰、转动和/或类似者。
应理解的是,取决于特定的实施例,所述设置可以包括下列的任何一个或其组合:摄像机的焦距设置、该摄像机的变焦设置、该摄像机的光圈设置、该摄像机的两眼间镜头角设置、该摄像机的摇摄设置、该摄像机的俯仰设置、该摄像机的转动设置、该摄像机的位置设置、照明设备控制设置,声音设备设置以及类似者。
在本说明的上下文中,术语"处理器"指被配置为执行计算机指令的电子电路,诸如中央处理单元(CPU)、微处理器、控制器和/或类似者。根据本发明的实施例,如本领域技术人员可以理解的,可以提供多个这样的处理器。处理器例如可以被提供在一个或多个通用计算机中和/或任何其它合适的计算装置中。
仍在本说明的上下文中,术语“贮存器”指如下装置的任何计算机数据贮存装置或组装件,所述装置例如包括:暂时贮存单元,诸如随机存取存储器(RAM)或动态RAM;永久的贮存器,诸如硬盘;光贮存装置,诸如CD或DVD(可重复写入或一次写入/只读);闪速存储器;和/或类似者。如本领域技术人员可以理解的,可以提供多个这样的贮存装置。
此外,“计算机可读的贮存器”是指任何合适的非瞬时性处理器可读贮存介质或计算机产品。
可以与上述系统10、10'使用的其它组件包括:
-用于源布置(sourceplacement)的非金属杆基座的定制的模块化系统,即具有预定大小的碳纤维脚手架器械,使得当使用多于两个源时可以快速并且方便地装配。
-各种夹子和支架,用于将传感器和磁场源安装到摄像机、对象和物体;以及
-各种仪器,用于促进节点偏移和布置以及源地点的方便测量。
即,图3示出了根据实施例的将与系统一起使用的单或双挑杆源基座。此外,图4示出了根据实施例的将与系统一起使用的摄像机臂源基座。此外,图5示出了根据实施例的将与系统一起使用的摄像机传感器基座,其中其部分在图5A-5C中示出。此外,图6示出了根据实施例的将与系统一起使用的模块化源安装系统。
系统的操作
如之前所述的,本申请的实施例允许控制焦距和构图,并且涉及在三维空间中创建预定的点,在这里被称为“节点”,其具有位置和朝向数据两者。节点可以是房间中固定的节点,即一花瓶的花。或者节点可以是移动的节点,即人或动物。如果摄像机不移动或者如果摄像机具有传感器,则固定的节点不需要传感器。移动的节点如移动的摄像机需要传感器。
在操作中,参照图1,传感器14产生表示其物理地点的坐标,例如笛卡尔坐标系统的X,Y,Z坐标和/或表示传感器的朝向方位、升降高度、转动(A、E、R)。例如,在传感器14被放置在由摄像机12捕捉的人头的后部上的情况下,传感器产生的信息将指示传感器的地点以及人的头部是否朝向前面、后面等。
处理器16接收位置和朝向信息,并且计算“节点”的位置。例如,在传感器14被放置在人头的后部的情况中,“节点”可以对应于人的一个眼睛。因此,处理器16寻找人的眼睛关于传感器14的预定位置,并且基于接收的地点和朝向信息来计算眼睛的位置,即焦点。处理器然后计算摄像机12和焦点之间的距离。基于计算的距离,处理器16输出控制信号以便于控制摄像机12的设置。
因此,通过进一步参考图1A如在图1B中更好地示出,提供一种控制设备112的设置的方法200。方法200包括,通过感测装置114的方式捕捉210感测装置114的三维位置数据和朝向数据;以及在存储器132中贮存212位置数据和朝向数据。通过产生表示物理地点的坐标以及表示所述感测装置的朝向的特性的感测装置114的捕捉位置数据和朝向数据。方法200还包括通过处理器16的方式基于三维位置数据和朝向数据确定214要被所述设备处理的感兴趣的区域的位置信息,即“节点”。节点和传感器装置114通常位于不同的地点。处理器16然后确定216所述节点的位置信息,并且进一步计算218设备112和节点之间的距离。
方法还包括基于计算的距离经由输出端口43输出220指向设备112的控制信号。
更具体地,从勾股定理得到“距离公式”,并且计算在三维欧几里德空间中的两点(x1,y1,z1)和(x2,y2,z2)之间的距离。一旦确定两个节点的确切位置,可以使用距离公式来计算这些节点之间的距离。对于对焦摄像机的示例,如果节点的一个在摄像机上的焦平面的中心,则镜头的外部对焦环或内部电子对焦机制可以被设置为该距离以便于对焦物体。
更具体地,在计算步骤216中的每个节点的位置信息包括节点(x1,y1,z1)的欧几里德空间坐标,并且所述计算步骤218包括:
-接收222设备的在欧几里德空间坐标(x2,y2,z2)中的位置信息;以及
-从下面的勾股定理计算224所述设备的位置信息和所述节点的位置信息之间的距离:
对于测量位置和朝向两者的运动跟踪传感器,向量数学可以被用于将"尖端偏移"施加到传感器的地点。例如如果演员将传感器放在他的/她的颅骨的后部,尖端偏移可以将传感器的位置投射到演员的左眼的表面,实际上在演员的眼睛上创建虚拟的传感器。对于硬性的对象/物体,施加尖端偏移允许在对象/物体的内部任何地方或者表面上定义节点。同样地,尖端偏移(节点)可以在3D空间中的任何地方创建,即它们可以存在于表示相对传感器的位置和朝向的地点坐标的物体的外部。因此,确定步骤216包括施加226从所述捕捉步骤210的感测装置114的位置数据和朝向数据的尖端偏移以便于计算所述节点的位置信息。
进行该尖端偏移(节点)投射的一个方法利用关于由传感器定义的轴系统的从该传感器的原点到眼睛的测量的X、Y和Z偏移。对于眼睛的示例,所述偏移可以是关于传感器的本地坐标系统的在X-方向中10cm、在Y-方向中0cm、在Z-方向中8cm。通过这些偏移,旋转矩阵和/或四元数可以被用于在运动跟踪系统的坐标系统中计算演员的眼睛的绝对位置(X,Y,Z)和朝向(偏转(yaw)、转动(roll)、俯仰(pitch))。下列等式使用标准旋转矩阵的方法以解决该尖端偏移问题(见http://www.flipcode.com/documents/matrfaq.html#Q36)。
因此,在该实施例中,施加尖端偏移的步骤226(见图1B)包括:在由所述感测装置114定义的轴系统中,获得所述节点的相对于感测装置114的三维位置数据和朝向数据的相对坐标。在这种情况中,确定步骤216包括估计所述节点的关于所述设备112的绝对位置。
所述节点的绝对位置被如下估计:
使用旋转矩阵M=X.Y.Z,其中M是最终旋转矩阵,并且X、Y、Z是单独的旋转矩阵。
M = C E - C F - D - B D E + A F B D F + A F - B C A D E + B F - A D F + B F A C
其中:
A、B分别是X-轴旋转轴、即转动的余弦和正弦;
C、D分别是Y-轴旋转轴、即俯仰的余弦和正弦;
E、F分别是Z-轴旋转轴、即摇摄的余弦和正弦;
Xf=Xs+Xt*M(1,1)+Yt*M(2,1)+Zt*M(3,1);
Yf=Ys+Xt*M(1,2)+Yt*M(2,2)+Zt*M(3,2);
Zf=Zs+Xt*M(1,3)+Yt*M(2,3)+Zt*M(3,3);
其中:
Xf,Yf,Zf是所述节点的绝对(或“最终”)坐标;
Xs,Ys,Zs是所述感测装置的中心的坐标;
Xt,Yt,Zt对应于相对于所述感测装置的中心的尖端偏移的坐标;
M(行,列)是分别就行和列来说的所述旋转矩阵的元素,其中元素"行"表示在矩阵中的行数,并且元素"列"表示在矩阵中的列数。
可通过其它方法促进“尖端偏移”的测量。例如,在演员的颅骨的后部存在具有可以以欧拉角或通过四元数表示的初始朝向。用户希望在演员的左眼上定义节点的传感器。另外的运动跟踪传感器可以针对演员的眼睛放置以计算X、Y和Z偏移(而不是例如试图使用卷尺)。一个解决方案是测量在该初始时间时的“尖端偏移”和朝向。给定了在位置P1处的基础传感器、以及在期望的节点P2处的传感器,“尖端偏移”、V1为P2-P1。初始朝向可以用X、Y、Z和W属性定义为四元数Q1。在任何其它时间时,将产生新的朝向,Q2。
因此,在该实施例中,施加尖端偏移的步骤226包括获得已经通过位于节点的位置处的感测装置的节点的位置关于位于所述感测装置的位置的基础感测装置的位置和朝向而预先计算的尖端偏移。如上所述,所述初始朝向被定义为具有X、Y、Z和W属性的四元数Q1,所述捕捉步骤的朝向数据被定义为Q2。根据下面确定所述节点的位置信息:
Pn+(qiqn)Pi(qiqn)
其中:
Pi是从在朝向q处的传感器的偏移;
Pn是所述传感器的当前位置;
qi是在计算Pi的时间时的传感器的朝向;
qn是所述传感器的当前朝向;以及
qi和qn是单位四元数。
可以执行各种其它手段和/或方法以便于位置和/或朝向数据进行多种高级系统功能。示例可以是使用四元数计算运动捕捉"磁场源"的相对于所述运动捕捉坐标系统的原点的位置和朝向。如果影片摄制组的成员在随机的位置和朝向处放置源,则通过在该随机的源的范围中使用运动传感器,连同来自已知的位置和朝向的传感器或源的数据、以及来自诸如激光尺测量的测量装置的数据,可以确定确切位置和朝向以及随机的源。简单的装配工具和软件可以使该示例性过程呈现非常快速和简单的执行。
返回参考图1A和1B中所示的实施例,方法200还包括以控制器118(其嵌入在设备112中)的方式用所述控制信号控制228设备112的设置。
假定节点从传感器偏移,因为所述偏移的位置随传感器旋转,所以即便传感器转动,朝向数据也有利地允许定位节点。例如,传感器可以被安装在刀的手柄上,并且焦点可以固定到刀的尖端并且无论刀如何移动和旋转都以高精度跟踪所述尖端。
使用朝向数据的进一步优点涉及"校准偏移"功能。通过朝向数据,可以使用第二传感器即时地计算关注节点的期望的偏移位置。例如,将传感器放置在表演者的颈部的后面并且然后将第二"校准传感器"放置在表演者的眼睛上是快速并且强大的创建节点的方式。该特征将在下面进一步更好地解释。
使用朝向数据的进一步优点涉及"快速设置“功能,这是校准偏移特征的特殊情况。当摄像机和对象二者具有安装到其上的传感器、并且摄像机指向传感器位于视线之外(例如在其背面上)的对象时,快速设置功能是有益的。然后调整摄像机焦距直至所述对象的期望的部分、例如他们的眼睛被焦点对准。使用来自对象和摄像机的朝向数据两者并且然后使用由镜头指示的距离数据,还可以获得关注节点的快速的并且适当精确的设置。
现在将描述根据本发明的特定实施例的各种功能性特征和方面。
根据图1C中所示的实施例,通过进一步参考图1A,示出了用于控制与图像捕捉有关的设备的设置的方法300。方法300包括在存储器132中贮存314将被所述设备112处理的预定的感兴趣的区域(即"节点")的一个或多个标识符和相应的位置信息(即相对于设备的三维坐标)。位置信息由以下步骤获得:在感测装置114处捕捉310位置数据和朝向数据;以及从所述感测装置114的位置和朝向数据确定312将被所述设备112处理的感兴趣的区域的位置信息。方法300还包括在处理器16处接收316一个或多个标识符的选择。方法300还包括通过输出端口43输出318指向设备112的控制信号,以便于基于选择的感兴趣的区域的位置信息实时控制320设备112的设置。
节点阵列:
通过预先定义节点(静止的或移动的)可以在界面中创建期望的节点的阵列。简单地通过选择节点,镜头将即时地对焦,且/或摄像机将指向并且构图在视场中的该节点。这允许对于在现场即兴创作上,在大量的对象/物体之间极其快速的变焦以及在两个移动的对象/物体之间准确地调节,而不需要焦距表盘的手动测量或手动调节的任何动作——或在摄像机操作的情况下,对摄像机自身的任何手动调节。因此,在这种情况中,在图1C中描述的方法300的接收步骤316包括接收预定顺序的选择的节点;并且方法对所选择的每个节点重复输出步骤318,以便于根据顺序的节点选择来对多个节点依次自动地控制320设备112的设置。
节点定序器:
还有可能创建预定顺序的节点,这适合影片的电影制作的当前范例,其中导演提前知道对象的顺序。以此方式,通过预加载期望的节点可以通过简单地点击"下一个"按钮、或者来回转动表盘(实际的或虚拟的)简单地从一个对象/物体移位到下一个,用户不仅可以在任何期望的时刻在两个对象之前切换,还可以指令在对象之间调节焦距的速度(对焦的速度)。因此,当经由输入端口41接收用户输入命令时提示前述重复在图1C中所示的步骤318、320(参照图1A)。可替换地,基于贮存在存储器132中的规划而重复步骤318、320。
几何滑块:
还可以在触摸屏装置上以几何的(三角形和正方形)或随机的模式(Z字形线、曲线等)布置节点(或节点阵列)的图形表示,并且通过在每个节点之间滑动手指用户将在对象之间"对焦",再次具有对对焦的速度的控制,并且再次不管对象或摄像机的运动而不需要测量或调节实际的焦距距离。
因此,图1C中所示的方法300(参照图1A)还包括经由输入端口41通过对应于两个相邻节点之间的位移的在触摸屏上的滑动运动来接收用户输入命令,其中接收步骤316的选择包括相邻节点的标识符。方法300还包括根据所述位移关联所述相邻节点之间的中间位置,对所述中间位置的每一个重复输出步骤318。
界面模式:
使用节点阵列、定序器、几何滑块和硬件表盘或其它输入装置,可以在对焦的两个基础模式之间选择。
一个模式是"轻击以对焦",其中用户简单地轻击按钮(虚拟的或在物理输入装置上)以选择节点或在节点序列中向前移动到下一个预定的节点。在该模式中,还应注意的是可以预先确定当通过预先定义偏好(reference)或者通过调节虚拟的“速度表盘”或模拟输入装置来选择下一节点时调节焦距的速度。
第二模式是“滑动以对焦”,其中用户不仅选择下一节点,而是通过使用几何滑块、虚拟的表盘或模拟输入装置能够选择下一节点并且实时实现调节焦距的速度。这仿真了当前的对焦范例,其中调焦者控制调节的速度,而不引入任何在期望的对象上失焦的风险。
来自单个传感器的尖端偏移和多个节点:
通过使用提供一种实时位置和朝向数据的传感器,可以使用相同的传感器创建多个节点。这通过使用X、Y、Z位置坐标以及相对的方位、高度、转动坐标输入“偏移值”而实现。因此,附接到对象的头部的后部的传感器由于其是硬性的物体可以具有与头部相关联的几个节点。眼睛、鼻尖、耳朵等使用该技术都可以从单个传感器被定义为节点。
尖端偏移的精细调节:
在难以在三维空间中测量准确的偏移的情况下,提供两个自动化技术:
-假设传感器被放置在演员的颈部的后面并且期望的节点实际上是眼睛,第二传感器可以暂时放置在眼睛上。使用来自第二传感器的数据“尖端偏移”数据可以被自动地计算并且施加到节点。
-可以通过使对象处于到摄像机的视线中而手动地调节尖端偏移,然后调焦者可以调节焦距直到期望的节点被焦点对准(通常是眼睛)。系统能够大致校准其自己的尖端偏移,因为它知道传感器的朝向并且它将知道相对于传感器数据调节了多少焦距。
自动分析(profiling):
如果用户使用藏在表演者身体上的某处的传感器将节点定义为眼睛,可以通知系统该节点实际上是“两个节点”,左眼和右眼。由于系统在所有时间都知道摄像机处于何处以及对象处于何处以及对象相对于摄像机如何朝向,它例如可以当脸的左侧朝向摄像机时对焦在左眼上、并且当脸的右侧朝向摄像机时对焦在右眼上。因此,在图1C中示出的方法300(参照图1A)还包括在步骤316处在接收的节点的选择中确定满足给定条件的节点(或者一个或多个感兴趣的区域)。从而根据满足给定条件的节点产生步骤318的信号。
同样地,任何旋转的对象或物体可以具有与其相关联的几个“自动分析”节点,随着所述对象或物体转动,所述节点可以被触发。
变焦控制:
类似于对焦,位置和朝向数据也可以被用于调节变焦。例如,如果所期望的是不管对象的距离将其在画面框中保持完全一样的大小,通过输入镜头参数,系统可以随着对象或物体移动自动缩小和放大。NB:该效应有时被称为“移动变焦(DollyZoom)”或者“三倍反向变焦(TripleReverseZoom)”,并且目前需要非常稳定的摄像机运动以及多次彩排来实现。该系统使得能够在手持式镜头并且其中随机的表演者和摄像机移动中创建该效果。
镜像模式:
还可以延伸功能以计算如拍摄例如在镜子中的反射所需要的虚拟的距离和或角。其中在镜子中反射的摄像机和对象之间的焦距等于从摄像机到镜子的距离加上从镜子到对象的距离,通过将传感器放置在镜子和对象上(以及摄像机上,如果摄像机移动)系统可以快速地计算正确的虚拟距离以当期望时对焦反射。
基于两个节点或两个偏移节点之间的最佳的焦平面的焦距:
例如可能期望的是,对焦到每一个穿戴传感器的两个对象上。人们从而可以选择中点,使得选中的镜头将同时允许对象由于焦平面将处于每个对象的中间点而被焦点对准,并且由于焦平面将大致在景深的中点处而将允许两个对象的最佳的焦距。摄影师也可以选择两个对象之间的任何点,特别是如果他们希望确保在另一个对象离开景深的范围的情况下给予两个对象的一个优先权并且确定其被焦点对准。
用于3D制作的两眼间角调节:
一些三维摄影设置要求两眼间角的实时调节。该系统可以通过将该角栓系到选中的对象/物体使该调节自动化。
光圈控制:
在一些情况中,可能所期望的是“拉动光圈”以调节进入镜头的光量,例如当在单个镜头中从较亮的室外地点移动到较暗的室内时。通过将摄像机位置栓系到光圈调节,可以对预定地点的范围进行自动的光圈调节。此外,因为朝向数据可用于摄像机,可以仅基于摄像机的方向调节光圈,允许了其中布景或地点可以被点亮到多于一个“关键光”、并且光圈将总是在这些曝光值之间平滑地调节的当前不可能的场景。
保存设置:
可以使用该系统预先计划非常复杂的拍摄或场景,并且将关于“节点”和任何序列的所有所需要的数据输入到在界面软件上的文件中。对“场景”的该保存极大体改善了设置效率,并且还给予创造者计划和准备用当前计数不可能实现的高度复杂的拍摄的能力。
距离显示:
系统能够计算在任何时间时对象和摄像机之间的相对距离并且在任何时间时在任何期望的读数上将此显示为距离数据。例如,选择的“节点”距离数据可以总是被显示在软件界面的主控制屏幕上。此外“卫星装置”可以结合到该距离数据,并且用户可以在任何时间时选择任何节点以确定数据。
例如,调焦者可以在彩排期间对焦于演员A,但是电影摄影师可能希望知道演员B离开有多远以评估所需要的灯光水平,以构建导演所要求的景深。使用类似iPodTouchTM或智能手机的手持装置,即使当演员A被焦点对准时,电影摄影师也可以实时获取演员B的距离数据。
多摄像机支持:
该系统允许用户设置一个或多个摄像机,而没有可限定的上限,并且将多个摄像机对准相同的物体或者将每个摄像机对准分离的物体。
其它实时数据显示:
获取实时数据还允许其它实时计算和指标:
-在任何给定时间时对于任何给定节点的景深。
-最小焦距警告——例如:当达到预定的近距离时可以以橙色显示距离,并且当对象达到实际最小的焦距时以红色标记。
手动覆盖以及自动切换:
由于任何调焦者或摄像机摄影师可能希望在任何时间时手动地控制焦距,不管系统的效率,该系统使能全时在自动和手动之间的手动或自动切换。这些是在当前系统中可用的方法:
-数字精细调节“表盘”永远对调焦者可用。简单地通过调节该精细调节,调焦者可以以任何量来改写自动焦距设置。
-“开拍板(slate)模式”。通过选择按钮,自动系统立即切换到全手动。
-“自动切换”。该模式允许用户预先定义的一点,在所述点处节点、对象或物体从自动切换到手动或者相反。这可能对当其中对象长距离行进时使用非常长的镜头是有用的,且/或可以是用于避免数据中不期望的变化的方法。
吊杆安装的源:
由于电影产业已经习惯于在被称为"吊杆"的长的可伸缩的杆上安装麦克风的处理,该系统的一个独特的实现方式是在吊杆上安装磁性源,然后该吊杆可以以麦克风在最近的方便的位置被放置在表演区域之上的安全相同的方式,在最近的方便的位置被放置在表演区域之上。如果对象和摄像机两者都配备有传感器,仍可以收集理想的焦距数据以用于多个节点。然而,该方法不允许摄像机操作或使用不与传感器相关联的固定的节点。
双(和多个)源吊杆:
将在吊杆上安装单个源的基本想法延伸,还可以安装两个源,每个在吊杆的一端,以扩大范围。同样地,其它手持的配置——三角形或正方形,例如可以扩大范围,由于所述源的相对位置可以在设置软件中预先配置,所以允许不需要设置上的校准的快速设置。
摄像机安装的源:
直接在摄像机上安装所述源并且使用软件将摄像机的相对位置校准到源可以操作所述系统而不需要摄像机上的传感器。这允许快速地设置"单源系统",其在最需要敏锐的对焦的邻近的范围处提供极大的准确性。
模块化系统:
多个源(没有理论上的上限值)可以被布置在预定的配置中或随机地布置。预定的配置可以使能快速设置,(诸如具有10ft侧的等边三角形)并且覆盖更大的区域。随机的配置需要在软件中的一些手动设置,但是允许将由系统覆盖的形状和区域中的极大的灵活性。
静止的磁性源(或光学传感器)校准:
由于系统使用多个磁性源,(或在红外线的情况下,多个摄像机)并且每一个源的X,Y,Z和A,E,R需要被输入到所述系统中,所以在系统中包括用于输入该数据的简单界面。
预测性(或卡尔曼)滤波:
由于任何自动化的系统实时查看数据,其总是回顾过去。尽管该系统将极其地快速,但即使一百万分之一秒的滞后在极其充满挑战的情况下(即在低亮度中具有迅速地移动的对象的非常长的镜头)可能具有可以可见的效果。当前电影制作人和电影摄影师避开这些充满挑战的情况并且事实上为了克服它们而花费大量的金钱,特别是在租借非常昂贵的照明套件以维持5.6的平均F/分档位(stop)。通过将预测性算法增加到系统可以通过补偿在焦点位置的任何延迟而非常容易的克服数据中的任何轻微的滞后,其中所述补偿在焦点位置中的任何延迟通过以相对于对象朝向或远离摄像机的运动的速度的固定比例调节焦点位置。通过增加该特征,即使在最具挑战性的情况下甚至是获得焦距是相对简单的。
如在该系统中的所有特征一样,可以通过使用者增加所期望的一样多的或者一样少的自动化来校准。例如,非常激进的设置将即使在非常迅速地移动的物体上也创建紧密的对焦。相对不激进的设置将创建更加自然的延迟,其对一些创造性的目标可能更加适合。
数据记录:
如之前所述,在该系统中的位置和朝向数据可以实时地被记录(即贮存在存储器132中——见图1A)并且在之后在其它后期制作方案中使用。
增强的摄像机控制:
使用位置和朝向数据可以完整地自动化摄像机的操作以及移动摄影车和/或摄影升降机转臂或摄影升降车的移动。但是,摄像机摄影师和电影摄影师希望对最终构图的微妙之处具有全部的控制。该系统的一个特征是要完整地自动化摄像机控制的复杂工作,并且允许摄影师通过具有触摸屏功能的视频重放屏幕简单地移动他的手指来调节构图。例如,自动化的系统可能将表演者保持在画面框的正中心,但是摄影师希望将表演者置于画面框的左侧。通过简单地将手指从在视频图像上的任何点拖到左侧,系统将补偿和调节表演者在画面框中的位置到期望的构图。以此方式,构图迅速地移动的物体将像构图静止的物体一样简单。该相同的调节可以通过操纵杆控制来实现,其当前被用于标准的远程摄像机操作并且这还将是对当前技术的很大改善。然而触摸屏拖动特征更加直观并且不需要训练。
红外LED:
上述系统使用AC磁运动捕捉系统。但是,可以应用于较大的工作室配置的同样可行的替代是使用红外LED运动跟踪系统以捕捉相同的数据。虽然红外对传感器摄像机是视线的,但是其不需要在摄像机和对象之间的视线。可以在衣服、头发和对摄像机不可见的其他物体中隐藏小型的红外LED。还可以创建具有红外图案缝进其中的"智能织物",其可以提供相同的数据。
差分全球(和本地)定位系统:
差分GPS提供操作该系统所需的数据的几乎所有的相对位置。通过加速处理时间、"拴系(tether)"和增加额外的传感能力来增强GPS以提供朝向数据将使得该系统在世界上几乎任何室外地点处功能完整。室内的工作室应用可以通过开发并使用"本地定位系统"来增强,所述"本地定位系统"以与差分GPS相同的原理但是以小得多的规模操作,并且由于"卫星"可以是静止的,还可以实现大得多的准确性。
照明和其它设备控制:
一旦节点被限定,可以使得数据可用于需要精确的指定、跟随或锁定目标的以及诸如光束的宽度等等的其它定性调节的任何数量的辅助的控制系统。
体育训练:
将该系统适应于体育训练是相对简单的事。例如,将网球机器拴系到知道运动员的确切的位置的软件界面,可以将机器编程到总是向运动员的弱点(反手拍)打球和/或创建具有以任何速度或角度发球的机器的能力的更具挑战性的虚拟的对手。
用于视力削弱的环境的应用:
系统的另一应用可以用于低亮度情况或用于视觉上削弱的人们。例如,环境可以被映射为节点并且视觉削弱的人可以接收关于他们的位置和朝向以及在房间中的物体和人员的位置和朝向的各种类型的反馈。另一个示例是在低亮度情况中——诸如极度的暗房,其中任何人不能看见他的或她的环境。
现在参考图7到25,将描述图形用户界面(GUI)64的组件。通过用于装置40的用户界面装置42显示GUI64,以便允许用户操作系统10(见图1、2A和2B)。
图7示出了GUI64的主页屏幕66。
图8示出了节点创建/修改窗口68。
图9示出了图7的主页屏幕66的一部分,即节点阵列70,其中用户在阵列70中创建了各种节点72。
图10示出了图9的节点阵列70的一部分,并且更具体地,节点72的示例。
图11示出了图9的节点阵列70的另一部分,并且更具体地,被高亮的节点72表示通过轻击所述节点而已被用户选择。节点可以向用户指示各种信息(例如其是否与传感器相关联、传感器是否在线等等)。
图12示出了图7的主页屏幕66的一部分,即定序器74。用户已经以指定的顺序向定序器74记录了各种节点。
图13示出了图7的主页屏幕66的另一部分,即例示出边角表盘控制界面76。在该实施例中,表盘被用于精细调节镜头的焦距距离。
图14示出了图7的主页屏幕66的又一部分,即例示出另一个边角表盘控制界面78。在该实施例中,表盘被用于控制镜头将焦点从一个节点拉到另一个的速度。
图15示出了用于限定摄像机的GUI64的窗口80。
图16示出了用于校准镜头并且选择哪一个镜头在摄像机上的GUI64的窗口82。
图17示出了用于选择运动跟踪系统的设置的GUI64的窗口84。
图18示出了用于在存储器中保存应用的当前状态的GUI64的窗口86,包括节点阵列70和定序器74。
图19示出了GUI窗口64的一部分,包括允许用户调节系统施加到节点数据的延迟/滞后补偿的量的边角控制器88。
图20示出了对GUI64(“完整功能几何线性”)的替代控制窗口90,其允许定序器功能的交互式图形表示。用户可以简单地通过将手指从一个点(每一个点表示一节点)滑动到下一个来对焦(或进行其他自动调节)。用户从一个点到另一个点移动手指的速度控制将要进行的焦距(或其它)调节的速度。
图21示出了对GUI64("完整功能几何线性")的替代控制窗口92,其允许定序器功能的交互式图形表示。用户可以确定在屏幕上的点的确切的数量和位置(每一个点表示一节点)并且然后简单地通过从一个节点到下一个滑动手指来对焦(或进行其他自动调节)。用户从一个点到另一个点移动手指的速度控制将要进行的焦距(或其它)调节的速度。
图22示出了对GUI64的替代控制窗94(“完整功能的几何6节点”),其允许在任何6个点之间的交互式调节,每一个点表示一节点。该配置的优点是不需要预定的顺序。用户从一个点到另一个点移动手指的速度控制将要进行的焦距(或其它)调节的速度。
图23示出了对GUI64的替代控制窗96("完整功能的几何5节点"),其允许在任何5个点之间的交互式调节,每一个点表示一节点。该配置的优点是不需要预定的顺序。用户从一个点到另一个点移动手指的速度控制将要进行的焦距(或其它)调节的速度。
图24示出了在具有多个功能的GUI64上的主控制窗口中的图19的边角控制器88的细节98(“边角几何4节点”)。该功能示出了当使用四个节点时其可以如何被用作容易控制的图形表示。其允许在四个点之间的交互式调节。该配置的优点是不需要预定的顺序并且可以容易地通过右(或左)拇指在主GUI64窗口中操作。用户从一个点到另一个点移动手指的速度控制将要进行的焦距(或其它)调节的速度。
图25示出了在具有多个功能的GUI64上的主控制窗口中的边角控制器88的细节100("边角几何3节点")。该功能示出了当使用三个节点时其可以如何被用作容易控制的图形表示。其允许在三个点之间的交互式调节。该配置的优点是不需要预定的顺序并且可以容易地通过右(或左)拇指在主GUI64窗口中操作。用户从一个点到另一个点移动手指的速度控制将要进行的焦距(或其它)调节的速度。
下面的列表提供根据本发明的实施例的额外的特征、组件、用途等:
-该系统的数据流和特征有助于在后期制作中使用。所有数据和视频反馈可以被贮存并且被立即重放(例如对于在影片设置上的每一个‘拍摄’)和/或被贮存以用于后期制作(例如被用于CGI)。这包括摄像机运动/朝向、节点运动/朝向和设备控制。
-该系统的数据流和特征有助于在虚拟的和增强现实的环境中使用。所有数据和视频反馈可以被传输、贮存以及立即重放。
-该系统的数据流和特征有助于各种硬件的互操作。例如,光圈和灯光调节可以彼此链接并且预先编程使得随着光圈被调节为改变景深,灯光可以自动同时变暗或变亮,因此观众感受景深的改变而不会感受到灯光的改变。这种互操作性涉及所有设备而无限制。
-根据实施例的所述系统设计有助于运行应用程序的并且控制所有设备类型的多摄影师界面装置(例如iPads、iPhone、ipodtouch)的互操作。与该互操作性一起,每一个界面装置可以与对方发送和接收数据。例如,如果摄影师轻击节点以将他的或她的摄像机对焦在一个物体上,该对焦决定可以立即被表示在控制另一个摄像机的另一个对焦者的装置上,并且也在包括导演和制作人的各种其它工作人员的装置上。
-根据实施例的所述系统设计适用于极其地灵活的多摄像机功能。在对焦的示例中,一个iPad可以控制多个摄像机,并且多个iPad可以同时控制多个摄像机。一个iPad可以通过轻击节点同时控制多个摄像机,或摄像机可以选择单独控制。节点阵列的第二复制还可以暂时替换定序器图形以用于同时地控制一个或多个次级摄像机到永久性节点阵列。所述应用的视频反馈部分可以被制成切换为分屏(例如用于2个摄像机的分屏,或用于4个摄像机的四分屏)以便于监控所有的对焦活动。
-高级硬件和软件设计致力于将系统的延迟最小化到毫秒级别(例如中断、多核心、多线程软件等等)。
-由于系统的低的延迟和响应能力,一功能可以允许摄影师实际地减慢自动对焦的响应能力以不会看起来过于“机器人化”。
-机械的输入装置(例如附接至iPad的数字跟随焦距表盘)可以链接到软件的图形用户界面(例如定序器)的任何元件。
-可以通过在屏幕表面上的电荷创建纹理、凹槽等等的感觉的‘可延展的’触摸屏有助于该系统。例如,在‘几何滑块’功能中的图形的线和节点可以变为凹槽以用于改善的操作性,包括限制摄影师对查看触摸屏的依赖。
-对内置的视频反馈显示的记录和回放对于调焦员、摄影导演、导演等等都极其地有用。例如调焦员可以评估在最后一个‘拍摄'或在‘镜头’的最后或者在当天的最后的对焦的质量。
-触摸视频反馈的区域可以选择节点以用于对焦和/或控制其它设备功能,诸如远程头部指定、照明等等。
-传感器和发送器可以被放置在自由物体的内部。例如,传感器和发送器可以以不影响球的质量或重心的方式被放置在定制的篮球中,以便于在篮球比赛期间对焦于所述球。
-与保存应用的状态的‘场景保存’功能一起,节点管理器可以允许摄影师保存相似的节点组(例如汽车的所有部件可以被定义为节点并且在未来任何时间时重新加载以重复使用相同的汽车或促进用于新汽车的节点创建)。
-设备控制事项可以基于节点的坐标位置被触发(硬件和/或软件触发)。
-节点数据的许多‘智能’使用是可能的。例如,当节点接近或进入摄像机的视场(画面框)时,一指示可以警告摄影师。在该示例中,节点可以被预先编程为当其进入画面框时自动地进入对焦。
-运动跟踪数据流可以使用许多数学方法过滤。例如,在数据流中的噪声可被量化以确定数据何时变为可疑的或不可用的。该数据可以反馈到‘手动覆盖以及自动切换’软件功能中。许多过滤器还可以应用到数据流以控制减震的水平等等。
-当节点定序器是‘中立’的时,2(线)、3(三角形)或4(正方形)几何节点都被设置为绿色。这样当定序器被放为‘正向’或‘反向’时,下一个节点将在2、3或4组之外,并且在序列中的下一个逻辑节点将变为唯一的绿色节点。
-软件功能可以允许摄影师通过从摄像机观察节点,并且然后操纵所述焦距精细调节功能直至节点被精准地对焦,而快速校正在节点的尖端偏移中的轻微的误差。此时,摄影师可以触发系统自动地重新计算节点的尖端偏移(通过四元数计算)。
-预录制的运动跟踪数据(例如地震运动)可以被反馈到系统中以移动摄像机和设备以便模拟所述预录制的运动。该技术可以提高观众的‘自然的体验’(例如地震运动、在不平地形中的车辆等等)。
-特定的(和艰难的)预定义的设备动作可被自动化和/或促进(例如使用手持式摄像机的希区柯克(Hitchcock)变焦、与空中飞人表演者同步的摄像机旋转等)。
-与音乐内容相关的效果是可能的包括反馈环路(例如,即时与歌曲的节拍或定位/指定与节拍有关的摄像机的对焦和散焦,包括实况演出)。
-整个系统可以是‘可编写脚本的’使得与软件的任何用户交互可以被记录和自动化。
-各种配件可用于在物体上的传感器布置。例如,传感器可以放置在带子中以放到演员上,或者可以按扣进用于容易地放置/附接的各种安装件上。
-源设置功能可包括3D模块化源建筑功能,以用于使用模块化杆连接源系统配件的设置。在该功能中摄影师可以快速建造他们手动构造的模块化设置的3D表示。由于杆的长度和源的角通过模块化源系统配件的物理设计的方式被预定义,软件可以然后即时地计算所有源的位置和朝向。
-对于模块化源系统,连接杆可以在设置之后被拿走而不移动所述源。这允许快速的、非拴系的源布置而不需要测量源位置或朝向,如在iPad应用的3D模块化源建筑功能中计算的。
-与镜头圈的伺服电动机控制一起,可以访问某些摄像机镜头的内部电子器件以直接控制焦距、光圈、变焦,移除伺服电动机的要求。
-系统软件允许对运动跟踪系统的配置的全面控制。
-一配件是将装配到摄像机的镜头基座上的传感器校准‘主体帽’工具以用于精确的测量。这将允许焦平面中心的非常精确的测量,因为所述中心使得摄像机数据“节点化”,所以所述中心对视觉效应工作是重要的。
本发明的实施例是有利的在于,使用三维位置和朝向数据的实时流调节镜头功能、构图、摄像机定位、照明和声音极大地促进并扩大了对电影制作人和动画和/或静止图像内容设计人来说可用的功能。
根据本发明的实施例,在电影的控制的上下文中的节点的使用展现许多优点,包括:
1)节点系统允许预先定义多个移动节点(几乎所有其它摄像机/对焦系统不能,但是PictorvisionEclipse使用GPS以用于粗应用http://www.pictorvision.com/aerial-products/eclipse/)。
2)节点系统允许对多个移动节点的真正的自动跟踪(可能所有其它摄像机/对焦系统不能;一些通过使人进行跟踪而进行尝试PictorvisionEclipse可能仅具有一个移动节点;用于照明的“真正的自动追踪器”的一示例可能是:http:/www.tfwm.com/news-0310precision)。
3)节点系统提供三维的位置数据(相对于远没有用的距离,不同于几乎所有其它系统)。
4)所使用的节点的特征是位置和朝向,允许在对象/物体上定义而不是一般的‘区域’(不同可能所有其它摄像机/焦距系统;如果没有此,其它系统不能再物体的任意地方施加偏移以定义节点,如对焦于眼睛)。
5)位置和朝向允许尝试控制对象/物体的角,例如当他们的头部对于摄像机处于某些角度时,从演员的右眼切换到他们的左眼(没有其它系统可以实现此)。
6)节点系统提供极高的准确性(在许多情况中小于1cm),不同于可能所有其它自动跟踪系统(由于朝向和偏移提供提升的控制/对焦水平)。
7)节点系统还提供极高的频率(120Hz),不同于可能所有其它自动跟踪系统(例如gps系统,积极的面部检测倾向于不具备此)。
8)节点系统还提供低延迟(10ms)。该延迟水平对于大多数情况不会妨碍‘影片的’控制(再次,许多系统缺乏此)。
9)节点系统提供预测性/校正性功能,相当降低延迟。
10)节点系统不需要‘视线’的要求,即节点使用放置在演员/物体上的传感器,因此激光或声音也不会从演员上弹开。面部识别明显也需要视线。在该方面的传感器的另外的益处是恒定的节点数据。例如,如果演员从树丛后面跳出来,相对于需要对演员的新的出现反应的视线系统,他/她已经‘立即地’被对焦。
11)节点系统继续在移动的环境中运作。例如,如果源安装到手持摄像机系统(或与源吊杆配件使用),不论他/她走到何处,系统继续在摄像机摄影师的附近运作。类似地,系统工作在移动的车辆中,例如在移动的火车上。
12)此外,节点系统是便携式系统。
上述实施例在各个方面仅被认为是示意性的而不是限制性的,并且本申请意欲覆盖对本领域技术人员来说显而易见的任何修改或变化。当然,如对本领域技术人员来说显而易见的,可以对上述实施例作出多种其它修改而不脱离本发明的范围。

Claims (39)

1.一种用于控制与图像捕捉有关的设备的设置的方法,包括:
a)在感测装置处捕捉三维位置数据和朝向数据;
b)通过处理器从已经捕捉的位置数据和朝向数据确定将被所述设备处理的感兴趣的区域的位置信息;以及
c)经由所述处理器的输出端口输出指向所述设备的控制信号,以便于基于所述感兴趣的区域的位置信息来实时控制所述设备的设置。
2.根据权利要求1所述的方法,还包括:
d)通过控制器用所述控制信号控制所述设备的设置。
3.根据权利要求1所述的方法,还包括:
-在存储器中贮存所述位置数据和朝向数据。
4.根据权利要求1到3的任何一项所述的方法,其中所述设置包括如下的至少一个:摄像机的焦距设置、该摄像机的变焦设置、该摄像机的光圈设置、该摄像机的两眼间镜头角设置、该摄像机的摇摄设置、该摄像机的俯仰设置、该摄像机的转动设置、该摄像机的位置设置、该摄像机的位置设置、照明设备控制设置和声音设备设置。
5.根据权利要求1到4的任何一项所述的方法,其中所述捕捉包括产生表示物理地点的坐标以及表示所述感测装置的朝向的特性。
6.根据权利要求1到5的任何一项所述的方法,其中所述确定步骤(b)的感兴趣的区域包括一个或多个节点,所述确定步骤(b)包含,对于每个节点:
i)确定所述节点的位置信息;以及
ii)计算所述设备和所述节点之间的距离,并且
其中基于在步骤(b)处计算的距离产生所述输出步骤(c)的控制信号。
7.根据权利要求6所述的方法,其中在确定步骤(b)(i)中的每个节点的位置信息包括节点(x1,y1,z1)的欧几里德空间坐标,并且
其中所述计算步骤(b)(ii)包括:
-接收在欧几里德空间坐标(x2,y2,z2)中的所述设备的位置信息;以及
-从下面的勾股定理计算所述设备的位置信息和所述节点的位置信息之间的距离:
8.根据权利要求6或7所述的方法,其中所述计算步骤(b)(i)包括施加从所述捕捉步骤(a)的感测装置的位置数据和朝向数据的尖端偏移,以便于计算所述节点的位置信息。
9.根据权利要求8所述的方法,其中所述施加尖端偏移包括:
-在由所述感测装置定义的轴系统中,获得所述节点相对于所述感测装置的位置数据和朝向数据的相对坐标;以及
其中所述确定步骤(b)(i)还包括估计所述节点关于所述设备的绝对位置。
10.根据权利要求9所述的方法,其中所述节点的绝对位置被如下估计:
M = C E - C F - D - B D F + A F B D F + A F - B C A D F + B F - A D F + B F A C
其中:
旋转矩阵M=X.Y.Z,其中M是最终旋转;
矩阵,并且X、Y、Z是单独的旋转矩阵;
A、B分别是X-轴旋转轴、即转动的余弦和正弦;
C、D分别是Y-轴旋转轴、即俯仰的余弦和正弦;
E、F分别是Z-轴旋转轴、即摇摄的余弦和正弦;
Xf=Xs+Xt*M(1,1)+Yt*M(2,1)+Zt*M(3,1);
Yf=Ys+Xt*M(1,2)+Yt*M(2,2)+Zt*M(3,2);
Zf=Zs+Xt*M(1,3)+Yt*M(2,3)+Zt*M(3,3);
其中:
Xf,Yf,Zf是所述节点的绝对(或“最终”)坐标;
Xs,Ys,Zs是所述感测装置的中心的坐标;
Xt,Yt,Zt对应于相对于所述感测装置的中心的尖端偏移的坐标;
M(行,列)是分别就行和列来说的所述旋转矩阵的元素。
11.根据权利要求8所述的方法,其中所述施加尖端偏移包括获得通过测量位于节点的位置处的节点感测装置的位置关于位于所述感测装置的位置处的基础感测装置的位置和朝向而已经预先计算的尖端偏移。
12.根据权利要求11所述的方法,其中所述初始朝向被定义为具有X、Y、Z和W属性的四元数Q1,所述捕捉步骤的朝向数据被定义为Q2,并且其中根据以下来确定所述节点的位置信息:
Pn+(qiqn)Pi(qiqn)
其中:
Pi是从处于朝向q的传感器的偏移;
Pn是所述传感器的当前位置;
qi是在计算Pi的时间时的传感器的朝向;
qn是所述传感器的当前朝向;以及
qi和qn是单位四元数。
13.根据权利要求1到12的任一项所述的方法,其中所述感兴趣的区域和所述感测装置位于不同的地点。
14.一种用于控制与图像捕捉有关的设备的设置的系统,包括:
-感测装置,被配置为捕捉位置数据和朝向数据;
-处理器,与所述感测装置通信,所述处理器被配置为从所述位置数据和朝向数据确定将被所述设备处理的感兴趣的区域的位置信息;以及
-输出端口,与所述处理器集成,被配置为输出指向所述设备的控制信号,以便于基于所述感兴趣的区域的位置信息来实时控制所述设备的设置。
15.根据权利要求14所述的系统,还包括:
-控制器,与所述输出端口通信并且被配置为用所述控制信号控制所述设备的设置。
16.根据权利要求14或15所述的系统,还包括:
-存储器,用于贮存所述位置数据和朝向数据。
17.根据权利要求14到16的任一项所述的系统,还包含所述设备,其中所述设置包括如下的至少一个:摄像机的焦距设置、该摄像机的变焦设置、该摄像机的光圈设置、该摄像机的两眼间镜头角设置、该摄像机的摇摄设置、该摄像机的俯仰设置、该摄像机的转动设置、该摄像机的位置设置、照明设备控制设置以及声音设备设置。
18.根据权利要求14到17的任一项所述的系统,其中所述感测装置是可见性独立的感测装置。
19.根据权利要求14到18的任一项所述的系统,其中所述感测装置包括发送器,所述系统还包含在所述发送器和所述处理器之间通信的接收器。
20.根据权利要求14到19的任一项所述的系统,还包含嵌入所述处理器的数据处理单元以及与所述数据处理单元通信的用户装置,所述用户装置包含用户界面。
21.根据权利要求20所述的系统,其中所述用户装置经由无线通信网络与所述数据处理单元通信。
22.一种计算机可读的贮存器,具有贮存在其上的用于由计算机执行的数据和指令,所述数据和指令包括:
-用于接收感测装置的位置数据和朝向数据的代码模块;
-用于从所述位置和朝向数据确定将被所述设备处理的感兴趣的区域的位置信息的代码模块;以及
-用于输出指向所述设备的控制信号、以便于基于所述感兴趣的区域的位置信息来实时控制所述设备的设置的代码模块。
23.一种用于控制与图像捕捉有关的设备的设置的方法,包括:
a)在存储器中贮存一个或多个标识符,每个标识符与将被所述设备处理的预定的感兴趣的区域相关联,并且贮存相应的位置信息;
b)在处理器处接收对所述一个或多个标识符的选择;以及
c)经由所述处理器的输出端口输出指向所述设备的控制信号,以便于基于所述一个或多个预定的感兴趣的区域的所选择的一个的位置信息来实时控制所述设备的设置。
24.根据权利要求23所述的方法,还包括:
d)通过控制器用所述控制信号控制所述设备的设置。
25.根据权利要求23或24所述的方法,其中在步骤(a)中贮存的所述位置信息通过以下步骤获得:
-捕捉在感测装置处的位置数据和朝向数据;以及
-通过处理器从所述感测装置的位置和朝向数据确定将被所述设备处理的感兴趣的区域的位置信息。
26.根据权利要求23到25的任一项所述的方法,其中所述预定的感兴趣的区域的每一个对应于节点并且所述相应的位置信息包括相对于设备的三维坐标。
27.根据权利要求26所述的方法,其中接收步骤(b)包括
-接收节点的预定顺序的选择;
所述方法还包含根据顺序的节点选择对每个选择的节点重复所述输出步骤(c)以便于顺序地对多个节点自动地控制所述设备的设置。
28.根据权利要求27所述的方法,其中重复步骤(c)基于贮存在存储器中的预定规划来执行。
29.根据权利要求27所述的方法,其中重复步骤(c)当经由输入端口接收用户输入命令时被激励。
30.根据权利要求26所述的方法,还包含经由输入端口接收对应于两个相邻节点之间的位移的用户输入命令,其中所述接收步骤(a)的选择包括所述相邻节点的标识符,所述方法还包括:
-根据所述位移来关联所述相邻节点之间的中间位置;以及
其中对所述中间位置的每一个重复所述输出步骤(c)。
31.根据权利要求30所述的方法,其中所述用户输入通过滑动运动经由触摸屏输入。
32.根据权利要求23到31的任一项所述的方法,还包括:
-从所述接收步骤(b)的选择,确定满足给定条件的一个或多个感兴趣的区域;以及
其中根据满足所述给定条件的一个或多个感兴趣的区域产生步骤(c)的控制信号。
33.一种用于控制与图像捕捉有关的设备的设置的系统,包括:
-存储器,被配置为贮存将被所述设备处理的预定的感兴趣的区域的一个或多个标识符和相应的位置信息;
-处理器,与所述存储器通信并且被配置为接收所述一个或多个标识符的选择;以及
-输出端口,与所述处理器集成,被配置为输出指向所述设备的控制信号,以便于基于所述一个或多个预定的感兴趣的区域的所选择的一个的位置信息来实时控制所述设备的设置。
34.一种计算机可读的贮存器,在其上贮存将被所述设备处理的预定的感兴趣的区域的一个或多个标识符以及相应的位置信息,所述计算机可读的贮存器还包含由处理器执行的数据和指令,所述数据和指令包括:
-用于接收所述一个或多个标识符的选择的代码模块;以及
-用于输出指向所述设备的控制信号、以便于基于所述一个或多个预定的感兴趣的区域的所选择的一个的位置信息来实时控制所述设备的设置的代码模块。
35.一种用于控制与图像捕捉有关的设备的设置的方法,包括:
a)通过可见性独立的感测装置捕捉在所述感测装置处的位置数据;
b)通过处理器从所述位置数据确定将被所述设备处理的感兴趣的区域的位置信息;以及
c)通过所述处理器的输出端口输出指向所述设备的控制信号,以便于基于所述感兴趣的区域的位置信息来实时控制所述设备的设置。
36.一种用于控制与图像捕捉有关的设备的设置的系统,包括:
-可见性独立的感测装置,被配置为捕捉位置数据;
-处理器,与所述感测装置通信,所述处理器被配置为基于所述位置和朝向数据确定将被所述设备处理的感兴趣的区域的位置信息;以及
-输出端口,与所述处理器集成,被配置为输出指向所述设备的控制信号,以便于基于所述感兴趣的区域的位置信息来实时控制所述设备的设置。
37.根据权利要求34所述的系统,还包括:
-控制器,与所述输出端口通信并且被配置为用所述控制信号控制所述设备的设置。
38.根据权利要求35或36所述的系统,还包含所述设备,其中所述设置包括如下的至少一个:摄像机的焦距设置、该摄像机的变焦设置、该摄像机的光圈设置、该摄像机的两眼间镜头角设置、该摄像机的摇摄设置、该摄像机的俯仰设置、该摄像机的转动设置、该摄像机的位置设置、照明设备控制设置以及声音设备设置。
39.一种计算机可读的贮存器,具有贮存在其上的用于由计算机执行的数据和指令,具有用于从可见性独立的感测装置接收位置数据的输入端口,所述数据和指令包括:
-用于基于所述位置数据和朝向数据确定将被所述设备处理的感兴趣的区域的位置信息的代码模块;以及
-用于输出指向所述设备的控制信号、以便于基于所述感兴趣的区域的位置信息来实时控制所述设备的设置的代码模块。
CN201480032344.9A 2013-04-05 2014-04-04 用于控制与图像捕捉有关的设备的系统和方法 Active CN105264436B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361808987P 2013-04-05 2013-04-05
US61/808,987 2013-04-05
PCT/CA2014/050346 WO2014161092A1 (en) 2013-04-05 2014-04-04 System and method for controlling an equipment related to image capture

Publications (2)

Publication Number Publication Date
CN105264436A true CN105264436A (zh) 2016-01-20
CN105264436B CN105264436B (zh) 2019-03-08

Family

ID=51657363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480032344.9A Active CN105264436B (zh) 2013-04-05 2014-04-04 用于控制与图像捕捉有关的设备的系统和方法

Country Status (7)

Country Link
US (2) US9912857B2 (zh)
EP (1) EP2987026B1 (zh)
JP (1) JP6551392B2 (zh)
CN (1) CN105264436B (zh)
CA (1) CA2908719C (zh)
HK (1) HK1220512A1 (zh)
WO (1) WO2014161092A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763797A (zh) * 2016-02-29 2016-07-13 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN108696697A (zh) * 2018-07-17 2018-10-23 腾讯科技(深圳)有限公司 一种摄像装置控制方法和装置
CN109639971A (zh) * 2018-12-17 2019-04-16 维沃移动通信有限公司 一种拍摄焦距调整方法及终端设备
CN113422905A (zh) * 2021-06-22 2021-09-21 浙江博采传媒有限公司 跟焦器运动轨迹的自动控制方法及系统
WO2022147703A1 (zh) * 2021-01-07 2022-07-14 深圳市大疆创新科技有限公司 跟焦方法、装置、拍摄设备及计算机可读存储介质
CN115345901A (zh) * 2022-10-18 2022-11-15 成都唐米科技有限公司 一种动物运动行为预测方法、系统及摄像系统

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150027934A (ko) * 2013-09-04 2015-03-13 삼성전자주식회사 다각도에서 촬영된 영상을 수신하여 파일을 생성하는 전자 장치 및 방법
US9769378B2 (en) * 2014-09-08 2017-09-19 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus that changes from highlighting a first focus frame to highlighting a second focus frame when a focus lens moves from a first focus position to a second focus position
JP2016086007A (ja) * 2014-10-23 2016-05-19 パナソニックIpマネジメント株式会社 部品実装システムにおける基板の生産管理方法
CN104730677B (zh) * 2014-12-17 2017-11-28 湖北久之洋红外系统股份有限公司 非制冷红外热像仪连续变焦及快速自动聚焦电路及方法
WO2016134031A1 (en) * 2015-02-17 2016-08-25 Alpinereplay, Inc Systems and methods to control camera operations
TWI564647B (zh) * 2015-03-27 2017-01-01 國立臺北科技大學 全景動態網路攝影機的影像轉換運算方法
WO2017099882A1 (en) * 2015-12-10 2017-06-15 Intel Corporation Accelerated touch processing at computing devices
CN105912749B (zh) * 2016-03-31 2019-06-04 北京润科通用技术有限公司 仿真方法和装置
US10928245B2 (en) * 2016-09-15 2021-02-23 Siteco Gmbh Light measurement using an autonomous vehicle
US11303689B2 (en) * 2017-06-06 2022-04-12 Nokia Technologies Oy Method and apparatus for updating streamed content
US10666929B2 (en) * 2017-07-06 2020-05-26 Matterport, Inc. Hardware system for inverse graphics capture
JP6977931B2 (ja) * 2017-12-28 2021-12-08 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
CN108184067B (zh) * 2018-01-18 2019-05-24 桂林智神信息技术有限公司 一种跟焦系统的工作方法
CN109872271A (zh) * 2019-01-28 2019-06-11 努比亚技术有限公司 一种图片处理方法、终端及计算机可读存储介质
WO2021168809A1 (zh) * 2020-02-28 2021-09-02 深圳市大疆创新科技有限公司 跟随方法、可移动平台、设备和存储介质
US11431895B2 (en) 2020-06-24 2022-08-30 International Business Machines Corporation Photography guidance based on crowdsourced photographs
CN116962885B (zh) * 2023-09-20 2023-11-28 成都实时技术股份有限公司 一种基于嵌入式计算机的多路视频采集合成处理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057217A1 (en) * 2000-06-23 2002-05-16 Milnes Kenneth A. GPS based tracking system
US20020080257A1 (en) * 2000-09-27 2002-06-27 Benjamin Blank Focus control system and process
US20050007553A1 (en) * 2001-03-23 2005-01-13 Panavision Inc. Automatic pan and tilt compensation system for a camera support structure
CN102598658A (zh) * 2009-08-31 2012-07-18 扫痕光学股份有限公司 多台摄像机的相对控制方法和装置
EP2479993A2 (en) * 2006-12-04 2012-07-25 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
CN102609954A (zh) * 2010-12-17 2012-07-25 微软公司 对人类目标跟踪的确认分析

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930740A (en) 1997-04-04 1999-07-27 Evans & Sutherland Computer Corporation Camera/lens calibration apparatus and method
JP2001245280A (ja) * 2000-02-29 2001-09-07 Canon Inc カメラ制御システム、装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP2004112615A (ja) * 2002-09-20 2004-04-08 Victor Co Of Japan Ltd 自動追尾ビデオカメラシステム
AU2003262075A1 (en) 2003-09-11 2005-04-06 Cubic, Inc. Three-dimensional measuring equipment
JP2005266520A (ja) * 2004-03-19 2005-09-29 Olympus Corp 撮像装置および撮像方法
JP4479386B2 (ja) * 2004-07-08 2010-06-09 パナソニック株式会社 撮影装置
JP2009514106A (ja) 2005-10-26 2009-04-02 株式会社ソニー・コンピュータエンタテインメント コンピュータプログラムとインタフェースするためのシステムおよび方法
US8888593B2 (en) 2005-10-26 2014-11-18 Sony Computer Entertainment Inc. Directional input for a video game
JP5111795B2 (ja) 2006-06-29 2013-01-09 三菱電機株式会社 監視装置
JP4596330B2 (ja) * 2006-08-07 2010-12-08 日本ビクター株式会社 撮像システム
JP2008227877A (ja) * 2007-03-13 2008-09-25 Hitachi Ltd 映像情報処理装置
US8049658B1 (en) * 2007-05-25 2011-11-01 Lockheed Martin Corporation Determination of the three-dimensional location of a target viewed by a camera
WO2009007917A2 (en) 2007-07-10 2009-01-15 Koninklijke Philips Electronics N.V. Object motion capturing system and method
DE112009000093T5 (de) * 2008-01-04 2010-12-09 3M Innovative Properties Co., St. Paul Hierarchische Verarbeitung unter Nutzung von Bildverformung
JP5359754B2 (ja) * 2009-10-05 2013-12-04 株式会社Jvcケンウッド 撮影制御装置、及び、プログラム
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US8550903B2 (en) * 2010-11-15 2013-10-08 Bally Gaming, Inc. System and method for bonus gaming using a mobile device
EP2618566A1 (en) 2012-01-23 2013-07-24 FilmMe Group Oy Controlling controllable device during performance
US20130222565A1 (en) 2012-02-28 2013-08-29 The Johns Hopkins University System and Method for Sensor Fusion of Single Range Camera Data and Inertial Measurement for Motion Capture
AU2013225712B2 (en) 2012-03-01 2017-04-27 H4 Engineering, Inc. Apparatus and method for automatic video recording
US9874964B2 (en) 2012-06-04 2018-01-23 Sony Interactive Entertainment Inc. Flat joystick controller

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057217A1 (en) * 2000-06-23 2002-05-16 Milnes Kenneth A. GPS based tracking system
US20020080257A1 (en) * 2000-09-27 2002-06-27 Benjamin Blank Focus control system and process
US20050007553A1 (en) * 2001-03-23 2005-01-13 Panavision Inc. Automatic pan and tilt compensation system for a camera support structure
EP2479993A2 (en) * 2006-12-04 2012-07-25 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
CN102598658A (zh) * 2009-08-31 2012-07-18 扫痕光学股份有限公司 多台摄像机的相对控制方法和装置
CN102609954A (zh) * 2010-12-17 2012-07-25 微软公司 对人类目标跟踪的确认分析

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763797A (zh) * 2016-02-29 2016-07-13 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN108696697A (zh) * 2018-07-17 2018-10-23 腾讯科技(深圳)有限公司 一种摄像装置控制方法和装置
CN109639971A (zh) * 2018-12-17 2019-04-16 维沃移动通信有限公司 一种拍摄焦距调整方法及终端设备
WO2022147703A1 (zh) * 2021-01-07 2022-07-14 深圳市大疆创新科技有限公司 跟焦方法、装置、拍摄设备及计算机可读存储介质
CN113422905A (zh) * 2021-06-22 2021-09-21 浙江博采传媒有限公司 跟焦器运动轨迹的自动控制方法及系统
CN115345901A (zh) * 2022-10-18 2022-11-15 成都唐米科技有限公司 一种动物运动行为预测方法、系统及摄像系统
CN115345901B (zh) * 2022-10-18 2023-01-10 成都唐米科技有限公司 一种动物运动行为预测方法、系统及摄像系统

Also Published As

Publication number Publication date
JP2016522598A (ja) 2016-07-28
CA2908719A1 (en) 2014-10-09
EP2987026A1 (en) 2016-02-24
US20180176456A1 (en) 2018-06-21
HK1220512A1 (zh) 2017-05-05
EP2987026A4 (en) 2016-12-14
WO2014161092A1 (en) 2014-10-09
JP6551392B2 (ja) 2019-07-31
CN105264436B (zh) 2019-03-08
US20160050360A1 (en) 2016-02-18
US9912857B2 (en) 2018-03-06
EP2987026B1 (en) 2020-03-25
US10306134B2 (en) 2019-05-28
CA2908719C (en) 2021-11-16

Similar Documents

Publication Publication Date Title
CN105264436A (zh) 用于控制与图像捕捉有关的设备的系统和方法
US10317775B2 (en) System and techniques for image capture
US11045956B2 (en) Programming of a robotic arm using a motion capture system
US9324179B2 (en) Controlling a virtual camera
Wilson et al. Steerable augmented reality with the beamatron
US9179182B2 (en) Interactive multi-display control systems
US20130215229A1 (en) Real-time compositing of live recording-based and computer graphics-based media streams
US9242379B1 (en) Methods, systems, and computer readable media for producing realistic camera motion for stop motion animation
US20210392462A1 (en) Systems and methods for processing data based on acquired properties of a target
US20160344946A1 (en) Screen System
JP6725736B1 (ja) 画像特定システムおよび画像特定方法
JP2021190729A (ja) 画像特定システムおよび画像特定方法
US20230396874A1 (en) Virtual indicator for capturing a sequence of images
KR102227260B1 (ko) 리그 결합형 가상 카메라를 활용한 실시간 cg 영상 제작 시스템
US20230214004A1 (en) Information processing apparatus, information processing method, and information processing program
CN117716419A (zh) 图像显示系统及图像显示方法
JP2021164135A (ja) 映像管理支援システムおよび映像管理支援方法
JP2021027544A (ja) 制御装置、制御方法、及びプログラム
WO2017090027A1 (en) A system and method to create three-dimensional models in real-time from stereoscopic video photographs

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1220512

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant