JP2015506121A - ロボット制御のオブジェクトによる3dプロジェクション・マッピングのシステム及び方法 - Google Patents

ロボット制御のオブジェクトによる3dプロジェクション・マッピングのシステム及び方法 Download PDF

Info

Publication number
JP2015506121A
JP2015506121A JP2014542416A JP2014542416A JP2015506121A JP 2015506121 A JP2015506121 A JP 2015506121A JP 2014542416 A JP2014542416 A JP 2014542416A JP 2014542416 A JP2014542416 A JP 2014542416A JP 2015506121 A JP2015506121 A JP 2015506121A
Authority
JP
Japan
Prior art keywords
actor
control
actors
main
projection plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014542416A
Other languages
English (en)
Inventor
リンネル、ジェフ
Original Assignee
ストーウェル・リンネル・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ストーウェル・リンネル・エルエルシー filed Critical ストーウェル・リンネル・エルエルシー
Publication of JP2015506121A publication Critical patent/JP2015506121A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1682Dual arm manipulator; Coordination of several manipulators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/393Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the volume being generated by a moving, e.g. vibrating or rotating, surface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39109Dual arm, multiarm manipulation, object handled in cooperation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Electric Motors In General (AREA)
  • Image Processing (AREA)

Abstract

運動制御のためのシステムを提示する。1つの実施形態では、運動制御3D映像システムは、プロジェクタとロボットアームに結合された映写面とを含み、ロボットアームは空間座標のセットを通して映写面を動かし、プロジェクタからの3D映像は映写面の座標のセットに投影され、映写面が空間座標のセットを通して動くときに3D映像を映写面の座標のセットに合致させる。追加の実施形態では、主制御装置システムは、主時間軸を有する運動制御場面を作るために追加のロボットアームと他のデバイスを組み込み得る。【選択図】図11

Description

本発明の実施形態は、視聴覚プレゼンテーションの創作における自動システムと制御装置の使用に関する。より具体的には、本発明の実施形態は、ロボットの運動制御によるプロジェクション・マッピングを使用するシステムおよび方法に関する。
3Dプロジェクション・マッピングは、オブジェクトおよび周囲の状況についての錯視を創作する技術であり、これらオブジェクトおよび周囲の状況は物理的には存在しない。特殊な遠近法により描画される表面に光を投影することにより視聴者は、現実には物理的に存在しない周囲の状況を認識する。
運動制御は一種の自動化であり、1つまたは複数のオブジェクトの位置がロボットアーム等のある種のデバイスを用いて制御される。ビデオ、フィルム、コマーシャル、ムービー、及び他の同種の視聴覚作品の制作において、カメラにより捉えられる場面におけるオブジェクトおよびカメラの配置や動きは、主要な考慮対象および時間と費用の発生源である。運動制御を使用することは、映画業界では知られており、カメラは、ビデオシーンの創作および記録の構成要素として取り付けられ制御される。この技術は、一般に運動制御写真撮影と呼ばれる。
運動制御システムの様々な実施形態を提示する。1つの実施形態では、3D映写面がプロジェクタと合致している。これらのうちいずれかまたは両方が、時間の経過や場所により変化するように設定される場面に対して、デバイスアクターとして機能するロボットアームに取り付けられ、このデバイスアクターは映写面を動かし、プロジェクタは映写面に投影された画像を提示する。1つの実施形態では、これによりデバイスアクターを用いた部分的に機械によるアニメーションのシーンアクター、およびプロジェクタからの投影を用いた部分的にコンピュータによるアニメーションのシーンアクターの運動制御が可能となる。
ここのイノベーションの1つの実施形態による主場面制御装置を含む運動制御写真撮影システムのブロック図を示す。 ここのイノベーションの1つの実施形態による運動制御写真撮影システムとともに使用するロボットの斜視図を示す。 ここのイノベーションの1つの実施形態による7度の自由度を有するロボットの外観を示す。 ここのイノベーションの1つの実施形態によるカメラを取り付けたロボットの外観を示す。 ここのイノベーションの1つの実施形態による照明ユニットを取り付けたロボットの外観を示す。 ここのイノベーションの1つの実施形態によるロボットアームを使用するための手首取付具の外観を示す。 ここのイノベーションの1つの実施形態による手首取付具を取り付けたロボットの外観を示す。 ここのイノベーションの1つの実施形態による運動制御システムに使用するための主入力部の可能性のある実施形態を示す。 ここのイノベーションの1つの実施形態に従い、デバイスアクターの位置を主制御装置により調整するグローバルな時間軸を示す。 ここのイノベーションの1つの実施形態による、主場面制御装置を含む運動制御写真撮影システムのブロック図を示す。 ここのイノベーションの1つの実施形態による制御の方法を示す。 ここのイノベーションの様々な実施形態による、コンピュータまたは電子デバイスの1つの可能性のある実施例を示す。 ここのイノベーションの1つの実施形態による、ソフトウェア制御部のための可能性のあるユーザインタフェースを示す。 ここのイノベーションの1つの実施形態による、ソフトウェア制御部のための可能性のあるユーザインタフェースを示す。 ここのイノベーションの1つの実施形態による、主場面制御装置を含む運動制御写真撮影システムのブロック図を示す。 3Dプロジェクション・マッピングを含むシステムの1つの可能性のある実施例を示す。 3Dプロジェクション・マッピングを含むシステムにおけるプロジェクタの1つの可能性のある実施例を示す。 3Dプロジェクション・マッピングを含むシステムの1つの可能性のある実施例を示す。 3Dプロジェクション・マッピングを含むシステムの1つの可能性のある実施例を示す。 3Dプロジェクション・マッピングを含むシステムの1つの可能性のある実施例を示す。 3Dプロジェクション・マッピングを含むシステムの1つの可能性のある実施例を示す。 3Dプロジェクション・マッピングを含むシステムの1つの可能性のある実施例を示す。 3Dプロジェクション・マッピングを含むシステムの1つの可能性のある実施例を示す。 3Dプロジェクション・マッピングを含むシステムの1つの可能性のある実施例を示す。 3Dプロジェクション・マッピングを含むシステムのためのユーザインタフェースの1つの可能性のある実施例を示す。 3Dプロジェクション・マッピングを含むシステムのためのユーザインタフェースの1つの可能性のある実施例を示す。
ここで開示されたイノベーションの実施形態は、高度な3次元の(3D)プロジェクション・マッピングを伴う運動制御を提供するシステムおよび方法を含む。特に、システムおよび方法は、制御可能なロボットアームに取り付けられる3次元の映写面、アニメの映像を3D映写面に投影するプロジェクタ、および3D映像の動きをプロジェクタから3D映写面に投影される映像とを同期させるために付属するシステムとを有するシステムを説明している。
1つの可能性のある実施形態は、アニマトロニックス、すなわち、生きているように見えるアニメのロボットを創作する分野で使用される。このような実施形態では、映写面が、恐竜、サル、またはその他を含めた生き物が表現される形で形成される。生き物のある部分は、物理的に機械装置を使用して創作するのが困難である。特に、目や唇等の顔の特徴は、歴史的にも機械により再現することが困難であった。1つ以上のプロジェクタは、そのプロジェクタから映写面の一部または全部までの光学経路に位置し、目および口のアニメの映像は、その映写面に投影される。そして、映写面、は、模擬される生き物の歩行、頭の動き、または他の特徴的な動きを模倣するように動かされる。映写面のこの動きが起こる時、まばたきをする目や口の瞬間の錯視が起きる間、目および口の位置が映写面上で相対的に動かないように、目および口の映像は、映写面の動きと一致する、。もし、このようなシステムが、十分強力なコンピュータのアニメーションソフトウェアを含むなら、例えば、口の動きを創作された音声にマッチさせるように投影される顔の動きがリアルタイムにコントロールされ、これによりアニマトロニックスのロボットと原稿が用意されない会話を行うことが可能となる。
さらに、このような映像システムのある実施形態は、台本のある同期化されたセットのシリーズを通して前方向の動きと逆方向の動きおよび制御可能な速度を可能にするための主制御装置システム内に組み入れられた複数の映写面、複数のプロジェクタ、および音声、周囲の照明、および他の効果装置(effects)等を含む追加のシステムデバイスを含む。追加の実施形態は、さらにデバイスが動く領域内でのデバイスまたは人間の間の衝突を防ぐための安全機構を組み入れる。
図1は、運動制御システム100を説明する。運動制御システム100は、運動制御写真撮影を用いて映画の撮影をするのに使用される運動制御セットの構成要素である。
運動制御システムは、主制御装置10と、入力/帰還システム20と、デバイスアクター40と、安全システム90とを備える。最も基本的な視点でみると、運動制御システム100は、入力システム20が命令を主制御装置10を介してデバイスアクター40に送るときに機能する。
本発明では、カメラの前のプレーヤーの集団がビデオ、音声、またはその両方で記録されるように、場面は、連続的なある時間における、デバイスアクター40による動きおよび行動のセットを備える。プレーヤーは、人々、動かないオブジェクト、またはデバイスアクター40の1つ以上のデバイスにより制御されまたは動かされるオブジェクトである。1つの実施形態では、カメラは、デバイスアクター40のロボットアームに取り付けられる。場面の始めにおいて、1つのカメラと複数のプレーヤーが、第1の位置で開始する。デバイスアクター40の運動制御部が、動きのシーケンスを通して場面の終わりまでカメラとプレーヤーを動かし、場面からのプレーヤーおよび音は、動きを捉えるためのカメラと可能性のある他のオーディオ/ビデオ記憶装置とを用いて記録される。
1つの可能性のある実施形態では、運動制御システム100の構成要素として入力/帰還システム20は、独立マニュアル制御部22と、主入力部24と、ソフトウェア制御部26と、独立マニュアル制御部28とを含む。入力/帰還システム20の構成要素として、データベース22は、デバイスアクター40の全部または一部を管理するためのタイミングおよび位置のデータのセットを提供するように動作する。あるいは、データベース22は、マニュアルにより、又はデバイスアクター40の動作および機能に関連したデータ入力もしくは個々の動きにより作り出されたデータを記憶する。データベース22は、ソフトウェア制御部26の特徴に合わせて作られたソフトウェアを用いて作り出されたデータ等のデバイスアクター40と独立に作り出されたデータをも記憶する。
主入力部24は、運動制御システム100により作りだされる特定の場面に関連付けて、デバイスアクター40の全てを操作するように機能する任意のデバイスである。主入力部24は、入力制御信号を主制御装置10に送信するように機能する。そして、主制御装置10は、特定の場面に対してデバイスアクタ40として動作する複数のアクターに個々の制御信号を送るように、主入力部24からの信号を適合させる。1つの可能性のある実施形態では、特定の場面に対してデバイスアクター40として動作しないデバイスへの現状維持または非動作を示す信号を含め、信号を主入力部24から受け取る時に、デバイスアクター40の全ての個々のデバイスは、主制御装置10から制御信号の提供を受ける。他の実施形態においては、運動制御システム100の構成要素として接続されるデバイスアクターの一部には、特定の場面に対する運動制御システム100の動作の一部として主制御装置10からの如何なる信号も送信されない。
ソフトウェア制御部26は、主制御装置10を介して複数のアクターに制御信号を送る際、主入力部24の代替品として動作する。代わりに、ソフトウェア制御部26は、個々のデバイスの動きを交代させたり、着替えさせたり、試してみたりするようにデバイスアクター40の中からの個々のデバイスを制御する。他の可能性のある実施形態では、ソフトウェア制御部26は、仮想周囲内でのデバイスアクター40の個々のデバイスの振る舞いを形作る機能がある。このような実施形態では、ソフトウェア制御部26は、個々のデバイスのソフトウェアモデルを含み、これにより、実際に制御信号をデバイスに送信することなしにデバイスのために制御信号が作り出すことが可能になる。そして、制御信号は、ソフトウェア制御部26に、データベース22に、主制御装置10の構成要素であるコンピュータメモリ要素内に、またはそのための制御が作り出されつつあるデバイスアクター40のデバイスの構成要素であるコンピュータメモリ内に記憶される。制御信号がソフトウェア制御部26により作り出され、適当な記憶装置の位置に伝搬した後に、ソフトウェア制御部26からの、又は主入力部24からの主制御装置信号は、個々のデバイスへの制御信号を起動して、他のデバイスアクター40と連動して動作する。
デバイスアクター40のあるデバイスは、さらに独立マニュアル制御部28を有する。ソフトウェア制御部26に関して上に述べたように、個々のデバイスへの制御信号は、ソフトウェアのモデル化の際に作り出される。同様に、デバイスは、デバイスアクター40のデバイスを操作するのに使用される独立マニュアル制御部28を有してもよい。例えば、1つの可能性のある実施形態では、デバイスアクター40の1つであるデバイスは、カメラの焦点を制御するフォローフォーカス(follow focus)である。このフォローフォーカスは、独立マニュアル制御部として動作し得るカメラの焦点を制御するように設計された制御デバイスを有してもよい。命令のセットが場面全体に対して作り出されるときに、独立マニュアル制御部28は、主制御装置10のデータベース22、又はメモリデバイスに記憶される入力コマンドが時間と共に与えられる。独立マニュアル制御部28を用いて命令のセットを作り出す間、独立マニュアル制御部28は、関連付けられたデバイスアクター40のデバイスと直接通信してもよい。あるいは、独立マニュアル制御部28は、制御信号を主制御装置10に送信してもよく、そして、主制御装置10はその信号を関連付けられたデバイスアクター40のデバイスに送信する。そして、制御信号は、独立マニュアル制御部28の信号からと、関連付けられたデバイスの動作により作り出されるフィードバック測定値からのいずれかから作り出され得る。さらに、多くの状況では、制御信号を作り出す間、その結果を見るために、独立マニュアル制御部28に関連付けられたデバイスを実際に制御させることが望ましいが、制御信号はデバイスを制御することなしに作り出される。例えば、もし予期した入力信号が一定の時間マークに対して予期されるなら、独立マニュアル制御部28は、関係するデバイス、及び記録された制御動作とは無関係に動作する。これらは、デバイスアクター40の個々のデバイスアクターへの命令が、運動制御システム100の構成要素として運動制御された場面に統合される手段として機能する。
上述の統合の結果は、運動制御された場面に対するグローバルな時間軸として考慮される。以下により詳細に説明された図5bは、図解された例を示しており、複数の運動制御されたアクターの行動が、主制御装置を用いてグローバルな時間軸に統合される。図5bでは、カメラロボットおよび照明ロボット等の様々なアクターが場面の間一定の場所で動く。アクターは、時刻aから時刻fまでの場面全体の間に制御信号を受信し、または実際に動くか行動するときに制御信号を受け取るだけでもよい。第1の特別効果(fx)アクター及び第2の特別効果(fx)アクター等のある他のアクターは、図5bのグローバルな時間軸において時刻bで行動する第1のfxアクターのように、ある特定の時刻に行動するために単一コマンドを受け取るだけである。グローバルな時間軸へのこのような統合により、場面全体に影響する複雑な行動を簡単にユーザ制御することが可能となり、所与の時間軸により特定の場面を修正する際に時間を大幅に節約することができる。これにより、時間を進めたり遅らせたり、特定の場面の全てのアクターに対する特定のフレーム番号または時間コードを探したり、ハードウェアデバイスを介してそしてセット(システム)全体の動作速度をリアルタイムに遅くしたり又は速くすることができる。
実施形態は、特定の実施例を参照して図解されるが、当業者は、これらの実施例が実施例で個別に説明されていること以外にも広く使用できるイノベーションを記載していると理解することができる。以下に説明するように、高度な制御部は、とりわけ安全システム、再生速度制御、位置を進めたり戻したりする操作、および統合された検出システムを含む様々な機能をもつシステムおよび方法を備え得る。
このようなシステムは、簡単なまたは融通性がある統合ツールセットなしでカスタムツールセットにより占められている業界の環境において、利用しやすい高機能なロボットの制御装置を提供することにより、当業者に現在知られているシステムよりも利点を含んでいる。このようにカメラを有する非常に正確な制御システムを使用することは、ある実施形態では、「映画自動化」または「3Dプロジェクションオートメーション」であると考えられ、これにより、映画作家の熱望が自動化システムのアプリケーションと合致することが可能となる。例えば、改良された制御システムは、
空間内のカメラの1ミリメートル未満のレベルでの位置を、照明、女優、3D映写面を備えるロボットのアクター、および特別効果(effects)(火工術、ビデオ再生、音の合図等)の位置に対して調整する。これにより、人手による人間の位置決めを伴ういくつかの映画部門の調整が今まで必要であった、非常に複雑なショットの実行が可能となる。このような制御システムにより、非常に正確なコンピュータによる事象同期を手段として、不正確さをなくし、ロボット工学の再現性を導入することができた。プログラムの作成がより速く、より堅固で、より安全で、より容易なロボットアームシステムを開発することに加えて、本願の新規な発明の実施形態は、創作ディレクタが非常に速く設定調整を行うことが可能となるインタフェースを含む。長編映画やコマーシャル製作のプレッシャーが高い環境では、ディレクタまたは視覚効果管理者が非常に速い創造的なあるいは技術的な決定を下すことができることが非常に重要であり、ここで説明するシステムは従来技術では知られていない方法で可能とする。
さらなる例として、もしイノベーションのシステム実施例がライブの実演における場面の提示に使用されているなら、システムは、大きなロボットアーム、腕を動かすカスタムロボットのリグ(rig)、光源として機能するLED壁のビデオ再生、そして背景の要素の動き、およびロボット工学によりアニメとして作られた腕や足の動きを伴うアニメーションコンピュータに付属するプロジェクタからアニメーション化された顔の特徴をもつアニマトロニクスアクターと同期し得る。これは、非常に技術的で、コンピュータ内で予め映像化され、予めプログラム化された場面であり、全ての要素の相互作用はシステムを用いて演出されてきた。実演中にリアルタイムで、もしアクターが彼らのせりふを通常の速度より遅くしたり、または追加的な拍手喝さいに対して一時停止する必要が生じるなら、上演ディレクタはセット全体を一時停止したり、適切な瞬間に単につまみをまわすことによりリアルタイムで時間調整をしてアクターの出番を確保する。ロボットは速度を落とし、ロボットのリグはこれに従い、そして実演の場面全体が速度を落とす。これらの全てが同期して発生する。これに加え、システムは、アクターが傷つくことを防止するために組み込まれた高度の安全性を提供することができる。
図2−図4を参照すると、デバイスアクター40のいくつかの例が説明されるが、これらの例により本発明は限定されない。これらの図は、ロボットアームの使用に焦点を当てているが、デバイスアクターは、後で説明するようにセンサー、動かない照明、および信号源等の他のタイプの動かないデバイスである。
図2は、デバイスアクター242を描写する。デバイスアクター242は、ロボットアーム246、取り付け位置248、およびレール244を備える。デバイスアクター242は、図2に描写され、取り付け位置248等の任意の取り付け位置に取り付けられ特定の機能を持たない。取り付け位置248は、カメラ、照明、カメラにより撮影されるプレーヤーまたは他の任意の関連のあるデバイスまたはオブジェクトを保持するように構成される。ある実施形態では、命令は、取り付け位置248を特定の場所に位置付けるように与えられ、ロボットアーム246およびレール244の軸の位置は、関係する運動制御システムのプロセスにより計算される。他の実施形態では、ロボットアーム246のそれぞれの軸とレール244の位置は、分離した、個別の設定および制御コマンドを必要とする。
図3aは、デバイスアクター342を描写し、軸A1−A6を有するロボットアームを備え、軸AOは、図示しないレールと関連付けられ、レールは他の8つの軸が端から端まで移動することを可能とする。図3bは、取り付け位置におかれたカメラマウント352と、カメラマウント352に取り付けられたカメラ350と共にデバイスアクター342を描写する。図3cは、取り付け位置に置かれた照明360とともにデバイスアクター342を描写する。
図4a及び図4bは、デバイスアクター442が手首取付具410および手首取付具インタフェース412を有するロボットアーム444を備える実施形態を説明している。手首取付具410および手首取付具インタフェース412により、カメラ又は照明器具等の標準的なマウントに加えて複数のデバイスアクターがロボットアーム444に取り付けられることを可能とする。ある実施形態においては、手首取付具インタフェースにより、温度センサー、レーザー距離測定器、マイクロフォン、スピーカー、扇風機、又は他の機械的に作動するデバイスもしくは特殊効果デバイスが可能となる。
図5aは、図1の主入力部24等の主入力部の1つの可能性のある実施例である主入力部524を示している。主入力部524は、ディスプレイインタフェース510、係合制御部540、モード選択部530、およびアナログインタフェース520を備える。主入力部524の機能は図5bのグローバルな時間軸に関連して後に説明する。
図5bは、図1の運動制御システム100等の運動制御システムにおいて実施される運動制御場面の1つの可能性のある実施形態に関連するグローバルな時間軸を説明する。図5bは、上記に定義したように、時刻aから時刻fまでの公称の又は標準的な上映時間を有する場面の間に動作する複数のアクターを含む。グローバルな時間軸は、名目上のものであり、実際の時計が示す時刻を示すものではなく、なぜなら下記にさらに詳しく説明するように、主入力制御部は、場面の最初から場面の最後までの動きを通じてアクターが進行するスピードを制御し変更する。したがって、グローバルな時間軸は、アクターにとり交代的に位置チャートとして考えられ得る。場面の上映時間の間、アクターは場面の全体で、又は場面の一部の間に、又は場面のある1つの瞬間のみに、行動しまたは動くことができる。しかしながら、各アクターは場面の最初から最後まで各名目時間の間所定の場所を持つことができる。各アクターの所定の場所は、他の各アクターの所定の場所と関連がある。
1つの可能性のある実施形態では、特定のデバイスアクターのための個々の制御信号は、主制御装置内のマスタークロックにより供給される共通の基準時間とともにまとめられて主制御装置のメモリ内の単一のファイルに入る。動作の間、主制御装置は、各デバイスアクターのための制御信号を抽出して、各デバイスアクターに適切な時間間隔で個々の制御信号を提供する。ある実施形態では、主制御装置は、異なるデバイスアクターのための分離された個々の制御信号ファイルとタイミングデータを維持し、個々の制御ファイルからの異なる制御信号を別々に同期化する。
他の代わりの実施形態では、一部のデバイスアクターのための制御データが、関連付けられた個々のデバイスアクター内のメモリに主制御装置により転送される。動作中に、制御データをメモリ内に有するデバイスアクターは、グローバルな時間軸における位置、グローバルな時間軸の間の進行速度、又はその両方を示す同期信号のみを受け取る。
図5bで説明される特定の実施形態は、カメラロボットと、フォローフォーカスと、2つの照明ロボットと、カメラの前に現れるオブジェクトを制御するプレーヤーロボットと、2つの特別効果アクターとを含む。上述したように、各アクターには、時刻aから始まり時刻fで終わる場面を通して進むべき経路がある。図5bの特定の実施形態においては、各アクターは、プリセットした位置から始まる。グローバルな時間軸により示されるように、プレーヤーロボットのみが時刻aから時刻bまで動く。さらに以下に詳しく述べるように主入力部により場面の進行速度の修正により開始時刻aから10秒後にbが起こる場合と、または開始時刻aから20秒後にbが起こる場合と、いずれであってもこのことは当てはまる。時刻bにおいて、第1の特別効果アクターは、単一コマンドにより活性化され、プレーヤーロボットは動き続け、そしてフォローフォーカスとカメラロボットは動き始める。
図5bのチャートは、第1の照明ロボット、第2の照明ロボット、および第2のfxアクター等の動かないアクターが、時刻aから時刻bまでの間に入力コマンドを受け取らないことを示すことを意味しない。図5bは、単にグローバル位置時間軸を示すに過ぎない。ある実施形態では、これらは、入力コマンドを主制御装置から受け取らない場合がある。しかし、代わりの実施形態では、第1の照明ロボット等の動かないアクターは、動いていないときでさえ周期的にまたは連続的に主制御装置からコマンドを受け取ることができ、このコマンドは動くなという命令である。このようなコマンドは、同期を維持するよう機能することができ、同期を維持するためのクロックやタイミング心拍のような役割を果たす。ある実施形態では、場面の間、リアルタイムの調整がアクターに行われる。さらに、このようなクロックまたはタイミング心拍は、グローバルな時間軸を更新し変更するため、調整フィードバックとして同期データを主制御装置に提供する役割を果たす。
図5aに戻って参照すると、主入力部524は、ディスプレイインタフェース510を含む。ディスプレイインタフェース510は、アクターまたはグローバルな時間軸に関係するステータス情報を表示するモジュール式タッチスクリーンデバイスである。例えば、ディスプレイインタフェース510は、グローバルな時間軸におけるアクターの現在位置と関連付けた場面の時刻、または現在の時間軸と関連付けた現在の場面のフレーム番号を含む。このようなディスプレイでは、例えば、時刻aまたはフレーム1は、アクターが場面の開始の位置にいるときに表示される。1つの可能性のある実施形態では、ディスプレイインタフェース510は、主制御装置と通信できるインタフェースアプリケーションを有するポータブル電子デバイスまたはセルラー方式の電話機である。
主入力部524は、さらに係合制御部540を備える。多くのアクター、特に毎秒数メートルまでの速度で動く重いカメラを運ぶ大きな産業用のロボットアームが衝突のときにもたらす力および大きさを考えると、安全管理は運動制御の場面の多くの実施形態にとって非常に重要である。係合制御部540は、主入力部524が偶然に動作することを防ぐための入力調整機として振舞い、そのために係合制御部540は、主入力部524から送られて作用する他のいかなる入力コマンドの前にも常に押し下げられ(depressed)ていなければならない。
図5aに示されるように、主入力部524は、モード選択部530と、アナログインタフェース520をも備える。アナログインタフェース520は、ユーザ制御により入力の範囲を規定することができる任意の入力デバイスである。1つの可能性のある実施形態では、アナログインタフェース520は、ユーザ操作なしにこの車輪を中央位置に戻すばね作用がある車輪である。他の可能性のある実施形態においては、アナログインタフェースは、レバー、スライディングタブ(sliding tab)、またはユーザが信号を入力できるようにする他の任意の入力制御装置である。主入力部524は、複数の入力モードを備えることができる。1つの可能性のある実施形態では、主入力部524は、リセットモード、プレイモード、及びスキャンモードを備え、これらのモードはモード選択部530を介して選択可能である。
リセットモードでは、係合制御部540およびアナログインタフェース520の動作より、各アクターが場面内でグローバルな時間軸の開始時における最初の位置に移動させる。さらに、特定の場面またはフレーム番号がディスプレイインタフェース510の使用により選択され、動作により、各アクターがグローバルな時間軸における時刻又はフレームに関連付けられる位置に移動させる。このようなモードにより、特定の時刻にあるべき位置から外れたデバイスアクターが正しい位置に戻ることが可能となる。
プレイモードでは、アナログインタフェース520の動作はグローバルな時間軸において場面を通して進行のスピードを速くしたり遅くしたりする役割を有してもよい。例えば、アクターがグローバル時刻aの位置にいる場面で、係合制御部540を選択することは、基本のスピードでグローバルな時間軸を通して全てのアクターの行動を開始するのに役立ち、時間の各瞬間は、グローバルな時間軸を通して進行の1つの瞬間に関連付けられている。そして、リアルタイムの1つの瞬間がグローバルな時間軸を通して進行の0.5秒に関連付けられるように、第1の方向におけるアナログインタフェース520の動作は、グローバルな時間軸を通して進行を遅くさせるのに役立つ。もし、アナログインタフェース520が中央に戻って設定されるなら、進行は、グローバルな時間軸を通してリアルタイムと1対1の速度に戻ることができるが、最初の開始時点からの遅いスピードにより残りの動作は遅れを生じる。反対に、もしアナログインタフェース520が第1の方向とは反対の第2の方向に動作したら、グローバルな時間軸を通して進行は速まる。例えば、もし、時刻aから時刻bまでの公称時間が10秒であるとすると、グローバルな時間軸を通して進行速度が10%増加することにより、時刻aの位置から時刻bの位置まで進行するために運動制御される場面に要求される実際の時間を約0.9秒だけ少なくすることができ、またアナログインタフェースは速く再生するように設定され、時刻aから時刻bまでに進行するのに必要な実際の時間は約9.1秒にまで少なくすることができる。これにより、運動制御された場面の構成要素としてのカメラにより記憶された人間のプレーヤーが、期待されたスピードより速くまたは遅くセリフを喋った時に使用することができ、運動制御された場面の行動と人間のプレーヤーの運動制御されないときの行動とをマッチさせるという願望が生じる。
スキャンモードでは、係合制御部540を選択し、次にアナログインタフェース520を操作することは、グローバルな時間軸を通して連続的な状態で前後に動かしまたはスキャンするよう操作し得ることである。例えば、もし運動制御されたセットが、現在、時刻cに関連付けられた位置にアクターを有するなら、前後に動かすモードを選択しアナログインタフェース520を第1の方向に操作することにより、全てのアクターがグローバルな時間軸に関連付けられた位置を通って連続的に前方向に移動し時刻dに到達予定の位置まで到達し得る。アナログインタフェース520を第2の方向に動かすことにより、全てのアクターをグローバルな時間軸に関連付けられた位置を通って連続的に逆方向に動かして時刻bに関連付けられた位置に到達し得る。1つの可能性のある実施形態において、特定の時刻またはフレームがディスプレイインタフェース510を用いて選択される。アナログインタフェース520の操作により、グローバルな時間軸の位置を通って特定の時間またはフレームに到達するまで連続的に動き得る。そして、前回選択された場所に到達したことを認めてディスプレイインタフェース510における選択が活性化されるまで、またはアナログインタフェース520が中央位置に戻るまで、主入力部524は、デバイスアクターの制御を停止し得る。
図6aは、運動制御システム600のブロック図を示す。運動制御システム600は、主制御装置610、および入力、フィードバック、およびデバイスアクターサブシステムの1つの可能性のある実施形態の詳細を備える。運動制御システム600に開示される実施形態において、主制御装置610は、オペレーティングシステム614、主制御ロジック612、マスタークロック616、ネットワークサポート618、制御ロジック696、およびフィードバック698を備える。主制御装置610の要素は、一般的な機能のプロセサーおよびメモリハードウェアシステムを備えるコンピュータシステムにおいて実装される。あるいは、主制御装置610は、カスタム設計のプロセサー、メモリ、およびネットワーキングハードウェアデバイスに実装されるか、または汎用コンピュータシステムの抽象的なソフトウェア階層において実装される。あるいは、マスタークロック616は、システムにおいてアクターの動きを調整するリアルタイムクロックとして機能する。主制御ロジック612は、個々の制御信号を主時間軸の中に統合し、主時間軸を通して運動制御場面全体の動作の間と、制御ロジック696を用いてデバイスアクターの位置と機能の個々の設定および修正の間に、制御信号を正しいデバイスへ経路を決めて送るように機能する。主制御ロジック612は、また、フィードバック698の調整とルーティングを支援する。フィードバック698は、実際のデバイスアクターに取り付けられたモニターから受け取る位置および設定の信号を含み得る。1つの可能性のある例には、ロボットアームに取り付けられた位置デバイスがある。アームの実際の位置は、データベース622、ソフトウェア制御部657、およびロボットアームへのその他の制御入力のいずれかからアームに送信される入力位置コマンドに関してフィードバック及び校正を提供するために、位置デバイスを用いて追跡される。オペレーティングシステム614は、デバイスアクターと相互作用するための特別なライブラリおよび機能を含み、さらにメモリ記憶装置およびプロセサーの利用方法等の基本的なハードウェアコンピュータの機能を管理する役割を果たし得る。さらに、オペレーティングシステム614は、OSネットワーク654を介して様々な関係するデバイスと通信するネットワーキング機能が可能となり得る。
ネットワークサポート618は、またネットワーク620を介して主制御装置610から関係するデバイス、アクター、及び入力制御部への通信を可能とすることができる。1つの可能性のある実施形態において、ネットワーク620は、IEEE1588に従い動作するEtherCAT(イーサキャット(登録商標))ネットワークを備え得る。このような実施形態では、パケットは、もはや受信されず、そして全ての接続点においてプロセスデータとして解釈されずコピーもされない。代わりに、フレームは、各スレーブノードにおいてフィールドバスメモリ管理ユニットを用いてオンザフライ(on the fly)で処理される。各ネットワークノードは、自分にアドレス指定されたデータを読み、一方で電文(telegram)は次のデバイスに転送される。同様に、入力データは、挿入されると同時に電文は通過する。電文は、2−3ナノ秒遅れるだけである。主側では商業的に利用可能な標準ネットワークインタフェースカードまたは搭載イーサネット(Ethernet)コントローラがハードウェアインタフェースとなり得る。これらのインタフェースの共通の特徴は、ネットワークアクセスにCPU能力を使わず直接メモリアクセスを用いて主制御装置にデータ転送することである。EtherCATプロトコルは、イーサネットフレーム(Ethernet Frame)において公式に割り当てられたイーサタイプ(Ether Type)を使用する。このイーサタイプの使用により、標準イーサネットフレームを再定義することなしにイーサネットフレーム内で制御データを直接送ることが可能となる。フレームは、いくつかのサブ電文から成ることができ、それぞれ最大サイズが4ギガバイトにもなり得る論理的処理画像の特定メモリ領域を提供する。データシーケンスが物理的な順序と独立であるので、イーサネット端末のアドレス指定は、どのような順序でもよい。スレーブ間の放送、マルチキャストおよび通信は、可能である。イーサネットフレームで直接送信することは、EtherCATコンポーネントが主制御装置として同じサブネット内で運用されている場合および制御ソフトウェアがイーサネット制御部に直接アクセスする場合に行われる。EtherCATにおける配線の柔軟性が、異なるケーブルの選択によりさらに最大化される。柔軟で低価格の標準イーサネットパッチケーブルは、信号をオプションでイーサネットモード(100BASE−TX)またはE−Bus(LVDS)信号表現で送信する。プラスチック光ファイバ(POF)は、長距離用の特定のアプリケーションで使用され得る。異なる光ファイバおよび銅ケーブル等のイーサネットネットワークの全部の帯域は、切替え装置又はメディアコンバーターの組み合わせにおいて使用され得る。ファーストイーサネット(Fast Ethernet)(100BASE−FX)またはE−Busは、距離の要求に基づいて選択され得る。ファーストイーサネットフィジックス(Fast Ethernet physics)は、デバイス間のケーブル長さを100mとすることができ、一方、E−Bus線は、モジュラーデバイスと共に使用することを意図している。ネットワークのサイズは、65535デバイスまで接続可能であるから殆ど無限である。
さらに、このようなEtherCATを用いたこのような実施形態はIEEE1588標準に記載されるように、分散型のクロックの正確なアライメントを伴う同期のアプローチをサポートする。同期品質が通信エラーの際に直ちに大きな影響を与える完全な同期通信とは異なり、分散型の位置あわせしたクロックは、通信システム内のあり得る障害関連の遅延に対して高い許容度を有している。
したがって、データ交換は、「母」クロックおよび「娘」クロックに基づき完全にハードウェアベースで行われる。各クロックは、簡単にまた正確に他のクロックの実行時間オフセットを決定し得る、なぜなら、通信が論理的かつ全二重イーサネット物理リング構造を使用するからである。分散型クロックは、この価値に基づいて調整され、このことはジッタが実質的に1マイクロ秒未満の非常に正確なネットワーク規模の時間基準が利用できることを意味する。
しかし、高分解能の分散型クロックは、同期のためだけに使用されるのではなく、データ取得のローカルタイミングについての正確な情報を提供することもできる。例えば、制御装置は時系列的に測定した位置から速度を計算する。特に非常に短いサンプリング時間により、変位測定における小さな一時的なジッタでさえ、速度における大きなステップの変化につながる。EtherCATを備える、ある実施形態では、EtherCATの拡張されたデータタイプ(タイムスタンプデータタイプ、オーバーサンプリングデータタイプ)が導入される。ローカル時間は10nsまでの分解能で測定値とリンクされ、これはイーサネットにより提供される広い帯域により可能となる。速度計算の正確性は、もはや通信システムのジッタ−に依存しない。ジッタ−の影響を受けない通信に基づく測定技術の正確性よりも、桁が異なるほどより良い。
最後に、ネットワーク620が、EtherCATを備えるある実施形態では、ホットコネクト機能によりネットワークの部分が「オンザフライで」(動作中もしくは運用中に)リンクされ、分離され、または再構成されることが可能となる。多くのアプリケーションは、運用中にI/O構成の変更が必要となる。EtherCATシステムのプロトコル構造は、これらの構成の変更を考慮する。
そして図6aに記載されるように、ネットワーク620は、制御データインタフェース650を介して個々のデバイス及びアクターに接続する。制御データインタフェースは、ネットワーク620の構成要素であり、または個々のアクターの入力にて分散型の構成要素を備えてもよい。さらに、入力及びフィードバックデータインタフェースは、制御データインタフェースと同じデバイスであり、ネットワーク620と接続する同じデバイスの反対方向のデータフローとして動作する。ネットワーク620と接続するアクターは、カメラ制御部632、第2制御部634、オーディオ636、デジタル出力バンク648、カメラロボット670、フォローフォーカス672、光部674、主入力部650、及び主安全制御部部690を備える。
ある実施形態では、いくつかのアクターが制御データインタフェース650を介して直接、ネットワーク620と通信し得る。例えば、ネットワーク620は、EtherCATネットワークである上記の実施形態において、カメラ制御部632、第2制御部634、オーディオ636、およびデジタル出力バンク648は、アダプター無しでネットワーク620経由で通信することができる。このような実施形態において、アダプター662aは、カメラロボット670と通信するためのEtherCAT−provibusアダプターであり、アダプター662bは、フォローフォーカス672と通信するためのEtherCAT−prestonアダプターであり、そして、アダプター662cは、光部674を制御するためのEtherCAT−dmxアダプターである。
主制御装置610およびネットワーク620を介して主制御装置610と通信するデバイスに加えて、運動制御システム600は、複数の他の入力、フィードバック、およびOSネットワーク654、データベース622、データベースインタフェース652、MIディスプレイ656、ソフトウェア制御部657、ビデオ出力658、及びアダプター655a−c等のデバイスを備えてもよい。1つの可能性のある実施形態では、OSネットワーク654は、主制御装置610と接続するイーサネットネットワークである。MIディスプレイ656は、図5aの主入力部524のため説明したディスプレイと似たような意味で、主入力部650のためのディスプレイとして機能してもよい。ソフトウェア制御部657は、主制御装置610と共に使用するためにグローバルな時間軸を仮想的に創作し得るソフトウェア環境として機能し得る。ソフトウェア制御部657は、デバイスアクターのライブ制御によりリアルタイムでグローバルな時間軸を創作する機能があってもよい。1つの実施形態では、ソフトウェア制御部657は、サポートするアドオンソフトウェアを有するMAYA(登録商標)等のソフトウェアプログラムである。最後に、ビデオ出力658は、運動制御システム600におけるカメラに関連付けられたリアルタイムのビデオ出力である。運動制御システムが、グローバルな時間軸を通って動くとき、ビデオ出力により、運動制御されたセットのリアルタイムのビデオレビューを可能にし得るので、その結果個々のデバイスアクターが修正され、またはビデオ出力658からの情報に基づいて主入力部650の制御が調整される。
図6aの運動制御システム600は、様々な異なる方法でメディアの機能や創作を可能としており、図6bにより記載されている。図6bにより記載される実施形態では、ユーザは、ソフトウェア制御部657等のソフトウェアインタフェースを用いて制御データを作り出すことができる。制御データは、将来の使用のためにデータベース622に記憶しておいてもよい。代わりの方法としてまたは同時に、制御データは主制御装置610に送信される。そして、主制御装置は、制御ロジック696を管理してグローバルな時間軸を作り出し、その結果機能する前に特定のデバイスにより要求されるいかなるデータもこれらのデバイスに送信される。例えば、1つの可能性のある実施形態では、カメラロボット670は、動作する前に全ての位置データを有していなければならず、カメラロボット670は時刻またはフレーム入力を受信することによりグローバルな時間軸に同期して機能し、グローバルな時間軸の現在の状態に対する正しい位置に移動するように前に受信された制御情報を用いて応答して行動する。グローバルな時間軸が主制御装置610により準備され、全てのデバイスアクターが準備された後に、ユーザは、操作信号を主制御装置610に送信するために主入力部650、又はソフトウェア制御部657を使用することができる。そして、主制御装置は、適切な制御信号をグローバルな時間軸位置と同期が与えられた個々のデバイスアクターに送信する。そして、デバイスアクターは、制御信号に従って動作し、実際の動作、エラー、及び/または安全なシャットダウン状態を記録したフィードバック信号をネットワーク620を介して送信する。そして、フィードバックデータは、データベース622、又はソフトウェア制御部657からの最初の制御データを修正またはマッチさせるために主制御装置610により管理される制御信号を更新するのに使用し得る。
1つの可能性のある実施形態において、運動制御システム600は、主安全制御部690を備える。主安全制御部は、安全リスクをもたらすとみなされるデバイスアクターに直接接続される、ハード・ワイヤードのシャットダウン制御を備えてもよい。このようなシャットダウン制御は、主入力部650に実装される。他の可能性のある実施形態では、主安全制御部690は、安全センサーに取り付けられた安全コンピュータシステム又は安全PLCを備える。このような安全センサーは、デバイスアクターに取り付けられたオブジェクト近接検出器を備えてもよい。場面が運動制御システム600において作り出される時に、場面は、予定されるデバイスアクターおよび場面に登場するプレーヤーのためのデータを有することになる。オブジェクト近接検出器は、予期される位置の予期されるオブジェクトを通し、予期しないオブジェクトおよび位置をブロックするように、コンピュータのシステムにプログラムされるか結合される。もし、オブジェクトが予期しない安全でない場所でオブジェクト近接検出器により検出されるなら、信号が運動制御された場面全体をシャットダウンするために送られ、または最低でも、予期しないオブジェクトにあり得る危険をもたらすことを決定したデバイスアクターをシャットダウンするために送られる。他の可能性のある実施形態では、運動制御された場面に対する限界が決定される。近接検出器または運動検出器は、運動制御システムの動作中のデバイスアクターの限界または場面限界を超える動きを検出し、また安全でない動きまたはオブジェクトが検出されたときに運転を停止するように構成される。このようにして、主安全制御部は、様々なデバイスアクターに近接した領域を観察して、安全シャットダウン信号を送信することができる。1つの可能性のある実施形態では、オブジェクト検出器は、光検出測距装置(LIDAR)を備える。他の可能性のある実施形態では、オブジェクト検出器は、赤外線センサー(PIR)である。
図7は、本発明のある実施形態(例えば、既述の図において示された構成要素において)において使用され得る例示的なコンピュータ装置のブロック図を示す。
図7に示されるサブシステムは、システムを介してバス710に相互接続される。プリンタ708、キーボード718、固定ディスク720(またはコンピュータが読み取り可能な記憶媒体を備える他のメモリ)、ディスプレイアダプター712に接続されるモニター714、及びその他等の追加のサブシステムが示される。周辺装置及び入力出力(I/O)デバイスは、、I/O制御部702と結合され、シリアルポート716経由等の当業者に知られる任意の数の手段により、コンピュータシステムと接続され得る。例えば、シリアルポート716、又は外部インタフェース722は、コンピュータ装置をインタネット等の広域領域ネットワーク、マウス入力デバイス、又はスキャナーに接続するのに使用され得る。システムバス710を介した相互接続により、中央プロセサー706が各サブシステムと通信し、システムメモリ704、又は固定ディスク720からの命令の実行を制御することが、サブシステム間の情報の交換と同様に可能となる。システムメモリ704及び/または固定ディスク720は、コンピュータ読み取り可能な媒体を具体化してもよい。
図8は、運動制御写真撮影システムと共に使用するためにソフトウェア制御部においてユーザインタフェース1200の1つの可能性のある実施形態を示す。このようなインタフェースにより、個々のデバイスアクターのモデル化、個々のデバイスアクターのソフトウェア制御部、個々のデバイスアクターの制御データの作成、および個々のデバイスアクターの記録制御または操作データを含め、複数の機能が可能となる。同様に複数のデバイスは、運動制御されたセット全ての動作をユーザインタフェース1200等のインタフェースを用いて、同時にモデル化し、制御を行い、または記録するようにモデル化される。
ユーザインタフェース1200は、場面における現在のデバイスアクターのリストを示す「アクター」というドロップダウンメニューと、場面に作り出すか追加すべきデバイスアクターの名前及び/またはタイプの選択を可能とするプロンプトを提示する「アクター追加」場面と、場面からアクターを削除することを可能とする「削除アクター」インタフェースを含め、複数のインタフェースボタンを有するアクターパネルを含んでもよい。
ユーザインタフェース1200は、選択パネルをも含んでよい。選択パネルは、ロボット上の制御部を選択し、これにより、ユーザが手首を介してロボットを動かすことが可能となる「先端効果器を選択」のためのインタフェースを含むことができる。この制御部は、チャネルボックス(channel box)編集者を通して選択され確認される時に、ユーザが制御できる追加の特性を持たせることができる。これらの特性は次のものを含む。
可視性−確認する場所の制御部の可視性を切り替える。
ディセイブルヘッドアップディスプレイ(HUD)アップデート−確認する場所の全てのHUD更新を無効にする。
A(1−6)角度−それぞれのロボット軸の現在の角度を表示する。
トラックロボット(TR)の位置−トラック軸上のロボットの位置を表示する。
軸を示す(Show Axes)−確認場所の骨格の可視性を切り替える。
FKIK(A1−A6)−個々の結合のスイッチング設定を可能とする。
選択パネルは、ユーザがロボットをベースから位置決めすることを可能にするロボット上の制御部を選択することができる、「選択ベース制御」インタフェースを含んでもよい。このような制御部は、チャネルボックス(channel box)編集者により選択され確認される時に、ユーザが操作できる次に示すような追加の特性を持たせることができる。
Zを移動する−トラックシステムに沿ってベースを動かす。
Yを回転する−ベースの方向を変更する。
柱の高さ(Column Height)−ロボットのベースの高さを変更する。
選択パネルは、次のような追加のインタフェース制御部をも含んでもよい。
トラック制御を選択−ユーザがトラックシステムを好きなところに移動し方向付けし、さらに先端効果器とこのノード間の接続の切断を記述することを可能とするロボット上の制御部を選択する。
ワールドスペース実装を選択する−実装を追加する制御部を選択する。
ワールドコントロールを選択する−ユーザがロボットおよびトラックシステム両方の全体を動かし、方向付けることを可能とする主制御装置を選択する。
さらに、ユーザインタフェース1200は、ソフトウェアシステム内のデバイスアクターへの実装を追加し、削除する管理と、デバイスアクターに追加する実装の配置を設定するコントロールの提供ができる。例えば、図8は、現在のシステムにおいてデバイスアクターであるロボットアームにカメラを実装するための3つの可能性のある位置を示す。ユーザインタフェース1200は、様々な実装オプションから選ぶために、及びこのような設定に関連付けられた位置変数を調整するために、グラフィカルまたは番号の入力選択を提供することができる。
運動制御写真撮影システムの1つの可能性のある実施形態では、自動システム校正を可能とするために、ユーザインタフェース1200が、ソフトウェア制御部により、ソフトウェア制御部657と図6aのカメラロボット670等のカメラロボットに組み込まれる。このような1つの可能性のある校正は、ロボットアームに搭載されたカメラにおける校正されたレンズ位置を決定するレンズノード計算を含む。このような校正の1つの可能性のある実施形態は、カメラロボット670のためのベース、手首もしくは結合要素、及びカメラマウントの位置並びに寸法に関する情報をソフトウェア制御部657に提供することを含む。位置や大きさ等の知られた特性とともに校正プレーヤーもまた提供される。ソフトウェア制御部657を介して校正コマンドが選択される時、カメラロボット670は、異なるカメラアングルまたは位置から校正プレーヤーの複数の画像を記憶する。校正プレーヤー及びカメラロボット670についての知られたデータと併せて画像により、現在実装されたカメラのレンズノードが計算され、ソフトウェア制御部657でモデル化されるデバイスアクターに組み込まれることが可能となる。
代わりの校正の実施形態において、ソフトウェアインタフェース1200は、温度センサーからのフィードバックに応答して、大きさ及び位置のデータを変更する校正コマンドを有することができる。例えば、ソフトウェア制御部657は、カメラロボット670の構成要素であるレールに取り付けられる温度センサーからのデジタル出力バンク658を介して、データを受け取る。ソフトウェア制御部657は、レールの温度特性につき認識された変化によりコマンド信号を調整するように構成され、または温度変化に応答してデバイスアクターの位置の変化を測定する必要性を信号で伝えるように構成される。
図1のソフトウェア制御部26、又は図6aのソフトウェア制御部657等のソフトウェア制御部は、図9の解析インタフェース1300等の解析インタフェースをも備えることができる。解析インタフェース1300は、デバイスアクターの個々の軸に対するデータの動きを示す。現在の速度および現在の加速度等のデータが、場面を通して時間に対するこれらの特性のグラフ、各特性に対する最大許容限界、及び各特性に対する最大達成値と共に表示される。解析インタフェース1300において示された値は、ソフトウェア制御部内で作り出された、又はデータベースに記憶されたグローバルな時間軸からモデル化されている。この値は、場面を通して上演されたデバイスアクターの実際の物理的動きから記録された値でもあり得る。このような解析データの使用により、デバイスアクターの機能の安全限界を誤って超えていないかを急いで確認する一方、場面に対して適用すべき修正が提供され得る。
個々のデバイスアクターの動作の解析に加えて、ソフトウェア制御部は、グローバルな時間軸を通してアクターの動きを具現化する際、デバイスアクター間の衝突の可能性を検出するときに予防に役立つ安全装置として使用される。さらに、このようにグローバルな時間軸を通して場面を具現化することは、図6aの主安全制御部690等の安全システムのための安全パラメータを設定するのに使用される。グローバルな時間軸によりデバイスアクターの位置と速度のモデル化は、運動制御システムの周りの領域または撮影現場において安全でない区域と安全でない時間の識別が可能となり得る。このような識別は、上述の安全システムの構成要素であるオブジェクト検出器の検出トリガーを設定するのに使用される。例えば、もし、あるデバイスアクターの5フィート以内の領域が衝突のリスクがあり、そしてさらに追加の10フィートのバッファ区域が動作中の安全を保証するのに要求されるとと判断されるなら、LIDAR検出器は、動作中にデバイスアクターの15フィート領域内で予期しないオブジェクト及び動きを検出するように構成され、もし、オブジェクトが検出されたなら、安全シャットダウンを自動的に作り出すように構成される。他の実施形態において、LIDAR検出器は、もし、オブジェクトが危険区域の周辺で検出されたら、警告信号を作り出すように構成され、もし検出されたオブジェクトが衝突の可能性のある区域に向かって移動しているなら、シャットダウンをのみ作り出すように構成される。
他の実施形態では、ソフトウェア制御部は、アクターのモデル化と定義された安全区域のモデルとを含む。ソフトウェア制御部におけるアクターの動きの解析により、任意のアクターが定義された安全区域で衝突するかどうかについてモデル化された安全性のチェックが可能となる。セットの場所の画像を撮ることにより、固定量のスペースをソフトウェア制御部に入力することで、安全区域が定義される。安全区域は、安全区域において検出された動き、急な動き、速度、またはオブジェクトの加速に基づいて変動するように定義されてもよい。他の実施形態では、安全区域は、トランスポンダ(transponder)のデバイスデータからの入力により定義される。例えば、トランスポンダ位置デバイスがプレーヤーに取り付けられ、そのトランスポンダからの距離により安全区域が定義される。トランスポンダは、位置データをソフトウェア制御部に送り、これによりソフトウェア制御部内のまたは主安全制御部内の安全区域を更新することができる。他の実施形態では、固定の安全区域がソフトウェア制御部内で定義され、運動制御されたセットの動作に先立ち、主安全制御部内で安全PLCに先立ち、発表される。
図10は、このイノベーションによる運動制御システムの他の実施形態を説明する。運動制御システム700の動作の機能は、上述の運動制御システムの詳細な説明と関連して理解される。
前の実施形態の記述は、当業者が本発明を実施することができるように提供される。これらの実施形態への様々な修正は、当業者にとって自明であり、ここで定義された概略的な原理は、発明的能力を使わないで他の実施形態に適用される。したがって、本発明は、ここに示された実施形態に限定することを意図するものではなく、むしろ個々に開示されたこの原理及び新規な特徴と一致する最も広い範囲と一致すべきものである。
本発明の実施形態は、上述の実施形態には限定されない。例えば、この説明を通して、様々なデバイスアクター及びロボットが、運動制御写真撮影システムにおいて使用するために提示されている。この実施形態は、ここに提供される概略的なまたは特定の例に限定されず、むしろ上述の説明から当業者にとって明らかな他の実施形態を含む。さらなる例により、上述の説明は主入力部への入力モードとして選択可能な3つのモードの説明を提供する。本発明の実施形態は、これらのモードに限定されず、むしろ追加のモードが、ここに提示されたモードとは異なり得る追加のモードが使用される。
上述の本発明は、モジュラー型又は統合型の態様のコンピュータソフトウェアを用いて制御ロジックの形で実装され得ることが理解されるべきである。ここに提供された開示および教示に基づいて、当業者は、ハードウェア及びハードウェアとソフトウェアの組み合わせを用いて本発明を実施するための他のやり方及び/または方法を知り、理解することができる。
このアプリケーションで記載されたいかなるソフトウェアコンポーネントまたは機能は、例えば、従来技術又はオブジェクト指向技術を用いて、例えばJava、C、又はパール等の任意の適当なコンピュータ言語を用いてプロセサーにより実行されるべきソフトウェアコードとして実装される。ソフトウェアコードは、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、ハードディスクもしくはフロッピーディスク等の磁気媒体、又はCDROM等の光媒体等のコンピュータ読み取り可能な媒体上で命令又はコマンドの連続として記録される。このような任意のコンピュータ読み取り可能な媒体は、単一の計算装置上または内部に存在し得る。また、システム又はネットワーク内の異なる計算装置上またはその内部に存在する。
上記の説明は実例を示すものであり、限定するものではない。この開示を検討すれば、本発明の多くの変形例は、当業者にとって自明である。したがって、本発明の範囲は、上記の説明を参照することによってのみ定められるものではなく、これらの全範囲及び均等物と共に係属中の特許請求の範囲を参照して決定すべきものである。
任意の実施形態における1つ以上の特徴は、本発明の範囲から逸脱することなくいかなる他の実施形態の1つ以上の特徴と組み合わされる。本願の目的のために、「a」、「an」又は「the」の記載は、特に反対の指示がない限り、「1つ以上の」を意味することが意図されている。他の実施形態の記載は、ある実施形態のある部分が、記載されている特定の他の実施形態の中に存在することを示しており、ある実施形態は、その記載された要素を含むことを示している。
上記の実施形態に加えて、ある実施例は、3Dプロジェクション・マッピングと組み合わされた3Dプロジェクション・マッピングを伴う。3Dプロジェクション・マッピングにおいて、視聴者は、特殊な遠近法により描画された表面に光が投影されるときに、実際には物理的に存在しない周囲の状況が視覚的映像と共に提示される。
3Dプロジェクション・マッピングにおいて、物理的空間の寸法及び映写面もしくはオブジェクトの座標の知識が望ましい効果を達成するために必要である。従来、これらの寸法/位置は固定されたものであり、したがって変動しない。
本願のイノベーションに従った1つの可能性のある実施形態では、映写面は塊全体(volume)で動く。特に、表面は、ロボット(サーボ)の作動により動き、映写面の正確な物理的位置はシステムが把握している。制御された方法により映写面を動かすコンセプトに加え、実施形態は、制御された方法により既知の座標までプロジェクタを動かすことをも含む。これにより、例えば、正確に描画される遠近法により、正確な描写を動くプラットフォーム(すなわち、遊園地での乗用車又は展示する乗用車)に乗る視聴者に提供するのに役立ち得る。
ロボットプラットフォームの先端効果器又はアームに映写面を置くことにより、システムのある実施形態は、映写面またはオブジェクトを(x,y,z)直交座標空間における特定の既知の座標に動かすことができる。オブジェクトの正確な位置は、(ロボットエンコーダのフィードバック、及びプログラムされた位置により)既知であるから、3D(仮想)空間におけるマッピングにより、(リアルタイムで)表面上に画像を投影することができる。
したがって、システムの実施形態は、従来の3Dプロジェクション・マッピング手順において、この効果を奏することができ、映写面/オブジェクトの3Dモデル(仮想)描写を創作して、視点と遠近法を考慮して適切なレンダリングを行う。そして、このレンダリングは、光としてオブジェクトに投影される。
このようなシステムは、上記のソフトウェア制御部、又は主制御装置システムのいずれかに組み込んで、上に述べた照明、安全装置、およびソフトウェアシステムが組み込まれた3D映像マッピング視聴覚プレゼンテーションの編集及び創作を改善することが可能となるように制御され、プログラムされ、修正された視聴覚プレゼンテーションを創作することができる。
図11は、3Dプロジェクション・マッピング視聴覚プレゼンテーションシステムの1つの可能性のある実施形態を示す。図11は、デバイスアクター1142、デバイスアクター1142に取り付けられたプロジェクタ1150、デバイスアクター1144、及びデバイスアクター1144に取り付けられた映写面1140を示す。プロジェクタ1150は、映写面1140がデバイスアクター1144により空間座標のセットを通して動かされるときに、画像を映写面1140に投影するための信号情報を受信し、又は含むことができる。他の実施形態では、デバイスアクター1142とデバイスアクター1144が空間座標を通して動き、あるいはデバイスアクター1142のみが動く。空間座標は、主制御装置システム、コンピュータ、又はデバイスアクターを制御する他の知られた手段により提供される。システムの構成要素として、映写面1140に投影される画像は、空間座標のセットを通してデバイスアクター1144の動きの既知の情報に基づいて作り出される。
例えば、デバイスアクター1142及び1144は、図1のソフトウェア制御部26、又は運動制御システム700のビデオ出力702と共にソフトウェア制御部726等のソフトウェア制御部システムと結合する。システムは、映写面1140及び所望の視覚的描写に関係する組み込まれた情報を有する。マニュアル制御により、ユーザは、手作業で映写面1140の空間位置を調整することが可能となり、そしてソフトウェア制御部は、プロジェクタからの画像出力を自動的に調整して望ましい視覚的プレゼンテーションを作り出すようにプログラムされる。代わりに、ソフトウェア制御部は、アニメーションを用いて所望の視覚的描写を記述し、そして、ソフトウェア制御部は、デバイスアクター1142、1144を用いて自動的にプロジェクタ1150及び映写面1140を調整して、映写面1140上に所望の視聴覚プレゼンテーションを作り出す。
1つの可能性のある実施形態では、プロジェクタと結合するアニメーション制御システムは、映写面にアニメーションを映写する。アニメーション制御システムは、映像の3Dアニメーションを修正するインタフェースを含む。アニメーション制御システムは、映写面の位置を物理的に制御するデバイスアクターから受け取る制御情報に基づいて、映写面の相対座標表現及び映写面の現在位置を含むことができる。したがって、インタフェースは、映写面に対して提示された相対座標系内でアニメーションの修正を可能とすることができる。映写面がデバイスアクターにより動かされるにつれ、アニメーション制御システムは、この動きを示す信号を受け取る。そして、システムは、適切なプレゼンテーション及び3D映像の遠近法を作り出すために任意の角度調整に基づいて補償する。例えば、映写面がプロジェクタに対して90度から離れた角度にある場合、映像は、映写面において一定の画像が維持されるように、角度がついたプロジェクタから広がる出力をより狭い出力として提示するように変換される。同様に、プロジェクタからの光出力パワーは、映写面からの一定の輝度を維持するように増加され得る。アニメーション制御システムからの出力信号は、映写面上の相対座標系における適切な位置におけるアニメーションを維持するために、プロジェクタの映像を自動的に調整することができる。1つの実施形態では、複数のプロジェクタが、同時に又は交代で同じ3Dアニメーションを映写面に投影することができる。もし、第1のプロジェクタの映写面までの光学経路が閉塞するように映写面が回転したら、そのときは閉塞していない光学経路を有する第2の位置にある第2のプロジェクタが同一の3Dアニメーションを映写面に投影し得る。
追加の実施形態では、場面を通してセットのモデルやセットの動きは、さらにプロジェクタから映写面への光学経路のモデリングを含んでもよい。もし、セットや場面の変更により3D映像の構成要素をブロックし、かつ映写面における3D映像のプレゼンテーションを妨げる、光学経路の障害が生じるなら、セット及び場面の動きを調整する主制御装置又はアニメーションコンピュータシステムは、警告を発することができる。
図12−21は、本願のイノベーションにしたがって3D運動制御映像システムの可能性のある実施例の追加の詳細を示す。図12は、プロジェクタ1150が映写面1140に投影する3D映像の1つの可能性のある実施例を示す。図13−19は、デバイスアクター1144に実装された映写面1140の1つの実施例を示す。これらの図において、おおよそ球状の映像オブジェクトには、その表面に投影されたコンピュータ生成による顔面がある。これが映像の例である。デバイスアクターが映写面を動かすにつれ、投影された顔面の画像は、映写面上の適切な位置を維持し、そして顔面の特徴部分はアニメーションで描かれ、動く映写面上でまばたきする目、動く口、その他の3Dアニメーションが生み出されている。これが映写面に関連付けられた座標のセットとマッチしていてもよい。映写面1140は、座標のセットを通して動かされ、変換され、そして、映写面が空間内で座標のセットを通して動かされる時に、映写面1140上の顔面の映像の相対位置は、映写面上の映像座標システム内で安定を保ち得る。これは本質的には、機械的な顔面のアニメーションを用いて可能であることを超えた非常に複雑な顔面のアニメーションの可能性を有するアニメーションと可動性との錯視(illusion)を提示している。図20および21は、ディスプレイのユーザインタフェース2010における映写面のコンピュータモデルを示す。その映像は、デバイスアクターの動きと、映像画面へ投影された画像と同時に動作する。このソフトウェアにより、デバイスアクターによる空間情報の視覚化並びに使用、及びリアルタイムもしくは準リアルタイムで、投影される画像の調整もしくは制御が可能となり得る。
様々な実施形態において、映写面は、主制御装置システムにおいて上に述べたように場面と一体化している。人手もしくは制御システムによる場面の速度の調整がされるとき、3D映写面のアニメーション及び動きも調整され、場面全体の動きと一致するように、場面全体の動きは時間軸に一致し、加えて3D映像のアニメーションが時間軸と一致する。1つの可能性のある実施形態では、映写面は非平面状の映写面である。他の実施形態では、映写面は後方の映写面である。さらに他の実施形態では、セットは平面状の映写面及び非平面状の3D映写面を含む。
追加の実施形態において、3Dコンピュータアニメによる映像は、主制御時間軸における場面の一部であり、リアルタイムの入力と一致するアニメーションの一定の部分をも有している。例えば、もし、アクターからの声や話された言葉が、アニメによるデバイスアクターから来るものとして示されるなら、口の動きの3D映像は、リアルタイムで人間アクターにより話された言葉と合致する。映写面と目のまばたき等の3D映像アニメーションの一定の部分の動きは、予め定められており自動化されており、その一方で、口の動きの映像は、聴衆から隠れている人間アクターに特に適合する。
様々な実施形態では、運動制御を伴う3D映像のためのシステムは、プロジェクタと、第1のデバイスアクターと結合する映写面とを備え、前記第1のデバイスアクターは、空間座標のセットを通して前記映写面を動かし、前記プロジェクタからの3D映像は、前記映写面の座標のセットに投影され、前記映写面が空間座標の前記セットを通して動く時に、前記3D映像を前記映写面の座標の前記セットに合致させる。追加の他の実施形態は、前記3D映像を前記映写面にマッピングさせ、前記非平面の映写面が空間座標の前記セットを通して動く時に、前記3D映像を前記映写面の座標の前記セットに合致させながら前記3D映像をアニメーション化する前記プロジェクタに結合されたアニメーションコンピュータシステムを備える。他の実施形態では、アニメーションコンピュータシステムは、さらに前記デバイスアクターと結合しており、前記アニメーションコンピュータシステムは、空間座標の前記セットを前記デバイスアクターに提供して、前記デバイスアクターに前記非平面の映写面を空間座標の前記セットを通して動かすように指示する。
追加の代わりの実施形態は、前記デバイスアクターの各アクターのための制御データが、前記グローバルな時間軸において対応する位置と関連付けられるように、前記第1のデバイスアクターを含む複数のデバイスアクターのための制御データを備える複数の制御信号を受け取り、前記複数の制御信号をグローバルな時間軸と同期させて複数の同期信号を作り出す主制御装置と、主入力部信号を前記主制御装置に送り、前記グローバルな時間軸における位置と前記グローバルな時間軸を通しての進行速度とを示す主入力部と、を備え、前記主制御装置は、前記グローバルな時間軸における前記位置に関連付けられた前記複数の同期信号を前記複数のデバイスアクターと通信することにより前記主入力部信号に応答し、前記デバイスアクターの各アクターのための前記制御データが、前記グローバルな時間軸を通して前記進行速度でそれぞれのデバイスアクターに送信される。
追加の他の実施形態では、前記主入力部は、アナログ入力と、モード選択部と、アナログ入力動作制御とを備え、前記アナログ入力に入力を加えない時に、前記アナログ入力動作制御は、前記アナログ入力を第1の位置に戻し、前記主入力部の第1の選択モードに対して、第1の方向における前記アナログ入力の調整により、前記グローバルな時間軸の間に所定の標準の前方向の速度から進行速度を増加させ、前記主入力部の前記第1の選択モードに対して、第1の方向とは異なる第2の方向におけるアナログ入力の調整により、前記グローバルな時間軸の間に前記所定の標準の前方向の速度から進行速度を減少させ、主入力部の第2の選択モードに対して、前記第1の方向における前記アナログ入力の調整により、固定の速度から前記前方向の可変の進行速度を作り出し、主入力部の第2の選択モードに対して、前記第2の方向における前記アナログ入力の調整により、前記固定の速度から逆方向の可変の進行速度を作り出す。
追加の他の実施形態では、前記アニメーションコンピュータシステムは、前記映写面が空間座標の前記セットを通して動く時に前記映写面の座標の前記セット内で前記3D映像を維持する間に、前記3D映像を修正するリアルタイムの入力を備える。
追加の他の実施形態は、前記複数のデバイスアクターの第1のデバイスアクターに近接した領域を観察し、オブジェクト検出器がオブジェクトを検出したときに安全シャットダウン信号を前記第1のデバイスアクターに送信するオブジェクト検出器を備える。
追加の他の実施形態は、安全制御部を備え、前記主安全制御部は、プログラム可能なロジック回路を備え、前記安全シャットダウン信号は、前記プログラム可能なロジック回路により前記複数のデバイスアクターのそれぞれに送信される。
追加の他の実施形態では、前記第1のデバイスアクターは、ロボットアームであり、前記オブジェクト検出器は、前記ロボットアームの取り付け位置に取り付けられ、前記第1のデバイスアクターに近接する前記領域は、前記オブジェクト検出器から固定された距離だけ延在する領域を備える。
追加の他の実施形態では、前記第1のデバイスアクターに近接する前記領域は、前記グローバルな時間軸における前記位置及び前記グローバルな時間軸の間の前記進行速度に関連付けられて判断される所定の態様により、時間と共に変動する。
追加の他の実施形態は、運動制御の方法を備える。この方法の1つの実施形態は、前記映写面と結合した第1のデバイスアクターを用いて空間座標のセットを通して映写面を動かすステップと、アニメーションコンピュータからの信号を用いて映像デバイスから3D映像を映写面に投影するステップと、前記アニメーションコンピュータを用いて、前記3D映像を前記映写面にマッピングして、空間座標の前記セットを通して3D映像の動きを前記映写面の前記動きに一致させるステップと、を備える、方法である。
追加の他の実施形態は、主制御装置において前記第1のデバイスアクターを含む複数のデバイスアクターのための制御データを受け取るステップと、前記デバイスアクターのアクターのそれぞれの前記制御データが前記グローバルな時間軸において対応する位置に関連付けられるように、前記主制御装置を用いて複数の制御信号をグローバルな時間軸と同期化して複数の同期信号を作り出すステップと、前記主制御装置において、前記グローバルな時間軸における位置と前記グローバルな時間軸の間の進行速度とを示す主入力部信号を受け取るステップと、前記主入力部信号に応答して、前記グローバルな時間軸における前記位置に関連付けられる前記複数の同期信号を前記主制御装置から前記複数のデバイスアクターへ通信するステップであって、前記複数の同期信号は、前記主入力部信号により示される前記グローバルな時間軸の間の前記進行速度で、前記複数のデバイスアクターに送信される、前記ステップとを備える。
追加の他の実施形態は、少なくとも1つのオブジェクト検出器を用いて、前記複数のデバイスアクターの近接する領域を検出するステップと、前記複数のデバイスアクターが動作することを防止する安全シャットダウン信号を前記少なくとも1つのオブジェクト検出器から送信するステップと、を備える。
追加の他の実施形態は、前記グローバルな時間軸の間の前記進行速度は、前記グローバルな時間軸の間の逆方向の進行速度を含む、前記方法を備える。
追加の他の実施形態は、主制御装置において、前記複数の同期信号を通信する間に、前記複数のデバイスアクターの第1のデバイスアクターに対する修正制御入力を独立マニュアル制御部から受け取るステップと、前記修正制御入力を前記複数の同期信号と同期化し、前記複数の同期信号の通信の間に更新された複数の同期信号を作り出すステップと、前記同期信号の代わりに前記更新された複数の同期信号を通信するステップと、をさらに備える。
追加の他の実施形態は、データベースに前記更新された複数の同期信号を記憶するステップをさらに備え、前記制御データは、前記主制御装置において前記データベースから受け取られる。
追加の他の実施形態は、前記主制御装置で、前記同期制御信号と関連付けられた動作特性を記述する、前記複数のデバイスアクターからのフィードバックデータを受け取るステップと、前記フィードバックデータに応答して前記同期制御信号を修正するステップと、をさらに備える。
追加の他の実施形態は、前記アニメーションコンピュータからの前記信号をリアルタイムに調整して、前記アニメーションコンピュータにおけるユーザ入力に基づいて、リアルタイムのコンピュータアニメーションを前記映写面に作り出すステップを備える。
追加の他の実施形態は、運動制御を使用して映画を作り出す方法の実施のために、コンピュータシステムにより実行するための命令を記憶する、コンピュータ読み取り可能な媒体を備え、前記方法は、運動制御セットにおいて、複数のデバイスアクターと、少なくとも1つのプロジェクタと、少なくとも1つの映写面のために、コンピュータデバイスを備えるソフトウェア制御部を使用して、物理的特性と位置とをモデル化するステップと、前記複数のデバイスアクターのための制御データを作り出すために、前記運動制御セットにおける前記複数のデバイスアクターの前記ソフトウェア制御部を使用して、動作特性及び前記少なくとも1つのプロジェクタから前記少なくとも1つの映写面までの光学経路をモデル化するステップと、前記ソフトウェア制御部を使用して前記動作の前記モデル化と物理的特性と前記複数のデバイスアクターの位置とを分析して、衝突と光学経路の障害物とを検出し所定の動作限界のセットを超えるデバイスアクターの動きを検出するステップと、前記制御データを同期させて前記制御データを前記複数のデバイスアクターに送信する主制御装置に対し前記制御データを通信するステップと、を備える。
追加の他の実施形態では、前記方法は、前記ソフトウェア制御部を使用して、前記動作のモデル化と物理的特性と前記複数のデバイスアクターの位置とを分析して、衝突リスクを含む前記デバイスアクターに近接する位置のセットを決定するステップと、少なくとも1つのオブジェクト検出を備える主安全制御部に位置の前記セットを送信するステップと、をさらに備える。

Claims (20)

  1. 運動制御を伴う3D映像のためのシステムであって、
    プロジェクタと、
    第1のデバイスアクターと結合する映写面とを備え、
    前記第1のデバイスアクターは、空間座標のセットを通して前記映写面を動かし、前記プロジェクタからの3D映像は、前記映写面の座標のセットに投影され、前記映写面が空間座標の前記セットを通して動く時に、前記3D映像を前記映写面の座標の前記セットに合致させる、システム。
  2. 前記非平面の映写面が空間座標の前記セットを通して動く時に、前記3D映像を前記映写面の座標の前記セットに合致させながら前記3D映像を前記映写面にマッピングさせ、前記3D映像をアニメーション化する、前記プロジェクタに結合されたアニメーションコンピュータシステムをさらに備える、請求項1に記載のシステム。
  3. 前記アニメーションコンピュータシステムは、さらに前記デバイスアクターと結合しており、前記アニメーションコンピュータシステムは、空間座標の前記セットを前記デバイスアクターに提供して、前記デバイスアクターに前記非平面の映写面を空間座標の前記セットを通して動かすように指示する、請求項2に記載のシステム。
  4. 前記デバイスアクターの各アクターのための制御データが、前記グローバルな時間軸において対応する位置と関連付けられるように、前記第1のデバイスアクターを含む複数のデバイスアクターのための制御データを備える複数の制御信号を受け取り、前記複数の制御信号をグローバルな時間軸と同期させて複数の同期信号を作り出す主制御装置と、
    主入力部信号を前記主制御装置に送り、前記グローバルな時間軸における位置と前記グローバルな時間軸を通しての進行速度とを示す主入力部と、をさらに備え、
    前記主制御装置は、前記グローバルな時間軸における前記位置に関連付けられた前記複数の同期信号を前記複数のデバイスアクターと通信することにより前記主入力部信号に応答し、前記デバイスアクターの各アクターのための前記制御データが、前記グローバルな時間軸を通して前記進行速度でそれぞれのデバイスアクターに送信される、請求項3に記載のシステム。
  5. 前記主入力部は、アナログ入力と、モード選択部と、アナログ入力動作制御とを備え、
    前記アナログ入力に入力を加えない時に、前記アナログ入力動作制御は、前記アナログ入力を第1の位置に戻し、
    前記主入力部の第1の選択モードに対して、第1の方向における前記アナログ入力の調整により、前記グローバルな時間軸の間に所定の標準の前方向の速度から進行速度を増加させ、
    前記主入力部の前記第1の選択モードに対して、第1の方向とは異なる第2の方向におけるアナログ入力の調整により、前記グローバルな時間軸の間に前記所定の標準の前方向の速度から進行速度を減少させ、
    主入力部の第2の選択モードに対して、前記第1の方向における前記アナログ入力の調整により、固定の速度から前記前方向の可変の進行速度を作り出し、
    主入力部の第2の選択モードに対して、前記第2の方向における前記アナログ入力の調整により、前記固定の速度から前記逆方向の可変の進行速度を作り出す、請求項4に記載のシステム。
  6. 前記アニメーションコンピュータシステムは、前記映写面が空間座標の前記セットを通して動く時に前記映写面の座標の前記セット内で前記3D映像を維持する間に、前記3D映像を修正するリアルタイムの入力を備える、請求項5に記載のシステム。
  7. 前記複数のデバイスアクターの第1のデバイスアクターに近接した領域を観察し、オブジェクト検出器がオブジェクトを検出したときに安全シャットダウン信号を前記第1のデバイスアクターに送信するオブジェクト検出器をさらに備える、請求項4に記載のシステム。
  8. 主安全制御部をさらに備え
    前記主安全制御部は、プログラム可能なロジック回路を備え、
    前記安全シャットダウン信号は、前記プログラム可能なロジック回路により前記複数のデバイスアクターのそれぞれに送信される、請求項7に記載のシステム。
  9. 前記第1のデバイスアクターは、ロボットアームであり、前記オブジェクト検出器は、前記ロボットアームの取り付け位置に取り付けられ、前記第1のデバイスアクターに近接する前記領域は、前記オブジェクト検出器から固定された距離だけ延在する領域を備える、請求項7に記載のシステム。
  10. 前記第1のデバイスアクターに近接する前記領域は、前記グローバルな時間軸における前記位置及び前記グローバルな時間軸の間の前記進行速度に関連付けられて判断される所定の態様により、時間と共に変動する、請求項8に記載のシステム。
  11. 前記映写面と結合した第1のデバイスアクターを用いて空間座標のセットを通して映写面を動かすステップと、
    アニメーションコンピュータからの信号を用いて映像デバイスから3D映像を映写面に投影するステップと、
    前記アニメーションコンピュータを用いて、前記3D映像を前記映写面にマッピングして、空間座標の前記セットを通して3D映像の動きを前記映写面の前記動きに一致させるステップと、を備える、方法。
  12. 主制御装置において前記第1のデバイスアクターを含む複数のデバイスアクターのための制御データを受け取るステップと、
    前記デバイスアクターのアクターのそれぞれの前記制御データが前記グローバルな時間軸において対応する位置に関連付けられるように、前記主制御装置を用いて複数の制御信号をグローバルな時間軸と同期化して複数の同期信号を作り出すステップと、
    前記主制御装置において、前記グローバルな時間軸における位置と前記グローバルな時間軸の間の進行速度とを示す主入力部信号を受け取るステップと、
    前記主入力部信号に応答して、前記グローバルな時間軸における前記位置に関連付けられる前記複数の同期信号を前記主制御装置から前記複数のデバイスアクターへ通信するステップであって、前記複数の同期信号は、前記主入力部信号により示される前記グローバルな時間軸の間の前記進行速度で、前記複数のデバイスアクターに送信される、前記ステップとをさらに備える、請求項11に記載の方法。
  13. 少なくとも1つのオブジェクト検出器を用いて、前記複数のデバイスアクターの近接する領域を検出するステップと、
    前記複数のデバイスアクターが動作することを防止する安全シャットダウン信号を前記少なくとも1つのオブジェクト検出器から送信するステップと、をさらに備える、請求項12に記載の方法。
  14. 前記グローバルな時間軸の間の前記進行速度は、前記グローバルな時間軸の間の逆方向の進行速度を含む、請求項12に記載の方法。
  15. 主制御装置において、前記複数の同期信号を通信する間に、前記複数のデバイスアクターの第1のデバイスアクターに対する修正制御入力を独立マニュアル制御部から受け取るステップと、
    前記修正制御入力を前記複数の同期信号と同期化し、前記複数の同期信号の通信の間に更新された複数の同期信号を作り出すステップと、
    前記同期信号の代わりに前記更新された複数の同期信号を通信するステップと、をさらに備える、請求項12に記載の方法。
  16. データベースに前記更新された複数の同期信号を記憶するステップをさらに備え、前記制御データは、前記主制御装置において前記データベースから受け取られる、請求項15に記載の方法。
  17. 前記主制御装置で、前記同期制御信号と関連付けられた動作特性を記述する、前記複数のデバイスアクターからのフィードバックデータを受け取るステップと、
    前記フィードバックデータに応答して前記同期制御信号を修正するステップと、をさらに備える請求項12に記載の方法。
  18. 前記アニメーションコンピュータからの前記信号をリアルタイムに調整して、前記アニメーションコンピュータにおけるユーザ入力に基づいて、リアルタイムのコンピュータアニメーションを前記映写面に作り出すステップをさらに備える請求項11に記載の方法。
  19. 運動制御を使用して映画を作り出す方法の実施のために、コンピュータシステムにより実行するための命令を記憶する、コンピュータ読み取り可能な媒体を備えるコンピュータプログラムプロダクトであって、前記方法は、
    運動制御セットにおいて、複数のデバイスアクターと、少なくとも1つのプロジェクタと、少なくとも1つの映写面のために、コンピュータデバイスを備えるソフトウェア制御部を使用して、物理的特性と位置とをモデル化するステップと、
    前記複数のデバイスアクターのための制御データを作り出すために、前記運動制御セットにおける前記複数のデバイスアクターの前記ソフトウェア制御部を使用して、動作特性及び前記少なくとも1つのプロジェクタから前記少なくとも1つの映写面までの光学経路をモデル化するステップと、
    前記ソフトウェア制御部を使用して前記動作の前記モデル化と物理的特性と前記複数のデバイスアクターの位置とを分析して、衝突と光学経路の障害物とを検出し所定の動作限界のセットを超えるデバイスアクターの動きを検出するステップと、
    前記制御データを同期させて前記制御データを前記複数のデバイスアクターに送信する主制御装置に対し前記制御データを通信するステップと、を備えるコンピュータプログラムプロダクト。
  20. 前記方法は、
    前記ソフトウェア制御部を使用して、前記動作のモデル化と物理的特性と前記複数のデバイスアクターの位置とを分析して、衝突リスクを含む前記デバイスアクターに近接する位置のセットを決定するステップと、
    少なくとも1つのオブジェクト検出を備える主安全制御部に位置の前記セットを送信するステップと、をさらに備える、請求項19に記載のコンピュータプログラムプロダクト。
JP2014542416A 2011-11-16 2012-11-14 ロボット制御のオブジェクトによる3dプロジェクション・マッピングのシステム及び方法 Pending JP2015506121A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161560744P 2011-11-16 2011-11-16
US61/560,744 2011-11-16
PCT/US2012/065116 WO2013074698A1 (en) 2011-11-16 2012-11-14 System and method for 3d projection mapping with robotically controlled objects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016182658A Division JP6131403B2 (ja) 2011-11-16 2016-09-20 ロボット制御のオブジェクトによる3dプロジェクション・マッピングのシステム及び方法

Publications (1)

Publication Number Publication Date
JP2015506121A true JP2015506121A (ja) 2015-02-26

Family

ID=48280253

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014542416A Pending JP2015506121A (ja) 2011-11-16 2012-11-14 ロボット制御のオブジェクトによる3dプロジェクション・マッピングのシステム及び方法
JP2016182658A Active JP6131403B2 (ja) 2011-11-16 2016-09-20 ロボット制御のオブジェクトによる3dプロジェクション・マッピングのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016182658A Active JP6131403B2 (ja) 2011-11-16 2016-09-20 ロボット制御のオブジェクトによる3dプロジェクション・マッピングのシステム及び方法

Country Status (5)

Country Link
US (1) US9472011B2 (ja)
EP (1) EP2780764B1 (ja)
JP (2) JP2015506121A (ja)
CN (1) CN104054023B (ja)
WO (1) WO2013074698A1 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9160898B2 (en) * 2011-01-25 2015-10-13 Autofuss System and method for improved video motion control
US9552056B1 (en) 2011-08-27 2017-01-24 Fellow Robots, Inc. Gesture enabled telepresence robot and system
US9832352B2 (en) 2011-11-16 2017-11-28 Autofuss System and method for 3D projection mapping with robotically controlled objects
CN104054023B (zh) 2011-11-16 2017-11-17 欧特法斯公司 用于与机器人控制的物体映射的3d投影的系统和方法
DE102012002494A1 (de) * 2012-02-10 2013-08-14 Phoenix Contact Gmbh & Co. Kg Alternative Synchronisationsverbindungen zwischen redundanten Steuerungseinrichtungen
US9191237B1 (en) * 2012-05-24 2015-11-17 Dan Barry, Inc. Wireless communication systems and methods
WO2014002678A1 (ja) * 2012-06-29 2014-01-03 三菱電機株式会社 ロボット制御装置およびロボット制御方法
CN104416581A (zh) * 2013-08-27 2015-03-18 富泰华工业(深圳)有限公司 具有报警功能的机械手
EP3080551A1 (de) * 2013-12-12 2016-10-19 Testo AG Verfahren zur ortsrichtigen projektion einer markierung auf ein objekt und projektionsvorrichtung
US9604361B2 (en) 2014-02-05 2017-03-28 Abb Schweiz Ag System and method for defining motions of a plurality of robots cooperatively performing a show
WO2015146805A1 (ja) * 2014-03-25 2015-10-01 コニカミノルタ株式会社 投光装置、及び、投光方法
US9841749B2 (en) * 2014-04-01 2017-12-12 Bot & Dolly, Llc Runtime controller for robotic manufacturing system
EP2927771B1 (en) * 2014-04-03 2024-01-31 Dronisos Flying drone trajectory synchronization
US9555545B2 (en) * 2014-05-21 2017-01-31 Bot & Dolly, Llc Systems and methods for time-based parallel robotic operation
US10455212B1 (en) * 2014-08-25 2019-10-22 X Development Llc Projected pattern motion/vibration for depth sensing
US9280159B1 (en) 2014-09-17 2016-03-08 Google Inc. Shutdown method by using local control board
US9796093B2 (en) 2014-10-24 2017-10-24 Fellow, Inc. Customer service robot and related systems and methods
US10311400B2 (en) 2014-10-24 2019-06-04 Fellow, Inc. Intelligent service robot and related systems and methods
US10373116B2 (en) 2014-10-24 2019-08-06 Fellow, Inc. Intelligent inventory management and related systems and methods
GB2532272A (en) 2014-11-14 2016-05-18 Nat Oilwell Varco Norway As Drilling rig
WO2016145048A1 (en) * 2015-03-09 2016-09-15 Ventana 3D, Llc Three-dimensional image source for enhanced pepper's ghost illusion
US9659371B2 (en) * 2015-10-08 2017-05-23 Christie Digital Systems Usa, Inc. System and method for online projector-camera calibration from one or more images
CN107817003B (zh) * 2016-09-14 2021-07-06 西安航通测控技术有限责任公司 一种分布式大尺寸空间定位系统的外参数标定方法
JP6484213B2 (ja) * 2016-12-09 2019-03-13 ファナック株式会社 複数のロボットを含むロボットシステム、ロボット制御装置、及びロボット制御方法
US11230015B2 (en) * 2017-03-23 2022-01-25 Fuji Corporation Robot system
JP6514273B2 (ja) * 2017-06-19 2019-05-15 ファナック株式会社 速度を表示するロボットシステム
DE102017115833A1 (de) * 2017-07-13 2019-01-17 SW Automation GmbH Verfahren zum Betreiben einer Werkstück-Bearbeitungs-Anlage und Werkstück-Bearbeitungs-Anlage
EP3680070A4 (en) 2017-09-07 2021-06-23 Kawasaki Jukogyo Kabushiki Kaisha ROBOTIC SYSTEM AND ITS OPERATING PROCESS
CN107948621B (zh) * 2017-11-02 2020-01-07 天衍互动(厦门)科技有限公司 一种光雕传媒系统及其方法
US10060857B1 (en) 2017-11-16 2018-08-28 General Electric Company Robotic feature mapping and motion control
US11504853B2 (en) 2017-11-16 2022-11-22 General Electric Company Robotic system architecture and control processes
US10689831B2 (en) * 2018-03-27 2020-06-23 Deere & Company Converting mobile machines into high precision robots
UA135182U (uk) 2018-12-11 2019-06-25 Костянтин Іванович Томільченко Система для позиціонування фізичних та віртуальних об'єктів
WO2020122851A1 (en) * 2018-12-11 2020-06-18 Tomilchenko Kostyantyn Ivanovych System for co-positioning of physical and virtual objects
CN109822573B (zh) * 2019-02-25 2022-04-22 太仓中科信息技术研究院 基于摄像机器人的直播节目在线包装方法
US10586082B1 (en) 2019-05-29 2020-03-10 Fellow, Inc. Advanced micro-location of RFID tags in spatial environments
US20220253031A1 (en) * 2019-06-28 2022-08-11 Omron Corporation Method and apparatus for operating an automated system, utomated system, and computer-program product
BR112021026811A2 (pt) * 2019-07-01 2022-02-22 Brad Hamilton Sistema de parada de emergência aperfeiçoado para segurança de piso de perfuração
US11504845B2 (en) * 2019-08-14 2022-11-22 Google Llc Reconfigurable robotic manufacturing cells
TWI725646B (zh) * 2019-12-03 2021-04-21 台達電子工業股份有限公司 三維測量裝置及所適用之機械手臂的校正方法
US11772276B2 (en) 2020-01-02 2023-10-03 Universal City Studios Llc Systems and methods for optical performance captured animated figure with real-time reactive projected media
US11207606B2 (en) 2020-03-02 2021-12-28 Universal City Studios Llc Systems and methods for reactive projection-mapped show robot
CN112207824B (zh) * 2020-09-22 2022-07-01 慧灵科技(深圳)有限公司 多个单轴模组的控制方法、系统、装置及存储介质
US11768479B2 (en) * 2020-09-30 2023-09-26 Rockwell Automation Technologies, Inc. System and method for secure connections in a high availability industrial controller
CA3219107A1 (en) * 2021-06-18 2022-12-22 Universal City Studios Llc Systems and methods for animated figure media projection
CN114508680A (zh) * 2021-12-22 2022-05-17 江苏艾克斯医疗设备有限公司 一种医疗影像投影设备
JP2024006557A (ja) * 2022-07-04 2024-01-17 セイコーエプソン株式会社 表示システムおよび教示システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085641A (ja) * 2006-09-27 2008-04-10 Gifu Univ 三次元像表示装置
JP2009147480A (ja) * 2007-12-12 2009-07-02 Gifu Univ 投影システムの校正装置
JP2009216958A (ja) * 2008-03-11 2009-09-24 Gifu Univ 三次元表示装置
JP2011254411A (ja) * 2010-06-04 2011-12-15 Hokkaido Univ 映像投影システムおよび映像投影プログラム

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737500A (en) 1992-03-11 1998-04-07 California Institute Of Technology Mobile dexterous siren degree of freedom robot arm with real-time control system
US5255096B1 (en) 1992-04-10 1997-12-23 William M Boyle Video time code synchronized robot control apparatus
JP3244798B2 (ja) * 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US5403140A (en) 1993-10-13 1995-04-04 Storage Technology Corporation Dynamic sweeping mechanism for a line scan camera
DE69523906T2 (de) * 1994-03-23 2002-04-04 Yaskawa Denki Kitakyushu Kk Maschinensteuerung
JP3900446B2 (ja) * 1998-06-19 2007-04-04 株式会社東京大学Tlo 画像表示方法及び装置
GB0126526D0 (en) * 2001-11-05 2002-01-02 Canon Europa Nv Three-dimensional computer modelling
AU2003277240A1 (en) 2002-10-15 2004-06-07 University Of Southern California Augmented virtual environments
KR20060015557A (ko) 2003-04-28 2006-02-17 스티븐 제임스 크램톤 외골격을 구비한 cmm 암
US7071462B2 (en) * 2003-06-16 2006-07-04 Raytek Corporation Calibration system and method to correct distortion of thermal images from in-line and rotary thermoforming machines
GB0410551D0 (en) * 2004-05-12 2004-06-16 Ller Christian M 3d autostereoscopic display
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
US7240879B1 (en) 2005-05-06 2007-07-10 United States of America as represented by the Administration of the National Aeronautics and Space Administration Method and associated apparatus for capturing, servicing and de-orbiting earth satellites using robotics
JP2006323127A (ja) * 2005-05-19 2006-11-30 Univ Waseda 画像投影システム、画像処理装置及び画像処理プログラム
US8963926B2 (en) * 2006-07-11 2015-02-24 Pandoodle Corporation User customized animated video and method for making the same
US8583282B2 (en) 2005-09-30 2013-11-12 Irobot Corporation Companion robot for personal interaction
WO2007043899A1 (en) * 2005-10-14 2007-04-19 Applied Research Associates Nz Limited A method of monitoring a surface feature and apparatus therefor
US8356704B2 (en) * 2006-01-31 2013-01-22 Andrew Flessas Robotically controlled entertainment elements
US8777418B2 (en) * 2006-01-26 2014-07-15 Christie Digital Systems Usa, Inc. Calibration of a super-resolution display
US7880719B2 (en) 2006-03-23 2011-02-01 International Business Machines Corporation Recognition and capture of whiteboard markups in relation to a projected image
US9137504B2 (en) * 2006-06-16 2015-09-15 Hewlett-Packard Development Company, L.P. System and method for projecting multiple image streams
US8437409B2 (en) 2006-12-06 2013-05-07 Carnagie Mellon University System and method for capturing, editing, searching, and delivering multi-media content
US20080152082A1 (en) * 2006-08-16 2008-06-26 Michel Bouchard Method and apparatus for use in security screening providing incremental display of threat detection information and security system incorporating same
EP1901150B1 (en) * 2006-09-14 2008-10-29 Abb Research Ltd. A method and device for avoiding collisions between an industrial robot and an object
WO2008036354A1 (en) * 2006-09-19 2008-03-27 Braintech Canada, Inc. System and method of determining object pose
EP2084491A2 (en) * 2006-11-21 2009-08-05 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US20090132088A1 (en) * 2007-04-24 2009-05-21 Tairob Ltd. Transfer of knowledge from a human skilled worker to an expert machine - the learning process
DE102007055204B4 (de) * 2007-11-19 2010-04-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Roboter, medizinischer Arbeitsplatz und Verfahren zum Projizieren eines Bildes auf die Oberfläche eines Objekts
US8203603B2 (en) 2008-01-23 2012-06-19 Georgia Tech Research Corporation Augmented reality industrial overline systems and methods
WO2010036403A2 (en) 2008-05-06 2010-04-01 Flashscan3D, Llc System and method for structured light illumination with frame subwindows
JP2009276561A (ja) * 2008-05-14 2009-11-26 Sanyo Electric Co Ltd 投写型映像表示装置及び映像表示システム
US8430515B2 (en) * 2008-06-17 2013-04-30 The Invention Science Fund I, Llc Systems and methods for projecting
US7844398B2 (en) * 2008-07-09 2010-11-30 Panasonic Corporation Path risk evaluating apparatus
CN102150081A (zh) * 2008-07-14 2011-08-10 穆申Ip有限公司 用于产生佩珀尔幻象的方法和系统
US8029229B2 (en) * 2008-07-25 2011-10-04 Duane Aiken Compensator for robotic arm
CA2731680C (en) * 2008-08-06 2016-12-13 Creaform Inc. System for adaptive three-dimensional scanning of surface characteristics
DE102009029064A1 (de) * 2008-09-05 2010-04-01 Mori Seiki Co., Ltd., Yamatokoriyama-shi Verfahren und Vorrichtung zur Bearbeitungszustandsüberwachung
JP4793422B2 (ja) * 2008-10-10 2011-10-12 ソニー株式会社 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム
JP4666060B2 (ja) 2008-11-14 2011-04-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
US8525925B2 (en) 2008-12-29 2013-09-03 Red.Com, Inc. Modular digital camera
US9011197B2 (en) * 2009-03-04 2015-04-21 Disney Enterprises, Inc. Robotic marionettes on magnetically-supported and highly mobile puppeteer platforms
US9538167B2 (en) * 2009-03-06 2017-01-03 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people
KR20110069958A (ko) * 2009-12-18 2011-06-24 삼성전자주식회사 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치
CN201654531U (zh) * 2009-12-31 2010-11-24 深圳华强智能技术有限公司 基于工控机的机器人伺服控制系统
JP2011205615A (ja) * 2010-03-01 2011-10-13 Ricoh Co Ltd 描画画像共有装置、描画画像共有方法、プログラムおよび記録媒体
JP5771981B2 (ja) * 2010-03-15 2015-09-02 株式会社リコー 描画画像共有装置、データ処理方法、プログラムおよび記録媒体
US9283675B2 (en) 2010-11-11 2016-03-15 The Johns Hopkins University Human-machine collaborative robotic systems
CN104054023B (zh) 2011-11-16 2017-11-17 欧特法斯公司 用于与机器人控制的物体映射的3d投影的系统和方法
WO2014034188A1 (ja) * 2012-08-30 2014-03-06 楽天株式会社 衣服画像処理装置、衣服画像表示方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085641A (ja) * 2006-09-27 2008-04-10 Gifu Univ 三次元像表示装置
JP2009147480A (ja) * 2007-12-12 2009-07-02 Gifu Univ 投影システムの校正装置
JP2009216958A (ja) * 2008-03-11 2009-09-24 Gifu Univ 三次元表示装置
JP2011254411A (ja) * 2010-06-04 2011-12-15 Hokkaido Univ 映像投影システムおよび映像投影プログラム

Also Published As

Publication number Publication date
US20130120547A1 (en) 2013-05-16
WO2013074698A1 (en) 2013-05-23
CN104054023A (zh) 2014-09-17
JP6131403B2 (ja) 2017-05-24
EP2780764A1 (en) 2014-09-24
EP2780764B1 (en) 2022-08-03
JP2017079467A (ja) 2017-04-27
CN104054023B (zh) 2017-11-17
US9472011B2 (en) 2016-10-18
EP2780764A4 (en) 2015-07-29

Similar Documents

Publication Publication Date Title
JP6131403B2 (ja) ロボット制御のオブジェクトによる3dプロジェクション・マッピングのシステム及び方法
US10447899B2 (en) System and method for 3D projection mapping with robotically controlled objects
US11045956B2 (en) Programming of a robotic arm using a motion capture system
US9160898B2 (en) System and method for improved video motion control
CN110650354B (zh) 虚拟动漫角色直播方法、系统、设备及存储介质
WO2021238804A1 (zh) 混合现实虚拟预演拍摄系统
US9729765B2 (en) Mobile virtual cinematography system
EP2629267A2 (en) Real-time compositing of live recording-based and computer graphics-based media streams
CN105264436A (zh) 用于控制与图像捕捉有关的设备的系统和方法
CN114638918A (zh) 一种实时表演捕捉虚拟直播与录制系统
CN107479701B (zh) 虚拟现实交互方法、装置及系统
KR20240037295A (ko) 다중-위치 스튜디오 환경에서의 분산형 명령 실행
CN212231547U (zh) 混合现实虚拟预演拍摄系统
TWI610565B (zh) 立體影像物件互動方法、系統與立體互動影片後製方法
Frankton Motion capture for live performance: case study of CGI Visualization
US20220058878A1 (en) Previsualization devices and systems for the film industry
WO2022115662A2 (en) Frame of reference for motion capture
CN116941234A (zh) 用于运动捕捉的参考系
CN117333641A (zh) 一种非几何连续空间沉浸式交互展厅系统构建方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20141110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160705

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161007

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170214