JP2020150297A - Remote camera system, control system, video output method, virtual camera work system, and program - Google Patents
Remote camera system, control system, video output method, virtual camera work system, and program Download PDFInfo
- Publication number
- JP2020150297A JP2020150297A JP2019043558A JP2019043558A JP2020150297A JP 2020150297 A JP2020150297 A JP 2020150297A JP 2019043558 A JP2019043558 A JP 2019043558A JP 2019043558 A JP2019043558 A JP 2019043558A JP 2020150297 A JP2020150297 A JP 2020150297A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- field
- view
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000012545 processing Methods 0.000 claims abstract description 84
- 230000033001 locomotion Effects 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 23
- 238000004088 simulation Methods 0.000 claims description 7
- 230000008531 maintenance mechanism Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 86
- 230000006870 function Effects 0.000 description 60
- 238000010586 diagram Methods 0.000 description 41
- 238000012986 modification Methods 0.000 description 41
- 230000004048 modification Effects 0.000 description 41
- 238000012937 correction Methods 0.000 description 27
- 230000007246 mechanism Effects 0.000 description 23
- 210000003128 head Anatomy 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003028 elevating effect Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Accessories Of Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、リモートカメラシステム、コントロールシステム、映像出力方法、バーチャルカメラワークシステム、及びプログラムに関する。 The present invention relates to a remote camera system, a control system, a video output method, a virtual camera work system, and a program.
近年、撮影現場でも業務効率化の一環としてロボットカメラの導入が検討されている。ロボットカメラは、撮影用のカメラがアームの先端に取り付けられたロボットアームと、ロボットアームを載置する基台（以下、ベース）とで構成される。ロボットカメラに利用されるベースには、手動式のベースや自走式のベースがある。ロボットカメラの動きは、例えば、副調整室や中継車などにいるオペレータによって遠隔制御されうる。 In recent years, the introduction of robot cameras has been considered as part of improving work efficiency at shooting sites. The robot camera is composed of a robot arm in which a camera for photographing is attached to the tip of the arm, and a base (hereinafter referred to as a base) on which the robot arm is placed. Bases used for robot cameras include manual bases and self-propelled bases. The movement of the robot camera can be remotely controlled by an operator in, for example, a sub-control room or a broadcasting van.
ロボットカメラに関し、ロボットアームの先端に設置された主カメラにスポッタカメラ（監視カメラ）を固定する方法が提案されている（以下、提案方法１）。このスポッタカメラは、主カメラよりワイドな光景を提供し、オペレータが主カメラの視野外の環境を認識できるようにする。他のロボットカメラに関する技術として、ロボットカメラの周囲を撮影して障害物を発見するために、ロボットカメラのベースに全方位カメラを設ける方法が提案されている（以下、提案方法２）。 Regarding the robot camera, a method of fixing a spotter camera (surveillance camera) to a main camera installed at the tip of a robot arm has been proposed (hereinafter, proposed method 1). This spotter camera provides a wider view than the main camera and allows the operator to recognize the environment outside the field of view of the main camera. As another technology related to a robot camera, a method of providing an omnidirectional camera on the base of the robot camera in order to photograph the surroundings of the robot camera and find an obstacle has been proposed (hereinafter, the proposed method 2).
実際に現場でカメラを操って撮影を行うカメラマンは、カメラの出力映像を確認するだけでなく、自らの目で周囲の環境、他のカメラの位置、スタジオセットの配置、及び出演者の動きなどの現場状況を確認しながらカメラワークを行っている。このように、カメラマンが自らの目で現場状況を確認することは適切なカメラワークを行う上で重要である。 Photographers who actually operate the camera and shoot at the scene not only check the output image of the camera, but also see the surrounding environment, the position of other cameras, the arrangement of the studio set, the movement of the performers, etc. I am doing camera work while checking the on-site situation. In this way, it is important for the cameraman to check the site situation with his own eyes in order to perform appropriate camera work.
上記の提案方法１のスポッタカメラは主カメラの視野外にある環境の映像をオペレータに提供するが、オペレータに提供される映像が映し出す範囲はオペレータの視線方向とは関係無く主カメラの位置及び向きによって定まる。そのため、提案方法１のスポッタカメラによって提供される映像を用いても、オペレータは、カメラマン目線で現場状況を確認することはできない。
The spotter camera of the above proposed
上記の提案方法２の全方位カメラは、ロボットカメラのベースに取り付けられ、ロボットカメラの周囲にある障害物の発見に利用される。提案方法２の全方位カメラは、ロボットカメラ周囲の映像をオペレータに提供するが、その映像が映し出す範囲はオペレータの視線方向とは無関係である。そのため、提案方法２の全方位カメラによって提供される映像を用いても、オペレータは、カメラマン目線で現場状況を確認することはできない。
The omnidirectional camera of the above proposed
上記課題に鑑みて想到した本開示の１つの観点によれば、本開示の目的は、ロボットカメラのオペレータが現場状況をカメラマン目線で把握することが可能なリモートカメラシステム、コントロールシステム、映像出力方法、バーチャルカメラワークシステム、及びプログラムを提供することにある。 According to one viewpoint of the present disclosure conceived in view of the above problems, the purpose of the present disclosure is a remote camera system, a control system, and a video output method that allow a robot camera operator to grasp the site situation from the cameraman's point of view. , Virtual camera work system, and program.
本開示の一態様によれば、ロボットアームと、ロボットアームに接続されるメインカメラと、ロボットアーム又はメインカメラの筐体に接続された、全方位映像を出力する視界カメラとを有する、ロボットカメラと通信し、ロボットカメラを遠隔操作するオペレータの視線方向及び視界カメラの出力映像に基づいて、オペレータの視界に対応する視界範囲の映像を生成し、視界範囲の映像とメインカメラの出力映像とを表示装置に出力する処理をコンピュータが実行する、映像出力方法が提供される。 According to one aspect of the present disclosure, a robot camera having a robot arm, a main camera connected to the robot arm, and a view camera connected to the robot arm or a housing of the main camera to output an omnidirectional image. Based on the line-of-sight direction of the operator who remotely operates the robot camera and the output image of the view camera, an image of the view range corresponding to the operator's view is generated, and the image of the view range and the output image of the main camera are displayed. A video output method is provided in which a computer executes a process of outputting to a display device.
本開示によれば、ロボットカメラのオペレータが現場状況をカメラマン目線で把握することが可能になる。 According to the present disclosure, the robot camera operator can grasp the on-site situation from the cameraman's point of view.
以下に添付図面を参照しながら、本開示の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。 An embodiment of the present disclosure will be described below with reference to the accompanying drawings. In the present specification and drawings, elements having substantially the same function may be designated by the same reference numerals to omit duplicate description.
＜第１実施形態＞
本開示の第１実施形態について説明する。第１実施形態は、スタジオに設置されたロボットカメラをスタジオ外（例えば、副調整室や中継車など）にいるオペレータが遠隔操作することが可能なリモートカメラシステムに関する。特に、第１実施形態は、オペレータがカメラマン目線でスタジオ内の環境を確認しながら撮影を行うことを可能にする仕組みに関する。
<First Embodiment>
The first embodiment of the present disclosure will be described. The first embodiment relates to a remote camera system capable of remotely controlling a robot camera installed in a studio by an operator outside the studio (for example, a sub-control room or a broadcasting van). In particular, the first embodiment relates to a mechanism that enables an operator to take a picture while checking the environment in the studio from the viewpoint of a photographer.
以下の説明では、説明の都合上、スタジオ撮影を想定するが、スタジオ以外の撮影現場で行う撮影についても第１実施形態に係るリモートカメラシステムを適用することができる。また、オペレータがスタジオ外にいることを想定して説明を進めるが、ロボットカメラから離れたスタジオ内の場所でオペレータが遠隔操作を行ってもよい。また、ロボットカメラの遠隔操作は、ロボットカメラが設置されるスタジオから地理的に離れた他のスタジオの副調整室や中継車などにいるオペレータが行ってもよい。こうした変形例についても当然に第１実施形態の技術的範囲に属する。 In the following description, for convenience of explanation, studio shooting is assumed, but the remote camera system according to the first embodiment can also be applied to shooting performed at a shooting site other than the studio. Further, although the explanation is performed on the assumption that the operator is outside the studio, the operator may perform remote control at a place in the studio away from the robot camera. Further, the remote control of the robot camera may be performed by an operator in a sub-control room or a broadcasting van of another studio geographically separated from the studio in which the robot camera is installed. Naturally, such a modification also belongs to the technical scope of the first embodiment.
［１−１．リモートカメラシステム］
図１を参照しながら、第１実施形態に係るリモートカメラシステムについて説明する。図１は、第１実施形態に係るリモートカメラシステムの例を模式的に示した説明図である。
[1-1. Remote camera system]
The remote camera system according to the first embodiment will be described with reference to FIG. FIG. 1 is an explanatory diagram schematically showing an example of a remote camera system according to the first embodiment.
図１に示すように、第１実施形態に係るリモートカメラシステムは、ロボットカメラ１０、制御コンピュータ２１、及びＨＭＤ（Head Mounted Display）２２を含む。
As shown in FIG. 1, the remote camera system according to the first embodiment includes a
なお、第１実施形態に係るリモートカメラシステムに含まれるロボットカメラの台数及び形状については実施の態様に応じて任意に変形してもよい。また、オペレータＯＰが映像表示デバイスとしてＨＭＤ２２を利用する場合を例に説明を進めるが、他の映像表示デバイス（例えば、頭部装着型ではないディスプレイ装置）が利用されてもよい。これらの変形例については、後段において、いくつかの変形例を示しながら、さらに説明する。そのような変形例についても当然に第１実施形態の技術的範囲に属する。
The number and shape of the robot cameras included in the remote camera system according to the first embodiment may be arbitrarily modified according to the embodiment. Further, although the description will be given by taking the case where the operator OP uses the
（ロボットカメラ１０について）
ロボットカメラ１０は、メインカメラ１１、視界カメラ１２、ロボットアーム１３、及びベース１４を有する。また、ロボットカメラ１０は、ロボットアーム１３及びベース１４を動かすための駆動機構（例えば、モータ）を制御する制御デバイス（図２の制御デバイス１５）をさらに有する。制御デバイス１５は、ロボットアーム１３及びベース１４を制御する機能に加え、通信経路Ｎ１を介して制御コンピュータ２１と通信する機能、及びロボットカメラ１０への給電を制御する機能をさらに有する。
(About robot camera 10)
The
メインカメラ１１は、放送映像を出力するための撮像装置である。メインカメラ１１は、レンズや光学フィルタなどの光学素子、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）などの撮像素子、及びＤＳＰ（Digital Signal Processor）、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）などのプロセッサを搭載する。メインカメラ１１には、マイクが搭載されていてもよい。
The
また、メインカメラ１１は、制御デバイス１５及び制御コンピュータ２１の少なくとも一方と有線又は無線で通信するための通信インターフェースを有する。例えば、メインカメラ１１と制御コンピュータ２１とが直接通信できる場合、制御デバイス１５を介さずに制御コンピュータ２１からメインカメラ１１を制御することが可能になる。また、メインカメラ１１は、制御デバイス１５を介さずに、メインカメラ１１から出力される映像（以下、メイン映像ＶＭ）を制御コンピュータ２１に伝送することが可能になる。もちろん、メインカメラ１１の制御及びメイン映像ＶＭの伝送は、制御デバイス１５を介して実行されてもよい。
Further, the
ロボットアーム１３は、関節部１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ、１３ｆ、及び関節部１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ、１３ｆの間を接続する柱状のアーム部を有する。なお、図１の例では、６つの関節部に回転軸を有する６軸のロボットアームを例示したが、回転軸の数及び形状はこの例に限定されない。関節部の数及び形状が異なるロボットアームの構造については、後段において、いくつかの変形例を示しながら、さらに説明する。そのような変形例についても当然に第１実施形態の技術的範囲に属する。
The
メインカメラ１１は、ロボットアーム１３の先端部に接続される。メインカメラ１１は、例えば、関節部１３ｂの回転軸を中心とする回転動作により左右（パン方向）に向きを変えることができる。また、メインカメラ１１は、例えば、関節部１３ａの回転軸を中心とする回転動作により上下（チルト方向）に向きを変えることができる。なお、メインカメラ１１のパン・チルト制御は、関節部１３ａ、１３ｂだけでなく、他の関節部の回転動作によって、或いは、他の関節部の回転動作を組み合わせて実現することも可能である。また、メインカメラ１１の高さ及び前後（被写体に近づく又は遠ざかる方向）の位置は、関節部１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ、１３ｆの少なくとも１つにおける回転動作によるロボットアーム１３の変形により制御されうる。
The
ロボットアーム１３を変形させるための駆動機構として、関節部１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ、１３ｆのそれぞれにモータ（図示せず）が設けられている。例えば、関節部１３ａのモータを駆動することでメインカメラ１１のチルト動作が実現でき、関節部１３ｂのモータを駆動することでメインカメラ１１のパン動作が実現できる。また、関節部１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ、１３ｆの動きを組み合わせることで、メインカメラ１１を様々なアングルに対応する位置及び向きに移動することができる。モータの動作は、制御コンピュータ２１から通信経路Ｎ１を介して伝送される制御信号に従って制御デバイス１５が制御する。
Motors (not shown) are provided in each of the
ロボットアーム１３は、ベース１４に固定される。ベース１４は、オペレータ又は補助スタッフが手動で移動させる手動式のベースであってもよいし、制御コンピュータ２１から伝送される制御信号に従って自律的に移動する自走式のベースであってもよい。なお、ベース１４の形状、構造及び移動機構については様々な変形が可能であり、これらについて、後段において、いくつかの変形例を示しながら、さらに説明する。そのような変形例についても当然に第１実施形態の技術的範囲に属する。
The
ベース１４が自走式の場合、ベース１４には、例えば、複数の車輪、一部又は全部の車輪を駆動するためのモータ（図示せず）、及びモータに給電するためのバッテリなどが搭載される。モータの動作は、制御コンピュータ２１から通信経路Ｎ１を介して伝送される制御信号に従って制御デバイス１５が制御する。なお、ベース１４に搭載されたバッテリによりロボットカメラ１０の電力が賄われてもよい。また、バッテリ以外の給電手段により電力が供給されてもよい。例えば、スタジオ内の電源設備から、電源ケーブルを介して電力が供給されてもよいし、ワイヤレス電力伝送により電力が供給されてもよい。
When the
視界カメラ１２は、オペレータＯＰにスタジオ内の様子を提供するための映像を撮る目的で設置される撮像装置である。図１の例において、視界カメラ１２は、メインカメラ１１に物理的に接続されている。視界カメラ１２は、実際にメインカメラ１１をカメラマンが操作して撮影する際にカメラマンの目が位置する場所（メインカメラ１１の位置を基準に予め設定される場所）の近傍に配置される。視界カメラ１２の設置方法については、後段において、図３〜図５を参照しながら、さらに説明する。
The field-of-
視界カメラ１２は、人間の視野より広い画角を有する広角カメラである。例えば、視界カメラ１２は、全方位の映像（３６０°映像）を撮像することが可能な全方位カメラである。以下では、説明の都合上、視界カメラ１２が全方位カメラである場合を例に説明するが、視界カメラ１２は、ロボットカメラ１０の周囲を取り囲む広い画角の映像（例えば、１８０°映像、２７０°映像）を撮像可能な広角カメラであってもよい。
The field-of-
また、視界カメラ１２は、制御デバイス１５及び制御コンピュータ２１の少なくとも一方と有線又は無線で通信するための通信インターフェースを有する。例えば、視界カメラ１２と制御コンピュータ２１とが直接通信できる場合、制御デバイス１５を介さずに制御コンピュータ２１から視界カメラ１２を制御することが可能になる。また、視界カメラ１２は、制御デバイス１５を介さずに、視界カメラ１２から出力される映像（以下、全方位映像ＶＥ）を制御コンピュータ２１に伝送することが可能になる。もちろん、視界カメラ１２の制御及び全方位映像ＶＥの伝送は、制御デバイス１５を介して実行されてもよい。
Further, the field of
通信経路Ｎ１は、有線ネットワーク、無線ネットワーク、及び専用回線（光回線など）の少なくとも１つを含む。例えば、メイン映像ＶＭ及び全方位映像ＶＥの映像信号は比較的高速な無線ネットワークで制御コンピュータ２１に伝送され、制御信号は比較的低速な無線ネットワークで伝送されるように通信経路Ｎ１が設計されてもよい。また、メイン映像ＶＭ及び全方位映像ＶＥの映像信号が比較的高速な光回線で伝送され、制御信号が比較的低速な無線伝送されるようにしてもよい。通信経路Ｎ１の設計については実施の態様に応じて適宜変形されうる。
The communication path N1 includes at least one of a wired network, a wireless network, and a dedicated line (optical line, etc.). For example, the communication path N1 is designed so that the video signals of the main video VM and the omnidirectional video VE are transmitted to the
（制御コンピュータ２１について）
制御コンピュータ２１は、例えば、サーバ、ワークステーション、ＰＣ（Personal Computer）、又はベースステーションなどのコンピュータである。
(About control computer 21)
The
制御コンピュータ２１は、オペレータＯＰによる操作デバイスへの操作入力に応じて、ロボットカメラ１０に操作内容を伝えるための制御信号を生成する。そして、制御コンピュータ２１は、通信経路Ｎ１を介して制御信号をロボットカメラ１０の制御デバイス１５に伝送する。また、制御コンピュータ２１は、通信経路Ｎ１を介して、メインカメラ１１からメイン映像ＶＭを受信し、視界カメラ１２から全方位映像ＶＥを受信する。
The
メイン映像ＶＭを受信した制御コンピュータ２１は、通信経路Ｎ２を介してオペレータＯＰのＨＭＤ２２へとメイン映像ＶＭを伝送する。通信経路Ｎ２は、有線ネットワーク、無線ネットワーク、及び専用回線（光回線など）の少なくとも１つを含む。例えば、通信経路Ｎ２は、ＭＩＭＯ（Multiple-Input and Multiple-Output）などの高速無線伝送技術を利用した無線通信回線である。
The
メイン映像ＶＭをＨＭＤ２２へと伝送するとき、制御コンピュータ２１は、メイン映像ＶＭのデータサイズを圧縮し、圧縮後のメイン映像ＶＭをＨＭＤ２２に伝送してもよい。圧縮の方法としては、例えば、フレームレートを下げる方法、各フレームの解像度を下げる方法、及び、ＭＰＥＧ（Moving Picture Experts Group）などのワーキンググループで策定される標準の動画圧縮方式で映像信号を圧縮する方法などが適用されうる。
When transmitting the main video VM to the
全方位映像ＶＥを受信した制御コンピュータ２１は、オペレータＯＰの視線方向及び全方位映像ＶＥに基づいて視界映像を生成する。視界映像は、オペレータＯＰの視線方向に応じて変化し、カメラマン目線で見たスタジオ内の様子（メインカメラ１１をスタジオ内でカメラマンが操作すると仮定した場合にカメラマンの視界に入る範囲）に対応する映像である。視界映像の生成方法については後述する。制御コンピュータ２１は、通信経路Ｎ２を介して視界映像をＨＭＤ２２へと伝送する。このとき、制御コンピュータ２１は、上述したメイン映像ＶＭの圧縮方法と同様の方法で視界映像を圧縮してもよい。
The
（ＨＭＤ２２について）
図１の例において、ロボットカメラ１０を遠隔操作するオペレータＯＰは、ＨＭＤ２２を頭部に装着している。ＨＭＤ２２は、映像を表示するための映像表示デバイス２２１を搭載している。なお、頭部装着型デバイスとしては、ＨＭＤの他にも、例えば、スマートグラスなどがある。また、変形例として、頭部装着型デバイスではない入力デバイス及び出力デバイスを利用してＨＭＤ２２の機能を実現することも可能である。これらの変形例については、後段において、いくつかの具体例を示しながら、さらに説明する。
(About HMD22)
In the example of FIG. 1, the operator OP who remotely controls the
映像表示デバイス２２１は、第１の表示領域２２１ａ及び第２の表示領域２２１ｂを区画し、第１の表示領域２２１ａ及び第２の表示領域２２１ｂに互いに異なる映像を表示することができる。図１の例では、映像表示デバイス２２１の画面全体に第２の表示領域２２１ｂが設定され、第２の表示領域２２１ｂよりもサイズが小さい第１の表示領域２２１ａが画面中央に配置されている。
The
第１の表示領域２２１ａ及び第２の表示領域２２１ｂの位置及びサイズは変更することができる。例えば、第１の表示領域２２１ａが画面の四隅のいずれか１つに寄せて配置されてもよいし、或いは、映像表示デバイス２２１の画面全体に第１の表示領域２２１ａが設定され、第２の表示領域２２１ｂが第１の表示領域２２１ａの上にオーバーレイ表示されてもよい。また、第１の表示領域２２１ａと第２の表示領域２２１ｂとが上下又は左右に並べて配置されてもよいし、第１の表示領域２２１ａ及び第２の表示領域２２１ｂの一方が一時的に表示されないようにしてもよい。
The positions and sizes of the
例えば、第１の表示領域２２１ａにはメイン映像ＶＭが表示され、第２の表示領域２２１ｂには視界映像が表示される。なお、表示されるメイン映像ＶＭ及び視界映像は、同時刻の映像（同じタイミングで出力される映像）である。つまり、映像表示デバイス２２１に同時に表示されるメイン映像ＶＭの映像フレームと視界映像の映像フレームとは、同じ時刻に対応する映像フレームである。但し、メイン映像ＶＭと全方位映像ＶＥとの間のフレームレートの差や通信状態などによって生じうるタイムラグについては許容されうる。視界映像は、カメラマン目線で見たスタジオ内の様子を映し出す映像である。また、オペレータＯＰの視線方向に応じて視界映像が変化する。そのため、オペレータＯＰは、実際にスタジオ内にいるような感覚でロボットカメラ１０を操作することが可能になる。
For example, the main image VM is displayed in the
ＨＭＤ２２は、映像表示デバイス２２１の非透過表示と透過表示とを切り替える機能を搭載していてもよい。また、ＨＭＤ２２は、オペレータＯＰが下を向いた場合（手元を見た場合）に透過表示に切り替える機能を搭載していてもよい。映像表示デバイス２２１が透明ディスプレイである場合、透過表示のモードではオペレータＯＰが外の様子を視認できる程度の透過率（例えば、８０％）に透明度が制御され、非透過表示のモードでは透過率０％に透明度が制御される。
The
映像表示デバイス２２１が非透明ディスプレイである場合、透過表示のモードではＨＭＤ２２の前面に搭載されたカメラ（図示せず）の映像（以下、手元映像）が画面に表示され、非透過表示のモードでは画面に通常の映像（メイン映像ＶＭ、視線映像）が表示されてもよい。例えば、透過表示のモードでは第２の表示領域２２１ｂに手元映像が表示され、非透過表示のモードでは第２の表示領域２２１ｂに視界映像が表示されるように表示内容が制御されてもよい。また、手元映像は、第１の表示領域２２１ａ及び第２の表示領域２２１ｂとは異なる第３の表示領域に表示されてもよい。
When the
上記の切り替え機能を搭載することで、ＨＭＤ２２を装着した状態で、オペレータＯＰが操作デバイス（図２の操作デバイス２３）を視認することが可能になる。ＨＭＤ２２の表示についての他の変形例として、スタジオ内に他のカメラ（ロボットカメラ以外のカメラを含みうる。）がある場合、他のカメラから出力されるメイン映像（例えば、リターン映像）が画面の一部に表示されてもよい。例えば、メイン映像ＶＭが表示される第１の表示領域２２１ａの一部（例えば、第１の表示領域２２１ａを四分割した区画の１つ）にリターン映像が表示されてもよい。また、リターン映像は、第１の表示領域２２１ａ及び第２の表示領域２２１ｂとは異なる少なくとも１つの第３の表示領域に表示されてもよい。
By installing the above switching function, the operator OP can visually recognize the operation device (
（システム構成について）
次に、図２を参照しながら、第１実施形態に係るリモートカメラシステムについて、さらに説明する。図２は、第１実施形態に係るリモートカメラシステムに含まれる装置の例について説明するためのブロック図である。
(About system configuration)
Next, the remote camera system according to the first embodiment will be further described with reference to FIG. FIG. 2 is a block diagram for explaining an example of the device included in the remote camera system according to the first embodiment.
図１を参照しながら既に説明したように、ロボットカメラ１０は、メインカメラ１１、視界カメラ１２、ロボットアーム１３、ベース１４、及び制御デバイス１５を有する。
As already described with reference to FIG. 1, the
ロボットカメラ１０の動作を制御するための制御コンピュータ２１は、コントロールシステム２０に含まれる。コントロールシステム２０は、例えば、副調整室や中継車などのスタジオ外に設置されうる。また、コントロールシステム２０は、ロボットカメラ１０があるスタジオから地理的に離れた場所（例えば、ロボットカメラ１０があるスタジオから地理的に離れた放送局など）に設置されてもよい。
The
ロボットカメラ１０とコントロールシステム２０とは通信経路Ｎ１を含むネットワークＮＷにより接続される。上記のように、互いに地理的に離れた場所にロボットカメラ１０とコントロールシステム２０とが設置される場合、ネットワークＮＷには、例えば、光ファイバ通信網などを含む広域ネットワークが含まれうる。一方、同じ放送局内にロボットカメラ１０とコントロールシステム２０とが設置される場合など、設置場所が距離的に近い場合、ネットワークＮＷは、無線ＬＡＮ（Local Area Network）などの無線ネットワークでもよい。
The
図２に示すように、コントロールシステム２０は、制御コンピュータ２１、ＨＭＤ２２、及び操作デバイス２３を含む。
As shown in FIG. 2, the
ＨＭＤ２２は、映像表示デバイス２２１及び視線検知デバイス２２２を有する。視線検知デバイス２２２は、ＨＭＤ２２を頭部に装着したオペレータＯＰの視線方向を検知する。例えば、視線検知デバイス２２２は、加速度センサ、磁気センサ、ジャイロスコープなどのモーションセンサを含み、モーションセンサの出力に基づいて頭部の動きを検知する。
The
オペレータＯＰの視線方向は、例えば、オペレータＯＰの顔面から映像表示デバイス２２１の画面へと向かう方向に設定されうる。オペレータＯＰが直立姿勢のときの視線方向を基準（正面）に設定することで、モーションセンサの出力から、現在の視線方向を正面からのズレ量（例えば、頭部の上下左右の回転角、又は、頭部を基点とする現在の視線方向を示す単位ベクトル）として求めることができる。視線検知デバイス２２２は、オペレータＯＰの視線方向を検知し、検知した視線方向の情報を制御コンピュータ２１へと出力する。
The line-of-sight direction of the operator OP can be set, for example, in the direction from the face of the operator OP toward the screen of the
操作デバイス２３は、ロボットカメラ１０を操作するためのコントローラである。操作デバイス２３は、例えば、コントローラ（例えば、Ｋｉｎｅｃｔ（登録商標）コントローラ）、ジョイスティック、ジョイパッド、キーボード、マウス、タッチパネル、ウェアラブル端末、又は、放送用カメラの操作インターフェースを模した専用コントローラなどである。なお、後段において、いくつかの操作デバイスの具体例を示しながら、操作デバイス２３の具体的な構成及びその変形例について、さらに説明する。
The
ところで、メインカメラ１１から出力されるメイン映像ＶＭ及び視界カメラ１２から出力される全方位映像ＶＥはネットワークＮＷを介して制御コンピュータ２１に伝送される。制御コンピュータ２１は、受信した全方位映像ＶＥから視界映像を生成する。そして、メイン映像ＶＭ及び視界映像は、制御コンピュータ２１からＨＭＤ２２へと伝送され、ＨＭＤ２２の映像表示デバイス２２１に表示される。
By the way, the main video VM output from the
視線検知デバイス２２２から出力される視線方向の検知結果は、逐次、制御コンピュータ２１へと出力される。制御コンピュータ２１は、視界映像を生成するとき、視線検知デバイス２２２から出力される視線方向の検知結果を利用する。例えば、制御コンピュータ２１は、カメラマン目線の視界に対応する映像として、現在の視線方向の視界範囲に収まる部分映像を全方位映像ＶＥから切り出し、切り出した部分映像を視界映像として出力する。
The line-of-sight direction detection results output from the line-of-
オペレータＯＰは、操作デバイス２３を利用して、メインカメラ１１に対するカメラ設定の変更や、ロボットアーム１３の動き制御及びベース１４の動き制御を行う。カメラ設定の変更により、ズーム、フォーカス、露出（Ｆ値、ＩＳＯ感度）などの設定が変更される。ロボットアーム１３の動き制御により、各関節部のモータを駆動してメインカメラ１１のパン角、チルト角、高さ、前後左右の位置などが調整される。ベース１４の動き制御は、スタジオ内におけるロボットカメラ１０の移動制御である。
The operator OP uses the
視界カメラ１２から出力される全方位映像ＶＥは、オペレータＯＰによる操作入力がなくても撮影時には制御コンピュータ２１へと出力される。また、視界カメラ１２は、カメラマン目線の視界を提供するようにメインカメラ１１又はロボットアーム１３の適切な位置に設置されているため、制御コンピュータ２１により全方位映像ＶＥから好適な視界映像が得られる。なお、操作デバイス２３により視界カメラ１２のカメラ設定を変更できるようにしてもよい。例えば、明るさや露出補正などの設定変更が可能であってもよい。
The omnidirectional video VE output from the field of
（視界カメラの配置）
ここで、図３〜図５を参照しながら、第１実施形態に係る視界カメラの配置及び接続部の構造について説明する。なお、以下の説明では、表記を簡略化するため、図３の（ａ）を図３Ａ、（ｂ）を図３Ｂ、（ｃ）を図３Ｃと表記する場合がある。図１に例示した視界カメラ１２の配置は図３Ｂの配置例に対応する。
(Arrangement of field of view camera)
Here, the arrangement of the field-of-view cameras and the structure of the connection portion according to the first embodiment will be described with reference to FIGS. 3 to 5. In the following description, in order to simplify the notation, FIG. 3A may be referred to as FIG. 3A, FIG. 3B may be referred to as FIG. 3B, and FIG. 3C may be referred to as FIG. 3C. The arrangement of the field of
まず、図３Ａを参照しながら、視界カメラ１２の一配置例（以下、配置例＃１）について説明する。図３Ａは、第１実施形態に係る視界カメラの配置及び接続部の構造について説明するための第１の模式図である。 First, an arrangement example of the field of view camera 12 (hereinafter, arrangement example # 1) will be described with reference to FIG. 3A. FIG. 3A is a first schematic view for explaining the arrangement of the visual field cameras and the structure of the connection portion according to the first embodiment.
配置例＃１では、カメラマンが肩にカメラを担ぐスタイル（以下、肩担ぎスタイル）で撮影するときにカメラマンの目が位置する場所に視界カメラ１２のレンズが配置されている。この例では、メインカメラ１１の筐体側部に視界カメラ１２を取り付けるための接続部１２ａが設けられ、接続部１２ａに視界カメラ１２が固定されている。接続部１２ａの構造は、例えば、視界カメラ１２の底部及び側部を支持し、視界カメラ１２が載置されて取り外し可能な状態で固定される構造である。
In the
なお、接続部１２ａの構造は図３Ａの例に限定されない。例えば、視界カメラ１２をバンドで固定する構造、或いは、磁石やネジなどの固定手段により視界カメラ１２を固定する構造であってもよい。また、図３Ａの例では、メインカメラ１１を右肩で担いだカメラマンの顔が位置する場所付近（右側部）に接続部１２ａが設けられているが、左肩で担いだカメラマンの顔が位置する場所付近（左側部）に接続部１２ａが設けられてもよい。
The structure of the connecting
次に、図３Ｂを参照しながら、視界カメラ１２の別の配置例（以下、配置例＃２）について説明する。図３Ｂは、第１実施形態に係る視界カメラの配置及び接続部の構造について説明するための第２の模式図である。 Next, another arrangement example of the field of view camera 12 (hereinafter, arrangement example # 2) will be described with reference to FIG. 3B. FIG. 3B is a second schematic view for explaining the arrangement of the field-of-view camera and the structure of the connection portion according to the first embodiment.
配置例＃２では、カメラを三脚又はペデスタルに載せた状態でカメラマンがカメラ背後から操作するスタイル（以下、直立スタイル）で撮影する場合にカメラマンの目が位置する場所に視界カメラ１２のレンズが配置されている。この例では、メインカメラ１１の筐体背部（レンズマウントがある面と反対側）後方に視界カメラ１２を配置するための接続部１２ｂが設けられ、接続部１２ｂに視界カメラ１２が固定されている。
In
また、図３Ｂの例では、筐体背部の面より後ろに視界カメラ１２のレンズが位置するように、メインカメラ１１と接続部１２ｂとが接続される部分から、視界カメラ１２が載置される部分までの距離が所定の長さ（例えば、１５ｃｍ）以上に設定されている。
Further, in the example of FIG. 3B, the field of
接続部１２ｂの構造は、例えば、視界カメラ１２の底部及び側部を支持し、視界カメラ１２が載置されて取り外し可能な状態で固定される構造である。なお、接続部１２ｂの構造は図３Ｂの例に限定されない。例えば、視界カメラ１２をバンドで固定する構造、或いは、磁石やネジなどの固定手段により視界カメラ１２を固定する構造であってもよい。
The structure of the connecting
次に、図３Ｃを参照しながら、視界カメラ１２のさらに別の配置例（以下、配置例＃３）について説明する。図３Ｃは、第１実施形態に係る視界カメラの配置及び接続部の構造について説明するための第３の模式図である。 Next, another arrangement example of the field-of-view camera 12 (hereinafter, arrangement example # 3) will be described with reference to FIG. 3C. FIG. 3C is a third schematic diagram for explaining the arrangement of the visual field cameras and the structure of the connection portion according to the first embodiment.
配置例＃３では、上述した配置例＃１の接続部１２ａ及び上述した配置例＃２の接続部１２ｂがメインカメラ１１に設けられており、視界カメラ１２の配置を変更することができる。接続部１２ａ、１２ｂは予めメインカメラ１１に固定されてもよい。視界カメラ１２の配置を変更できるようにすることで、スタジオセットの種類や配置、カメラマンの得意な撮影スタイルなどに応じて肩担ぎスタイルと直立スタイルとを切り替えることが可能になる。
In the
次に、図４を参照しながら、視界カメラ１２のさらに別の配置例（以下、配置例＃４）について説明する。図４は、第１実施形態に係る視界カメラの配置及び接続機構の構造について説明するための第４の模式図である。 Next, another arrangement example of the field of view camera 12 (hereinafter, arrangement example # 4) will be described with reference to FIG. FIG. 4 is a fourth schematic diagram for explaining the arrangement of the field of view cameras and the structure of the connection mechanism according to the first embodiment.
配置例＃４では、接続部１２ｃの一端がロボットアーム１３（この例では、メインカメラ１１をチルトするための関節部１３ａ付近）に接続されている。また、接続部１２ｃの他端には、視界カメラ１２の底部及び側部を支持するための支持機構が設けられ、支持機構に視界カメラ１２が固定されている。
In the arrangement example # 4, one end of the connecting
また、接続部１２ｃは、ロボットアーム１３と接続する部分に回転機構を有し、メインカメラ１１の光軸が水平面内からチルト角λTだけチルトしたときに、角度-λTだけ回転して視界カメラ１２の正面方向を水平面内に維持する。例えば、前面及び背面のそれぞれにレンズを配置した全方位カメラの場合、各レンズの光軸が水平面内に維持される。
Further, the connecting
実際にカメラを操作して撮影を行うカメラマンは、カメラをチルトさせた場合でも、自らの視線をチルト角の分だけ傾けて固定することは多くないだろう。通常、カメラマンは、ある程度、撮影姿勢を維持した状態でファインダやカメラ周囲の環境を見ている。そのため、メインカメラ１１のチルトに追従して視界カメラ１２の姿勢が変わると、視界カメラ１２の正面方向とカメラマン目線との間にズレが生じて違和感の原因になりうる。しかし、上述した接続部１２ｃの構成を適用すれば、このような違和感の低減が期待できる。
Photographers who actually operate the camera to shoot will not often fix their line of sight by tilting it by the tilt angle, even if the camera is tilted. Normally, the photographer looks at the finder and the environment around the camera while maintaining the shooting posture to some extent. Therefore, if the posture of the
後述するように、上記のような視界カメラ１２の正面方向とカメラマン目線とのズレは、全方位映像ＶＥから視線映像を生成するときに補正することができる。他方、配置例＃４のように視界カメラ１２の姿勢を機械的に補正できると視線映像を生成する際の補正が省略できるため、制御コンピュータ２１による映像処理の負担を減らすことができる。
As will be described later, the deviation between the front direction of the field of
なお、視界カメラ１２が全方位カメラ以外の広角カメラ（例えば、１８０°映像又は２７０°映像を出力する広角カメラ）である場合、上方に大きくチルトするメインカメラ１１の動きに視界カメラ１２の向きが追従すると、視界カメラ１２の出力映像にはカメラマンの足下が含まれなくなることがある。この場合、足下の映像が得られず、足下の視界映像が一部欠損する可能性がある。しかし、上述した接続部１２ｃの構成を適用すれば、このような視界映像の欠損を回避することができる。
When the
次に、図５を参照しながら、視界カメラ１２のさらに別の配置例（以下、配置例＃５）について説明する。図５は、第１実施形態に係る視界カメラの配置及び接続機構の構造について説明するための第５の模式図である。 Next, another arrangement example of the field of view camera 12 (hereinafter, arrangement example # 5) will be described with reference to FIG. FIG. 5 is a fifth schematic diagram for explaining the arrangement of the field of view cameras and the structure of the connection mechanism according to the first embodiment.
配置例＃５では、図４に示した接続部１２ｃと同じ構造を有する接続部１２ｄが配置例＃４とは異なるロボットアーム１３の部位に接続されている。このように、接続部１２ｄがロボットアーム１３に接続される位置は実施の態様に応じて適宜変更されうる。図５の例では、最も床に近い位置にある関節部１３ｆの近傍に接続部１２ｄが接続されているが、ベース１４に接続部１２ｄが接続されてもよい。この場合、カメラマンの目が位置する高さになるように接続部１２ｄのサイズや形状が設計されうる。
In the arrangement example # 5, the
上述した配置例＃１〜＃５及びこれらの変形例のように、実際にカメラを操作するカメラマンの目が位置する場所の近傍に視界カメラ１２のレンズを配置することで、視界カメラ１２の出力映像から、カメラマン目線で見える光景に近い視界映像を得ることができる。なお、更なる変形例として、スタジオセットなど、ロボットカメラ以外のスタジオ内の機材や構造物に視界カメラ１２を配置することも可能である。以下では、説明の都合上、配置例＃２を想定して説明を進める。
By arranging the lens of the field of
（ロボットカメラの設置方法）
次に、図６を参照しながら、ロボットカメラ１０の設置方法について説明を補足する。図６は、第１実施形態に係るロボットカメラの設置方法について説明するための模式図である。
(How to install the robot camera)
Next, the description of the installation method of the
上記の説明において、ロボットカメラ１０は、メインカメラ１１が接続されているロボットアーム１３を、移動可能なベース１４に載置する構造を有していた。この構造にした場合、ロボットカメラ１０は、スタジオの床上に設置され、スタジオ内を動き回ることができる。但し、第１実施形態に係る技術を適用可能なロボットカメラ１０の構造はこれに限定されない。例えば、ロボットカメラ１０は、図６に示すように、床面ＦＬ、天井ＣＬ、壁面ＷＬに、ロボットアーム１３の一端（メインカメラ１１が接続される端部と反対側の端部）が固定される構造を有していてもよい。
In the above description, the
スタジオの天井ＣＬや、スタジオセットの壁面ＷＬにロボットアーム１３が固定される構造を適用すれば、ペデスタルに乗せたカメラを利用して行う通常のスタジオ撮影では難しい特殊なアングルからの撮影が可能になる。また、ニュース番組の撮影や、クロマキー撮影などの場合には、全てのロボットカメラ１０がスタジオ内を動き回れるようにしなくてもよいことがある。この場合、移動可能なベース１４を省略して床面ＦＬなどにロボットカメラ１０を固定する構造を適用すればコストの低減が期待されうる。
By applying a structure in which the
（ベースの変形例）
次に、図７を参照しながら、ベース１４の変形例について説明する。図７は、第１実施形態に係るベースの変形例について説明するための模式図である。
(Modification example of base)
Next, a modified example of the base 14 will be described with reference to FIG. 7. FIG. 7 is a schematic diagram for explaining a modified example of the base according to the first embodiment.
上記の説明において、ベース１４は、車輪により移動可能な構造を有していた。この構成にした場合、車輪の回転によりベース１４がスタジオ内を自由に動き回ることができる。また、上記の説明では、ベース１４は、ロボットカメラ１０をスタジオ内で移動させる役割を担っていた。但し、第１実施形態に係る技術を適用可能なベース１４の構造はこれに限定されない。
In the above description, the
例えば、ベース１４は、図７（ａ）に示すように、メインカメラ１１が接続されているロボットアーム１３を昇降させる昇降機構１４２ａ、及びレール１４２ｃに合う幅で配置された複数の車輪を有する移動機構１４２ｂを有する構造であってもよい。他の変形例として、ベース１４は、図７（ｂ）に示すように、昇降機構１４３付きのペデスタルであってもよい。さらに、ベース１４は、図７（ｃ）に示すように、パン棒１４４ａ、及び脚部１４４ｂを有する三脚であってもよい。このような変形例についても第１実施形態に係る技術を適用可能である。
For example, as shown in FIG. 7A, the
（ロボットアームの変形例）
次に、図８を参照しながら、ロボットアーム１３の変形例について説明する。図８は、第１実施形態に係るロボットアームの変形例について説明するための模式図である。
(Modification example of robot arm)
Next, a modified example of the
上記の説明において、６軸のロボットアーム１３を例示した。しかし、第１実施形態に係る技術を適用可能なロボットアーム１３の構造はこれに限定されない。例えば、図８に例示したような７軸のロボットアーム１３１を適用することも可能である。ロボットアーム１３１は、７つの関節部１３１ａ、１３１ｂ、１３１ｃ、１３１ｄ、１３１ｅ、１３１ｆ、１３１ｇを有し、各関節部（図中の鎖線で示した部分）が回転して、例えば、図８（ｂ）に示すような形状に変形することができる。このように関節部の数が増えることで、よりアクロバティックなカメラアングルを実現できるようになる可能性がある。
In the above description, the 6-
（視界映像の表示制御）
次に、図９〜図１１を参照しながら、第１実施形態に係る視界映像の表示制御について具体例を挙げて説明する。以下では、説明の都合上、図９に例示するスタジオ内の様子をロボットカメラ１０で撮影する場合について説明を行う。図９は、第１実施形態に係るロボットカメラが配置されるスタジオ内の様子について説明するための模式図である。
(Display control of field of view image)
Next, with reference to FIGS. 9 to 11, the display control of the visual field image according to the first embodiment will be described with reference to specific examples. In the following, for convenience of explanation, a case where the state in the studio illustrated in FIG. 9 is photographed by the
図９に模式的に示したスタジオ内には、２台のロボットカメラ（ＣＡＭ＃１、ＣＡＭ＃２）、スタジオセットＳＳ、表示モニタＭ、及び出演者ｍ１、ｍ２、ｍ３が存在する。この例では、ＣＡＭ＃１がロボットカメラ１０であるとする。ロボットカメラ１０は、出演者ｍ１、ｍ２をメインカメラ１１で撮影している。ＣＡＭ＃２は、表示モニタＭ及び出演者ｍ３を撮影している。
In the studio schematically shown in FIG. 9, there are two robot cameras (
この例では、ＨＭＤ２２の第１の表示領域２２１ａにはメイン映像ＶＭが表示され、第２の表示領域２２１ｂには視界映像が表示される。図１０に示すように、オペレータＯＰが正面を向いている場合（撮影方向にオペレータＯＰの頭部ＯＰａ及びボディＯＰｂが向いている場合）、出演者ｍ１、ｍ２、スタジオセットＳＳなどを含む視界映像が第２の表示領域２２１ｂに表示される。図１０は、第１実施形態に係る視界映像及びメイン映像の表示制御について説明するための第１の説明図である。
In this example, the main image VM is displayed in the
図１０の状態から、オペレータＯＰが頭部ＯＰａを右側に向けた場合（角度θだけ回転した場合）、図１１に示すように、第２の表示領域２２１ｂに表示される視界映像は、表示モニタＭ及び出演者ｍ３を含む映像となる。つまり、カメラマンがスタジオ内で右側を向いたときに見える範囲の映像が第２の表示領域２２１ｂに表示される。図１１は、第１実施形態に係る視界映像及びメイン映像の表示制御について説明するための第２の説明図である。なお、角度θに応じて視界映像に含まれる光景は連続的に変化する。
From the state of FIG. 10, when the operator OP turns the head OPa to the right side (rotated by the angle θ), as shown in FIG. 11, the visual field image displayed in the
なお、オペレータＯＰが実際に頭部ＯＰａを回転した角度θと、視界映像の基準となる視線方向の回転角度ηとは一致していてもよいし、異なってもよい。例えば、視線方向の回転角度ηが頭部ＯＰａの回転角度θに比例する場合、回転角度θ、ηの関係は、係数γを用いて以下の式（１）により与えられる。γが１より大きい場合（γ＞１）、頭部ＯＰａを少し回転させるだけで、実際に頭部ＯＰａを回転させて見える光景よりも広い範囲の光景を視界映像として見ることができる。例えば、γ＝３に設定すると、頭部ＯＰａを正面方向から６０°回転させたとき、視界映像には真後ろの光景が映し出される。 The angle θ at which the operator OP actually rotates the head OPa may be the same as or different from the rotation angle η in the line-of-sight direction, which is the reference of the visual field image. For example, when the rotation angle η in the line-of-sight direction is proportional to the rotation angle θ of the head OPa, the relationship between the rotation angles θ and η is given by the following equation (1) using the coefficient γ. When γ is larger than 1 (γ> 1), by rotating the head OPa a little, a scene in a wider range than the scene actually seen by rotating the head OPa can be seen as a visual field image. For example, when γ = 3 is set, when the head OPa is rotated by 60 ° from the front direction, the scene directly behind is projected in the visual field image.
η＝γ×θ …（１） η = γ × θ… (1)
上記のように、第１の表示領域２２１ａにメイン映像ＶＭを表示しつつ、第２の表示領域２２１ｂに表示される視界映像が変化することで、オペレータＯＰは、スタジオ内でＶＦ（View Finder）を確認しながら周囲を見渡す感覚でロボットカメラ１０を操作することが可能になる。また、係数γを１より大きく設定することで、実際には頭部ＯＰａを回転しても見ることができない背後の光景までも視界映像で見ることが可能になる。なお、変形例として、メイン映像ＶＭ及び視界映像の表示をＶＲ（Virtual Reality）表示にしてもよい。ＶＲ表示にすることで、オペレータＯＰは、よりリアルにスタジオ内で撮影している感覚を味わうことができる。
As described above, while displaying the main image VM in the
（操作デバイスの例）
次に、図１２を参照しながら、操作デバイス２３の一例として、ＧＵＩを利用する操作デバイスの具体的な構成を例示し、操作デバイス２３の構成及び機能について説明する。図１２は、第１実施形態に係る操作デバイスの例を模式的に示した説明図である。
(Example of operating device)
Next, with reference to FIG. 12, as an example of the
図１２の例は、タッチパネルを搭載するタブレット端末などのデバイスを利用してＧＵＩ（Graphical User Interface）により操作デバイス２３の機能を実現する方法を示している。図１２に示した操作デバイス２３は、操作領域Ａ１、Ａ２、Ａ３、Ｂ１、Ｂ２、Ｃ１、Ｃ２、Ｄ３及びボタンオブジェクトＤ１、Ｄ２を有する。なお、符号Ｕ１、Ｕ２はオペレータＯＰの指を示している。
The example of FIG. 12 shows a method of realizing the function of the
操作領域Ａ１、Ａ２、Ａ３は、ロボットアーム１３（ARM）の動き制御に用いられる操作部である。操作領域Ｂ１、Ｂ２は、ベース１４（BASE）の動き制御に用いられる操作部である。操作領域Ｃ１、Ｃ２は、メインカメラ１１のカメラ設定を変更する操作に用いられる操作部である。操作領域Ｄ３は、ロボットカメラの乗り換え操作に用いられる操作部である。
The operation areas A1, A2, and A3 are operation units used for motion control of the robot arm 13 (ARM). The operation areas B1 and B2 are operation units used for motion control of the base 14 (BASE). The operation areas C1 and C2 are operation units used for operations for changing the camera settings of the
ボタンオブジェクトＤ１は、オペレータＯＰが「正面」（図１０の状態を参照）を向いている状態の視線方向（直立姿勢時の視線方向）を設定する操作に用いられる。ボタンオブジェクトＤ２は、視界映像として切り出される範囲（オペレータＯＰの視野に相当する範囲）を一時的に拡張する操作に用いられる。なお、ボタンオブジェクトＤ２には、上述した係数γを変更する機能（例えば、γを１から２、及び２から１に変更する機能）が割り当てられてもよい。 The button object D1 is used for an operation of setting the line-of-sight direction (line-of-sight direction in an upright posture) when the operator OP is facing the "front" (see the state of FIG. 10). The button object D2 is used for an operation of temporarily expanding the range cut out as the visual field image (the range corresponding to the visual field of the operator OP). The button object D2 may be assigned a function of changing the coefficient γ described above (for example, a function of changing γ from 1 to 2 and 2 to 1).
操作領域Ａ１は、メインカメラ１１をパン方向に回転させるためのディスクオブジェクトＡ１ａと、メインカメラ１１の向きを表示するためのカメラオブジェクトＡ１ｂとを含む。例えば、オペレータＯＰがディスクオブジェクトＡ１ａに沿って円弧状にスワイプ操作すると、スワイプ操作に応じてカメラオブジェクトＡ１ｂが回転し、ロボットアーム１３の関節部が動いて、回転角ψの分だけメインカメラ１１の向きがパン方向に変化する。なお、操作領域Ａ１の中央を縦断する鎖線はパン角が０°の位置を表している。
The operation area A1 includes a disk object A1a for rotating the
操作領域Ａ２は、メインカメラ１１をチルト方向に回転させるためのディスクオブジェクトＡ２ａと、メインカメラ１１の向きを表示するためのカメラオブジェクトＡ２ｂとを含む。例えば、オペレータＯＰがディスクオブジェクトＡ２ａに沿って円弧状にスワイプ操作すると、スワイプ操作に応じてカメラオブジェクトＡ２ｂが回転し、ロボットアーム１３の関節部が動いて、回転角λTの分、メインカメラ１１の向きがチルト方向に変化する。なお、操作領域Ａ２の中央を横断する鎖線はチルト角が０°の位置を表している。
The operation area A2 includes a disc object A2a for rotating the
操作領域Ａ３は、メインカメラ１１を上下に移動させるためのボタンオブジェクトＵＰ、ＤＯＷＮと、メインカメラ１１を左右に移動させるためのボタンオブジェクトＬ、Ｒと、ロックボタンＡ３ａとを含む。
The operation area A3 includes button objects UP and DOWN for moving the
例えば、オペレータＯＰがボタンオブジェクトＵＰをタッチすると、メインカメラ１１の位置が光軸に垂直な面内で垂直上方に移動する。一方、オペレータＯＰがボタンオブジェクトＤＯＷＮをタッチすると、メインカメラ１１の位置が光軸に垂直な面内で垂直下方に移動する。また、オペレータＯＰがボタンオブジェクトＬをタッチすると、メインカメラ１１の位置が光軸に垂直な面内で水平左方に移動する。一方、オペレータＯＰがボタンオブジェクトＲをタッチすると、メインカメラ１１の位置が光軸に垂直な面内で水平右方に移動する。
For example, when the operator OP touches the button object UP, the position of the
なお、ボタンオブジェクトＵＰ、ＤＯＷＮ、Ｌ、Ｒを押下している間だけメインカメラ１１の移動が継続されるようにしてもよい。ロックボタンＡ３ａが押下されると、現在のメインカメラ１１の位置及び向きがロックされる。ロック状態では、操作領域Ａ１、Ａ２による操作、及びボタンオブジェクトＵＰ、ＤＯＷＮ、Ｌ、Ｒによる操作が無視される。ロック状態でもう一度ロックボタンＡ３ａを押下するとロックが解除される。ロックボタンＡ３ａを利用することで、画角を固定した撮影が容易になる。なお、操作領域Ａ１、Ａ２、Ａ３のうち一部の操作だけをロックするようにオペレータＯＰが設定できるようにしてもよい。
The movement of the
操作領域Ｂ１は、ベース１４を前進させるためのボタンオブジェクトＦｗと、ベース１４を後退させるためのボタンオブジェクトＢｗとを含む。例えば、オペレータＯＰがボタンオブジェクトＦｗをタッチすると、タッチしている間だけベース１４が前進する。一方、オペレータＯＰがボタンオブジェクトＢｗをタッチすると、タッチしている間だけベース１４が後退する。なお、ベース１４に障害物センサ（図示せず）が搭載されている場合、例えば、ボタンオブジェクトＦｗ、Ｂｗをタッチしている間でも、ベース１４が障害物を検知して自律的に停止する。
The operation area B1 includes a button object Fw for moving the base 14 forward and a button object Bw for moving the base 14 backward. For example, when the operator OP touches the button object Fw, the base 14 moves forward only while the operator OP touches the button object Fw. On the other hand, when the operator OP touches the button object Bw, the
操作領域Ｂ２は、ベース１４をその場で回転させるためのディスクオブジェクトＢ２ａを含む。例えば、オペレータＯＰがディスクオブジェクトＢ２ａに沿って円弧状にスワイプ操作すると、スワイプ操作に応じてベース１４が回転し、ベース１４の進行方向が変わる。なお、上記の説明では、前進、後退、回転を組み合わせてベース１４を移動させる方法について説明したが、ベース１４の操作方法はこれに限定されない。例えば、前方、後方、左、右、左前方、右前方、左後方、右後方の移動にそれぞれ対応するボタンオブジェクトを設け、これによりベース１４を移動させる方法でもよい。
The operating area B2 includes a disc object B2a for rotating the base 14 in place. For example, when the operator OP swipes along the disc object B2a in an arc shape, the
また、操作領域Ｂ１、Ｂ２についての変形例として、例えば、スタジオを誕生から見下ろす形で見たときの要素を表す平面図、或いは、スタジオ内の様子を表す鳥瞰図を操作領域に表示し、その中にあるロボットカメラ１０のオブジェクトをドラッグする操作で、ベース１４の移動軌跡を指示できるようにする操作領域が設けられてもよい。このように、ドラッグ操作でロボットカメラ１０のスタジオ内における移動を制御できるようにすることで、オペレータＯＰは直感的にロボットカメラ１０を移動できるようになる。
Further, as a modification of the operation areas B1 and B2, for example, a plan view showing the elements when the studio is viewed from the birth or a bird's-eye view showing the state inside the studio is displayed in the operation area. An operation area may be provided so that the movement locus of the base 14 can be instructed by the operation of dragging the object of the
操作領域Ｃ１は、メインカメラ１１のズーム設定を変更するためのスライダオブジェクトＣ１ａを含む。オペレータＯＰがスライダオブジェクトＣ１ａをテレ端（Ｔ）方向にスライドさせると焦点距離が長くなるようにメインカメラ１１のレンズが制御され、ワイド端（Ｗ）方向にスライドさせると焦点距離が短くなるようにレンズが制御される。なお、メインカメラ１１のレンズが単焦点レンズである場合、操作領域Ｃ１の表示は無効化又は省略されうる。
The operation area C1 includes a slider object C1a for changing the zoom setting of the
操作領域Ｃ２には、メイン映像ＶＭが表示される。オペレータＯＰが操作領域Ｃ２をタッチすると、タッチした場所にフォーカスが合うようにメインカメラ１１が制御される。なお、操作領域Ｃ２に表示されるメイン映像ＶＭは、解像度及びフレームレートの少なくとも一方が低くなるようにダウンコンバートされた映像であってもよい。
The main video VM is displayed in the operation area C2. When the operator OP touches the operation area C2, the
操作領域Ｄ３には、ＣＡＭ＃２のメイン映像が表示される。なお、操作領域Ｄ３に表示されるメイン映像は、解像度及びフレームレートの少なくとも一方が低くなるようにダウンコンバートされた映像であってもよい。例えば、オペレータＯＰが操作領域Ｄ３をタッチすると、ＣＡＭ＃２への乗り換え処理が実行される。なお、誤って切り替え処理が実行されることを防止するため、操作領域Ｄ３に対するジェスチャー入力により切り替え処理が実行されるようにしてもよい。
The main image of
ＣＡＭ＃２への切り替え処理が実行されると、ＨＭＤ２２に表示されるメイン映像及び視界映像はＣＡＭ＃２のメイン映像及び視界映像に切り替えられる。また、操作デバイス２３の操作領域Ａ１、Ａ２、Ａ３、Ｂ１、Ｂ２、Ｃ１、Ｃ２、Ｄ１、Ｄ２に対する操作は、ＣＡＭ＃２の制御に対応する操作になる。また、操作領域Ｄ３には、ＣＡＭ＃１（ロボットカメラ１０）のメイン映像が表示される。
When the switching process to
なお、スタジオ内に３以上のカメラ（ロボットカメラ以外のカメラを含みうる。）がある場合、操作領域Ｄ３はｎ個（ｎ≧２）の部分領域に分割されてもよく、各部分領域にそれぞれ異なる他のカメラからのメイン映像が表示されてもよい。この場合、オペレータＯＰによりタッチされた部分領域に対応するカメラへの切り替え処理が実行される。 When there are three or more cameras (including cameras other than robot cameras) in the studio, the operation area D3 may be divided into n (n ≧ 2) subregions, and each subregion may be divided into n (n ≧ 2) subregions. The main image from another different camera may be displayed. In this case, the switching process to the camera corresponding to the partial area touched by the operator OP is executed.
上述した操作デバイス２３のＧＵＩは一例であり、第１実施形態に係る技術の適用範囲はこれに限定されない。例えば、各操作領域に表示されるオブジェクトの形状、種類及び数は実施の態様に応じて適宜変形可能である。また、一部の操作領域を省略する変形や、操作領域又はオブジェクトを追加する変形が可能である。このような変形例についても当然に第１実施形態の技術的範囲に属する。
The GUI of the
（操作デバイスの変形例）
次に、図１３〜図１６を参照しながら、操作デバイス２３の変形例について説明する。
(Modification example of operation device)
Next, a modification of the
まず、図１３を参照しながら、ゲームコントローラ型の操作デバイス２３１について説明する。図１３は、第１実施形態に係る操作デバイスの変形例について説明するための第１の説明図である。
First, the game controller
図１３に示すように、操作デバイス２３１は、ボタン型の操作部２３１ａ、２３１ｂ、スティック型の操作部２３１ｃ、２３１ｄ、及び十字キー型の操作部２３１ｅを有する。例えば、操作部２３１ａには、メインカメラ１１のズーム制御機能が割り当てられうる。操作部２３１ｂには、メインカメラ１１のフォーカス制御機能が割り当てられうる。操作部２３１ｃにはメインカメラ１１のパンチルト制御機能が割り当てられうる。
As shown in FIG. 13, the
操作部２３１ｄには、ロボットアーム１３の動き制御（例えば、メインカメラ１１を垂直面内で上下左右に動かす動きに対応する動き制御）が割り当てられうる。操作部２３１ｅには、ロボットアーム１３の細かな動き制御が割り当てられうる。例えば、操作部２３１ｄによる操作ではロボットアーム１３の動きが速く、操作部２３１ｅの操作では遅い速度でロボットアーム１３の動きが制御される。操作部２３１ｅをカメラ位置の微調整に使うことで、効率的にメインカメラ１１を所望の位置に移動することができるようになる。
The
次に、図１４を参照しながら、スタジオカメラのコントロールシステムとして利用される入力インターフェースの一部に操作デバイス２３の機能を割り当てた操作デバイス２３２について説明する。図１４は、第１実施形態に係る操作デバイスの変形例について説明するための第２の説明図である。
Next, the
図１４に示すように、操作デバイス２３２は、任意の回転量で回転可能なダイヤル型の操作部２３２ａ、始点と終点との間に回転量が制限されるダイヤル型の操作部２３２ｂ、２３２ｃ、レバー型の操作部２３２ｄ、及び複数のボタンを有する操作部２３２ｅを有する。例えば、操作部２３２ａには、メインカメラ１１のフォーカス制御機能及びズーム機能が割り当てられうる。フォーカス制御機能及びズーム機能は、例えば、操作部２３２ｅの特定のボタンを押下することにより切り替えられる。
As shown in FIG. 14, the
操作部２３２ｂには、メインカメラ１１のパンチルト制御機能が割り当てられる。パン制御機能及びチルト制御機能は、例えば、操作部２３２ｅの特定のボタンを押下することにより切り替えられる。操作部２３２ｃには、ベース１４の向きを左右に向ける方向制御機能が割り当てられうる。操作部２３２ｄには、ベース１４の速度制御機能が割り当てられうる。操作部２３２ｅには、各操作部に割り当てられる機能の切り替え機能、及び制御対象となるロボットカメラの切り替え機能などが割り当てられうる。
The pan / tilt control function of the
次に、図１５を参照しながら、ウェアラブルデバイス型の操作デバイス２３３ａ、２３３ｂについて説明する。図１５は、第１実施形態に係る操作デバイスの変形例について説明するための第３の説明図である。
Next, the wearable device
図１５に示すように、操作デバイス２３３ａ、２３３ｂは、オペレータＯＰが手に持って、或いは、身体に装着した状態で利用される。例えば、操作デバイス２３３ａは、オペレータＯＰが右手で操作する。操作デバイス２３３ｂは、オペレータＯＰが左手で操作する。操作デバイス２３３ａは、ロボットアーム１３を操作するための操作部ＲＣと、モーションセンサとを搭載している。操作デバイス２３３ｂは、メインカメラ１１を操作するための操作部ＣＣと、モーションセンサとを搭載している。
As shown in FIG. 15, the
操作デバイス２３３ａの操作部ＲＣには、例えば、ロボットアーム１３を上下左右に動かす動き制御の機能が割り当てられうる。操作デバイス２３３ｂの操作部ＣＣには、例えば、メインカメラ１１のズーム制御機能及びフォーカス制御機能が割り当てられうる。また、操作デバイス２３３ａを前方Ｆｗ、後方Ｂｗ、右方向Ｒ、左方向Ｌに動かすジェスチャーにロボットアーム１３の動きを割り当てることができる。また、操作デバイス２３３ｂを前方Ｆｗ、後方Ｂｗ、右方向Ｒ、左方向Ｌに動かすジェスチャーにメインカメラ１１の制御機能を割り当てることができる。
The operation unit RC of the
次に、図１６を参照しながら、操縦席型の操作システム２３４について説明する。図１６は、第１実施形態に係る操作デバイスの変形例について説明するための第４の説明図である。
Next, the cockpit
図１６に例示した操作システム２３４は、オペレータＯＰが着座する座面２３４ａ、タッチパネル２３４ｂ、フットコントローラ２３４ｃ、レバー型の操作部２３４ｄ、及びボタン型の操作部２３４ｅを有する。操作システム２３４には、複数のディスプレイデバイスを組み合わせた映像表示デバイス２２１も含まれる。例えば、オペレータＯＰから見て中央に位置するディスプレイデバイスにメイン映像ＶＭが表示され、左右に位置するディスプレイデバイスに視界映像が表示されるようにしてもよい。
The
タッチパネル２３４ｂには、図１２に示した操作デバイス２３のＧＵＩが表示されてもよい。フットコントローラ２３４ｃは、オペレータＯＰが足で操作する操作デバイスである。フットコントローラ２３４ｃには、例えば、左右それぞれの足が置かれる位置にボタンが配置され、足で押し込むことにより、そのボタンに割り当てられた処理が実行される。例えば、ベース１４の速度制御、メインカメラ１１のズーム及びフォーカス制御、或いは、ロボットアームの制御及びカメラの切り替え制御などが割り当てられうる。
The GUI of the
操作部２３４ｄには、例えば、ロボットアーム１３の動き制御機能又はメインカメラ１１のパンチルト制御機能などが割り当てられうる。操作部２３４ｅには、例えば、メインカメラ１１のズーム制御機能及びフォーカス制御機能、或いは、制御対象のロボットカメラを切り替える機能などが割り当てられうる。なお、各部に対する機能の割り当て方法は上記の例に限定されず、任意に変更することが可能である。また、オペレータＯＰが機能の割り当てを任意に変更することができるようにしてもよい。
For example, a motion control function of the
上記のように、第１実施形態に係る技術を適用可能な操作デバイス２３は様々に変形することが可能であり、上記の変形例はその一部に過ぎず、これらの変形例から着想可能な操作手段の構成についても第１実施形態の技術的範囲に属する。
As described above, the
［１−２．ハードウェア］
ここで、図１７を参照しながら、上述した制御コンピュータ２１が有する機能を実現可能なハードウェアの例について説明する。図１７は、第１実施形態に係る制御コンピュータの機能を実現可能なハードウェアの一例を示したブロック図である。制御コンピュータ２１の機能は、コンピュータプログラムを用いて図１７に示すハードウェアを制御することにより実現される。
[1-2. hardware]
Here, an example of hardware capable of realizing the functions of the
図１７に示すように、このハードウェアは、主に、プロセッサ２１ａ、メモリ２１ｂ、表示Ｉ／Ｆ２１ｃ、通信Ｉ／Ｆ２１ｄ、及び接続Ｉ／Ｆ２１ｅを有する。
As shown in FIG. 17, the hardware mainly includes a
プロセッサ２１ａは、例えば、ＣＰＵ、ＤＳＰ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵなどの処理回路である。メモリ２１ｂは、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリなどの記憶装置である。
The
表示Ｉ／Ｆ２１ｃは、ＬＣＤ（Liquid Crystal Display）、ＥＬＤ（Electro-Luminescence Display）などのディスプレイデバイスを接続するためのインターフェースである。例えば、表示Ｉ／Ｆ２１ｃは、プロセッサ２１ａや表示Ｉ／Ｆ２１ｃに搭載されたＧＰＵにより表示制御を実施する。
The display I /
通信Ｉ／Ｆ２１ｄは、有線及び／又は無線のネットワークに接続するためのインターフェースである。通信Ｉ／Ｆ２１ｄは、例えば、有線ＬＡＮ、無線ＬＡＮ、光回線などに接続されうる。接続Ｉ／Ｆ２１ｅは、外部デバイスを接続するためのインターフェースである。接続Ｉ／Ｆ２１ｅは、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）などである。
The communication I /
接続Ｉ／Ｆ２１ｅには、例えば、キーボード、マウス、タッチパネル、タッチパッドなどの入力インターフェースが接続されうる。また、接続Ｉ／Ｆ２１ｅには、スピーカなどのオーディオデバイスなどが接続されうる。また、接続Ｉ／Ｆ２１ｅには、可搬性の記録媒体２１ｆが接続されうる。記録媒体２１ｆとしては、例えば、磁気記録媒体、光ディスク、光磁気ディスク、半導体メモリなどがある。 An input interface such as a keyboard, a mouse, a touch panel, or a touch pad may be connected to the connection I / F21e. Further, an audio device such as a speaker may be connected to the connection I / F21e. Further, a portable recording medium 21f may be connected to the connection I / F 21e. Examples of the recording medium 21f include a magnetic recording medium, an optical disk, a magneto-optical disk, and a semiconductor memory.
上述したプロセッサ２１ａは、記録媒体２１ｆに格納されたプログラムを読み出してメモリ２１ｂに格納し、メモリ２１ｂから読み出したプログラムに従って制御コンピュータ２１の動作を制御することができる。制御コンピュータ２１の動作を制御するためのプログラムは、メモリ２１ｂに予め格納されていてもよいし、通信Ｉ／Ｆ２１ｄを介してネットワークからダウンロードされてもよい。
The
なお、ＨＭＤ２２のハードウェアについては詳細な説明を省略するが、ＨＭＤ２２にも上述したプロセッサ２１ａ及びメモリ２１ｂと同様の要素が搭載される。
Although detailed description of the hardware of the
［１−３．制御コンピュータの機能］
次に、図１８を参照しながら、制御コンピュータ２１の機能について、さらに説明する。図１８は、第１実施形態に係る制御コンピュータが有する機能の例を示したブロック図である。
[1-3. Control computer function]
Next, the function of the
図１８に示すように、制御コンピュータ２１は、ベース制御部２１１、アーム制御部２１２、カメラ制御部２１３、メイン映像処理部２１４、及び全方位映像処理部２１５を有する。なお、ベース制御部２１１、アーム制御部２１２、カメラ制御部２１３、メイン映像処理部２１４、及び全方位映像処理部２１５の機能は、主に、上述したプロセッサ２１ａ及びメモリ２１ｂにより実現可能である。
As shown in FIG. 18, the
ベース制御部２１１は、操作デバイス２３から出力される操作信号に応じてベース１４の動きを制御するための制御信号を生成し、生成した制御信号をロボットカメラ１０の制御デバイス１５へと伝送する。
The
例えば、操作デバイス２３のボタンオブジェクトＦｗがタッチされると、ベース１４を前進させる旨の命令を含む操作信号が操作デバイス２３から制御コンピュータ２１へと出力される。この場合、ベース制御部２１１は、ベース１４を前進させるための制御信号を生成し、ロボットカメラ１０の制御デバイス１５に伝送する。ベース１４の後退操作及び回転操作についても同様に、ベース制御部２１１は、各操作に対応する制御信号をロボットカメラ１０の制御デバイス１５へと伝送する。これらの制御信号に応じて、制御デバイス１５は、ベース１４のモータを駆動してベース１４を移動させる。
For example, when the button object Fw of the
アーム制御部２１２は、操作デバイス２３から出力される操作信号に応じてロボットアーム１３の動きを制御するための制御信号を生成し、生成した制御信号をロボットカメラ１０の制御デバイス１５へと伝送する。
The
例えば、操作デバイス２３のボタンオブジェクトＵＰがタッチされると、メインカメラ１１の位置を垂直上方へ移動させる旨の命令を含む操作信号が操作デバイス２３から制御コンピュータ２１へと出力される。この場合、アーム制御部２１２は、ロボットアーム１３を垂直上方へ移動させるための制御信号をロボットカメラ１０の制御デバイス１５へと伝送する。メインカメラ１１の垂直下方への移動、水平移動、パン、チルトについても同様に、ベース制御部２１１は、各操作に対応する制御信号をロボットカメラ１０の制御デバイス１５へと伝送する。これらの制御信号に応じて、制御デバイス１５は、ロボットアーム１３のモータを駆動してロボットアーム１３を変形させる。
For example, when the button object UP of the
カメラ制御部２１３は、操作デバイス２３から出力される操作信号に応じてメインカメラ１１のカメラ設定を変更する。
The
例えば、操作デバイス２３のスライダオブジェクトＣ１ａがテレ端方向にスライドされると、メインカメラ１１のレンズをテレ端方向にズームさせる命令を含む操作信号が操作デバイス２３から制御コンピュータ２１へと出力される。この場合、カメラ制御部２１３は、メインカメラ１１のレンズをテレ端方向にズームさせるための制御信号を、ロボットカメラ１０の制御デバイス１５を介して又は直接的にメインカメラ１１へと伝送する。ワイド端方向へのズーム、フォーカス位置の指定についても同様に、カメラ制御部２１３は、各操作に対応する制御信号を、ロボットカメラ１０の制御デバイス１５を介して又は直接的にメインカメラ１１へと伝送する。
For example, when the slider object C1a of the operating
メイン映像処理部２１４は、メインカメラ１１から出力されるメイン映像ＶＭを受信し、メイン映像ＶＭをＨＭＤ２２へと出力する。操作デバイス２３にメイン映像ＶＭを表示する場合、メイン映像処理部２１４は、操作デバイス２３へとメイン映像ＶＭを出力する。なお、メイン映像処理部２１４は、メイン映像ＶＭを圧縮し、圧縮後のメイン映像ＶＭをＨＭＤ２２へと出力してもよい。また、メイン映像処理部２１４は、メイン映像ＶＭをＶＲ映像に変換し、そのＶＲ映像をＨＭＤ２２へと出力してもよい。なお、メイン映像処理部２１４は、メイン映像ＶＭを、メインカメラ１１から直接受信してもよいし、ロボットカメラ１０の制御デバイス１５を介して受信してもよい。
The main
全方位映像処理部２１５は、視界カメラ１２から出力される全方位映像ＶＥを受信する。なお、全方位映像処理部２１５は、全方位映像ＶＥを、視界カメラ１２から直接受信してもよいし、ロボットカメラ１０の制御デバイス１５を介して受信してもよい。また、全方位映像処理部２１５は、視線検知デバイス２２２からオペレータＯＰの視線方向を示す視線情報を受信する。また、全方位映像処理部２１５は、全方位映像ＶＥ及び視線情報に基づいて視界映像を生成する。そして、全方位映像処理部２１５は、ＨＭＤ２２へと視界映像を出力する。
The omnidirectional
全方位映像処理部２１５は、例えば、視線方向を中心に予め設定された視界範囲（例えば、上／下に３０°、左／右に６０°）の映像を全方位映像ＶＥから切り出し、切り出した映像を視界映像としてＨＭＤ２２へと出力する。なお、操作デバイス２３のボタンオブジェクトＤ２（ワイド表示）が押下されている場合、全方位映像処理部２１５は、視界範囲を上下左右に所定割合（例えば、１０％）だけ広くなるように変更し、変更後の視界範囲に基づいて視界映像を生成する。
The omnidirectional
なお、全方位映像処理部２１５は、視界映像を圧縮し、圧縮後の視界映像をＨＭＤ２２へと出力してもよい。また、全方位映像処理部２１５は、視界映像をＶＲ映像に変換し、そのＶＲ映像をＨＭＤ２２へと出力してもよい。制御コンピュータ２１がメイン映像ＶＭ及び視界映像をＶＲ映像へと変換する方式に代えて、ＶＲ映像への変換をＨＭＤ２２で実行する方式を適用してもよい。このような変形例についても当然に第１実施形態の技術的範囲に属する。
The omnidirectional
［１−４．処理フロー］
次に、図１９を参照しながら、第１実施形態に係るリモートカメラシステムにより撮影時に実行される処理の流れについて説明する。この説明の中で、視界映像の生成方法、操作デバイス２３による操作時の制御方法、視線補正の方法、視界映像の生成方法における処理の流れについて、さらに説明する。図１９は、第１実施形態に係るリモートカメラシステムによる撮影時の処理（映像出力方法）について説明するためのフロー図である。
[1-4. Processing flow]
Next, with reference to FIG. 19, the flow of processing executed at the time of shooting by the remote camera system according to the first embodiment will be described. In this description, the process flow in the method of generating the visual field image, the method of controlling the operation by the operating
（Ｓ１０１）撮影が開始されると、ロボットカメラ１０のメインカメラ１１からメイン映像ＶＭが出力され、メインカメラ１１から直接又はロボットカメラ１０の制御デバイス１５を介して、コントロールシステム２０の制御コンピュータ２１に入力される。これにより、制御コンピュータ２１は、メインカメラ１１から出力されるメイン映像ＶＭを取得する。
(S101) When shooting is started, the main video VM is output from the
（Ｓ１０２）撮影が開始されると、ロボットカメラ１０の視界カメラ１２から全方位映像ＶＥが出力され、視界カメラ１２から直接又はロボットカメラ１０の制御デバイス１５を介して、コントロールシステム２０の制御コンピュータ２１に入力される。これにより、制御コンピュータ２１は、視界カメラ１２から出力される全方位映像ＶＥを取得する。Ｓ１０１及びＳ１０２の処理は並行して実行されうる。変形例として、撮影開始前から視界カメラ１２により全方位映像ＶＥが出力され、全方位映像ＶＥが制御コンピュータ２１へと入力されてもよい。
(S102) When shooting is started, the omnidirectional image VE is output from the
（Ｓ１０３）制御コンピュータ２１は、視線検知デバイス２２２から出力される視線情報を取得する。視線情報は、視線検知デバイス２２２が検知したオペレータＯＰの視線方向を示す情報である。
(S103) The
例えば、視線検知デバイス２２２は、オペレータＯＰが操作デバイス２３のボタンオブジェクトＤ１を押下したときのＨＭＤ２２の向きを基準方向（正面）に設定し、モーションセンサの出力に基づいて現在の視線方向を検知する。視線情報は、例えば、現在の視線方向を指す単位ベクトルの情報を含む。視線方向を示す単位ベクトルは、直交座標系の３つの座標値、或いは、極座標表示における回転角のセット（２つの偏角）で表現されうる。
For example, the line-of-
視線検知デバイス２２２は、予め設定された時間間隔（例えば、０．１秒など）でモーションセンサの出力値を取得し、取得した出力値に基づいて視線情報を更新する。また、視線検知デバイス２２２は、予め設定された時間間隔（例えば、０．２秒など）で視線情報を出力するか、或いは、制御コンピュータ２１からの要求に応じて視線情報を出力する。変形例として、視線検知デバイス２２２は、視線方向の変化量が所定の閾値より大きい場合（例えば、回転角が３°以上）に視線情報を出力してもよい。
The line-of-
なお、視線検知デバイス２２２から出力される視線情報は、映像表示デバイス２２１へ入力されてもよい。この場合、映像表示デバイス２２１は、視線検知デバイス２２２から出力される視線情報を参照し、所定の角度（例えば、４５°）より大きく、下向きにオペレータＯＰの視線方向が変化した場合に画面表示を透過表示に切り替えてもよい。
The line-of-sight information output from the line-of-
（Ｓ１０４）制御コンピュータ２１は、全方位映像処理部２１５により、全方位映像ＶＥ及び視線方向に基づいて視界映像を生成する。このとき、全方位映像処理部２１５は、視線検知デバイス２２２から出力される視線情報から、オペレータＯＰが頭部ＯＰａを回転させた角度θを取得し、上記の式（１）に基づいて、視界映像の生成時に基準となる回転角度ηを求める。そして、全方位映像処理部２１５は、求めた回転角度ηに対応する視線方向と、全方位映像ＶＥとに基づいて視界映像を生成する。
(S104) The
例えば、全方位映像処理部２１５は、図２０に示すように、視線方向を基準に予め設定された視界範囲（例えば、視線方向を中心として上下方向に７０°（角度φL）、左右方向に９０°（角度φH）の範囲）に対応する映像を視界映像として全方位映像ＶＥから切り出す。このとき、視界範囲の基準となる視線方向は回転角度ηに対応する。例えば、係数γが２の場合、オペレータＯＰが真横を向いているとき、回転角度ηに対応する視線方向は真後ろになり、オペレータＯＰの真後ろを基準とする視界範囲の視界映像が生成される。なお、視界映像の生成方法については、後段において、さらに説明する。
For example, as shown in FIG. 20, the omnidirectional
（Ｓ１０５）制御コンピュータ２１は、視界映像及びメイン映像ＶＭに基づいて出力映像を生成する。例えば、制御コンピュータ２１は、全方位映像処理部２１５により、視界映像のＶＲ映像を出力映像の一部として生成する。また、制御コンピュータ２１は、メイン映像処理部２１４により、メイン映像ＶＭのＶＲ映像を出力映像の一部として生成する。そして、制御コンピュータ２１は、出力映像をＨＭＤ２２へと出力する。
(S105) The
なお、制御コンピュータ２１は、映像表示デバイス２２１の第１の表示領域２２１ａにメイン映像ＶＭが表示され、第２の表示領域２２１ｂに視界映像が表示されるように、視界映像にメイン映像ＶＭを重畳したＰｉｎＰ（Picture in Picture）映像を生成してもよい。この場合、制御コンピュータ２１は、出力映像としてＰｉｎＰ映像のＶＲ映像を生成し、生成したＶＲ映像をＨＭＤ２２へと出力する。
The
変形例として、制御コンピュータ２１は、メイン映像ＶＭを非ＶＲ映像のままＨＭＤ２２へと出力し、一方で、視界映像についてはＶＲ映像に変換してからＨＭＤ２２へと出力してもよい。また、上述したＰｉｎＰ映像の生成処理や、上述したメイン映像ＶＭ、視界映像、ＰｉｎＰ映像のＶＲ映像への変換処理は、ＨＭＤ２２が実行してもよい。この場合、メイン映像ＶＭ、視界映像、或いは、ＰｉｎＰ映像が、そのまま制御コンピュータ２１からＨＭＤ２２へと出力される。
As a modification, the
（Ｓ１０６）映像表示デバイス２２１は、制御コンピュータ２１から出力された出力映像を画面に表示する。例えば、映像表示デバイス２２１は、第１の表示領域２２１ａにメイン映像ＶＭを表示し、第２の表示領域２２１ｂに視界映像を表示する。なお、ＰｉｎＰ映像が制御コンピュータ２１から出力される場合、映像表示デバイス２２１は、ＰｉｎＰ映像を画面に表示する。また、ＨＭＤ２２でＶＲ映像への変換処理を実行する場合、映像表示デバイス２２１は、出力映像をＶＲ映像に変換して表示する。
(S106) The
（Ｓ１０７）オペレータＯＰにより撮影の終了が指示された場合、図１９に示した一連の処理は終了する。一方、撮影が継続される場合、処理はＳ１０１へと進む。なお、図１９に示した一連の処理のうち、Ｓ１０１〜Ｓ１０３の処理は並列に実行されてもよいし、実行の順番が入れ替えられてもよい。 (S107) When the operator OP instructs the end of shooting, the series of processes shown in FIG. 19 ends. On the other hand, if the shooting is continued, the process proceeds to S101. Of the series of processes shown in FIG. 19, the processes S101 to S103 may be executed in parallel, or the order of execution may be changed.
ここで、図２０を参照しながら、上述した視界映像の生成方法（Ｓ１０４の処理）について、さらに説明する。図２０は、第１実施形態に係る視界映像の生成方法について説明するための説明図である。 Here, with reference to FIG. 20, the above-described visual field image generation method (processing of S104) will be further described. FIG. 20 is an explanatory diagram for explaining a method of generating a visual field image according to the first embodiment.
上記のように、全方位映像処理部２１５は、視線検知デバイス２２２から出力される視線情報に基づいて全方位映像ＶＥから視界映像を切り出す。図２０に示すように、全方位映像ＶＥは、視界カメラ１２の位置を中心とする天球面３０（仮想球面）に投影される映像とみなすことができる。天球面３０の中心を原点とするＸＹＺ座標系を設定し、Ｙ軸を視線方向の基準となる正面、Ｚ軸をオペレータＯＰの頭頂に設定すると、視線方向は、天球面３０の一点（視線３２）を指す単位ベクトルで表現されうる。
As described above, the omnidirectional
人間の視野は上側に約６０°、下側に約７０°、耳側に約１００°であり、視線３２の方向を見ているオペレータＯＰには、視線３２の上側（＋Ｚに向かう方向）に約７０°、下側（−Ｚに向かう方向）に約６０°、右側／左側（＋Ｘ／−Ｘに向かう方向）に約１００°の範囲が見える。そこで、視界範囲３１を規定する角度φL、φHは、人間の視野に合わせて設定されうる（例えば、φL＝１３０°、φH＝２００°）。 The human visual field is about 60 ° on the upper side, about 70 ° on the lower side, and about 100 ° on the ear side, and the operator OP looking in the direction of the line of sight 32 is on the upper side of the line of sight 32 (direction toward + Z). A range of about 70 °, about 60 ° on the lower side (direction toward −Z), and about 100 ° on the right / left side (direction toward + X / −X) can be seen. Therefore, the angles φ L and φ H that define the field of view 31 can be set according to the human visual field (for example, φ L = 130 °, φ H = 200 °).
但し、上記の視野は、中心視野と周辺視野とに大きく分けられる。人間は、中心視野に含まれる対象物については高い解像度で認識できる一方、周辺視野に含まれる対象物については低い解像度でしか認識できない。周辺視野は、何かに焦点を合わせる前に、第一印象や全体像をつかむためにあると言われている。中心視野のうち、左右それぞれに約３０°の範囲については色や記号を人が認識できると言われている。 However, the above-mentioned visual field can be roughly divided into a central visual field and a peripheral visual field. Humans can recognize objects in the central visual field at a high resolution, while humans can only recognize objects in the peripheral visual field at a low resolution. Peripheral vision is said to be there to get a first impression or a big picture before focusing on something. It is said that humans can recognize colors and symbols in the range of about 30 ° on each of the left and right sides of the central visual field.
映像表示デバイス２２１に表示される視界映像は高い解像度で表示される。そのため、上記のような人間の視野特性を考慮すると、視界範囲３１は、φH（水平視野の安定注視野に相当）が６０°〜９０°、φL（垂直視野の安定注視野に相当）が４５°〜７０°の範囲に設定するのが好適である。例えば、視界範囲３１は、φHが９０°、φLが７０°の範囲に設定される。このように設定することで違和感の低減が期待される。
The field of view image displayed on the
（操作時の制御）
次に、図２１を参照しながら、操作時の制御方法について、具体的な処理の流れを説明する。図２１は、第１実施形態に係るリモートカメラシステムにおいて、操作デバイスによる操作が行われた時に実行される制御について説明するためのフロー図である。以下では、説明の都合上、図１２に示した操作デバイス２３をオペレータＯＰが操作することを前提に説明を進める。
(Control during operation)
Next, with reference to FIG. 21, a specific processing flow will be described with respect to the control method at the time of operation. FIG. 21 is a flow chart for explaining the control executed when the operation by the operating device is performed in the remote camera system according to the first embodiment. In the following, for convenience of explanation, the description will proceed on the assumption that the operator OP operates the
（Ｓ１１１）オペレータＯＰによる操作デバイス２３の操作が行われる（コントローラ入力）。図１２に例示した操作デバイス２３を利用する場合、コントローラ入力により、メインカメラ１１に対する操作（ＣＡＭ）、ロボットアーム１３に対する操作（ＡＲＭ）、ベース１４に対する操作（ＢＡＳＥ）、正面の設定（ＳＥＴ）、視界映像のワイドビュー表示（ＷＶ）が指示されうる。また、詳細な説明を省略するが、操作領域Ｄ３への操作によりカメラの切り替えも指示されうる。
(S111) The
（Ｓ１１２）ボタンオブジェクトＤ１が押下されて正面の設定（ＳＥＴ）が指示されると、制御コンピュータ２１から視線検知デバイス２２２へとＳＥＴ指示を示す指示信号が入力される。この指示信号に応じて、視線検知デバイス２２２は、現在のオペレータＯＰの顔の向き（視線方向に相当）を基準方向（正面）に設定する。正面の設定後、視線検知デバイス２２２は、モーションセンサの出力に基づいて、正面を基準に視線方向を検知し、検知結果を示す視線情報を制御コンピュータ２１へと出力する。Ｓ１１２の処理が完了すると、処理はＳ１１１へと進む。
(S112) When the button object D1 is pressed and the front setting (SET) is instructed, an instruction signal indicating the SET instruction is input from the
（Ｓ１１３）ボタンオブジェクトＤ２が押下されてワイドビュー表示（ＷＶ）が指示されると、全方位映像処理部２１５は視界範囲３１を拡大する。例えば、全方位映像処理部２１５は、視界範囲３１が周辺視野まで拡大されるように、φLを１３０°（上側６０°、下側７０°）、φHを２００°（左右それぞれ１００°）に変更する。これにより視界映像に映る範囲が広がり、オペレータＯＰは、スタジオ内の様子を、より広範囲に見渡すことができるようになる。
(S113) When the button object D2 is pressed and the wide view display (WV) is instructed, the omnidirectional
なお、視界範囲３１が拡大されている状態でボタンオブジェクトＤ２が押下された場合、全方位映像処理部２１５は、ワードビュー表示をキャンセルし、視界範囲３１を元の範囲に戻す。Ｓ１１３の処理が完了すると、処理はＳ１１１へと進む。
When the button object D2 is pressed while the field of view 31 is expanded, the omnidirectional
（Ｓ１１４、Ｓ１１５）操作領域Ｂ１、Ｂ２のオブジェクトが操作されてベース１４の移動が指示されると、ベース制御部２１１は、指示された移動内容をベース１４に伝達するための制御信号を生成し、その制御信号をロボットカメラ１０の制御デバイス１５へと伝送する。その制御信号を受信した制御デバイス１５は、受信した制御信号に従ってベース１４を移動させる。Ｓ１１５の処理が完了すると、処理はＳ１１１へと進む。
(S114, S115) When the objects in the operation areas B1 and B2 are operated and the movement of the
（Ｓ１１６、Ｓ１１７）操作領域Ｃ１、Ｃ２のオブジェクトが操作されると、カメラ制御部２１３は、オブジェクトの操作に対応するカメラ設定の変更内容を示す制御信号を生成し、その制御信号を直接又はロボットカメラ１０の制御デバイス１５を介して、メインカメラ１１へと伝送する。その制御信号を受信したメインカメラ１１は、受信した制御信号に従ってカメラ設定（例えば、焦点距離、フォーカス位置）を変更する。Ｓ１１７の処理が完了すると、処理はＳ１１１へと進む。
(S116, S117) When the objects in the operation areas C1 and C2 are operated, the
（Ｓ１１８、Ｓ１１９）操作領域Ａ１、Ａ２、Ａ３のオブジェクトが操作されると、アーム制御部２１２は、オブジェクトの操作に応じたメインカメラ１１の位置又は向きを特定し、メインカメラ１１の位置又は向きに対応するロボットアーム１３の制御内容を決定する。そして、アーム制御部２１２は、決定した制御内容を示す制御信号を生成する。
(S118, S119) When the objects in the operation areas A1, A2, and A3 are operated, the
例えば、メインカメラ１１をパン又はチルトする制御（パンチルト制御）についての操作が行われると、アーム制御部２１２は、操作内容に基づいてロボットアーム１３の関節部を動かすモータの回転角を求め、求めた回転角のセットを示す制御信号を生成する。
For example, when an operation for controlling panning or tilting the main camera 11 (pan / tilt control) is performed, the
また、メインカメラ１１の位置を上下左右に移動する制御（本体制御）についての操作が行われると、アーム制御部２１２は、移動後の位置に基づいて、ロボットアーム１３の関節部を動かすモータの回転角を求め、求めた回転角のセットを示す制御信号を生成する。
Further, when an operation for controlling the position of the
上記のようにしてアーム制御部２１２により生成された制御信号は、ロボットカメラ１０の制御デバイス１５へと伝送される。その制御信号を受信した制御デバイス１５は、受信した制御信号に従ってロボットアーム１３の関節部を動かすモータの回転角を制御してメインカメラ１１の位置又は向きを変更する。Ｓ１１９の処理が完了すると、処理はＳ１２０へと進む。
The control signal generated by the
（Ｓ１２０）全方位映像処理部２１５は、メインカメラ１１の高さＨ及びチルト角λTに基づいて、視界映像の生成に利用する視線方向を補正する。
(S120) The omnidirectional
実際にカメラを操作して撮影を行うカメラマンは、カメラをチルトさせた場合でも、自らの視線をチルト角の分だけ傾けて固定することは多くないだろう。通常、カメラマンは、ある程度、撮影姿勢を維持した状態でファインダやカメラ周囲の環境を見ている。そのため、メインカメラ１１のチルトに追従して視界カメラ１２の姿勢が変わると、視界カメラ１２の正面方向とカメラマン目線との間にズレが生じて違和感の原因になりうる。
Photographers who actually operate the camera to shoot will not often fix their line of sight by tilting it by the tilt angle, even if the camera is tilted. Normally, the photographer looks at the finder and the environment around the camera while maintaining the shooting posture to some extent. Therefore, if the posture of the
上記の違和感を取り除くために、全方位映像処理部２１５は、視線検知デバイス２２２により検知された視線方向をチルト角λTの分だけ逆方向に補正する（以下、水平補正）。つまり、全方位映像処理部２１５は、チルトを戻す方向に視線方向を角度−λTだけ傾けて視線方向を水平面内に維持する（図２２の視線方向Ｅ2を参照）。図２２は、第１実施形態に係る視線補正の方法について説明するための説明図である。これにより、オペレータＯＰが感じる違和感の低減が期待される。
In order to remove the above-mentioned discomfort, the omnidirectional
ロボットカメラ１０では、メインカメラ１１の位置がオペレータＯＰの頭部より高い位置にセットされる場合がある。例えば、スタジオの天井に近い位置から俯瞰的な映像を撮影したい場合、アーム部の長さが長いロボットアーム１３や、アーム部の数が多いロボットアーム１３を搭載するロボットカメラ１０を利用するケースが想定されうる。メインカメラ１１の位置がスタジオの天井付近にあるときに上記の水平補正を適用すると、オペレータＯＰがかなり下を向かないと、天井付近の構造物ばかりが見えることになる。
In the
そのため、全方位映像処理部２１５は、メインカメラ１１の高さＨが所定の閾値（Ｈth）より大きい場合に視線方向を下方に傾ける（以下、下向き補正）。閾値Ｈthは、例えば、オペレータＯＰが直立したときの目の高さに設定されてもよく、オペレータＯＰにより事前に設定されてもよいし、予め制御コンピュータ２１に登録された値（例えば、平均身長に基づく目の高さなど）が利用されてもよい。
Therefore, the omnidirectional
メインカメラ１１の高さＨは、ロボットカメラ１０が載置される床面からメインカメラ１１までの距離を評価するためのパラメータである。例えば、高さＨは、床面からメインカメラ１１の中心までの距離（カメラ基準の距離）であってもよいし、床面からロボットアーム１３の関節部１３ａまでの距離（アーム基準の距離）であってもよい。以下の説明では、アーム基準の距離を採用する場合（図２２の場合）を例に説明を進める。
The height H of the
全方位映像処理部２１５は、高さＨと閾値Ｈthとの差に応じて補正角λMを制御する。例えば、補正角λMは、下記の式（２）により与えられる。但し、αは比例係数であり、実験やシミュレーションの結果に基づいて事前に設定される。全方位映像処理部２１５は、例えば、高さＨが閾値Ｈth未満の場合に補正角λMを０に維持し、高さＨが閾値Ｈth以上の場合に補正角λMを下記の式（２）に基づいて決定する。
The omnidirectional
λM＝α×｜Ｈ−Ｈth｜ …（２） λ M = α × | H-H th | ... (2)
Ｓ１２０の処理が完了すると、処理はＳ１１１へと進む。なお、上記の水平補正及び下向き補正に関するＳ１２０の処理は省略されてもよい。この場合、カメラマンがメインカメラ１１の向きに追従して視線を向けている状態での視界映像が提供される。
When the processing of S120 is completed, the processing proceeds to S111. The processing of S120 regarding the above horizontal correction and downward correction may be omitted. In this case, a field of view image is provided in a state where the cameraman follows the direction of the
（視界映像の生成方法）
次に、図２３を参照しながら、上記の水平補正及び下向き補正を含む視界映像の生成方法における処理の流れについて説明する。図２３は、第１実施形態に係る視界映像の生成方法における処理の流れについて説明するためのフロー図である。
(How to generate a visual field image)
Next, with reference to FIG. 23, the flow of processing in the method of generating a visual field image including the above horizontal correction and downward correction will be described. FIG. 23 is a flow chart for explaining the flow of processing in the method of generating the visual field image according to the first embodiment.
（Ｓ１３１）全方位映像処理部２１５は、現在のチルト角λTを取得する。
(S131) The omnidirectional
例えば、操作デバイス２３によりメインカメラ１１をチルトさせる操作（操作領域Ａ２に対する操作）が行われたとき、チルト角λTの情報が操作デバイス２３から全方位映像処理部２１５に入力されてもよい。この場合、全方位映像処理部２１５は、チルト角λTの情報をメモリ２１ｂに保持し、操作デバイス２３から入力されるチルト角λTにより、保持しているチルト角λTの情報を更新する。これにより、全方位映像処理部２１５は、現在のチルト角λTをメモリ２１ｂから取得することができる。
For example, when the
変形例として、操作デバイス２３がチルト角λTの情報を保持している場合、全方位映像処理部２１５は、操作デバイス２３から、現在のチルト角λTを取得してもよい。また、アーム制御部２１２が操作デバイス２３から得たチルト角λTの情報をメモリ２１ｂに格納し、全方位映像処理部２１５がメモリ２１ｂからチルト角λTの情報を読み出すように変形してもよい。
As a modification, when the operating
（Ｓ１３２）全方位映像処理部２１５は、取得した現在のチルト角λTに基づいて水平補正（図２２の視線方向Ｅ2を参照）を実施する。例えば、図２０に示したように正面をＹ軸、オペレータＯＰの頭頂方向をＺ軸に設定したとき、水平補正は、Ｘ軸を回転軸として回転角−λTだけＹ−Ｚ平面を回転させる補正に相当する。
(S132) The omnidirectional
（Ｓ１３３）全方位映像処理部２１５は、メインカメラ１１の高さＨ（この例ではアーム基準の距離）と閾値Ｈthとを比較する。そして、全方位映像処理部２１５は、高さＨが閾値Ｈth以上であるか否かを判定する。高さＨが閾値Ｈth以上である場合、処理はＳ１３４へと進む。一方、高さＨが閾値Ｈth未満である場合、処理はＳ１３６へと進む。
(S133) The omnidirectional
（Ｓ１３４、Ｓ１３５）全方位映像処理部２１５は、高さＨと閾値Ｈthとの差に基づいて補正角λMを計算する。例えば、全方位映像処理部２１５は、上記の式（２）に基づいて補正角λMを計算する。また、全方位映像処理部２１５は、補正角λMに基づいて下向き補正（図２２の視線方向Ｅ1を参照）を実施する。図２０の設定に従うと、下向き補正は、Ｘ軸を回転軸として補正角λMだけＹ−Ｚ平面を回転させる補正に相当する。
(S134, S135) The omnidirectional
（Ｓ１３６）全方位映像処理部２１５は、視線方向の視界範囲３１を全方位映像ＶＥから切り出し、切り出した映像を視界映像として出力する。上記の水平補正、或いは、上記の水平補正及び下向き補正により正面（図２０のＹ軸方向）が変更されている場合、変更後のＹ軸を基準とするＸＹＺ空間に対して、視線検知デバイス２２２から出力される視線方向が適用され、その視線方向を基準に視界映像が切り出される。その結果、上記の補正が適用された視界映像が得られる。
(S136) The omnidirectional
Ｓ１３６の処理が完了すると、図２３に示した一連の処理は終了する。 When the process of S136 is completed, the series of processes shown in FIG. 23 is completed.
［１−５．その他］
上記の説明では、ＨＭＤ２２に視線検知デバイス２２２を搭載する方法を示したが、オペレータＯＰの視線方向を検知するデバイスをＨＭＤ２２の外部に設けてもよい。例えば、オペレータＯＰの頭部を撮影する撮像デバイスを設け、その撮像デバイスから出力される映像を解析してオペレータＯＰの視線方向を検知してもよい。映像の解析には、任意の物体認識技術及び視線トラッキング技術が適用されてもよい。
[1-5. Others]
In the above description, the method of mounting the line-of-
また、上記の説明では、視界カメラ１２をメインカメラ１１又はロボットアーム１３に設置する方法を示したが、カメラマンが見るであろうスタジオ内の所定領域（例えば、ロボットカメラ１０の周囲）又はスタジオ全域を撮影する複数台の撮像デバイスをスタジオ内に設置し、全方位映像ＶＥに相当する映像群を全方位映像ＶＥの代わりに取得するように変形してもよい。この場合、全方位映像処理部２１５は、スタジオ内の撮像デバイスから出力される映像群の中から、オペレータＯＰの視線方向を基準に視界範囲の映像（視界映像）を切り出す。
Further, in the above description, the method of installing the
また、上記の説明では、ＨＭＤ２２を利用する方法を示したが、映像表示デバイス２２１、及び視線検知デバイス２２２をＨＭＤ２２以外のデバイスで実装してもよい。例えば、映像表示デバイス２２１をディスプレイ装置、視線検知デバイス２２２をウェアラブルデバイスのモーションセンサや上記の撮像デバイスで実装してもよい。
Further, in the above description, the method of using the
（ロボットカメラの変形例）
次に、図２４及び図２５を参照しながら、ロボットカメラ１０の変形例について説明する。図２４は、第１実施形態に係るロボットカメラの変形例について説明するための第１の模式図である。図２５は、第１実施形態に係るロボットカメラの変形例について説明するための第２の模式図である。
(Modification example of robot camera)
Next, a modified example of the
上記の説明では、ロボットアーム１３を搭載したロボットカメラ１０について説明してきたが、例えば、チルト機構１３２ａ、パン機構１３２ｂ、及び昇降機構１３２ｃを含む図２４に示すようなペデスタル１３２をロボットカメラ１０に適用してもよい。ペデスタル１３２を適用する場合、チルト機構１３２ａ及びパン機構１３２ｂによりメインカメラ１１のパンチルト制御が行われ、昇降機構１３２ｃによりメインカメラ１１の高さが制御される。なお、ベース１４の動作については上述した通りである。
In the above description, the
また、雲台１３３ａ、アーム１３３ｂ、及びコントローラ１３３ｃを含む図２５に示すようなクレーン１３３をロボットカメラ１０に適用してもよい。クレーン１３３を適用する場合、コントローラ１３３ｃ付近にあるパン棒、及びコントローラ１３３ｃによりリモート制御される雲台１３３ａによりメインカメラ１１のパンチルト制御が行われる。なお、図２５の例では視界カメラ１２がコントローラ１３３ｃに設置されているが、メインカメラ１１、雲台１３３ａ、又はアーム１３３ｂに設置されてもよい。また、ベース１４の動作については上述した通りである。
Further, a
これまで様々な変形例について説明してきたが、それらの変形例についても当然に第１実施形態の技術的範囲に属する。 Although various modifications have been described so far, these modifications also naturally belong to the technical scope of the first embodiment.
＜第２実施形態＞
次に、本開示の第２実施形態について説明する。第２実施形態は、第１実施形態に係るロボットカメラ１０を三次元（３Ｄ）シミュレーションにより再現し、仮想空間内に再現されたロボットカメラ１０相当の機材をコントロールシステム２０で制御するバーチャルカメラワークシステムに関する。
<Second Embodiment>
Next, a second embodiment of the present disclosure will be described. The second embodiment is a virtual camera work system in which the
以下の説明では、重複説明を避けるため、第１実施形態と実質的に同じ機能を有する要素については同じ符号を付することにより詳細な説明を省略する場合がある。 In the following description, in order to avoid duplicate description, detailed description may be omitted by assigning the same reference numerals to elements having substantially the same function as that of the first embodiment.
［２−１．バーチャルカメラワークシステム］
図２６を参照しながら、第２実施形態に係るバーチャルカメラワークシステムについて説明する。図２６は、第２実施形態に係るバーチャルカメラワークシステムに含まれる装置の例について説明するためのブロック図である。
[2-1. Virtual camera work system]
The virtual camera work system according to the second embodiment will be described with reference to FIG. 26. FIG. 26 is a block diagram for explaining an example of the device included in the virtual camera work system according to the second embodiment.
図２６に示すように、第２実施形態に係るバーチャルカメラワークシステムは、３Ｄシミュレータ４０と、コントロールシステム２０とを含む。なお、コントロールシステム２０は、第１実施形態に係るコントロールシステム２０と実質的に同じ機能を有する。また、３Ｄシミュレータ４０と、コントロールシステム２０の制御コンピュータ２１とは同じ１台のコンピュータ又は同じコンピュータシステム（例えば、分散コンピューティングシステム）により実装されうる。
As shown in FIG. 26, the virtual camera work system according to the second embodiment includes a
３Ｄシミュレータ４０は、３Ｄシミュレーションにより、図９に示したようなスタジオ内の環境を仮想空間内に再現し、仮想空間内の３Ｄオブジェクトとして、メインカメラ４１、視界カメラ４２、ロボットアーム４３、及びベース４４を再現する。
The
メインカメラ４１は、第１実施形態に係るメインカメラ１１の構造及び機能を再現した３Ｄオブジェクトである。視界カメラ４２は、第１実施形態に係る視界カメラ１２の構造及び機能を再現した３Ｄオブジェクトである。ロボットアーム４３は、第１実施形態に係るロボットアーム１３の構造及び機能を再現した３Ｄオブジェクトである。ベース４４は、第１実施形態に係るベース１４の構造及び機能を再現した３Ｄオブジェクトである。
The
メインカメラ４１、視界カメラ４２、ロボットアーム４３、及びベース４４の動きは、３Ｄシミュレータ４０を介して制御コンピュータ２１により制御される。３Ｄシミュレータ４０は、３Ｄシミュレーションにより、メインカメラ４１から出力されるメイン映像ＶＭ、及び視界カメラ１２から出力される全方位映像ＶＥを生成し、生成したメイン映像ＶＭ及び全方位映像ＶＥを制御コンピュータ２１へと出力する。
The movements of the
ここで、図２７を参照しながら、制御コンピュータ２１及び３Ｄシミュレータ４０の機能について、さらに説明する。図２７は、第２実施形態に係る制御コンピュータ及び３Ｄシミュレータが有する機能の例について説明するためのブロック図である。
Here, the functions of the
図２７に示すように、３Ｄシミュレータ４０は、視界カメラ再現部４０１、メインカメラ再現部４０２、アーム再現部４０３、ベース再現部４０４、及びスタジオ再現部４０５を有する。なお、視界カメラ再現部４０１、メインカメラ再現部４０２、アーム再現部４０３、ベース再現部４０４、及びスタジオ再現部４０５の機能は、上述したプロセッサ２１ａ及びメモリ２１ｂにより実現可能である。
As shown in FIG. 27, the
視界カメラ再現部４０１は、第１実施形態の視界カメラ１２を再現した視界カメラ４２を仮想空間内に生成し、視界カメラ４２の動作を制御し、視界カメラ４２から出力される全方位映像ＶＥを生成する。メインカメラ再現部４０２は、第１実施形態のメインカメラ１１を再現したメインカメラ４１を仮想空間内に生成し、メインカメラ４１の動作を制御し、メインカメラ４１から出力されるメイン映像ＶＭを生成する。
The field-of-view
アーム再現部４０３は、第１実施形態のロボットアーム１３を再現したロボットアーム４３を仮想空間内に生成し、ロボットアーム４３の動作を制御する。ベース再現部４０４は、第１実施形態のベース１４を再現したベース４４を仮想空間内に生成し、ベース４４の動作を制御する。なお、ロボットアーム４３及びベース４４の動作は、メインカメラ４１の位置及び向きの変化としてシミュレーション結果（メインカメラ再現部４０２で生成されるメイン映像ＶＭ、全方位映像ＶＥ）に反映される。
The
スタジオ再現部４０５は、仮想空間内にスタジオの環境を再現する。例えば、図９に例示したスタジオの環境を再現する場合、スタジオ再現部４０５は、仮想空間内にスタジオセットＳＳ、表示モニタＭ、出演者ｍ１、ｍ２、ｍ３…、ロボットカメラＣＡＭ＃２を再現する。なお、ロボットカメラＣＡＭ＃２への切り替え操作（例えば、図１２の操作領域Ｄ３に対する操作）が行われたとき、視界カメラ再現部４０１、メインカメラ再現部４０２、アーム再現部４０３、ベース再現部４０４、スタジオ再現部４０５がロボットカメラＣＡＭ＃２の動作制御及び出力映像の生成を担当する。
The
制御コンピュータ２１が有するベース制御部２１１、アーム制御部２１２、カメラ制御部２１３、メイン映像処理部２１４、及び全方位映像処理部２１５の機能は、第１実施形態と実質的に同じである。但し、ベース制御部２１１、アーム制御部２１２、カメラ制御部２１３、メイン映像処理部２１４、及び全方位映像処理部２１５は、それぞれ、ベース再現部４０４、アーム再現部４０３、メインカメラ再現部４０２、及び視界カメラ再現部４０１に制御信号を入力する。ＨＭＤ２２及び操作デバイス２３が有する機能も第１実施形態と実質的に同じである。
The functions of the
［２−２．処理フロー］
次に、図２８を参照しながら、バーチャルカメラワークシステムによる処理の流れについて説明する。図２８は、第２実施形態に係るバーチャルカメラワークシステムによる撮影時の処理（映像出力方法）について説明するためのフロー図である。なお、撮影が開始される時点でスタジオ再現部４０５によりスタジオの環境が仮想空間内に再現されていることを前提に説明を進める。
[2-2. Processing flow]
Next, the flow of processing by the virtual camera work system will be described with reference to FIG. 28. FIG. 28 is a flow chart for explaining a process (video output method) at the time of shooting by the virtual camera work system according to the second embodiment. The explanation will proceed on the assumption that the studio environment is reproduced in the virtual space by the
（Ｓ２０１）撮影が開始されると、３Ｄシミュレータ４０が再現するメインカメラ４１からメイン映像ＶＭが出力され、コントロールシステム２０の制御コンピュータ２１に入力される。つまり、メインカメラ再現部４０２によりメイン映像ＶＭが生成され、メインカメラ再現部４０２から制御コンピュータ２１へとメイン映像ＶＭが提供される。これにより、制御コンピュータ２１は、メインカメラ４１からメイン映像ＶＭを取得する。
(S201) When the shooting is started, the main video VM is output from the
（Ｓ２０２）撮影が開始されると、３Ｄシミュレータ４０の視界カメラ４２から全方位映像ＶＥが出力され、コントロールシステム２０の制御コンピュータ２１に入力される。つまり、視界カメラ再現部４０１により全方位映像ＶＥが生成され、視界カメラ再現部４０１から制御コンピュータ２１へと全方位映像ＶＥが提供される。これにより、制御コンピュータ２１は、視界カメラ４２から全方位映像ＶＥを取得する。
(S202) When shooting is started, the omnidirectional video VE is output from the field-of-
Ｓ２０１及びＳ２０２の処理は並行して実行されうる。変形例として、撮影開始前から全方位映像ＶＥが出力され、視界カメラ４２から制御コンピュータ２１へと入力され、ＨＭＤ２２の映像表示デバイス２２１に表示されてもよい。
The processes of S201 and S202 can be executed in parallel. As a modification, the omnidirectional video VE may be output from before the start of shooting, input from the field-of-
（Ｓ２０３、Ｓ２０４）制御コンピュータ２１は、視線検知デバイス２２２から出力される視線情報を取得する。視線情報の取得方法は、図１９のＳ１０３と実質的に同じである。また、制御コンピュータ２１は、全方位映像処理部２１５により、全方位映像ＶＥ及び視線方向に基づいて視界映像を生成する。視界映像の生成方法については、図１９のＳ１０４と実質的に同じである。
(S203, S204) The
（Ｓ２０５、Ｓ２０６）制御コンピュータ２１は、視界映像及びメイン映像ＶＭに基づいて出力映像を生成する。出力映像の生成方法については、図１９のＳ１０５と実質的に同じである。映像表示デバイス２２１は、制御コンピュータ２１から出力された出力映像を画面に表示する。映像表示デバイス２２１による出力映像の表示方法については、図１９のＳ１０６と実質的に同じである。
(S205, S206) The
（Ｓ２０７）オペレータＯＰにより撮影の終了が指示された場合、図２８に示した一連の処理は終了する。一方、撮影が継続される場合、処理はＳ２０１へと進む。なお、図２８に示した一連の処理のうち、Ｓ２０１〜Ｓ３０３の処理は並列に実行されてもよいし、実行の順番が入れ替えられてもよい。 (S207) When the operator OP instructs the end of shooting, the series of processes shown in FIG. 28 ends. On the other hand, if the shooting is continued, the process proceeds to S201. Of the series of processes shown in FIG. 28, the processes S201 to S303 may be executed in parallel, or the order of execution may be changed.
＜応用例：カメラワーク教育への応用＞
次に、上述した第１実施形態に係るリモートカメラシステム、及び第２実施形態に係るバーチャルカメラワークシステムをカメラマン教育に応用する仕組みについて説明する。
<Application example: Application to camera work education>
Next, a mechanism for applying the remote camera system according to the first embodiment and the virtual camera work system according to the second embodiment described above to cameraman education will be described.
上記の通り、第１実施形態に係るリモートカメラシステム及び第２実施形態に係るバーチャルカメラワークシステム（以下、本システム）では、コントロールシステム２０の制御コンピュータ２１により、オペレータＯＰの視線方向に基づいて視界映像が生成される。この視界映像は、撮影時にオペレータＯＰが視線を向けた方向に見える景色を映し出している。
As described above, in the remote camera system according to the first embodiment and the virtual camera work system according to the second embodiment (hereinafter, this system), the
ベテランカメラマンは、撮影対象となる出演者やスタジオセットの位置だけでなく、出演者の表情や動き、場面展開や番組のストーリなどを考慮してカメラワークを決めることができる。そのため、ベテランカメラマンは、撮影時にスタジオ内の様々な場所を見て、刻々と変化する現場の状況を把握している。このような現場の状況把握が好適なカメラワークを実現する上で重要な要素になっていると考えられる。 A veteran photographer can decide the camera work not only by considering the position of the performer and the studio set to be photographed, but also the facial expressions and movements of the performer, the scene development, and the story of the program. Therefore, veteran photographers look at various places in the studio at the time of shooting to grasp the ever-changing situation of the site. It is considered that grasping the situation at the site like this is an important factor in realizing suitable camera work.
しかし、経験が少ないカメラマンに対し、ベテランカメラマンの経験を伝えるのは容易でない。ベテランカメラマンといえども、撮影の最中、無意識に適切な場所へと視線を移している場合が多く、その経験を伝えるのが難しいためである。結局、経験が少ないカメラマンを教育しようとすれば、本番の撮影に起用して経験を積ませることが必要になる。しかし、本システムを応用すれば、ベテランカメラマンが撮影時に見ている光景と、実際に撮影されたメイン映像ＶＭとを見比べてカメラワークを学ぶことができる。 However, it is not easy to convey the experience of a veteran photographer to an inexperienced photographer. This is because even veteran photographers often unknowingly shift their gaze to the appropriate place during shooting, and it is difficult to convey that experience. After all, if you want to educate an inexperienced photographer, you need to use it for actual shooting and gain experience. However, if this system is applied, it is possible to learn camera work by comparing the scene seen by a veteran photographer at the time of shooting with the main video VM actually shot.
例えば、制御コンピュータ２１は、メイン映像ＶＭと視界映像とを対応付けてメモリ２１ｂに保存する。撮影後、制御コンピュータ２１は、再生操作に応じて、メイン映像ＶＭと視界映像とをＨＭＤ２２の映像表示デバイス２２１で再生する。この仕組みにより、撮影時の視線方向と、撮れたメイン映像ＶＭとを撮影後に確認することができる。ベテランカメラマンが撮影したメイン映像ＶＭと視界映像とを保存しておけば、保存映像を他のカメラマンが再生することでベテランカメラマンの視線の動きを学ぶことができる。
For example, the
変形例として、制御コンピュータ２１は、操作デバイス２３に対する操作の内容を示す操作情報を視界映像に対応付けてメモリ２１ｂに保存し、再生時に操作内容を示す情報（例えば、カメラ設定値やチルト角など）を再生画面に表示してもよい。また、制御コンピュータ２１は、操作内容の情報に基づいてスタジオ内のロボットカメラ１０を実際に動かし、或いは、仮想空間内で各３Ｄオブジェクトを動かして撮影時の状況を再現してもよい。これにより、ロボットカメラ１０の操作についての学習も行うことができる。
As a modification, the
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属する。 Although preferred embodiments of the present invention have been described above with reference to the accompanying drawings, the present invention is not limited to such examples. It is clear that a person skilled in the art can come up with various modifications or modifications within the scope of the claims, which naturally belong to the technical scope of the present invention.
１０ ロボットカメラ
１１ メインカメラ
１２ 視界カメラ
１２ａ、１２ｂ、１２ｃ、１２ｄ 接続部
１３ ロボットアーム
１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ 関節部
１４ ベース
１４ａ 車輪部
１５ 制御デバイス
２０ コントロールシステム
２１ 制御コンピュータ
２１１ ベース制御部
２１２ アーム制御部
２１３ カメラ制御部
２１４ メイン映像処理部
２１５ 全方位映像処理部
２２ ＨＭＤ
２２１ 映像表示デバイス
２２１ａ 第１の表示領域
２２１ｂ 第２の表示領域
２２２ 視線検知デバイス
２３ 操作デバイス
３０ 天球面
３１ 視界範囲
３２ 視線
４０ ３Ｄシミュレータ
４０１ 視界カメラ再現部
４０２ メインカメラ再現部
４０３ アーム再現部
４０４ ベース再現部
４０５ スタジオ再現部
４１ メインカメラ
４２ 視界カメラ
４３ ロボットアーム
４４ ベース
Ｎ１、Ｎ２、ＮＷ ネットワーク
ＯＰ オペレータ
ＯＰａ 頭部
ＯＰｂ ボディ
ＶＭ メイン映像
ＶＥ 全方位映像
10
221
Claims (15)
前記ロボットカメラを遠隔操作するオペレータの視線方向を検知する視線検知部と、
前記視線方向及び前記視界カメラの出力映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、前記視界範囲の映像と前記メインカメラの出力映像とを表示装置に出力する映像処理部と
を含む、リモートカメラシステム。 A robot camera having a robot arm, a main camera connected to the robot arm, and a view camera connected to the robot arm or the housing of the main camera to output an omnidirectional image.
A line-of-sight detection unit that detects the line-of-sight direction of an operator who remotely controls the robot camera,
Image processing that generates an image of the field of view corresponding to the operator's field of view based on the line-of-sight direction and the output image of the field of view camera, and outputs the image of the field of view and the output image of the main camera to the display device. Remote camera system, including the department.
請求項１に記載のリモートカメラシステム。 The housing of the main camera is provided with first and second connection portions on which the field of view camera can be installed, and the first connection portion is arranged on the side portion of the main camera and the second connection portion is provided. The remote camera system according to claim 1, wherein the unit is arranged on the back of the main camera.
前記第３の接続部は、前記メインカメラがチルトしても前記視界カメラの水平が維持されるように制御する水平維持機構を有する
請求項１又は２に記載のリモートカメラシステム。 The robot arm is provided with a third connection portion on which the field of view camera can be installed.
The remote camera system according to claim 1 or 2, wherein the third connection portion has a horizontal maintenance mechanism for controlling the horizontality of the field of view camera even when the main camera is tilted.
前記ヘッドマウント型ディスプレイ装置は、前記視線検知部と前記表示装置とを含む
請求項１に記載のリモートカメラシステム。 The remote camera system includes a head-mounted display device mounted on the operator's head.
The remote camera system according to claim 1, wherein the head-mounted display device includes the line-of-sight detection unit and the display device.
請求項４に記載のリモートカメラシステム。 The line-of-sight detection unit detects the movement of the head based on the output of a motion sensor mounted on the head-mounted display device, and determines the line-of-sight direction based on the detected orientation of the head. The remote camera system according to 4.
前記表示装置は、第１の表示領域に前記バーチャルリアリティ映像を表示し、第２の表示領域に前記メインカメラの出力映像を表示する
請求項４又は５に記載のリモートカメラシステム。 The video processing unit converts the video in the field of view into a virtual reality video.
The remote camera system according to claim 4 or 5, wherein the display device displays the virtual reality image in a first display area and displays an output image of the main camera in a second display area.
前記第２の表示領域は、前記第１の表示領域よりサイズが小さく、前記第１の表示領域の中央に重ねて配置される
請求項６に記載のリモートカメラシステム。 The first display area is arranged on the entire screen of the display device.
The remote camera system according to claim 6, wherein the second display area is smaller in size than the first display area and is arranged so as to be overlapped with the center of the first display area.
前記ロボットカメラが配置されるスタジオ内に設置され、前記ロボットカメラの位置から見渡せるスタジオ全体の様子を映像として出力可能な少なくとも１台の視界カメラと、
前記ロボットカメラを遠隔操作するオペレータの視線方向を検知する視線検知部と、
前記視線方向及び前記少なくとも１台の視界カメラの映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、前記視界範囲の映像と前記メインカメラの映像とを表示装置に出力する映像処理部と
を含む、リモートカメラシステム。 A robot camera having a robot arm and a main camera connected to the robot arm, and
At least one field-of-view camera that is installed in the studio where the robot camera is placed and can output the state of the entire studio as seen from the position of the robot camera as an image.
A line-of-sight detection unit that detects the line-of-sight direction of an operator who remotely controls the robot camera,
Based on the line-of-sight direction and the image of the at least one field-of-view camera, an image of the field of view corresponding to the operator's field of view is generated, and the image of the field of view and the image of the main camera are output to the display device. A remote camera system that includes a video processing unit.
請求項１〜８のいずれか１項に記載のリモートカメラシステム。 The control system including the line-of-sight detection unit and the image processing unit is installed at a geographically distant place from the studio where the robot camera is installed, and the control system and the robot camera communicate with each other via a wide area network. The remote camera system according to any one of claims 1 to 8.
前記ロボットカメラを遠隔操作するオペレータの視線方向及び前記視界カメラの出力映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、前記視界範囲の映像と前記メインカメラの出力映像とを表示装置に出力する映像処理部と
を含む、コントロールシステム。 A communication unit that communicates with the robot camera, which has a robot arm, a main camera connected to the robot arm, and a view camera connected to the robot arm or the housing of the main camera to output an omnidirectional image. ,
Based on the line-of-sight direction of the operator who remotely operates the robot camera and the output image of the field-of-view camera, an image of the field of view range corresponding to the field of view of the operator is generated, and the image of the field of view range and the output image of the main camera are used. A control system that includes a video processing unit that outputs to the display device.
前記ロボットカメラを遠隔操作するオペレータの視線方向及び前記視界カメラの出力映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、前記視界範囲の映像と前記メインカメラの出力映像とを表示装置に出力する
処理をコンピュータが実行する、映像出力方法。 Communicates with a robot camera, which has a robot arm, a main camera connected to the robot arm, and a view camera connected to the robot arm or the housing of the main camera to output an omnidirectional image.
Based on the line-of-sight direction of the operator who remotely operates the robot camera and the output image of the field-of-view camera, an image of the field of view corresponding to the operator's field of view is generated, and the image of the field of view and the output image of the main camera are used. A video output method in which the computer executes the process of outputting the image to the display device.
前記ロボットカメラを操作するオペレータの視線方向及び前記視界カメラの出力映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、前記視界範囲の映像と前記メインカメラの出力映像とを表示装置に出力する映像処理部と
を含む、バーチャルカメラワークシステム。 A robot camera having a robot arm, a main camera connected to the robot arm, and a field-of-view camera connected to the robot arm or the housing of the main camera to output an omnidirectional image is reproduced in a virtual space. , A simulator that generates the output image of the main camera and the output image of the field of view camera,
Based on the line-of-sight direction of the operator who operates the robot camera and the output image of the field-of-view camera, an image of the field of view range corresponding to the field of view of the operator is generated, and the image of the field of view range and the output image of the main camera are combined. A virtual camera work system that includes a video processing unit that outputs to the display device.
請求項１２に記載のバーチャルカメラワークシステム。 The video processing unit stores the operation data indicating the operation contents of the operator, the video in the field of view, and the output video of the main camera in association with each other in the storage device, and the video in the field of view and the video in the field of view according to the playback operation. The virtual camera work system according to claim 12, which reproduces the output video of the main camera.
前記ロボットカメラを操作するオペレータの視線方向及び前記視界カメラの出力映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、前記視界範囲の映像と前記メインカメラの出力映像とを表示装置に出力する
処理をコンピュータが実行する、映像出力方法。 A robot camera having a robot arm, a main camera connected to the robot arm, and a field-of-view camera connected to the robot arm or the housing of the main camera to output an omnidirectional image is reproduced in a virtual space. , Execute a simulation to generate the output image of the main camera and the output image of the field of view camera.
Based on the line-of-sight direction of the operator who operates the robot camera and the output image of the field-of-view camera, an image of the field of view corresponding to the operator's field of view is generated, and the image of the field of view and the output image of the main camera are combined. A video output method in which a computer executes the process of outputting to a display device.
前記ロボットカメラを操作するオペレータの視線方向及び前記視界カメラの出力映像に基づいて、前記オペレータの視界に対応する視界範囲の映像を生成し、前記視界範囲の映像と前記メインカメラの出力映像とを表示装置に出力する
処理をコンピュータに実行させる、プログラム。 A robot camera having a robot arm, a main camera connected to the robot arm, and a field-of-view camera connected to the robot arm or the housing of the main camera to output an omnidirectional image is reproduced in a virtual space. , Execute a simulation to generate the output image of the main camera and the output image of the field of view camera.
Based on the line-of-sight direction of the operator who operates the robot camera and the output image of the field-of-view camera, an image of the field of view range corresponding to the field of view of the operator is generated, and the image of the field of view range and the output image of the main camera are combined. A program that causes a computer to perform processing that is output to a display device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019043558A JP7287798B2 (en) | 2019-03-11 | 2019-03-11 | Remote camera system, control system, video output method, virtual camera work system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019043558A JP7287798B2 (en) | 2019-03-11 | 2019-03-11 | Remote camera system, control system, video output method, virtual camera work system, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020150297A true JP2020150297A (en) | 2020-09-17 |
| JP7287798B2 JP7287798B2 (en) | 2023-06-06 |
Family
ID=72429946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019043558A Active JP7287798B2 (en) | 2019-03-11 | 2019-03-11 | Remote camera system, control system, video output method, virtual camera work system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7287798B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022158255A1 (en) * | 2021-01-21 | 2022-07-28 | ソニーグループ株式会社 | Information processing device, movement device, and information processing system |
| WO2024096671A1 (en) * | 2022-11-04 | 2024-05-10 | 삼성전자 주식회사 | Method for acquiring image related to virtual reality content and electronic device supporting same |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004104513A (en) * | 2002-09-10 | 2004-04-02 | Nippon Hoso Kyokai <Nhk> | Method, device and program for remotely operating camera equipped with moving mechanism |
| JP2008099279A (en) * | 2006-10-06 | 2008-04-24 | Vitec Group Plc | Camera control system |
| JP2009010728A (en) * | 2007-06-28 | 2009-01-15 | Olympus Corp | Camera setting support device |
| JP2017063276A (en) * | 2015-09-24 | 2017-03-30 | カシオ計算機株式会社 | Video display device, video display method and program |
| JP2018078422A (en) * | 2016-11-08 | 2018-05-17 | 富士通株式会社 | Imaging apparatus |
| WO2018101227A1 (en) * | 2016-11-29 | 2018-06-07 | シャープ株式会社 | Display control device, head-mounted display, control method for display control device, and control program |
| JP2018169601A (en) * | 2017-03-30 | 2018-11-01 | 株式会社リコー | Cooperation device, imaging system, imaging method, and program |
-
2019
- 2019-03-11 JP JP2019043558A patent/JP7287798B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004104513A (en) * | 2002-09-10 | 2004-04-02 | Nippon Hoso Kyokai <Nhk> | Method, device and program for remotely operating camera equipped with moving mechanism |
| JP2008099279A (en) * | 2006-10-06 | 2008-04-24 | Vitec Group Plc | Camera control system |
| JP2009010728A (en) * | 2007-06-28 | 2009-01-15 | Olympus Corp | Camera setting support device |
| JP2017063276A (en) * | 2015-09-24 | 2017-03-30 | カシオ計算機株式会社 | Video display device, video display method and program |
| JP2018078422A (en) * | 2016-11-08 | 2018-05-17 | 富士通株式会社 | Imaging apparatus |
| WO2018101227A1 (en) * | 2016-11-29 | 2018-06-07 | シャープ株式会社 | Display control device, head-mounted display, control method for display control device, and control program |
| JP2018169601A (en) * | 2017-03-30 | 2018-11-01 | 株式会社リコー | Cooperation device, imaging system, imaging method, and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022158255A1 (en) * | 2021-01-21 | 2022-07-28 | ソニーグループ株式会社 | Information processing device, movement device, and information processing system |
| WO2024096671A1 (en) * | 2022-11-04 | 2024-05-10 | 삼성전자 주식회사 | Method for acquiring image related to virtual reality content and electronic device supporting same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7287798B2 (en) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3379525B1 (en) | Image processing device and image generation method | |
| US9858643B2 (en) | Image generating device, image generating method, and program | |
| WO2018051815A1 (en) | Information processing apparatus and method and program | |
| US20130176403A1 (en) | Heads up display (HUD) sensor system | |
| US20160299569A1 (en) | Autonomous computing and telecommunications head-up displays glasses | |
| WO2018104869A1 (en) | Telepresence system | |
| US7643064B1 (en) | Predictive video device system | |
| WO2013123725A1 (en) | Mobile device | |
| GB2495159A (en) | A head-mounted somatosensory control and display system based on a user's body action | |
| CN106559664A (en) | The filming apparatus and equipment of three-dimensional panoramic image | |
| WO2022262839A1 (en) | Stereoscopic display method and apparatus for live performance, medium, and system | |
| CN108830944B (en) | Optical perspective three-dimensional near-to-eye display system and display method | |
| JP7287798B2 (en) | Remote camera system, control system, video output method, virtual camera work system, and program | |
| CN108989784A (en) | Image display method, device, equipment and the storage medium of virtual reality device | |
| US20220053179A1 (en) | Information processing apparatus, information processing method, and program | |
| WO2018084087A1 (en) | Image display system, image display device, control method therefor, and program | |
| CN108646776B (en) | Imaging system and method based on unmanned aerial vehicle | |
| JP6518645B2 (en) | INFORMATION PROCESSING APPARATUS AND IMAGE GENERATION METHOD | |
| CN110060349B (en) | Method for expanding field angle of augmented reality head-mounted display equipment | |
| EP3654099A2 (en) | Method for projecting immersive audiovisual content | |
| Horan et al. | Feeling your way around a cave-like reconfigurable VR system | |
| JP7203157B2 (en) | Video processing device and program | |
| WO2021200494A1 (en) | Method for changing viewpoint in virtual space | |
| WO2022024412A1 (en) | Information processing device, information processing system, information processing method, and program | |
| CN113614675A (en) | Head-mounted information processing device and head-mounted display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230525 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7287798 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |