JP2007072859A - Apparatus and program for generating cg image - Google Patents

Apparatus and program for generating cg image Download PDF

Info

Publication number
JP2007072859A
JP2007072859A JP2005260615A JP2005260615A JP2007072859A JP 2007072859 A JP2007072859 A JP 2007072859A JP 2005260615 A JP2005260615 A JP 2005260615A JP 2005260615 A JP2005260615 A JP 2005260615A JP 2007072859 A JP2007072859 A JP 2007072859A
Authority
JP
Japan
Prior art keywords
image
control signal
illumination
data
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005260615A
Other languages
Japanese (ja)
Inventor
Takeshi Sasaki
剛 佐々木
Tatsuo Ebisu
達生 戎
Masahiro Iida
正博 飯田
Yoshikazu Tougeda
嘉一 垰田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2005260615A priority Critical patent/JP2007072859A/en
Publication of JP2007072859A publication Critical patent/JP2007072859A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a CG image generator and a CG image generation program, capable of generating a CG image that is to be composited onto a video broadcast on the fly, without taking trouble. <P>SOLUTION: A CG image generator 1 generates CG images, by causing the CG images to change according to at least the change of the degree of illumination in a photography location to which illumination is irradiated. The CG image generator is provided with: a CG data storage means 9 for storing CG data to be used for generating the CG image; an illumination control signal acquisition means 3 for acquiring an illumination control signal: a control signal conversion means 5 for converting the illumination control signal to a CG control signal: and a CG image generation means 7 for generating the CG image. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、撮影した映像に合成するCG画像を生成するCG画像生成装置およびCG画像生成プログラムに関する。   The present invention relates to a CG image generation device and a CG image generation program for generating a CG image to be combined with a captured video.

従来、撮影した映像、すなわち、実写のみを収録した映像に、照明データや各種変化情報(温度変化や風向きの変化等)をもとに作成したCG画像を付加して(CG効果を反映させて)、合成映像を制作するためには、ポスプロ(後処理)で行われていた(例えば、特許文献1参照)。   Conventionally, a CG image created based on illumination data and various types of change information (temperature change, change in wind direction, etc.) is added to a photographed image, that is, an image containing only a live-action image (reflecting the CG effect). In order to produce a composite video, it has been performed by post-processing (post-processing) (see, for example, Patent Document 1).

つまり、従来の合成映像の制作は、実写収録、CG画像作成、合成処理(ポスプロ)の順で行われていた。そして、CG画像作成におけるCG画像(CGオブジェクト)は、実写の映像(光源)の位置に合わせて、手作業で作成しており、合成処理(ポスプロ)において、合成映像化している。
特許第3486575号公報
In other words, the production of a conventional synthesized video is performed in the order of live-action recording, CG image creation, and synthesis processing (post-pro). The CG image (CG object) in the CG image creation is manually created in accordance with the position of the live-action video (light source), and is made into a composite video in the synthesis process (post-production).
Japanese Patent No. 3486575

しかしながら、従来の合成映像の制作では、合成処理において、実写の映像とCG画像との合成で生じる違和感が少なくなるように、合成映像を調整する必要があり、手間がかかると共に、リアルタイムで放送する合成映像に対応することができないという問題がある。なお、実写の映像とCG画像との合成で生じる違和感には、実写の映像(実写部)における影の様子(方向、角度、濃度)とCG画像(CG部)の影の様子(方向、角度、濃度)の違いから発生する違和感や、照明されている物体からの反射光による質感の違い(光の透明具合やテカリ具合)により発生する違和感や、実写の映像で投射される光(照明)の方向性およびCG画像で投射される光(照明)の方向性とは異なっている方向性を有す光によって生じる不一致による違和感や、実写の映像とCG画像との光(照明)の色の不一致による違和感が挙げられる。   However, in the production of conventional synthesized video, it is necessary to adjust the synthesized video so that a sense of incongruity caused by the synthesis of the live-action video and the CG image is reduced in the synthesis process. There is a problem that composite video cannot be supported. It should be noted that the discomfort caused by the synthesis of the live-action video and the CG image is caused by the shadow appearance (direction, angle, density) in the live-action video (real-action portion) and the shadow appearance (direction, angle) in the CG image (CG portion). , Density), discomfort caused by reflected light from illuminated objects (light transparency, shine, etc.), and light projected in live-action images (illumination) And the discomfort caused by the light having the directivity different from the directivity of the light (illumination) projected in the CG image, and the color of the light (illumination) between the real image and the CG image There is a sense of incongruity due to disagreement.

また、従来の合成映像の制作では、照明データを記録しておいて、後に反映させる手段がなかったため、実写の映像を収録する際に、撮影カメラによるドリー若しくはクレーン等を用いた移動ショットが含まれる場合、実写の映像(光源)の方向性や色等の単位時間当たりの変化が激しくなるので、照明データの収集は非常に困難となり、時間を要してしまうという問題がある。この結果、合成処理での作業は、フレーム単位で照明データを収集しながら行うことになり、膨大な時間と労力とを要す作業量が必要になってしまうという問題がある。   In addition, in conventional composite video production, there was no means to record lighting data and reflect it later, so when shooting live-action video, moving shots using a dolly or a crane, etc. by a camera are included. In this case, since the directionality and color of a live-action image (light source) change per unit time, the collection of illumination data becomes very difficult and takes time. As a result, the work in the synthesis process is performed while collecting illumination data in units of frames, and there is a problem that a work amount that requires enormous time and labor is required.

そこで、本発明では、前記した問題を解決し、手間をかけることなく、リアルタイムで放送する映像に合成するCG画像を生成することができるCG画像生成装置およびCG画像生成プログラムを提供することを目的とする。   Therefore, the present invention aims to solve the above-described problems and provide a CG image generation apparatus and a CG image generation program capable of generating a CG image to be synthesized with a video broadcast in real time without taking time and effort. And

前記課題を解決するため、請求項1に記載のCG画像生成装置は、照明が照射される撮影場所における少なくとも照度の変化に伴って、合成させるCG画像を変化させて生成するCG画像生成装置であって、CGデータ蓄積手段と、照明制御信号取得手段と、制御信号変換手段と、CG画像生成手段と、を備える構成とした。   In order to solve the above-mentioned problem, the CG image generation device according to claim 1 is a CG image generation device that generates a CG image to be synthesized by changing at least a change in illuminance at a photographing location where illumination is irradiated. Thus, a configuration is provided that includes CG data storage means, illumination control signal acquisition means, control signal conversion means, and CG image generation means.

かかる構成によれば、CG画像生成装置は、照明制御信号取得手段によって、撮影場所に設置された照明機器の照明状態を示す制御信号を出力する照明制御手段から当該制御信号を取得する。制御信号には、照明機器から照射される照明(光)の色と、照明機器から被照射体への照明方向(方向)と、照明の強さ(明るさ、照度)と、照明機器(灯体)のレンズ機構(アイリス、フォーカス、ズーム)、シャッター、カッターおよびゴボ(種板)の変化速度を制御するもの(速度制御信号)とが挙げられる。つまり、制御信号には、照明(光)による質感と様子(状態)とを制御することが可能な全ての信号の中の少なくとも一つの信号が含まれている。   According to such a configuration, the CG image generation apparatus acquires the control signal from the illumination control unit that outputs the control signal indicating the illumination state of the illumination device installed at the photographing location by the illumination control signal acquisition unit. The control signal includes the color of the illumination (light) emitted from the illumination device, the illumination direction (direction) from the illumination device to the irradiated object, the intensity of the illumination (brightness, illuminance), and the illumination device (light). Body) lens mechanisms (iris, focus, zoom), shutters, cutters, and gobos (seed plates) that control the changing speed (speed control signal). In other words, the control signal includes at least one signal among all signals that can control the texture and state (state) of illumination (light).

続いて、CG画像生成装置は、制御信号変換手段によって、照明制御信号取得手段で取得された制御信号を、任意に変更可能な変換テーブルに基づいて、CG画像を生成する際に参照するCG制御信号に変換する。任意に変更可能な変換テーブルは、制御信号を受け取って、パラメータに基づいた変換出力をCG制御信号として出力する際に用いるものであり、ハードウェアでもソフトウェアでも構成可能である。また、変換テーブルのパラメータは、当該装置の使用者により任意のタイミングで変更可能である。また、CG制御信号のパラメータとしては、位置(Transition:変位)、回転(Rotation)、大きさ(Size)、質感(Material)等が挙げられる。   Subsequently, the CG image generation device refers to the CG control that is referred to when the control signal conversion unit generates the CG image based on the conversion table that can arbitrarily change the control signal acquired by the illumination control signal acquisition unit. Convert to signal. The conversion table that can be arbitrarily changed is used when receiving a control signal and outputting a conversion output based on a parameter as a CG control signal, and can be configured by hardware or software. The parameters of the conversion table can be changed at any timing by the user of the apparatus. The parameters of the CG control signal include position (transition), rotation (rotation), size (size), texture (material), and the like.

そして、CG画像生成装置は、CG画像生成手段によって、制御信号変換手段で変換されたCG制御信号と、CGデータ蓄積手段に蓄積されているCGデータとに基づいて、CG画像を生成する。   The CG image generation device generates a CG image by the CG image generation unit based on the CG control signal converted by the control signal conversion unit and the CG data stored in the CG data storage unit.

請求項2に記載のCG画像生成プログラムは、照明が照射される撮影場所における少なくとも照度の変化に伴って、合成させるCG画像を変化させて生成するために、前記CG画像を生成するためのCGデータを蓄積するCGデータ蓄積手段を備えたコンピュータを、照明制御信号取得手段、制御信号変換手段、CG画像生成手段、として機能させる構成とした。   The CG image generation program according to claim 2, wherein the CG image for generating the CG image is generated in order to change and generate a CG image to be synthesized in accordance with at least a change in illuminance at a photographing location where illumination is irradiated. A computer having CG data storage means for storing data is configured to function as illumination control signal acquisition means, control signal conversion means, and CG image generation means.

かかる構成によれば、CG画像生成プログラムは、照明制御信号取得手段によって、撮影場所に設置された照明機器の照明状態を示す制御信号を出力する照明制御手段から当該制御信号を取得する。続いて、CG画像生成プログラムは、制御信号変換手段によって、照明制御信号取得手段で取得された制御信号を、予め設定した変換テーブルに基づいて、CG画像を生成する際に参照するCG制御信号に変換する。そして、CG画像生成プログラムは、CG画像生成手段によって、制御信号変換手段で変換されたCG制御信号と、CGデータ蓄積手段に蓄積されているCGデータとに基づいて、CG画像を生成する。   According to such a configuration, the CG image generation program acquires the control signal from the illumination control unit that outputs the control signal indicating the illumination state of the illumination device installed at the photographing location by the illumination control signal acquisition unit. Subsequently, the CG image generation program converts the control signal acquired by the illumination control signal acquisition unit by the control signal conversion unit into a CG control signal to be referred to when generating a CG image based on a preset conversion table. Convert. The CG image generation program generates a CG image by the CG image generation unit based on the CG control signal converted by the control signal conversion unit and the CG data stored in the CG data storage unit.

請求項3に記載のCG画像生成装置は、センサで得られたセンサデータから撮影している現実空間の状態を、仮想空間内のCG画像に反映させて生成するCG画像生成装置であって、CGデータ蓄積手段と、センサデータ取得手段と、データ変換手段と、CG画像生成手段と、を備える構成とした。   The CG image generation device according to claim 3 is a CG image generation device that generates a state in which a real space imaged from sensor data obtained by a sensor is reflected in a CG image in a virtual space, CG data storage means, sensor data acquisition means, data conversion means, and CG image generation means are provided.

かかる構成によれば、CG画像生成装置は、センサデータ取得手段によって、センサデータを取得し、データ変換手段によって、取得したセンサデータを、予め設定した変換テーブルに基づいて、CG画像を生成する際に参照するCG制御信号に変換する。センサとしては、圧力、温度、臭いセンサ等が挙げられる。そして、CG画像生成装置は、CG画像生成手段によって、データ変換手段で変換されたCG制御信号と、CGデータ蓄積手段に蓄積されているCGデータとに基づいて、CG画像を生成する。   According to this configuration, the CG image generation device acquires sensor data by the sensor data acquisition unit, and generates a CG image from the sensor data acquired by the data conversion unit based on a preset conversion table. To a CG control signal to be referred to. Examples of sensors include pressure, temperature, odor sensors, and the like. The CG image generation device generates a CG image by the CG image generation unit based on the CG control signal converted by the data conversion unit and the CG data stored in the CG data storage unit.

請求項4に記載のCG画像生成プログラムは、センサで得られたセンサデータから撮影している現実空間の状態を、仮想空間内のCG画像に反映させて生成するために、前記CG画像を描画するためのCGデータを蓄積するCGデータ蓄積手段を備えたコンピュータを、センサデータ取得手段、データ変換手段、CG画像生成手段、として機能させる構成とした。   The CG image generation program according to claim 4 draws the CG image so as to reflect the state of the real space captured from the sensor data obtained by the sensor in the CG image in the virtual space. The computer provided with CG data storage means for storing CG data for functioning is configured to function as sensor data acquisition means, data conversion means, and CG image generation means.

かかる構成によれば、CG画像生成プログラムは、センサデータ取得手段によって、センサデータを取得し、データ変換手段によって、取得したセンサデータを、予め設定した変換テーブルに基づいて、CG画像を生成する際に参照するCG制御信号に変換する。そして、CG画像生成プログラムは、CG画像生成手段によって、データ変換手段で変換されたCG制御信号と、CGデータ蓄積手段に蓄積されているCGデータとに基づいて、CG画像を生成する。   According to this configuration, the CG image generation program acquires sensor data by the sensor data acquisition unit, and generates a CG image from the sensor data acquired by the data conversion unit based on a preset conversion table. To a CG control signal to be referred to. The CG image generation program generates a CG image based on the CG control signal converted by the data conversion unit and the CG data stored in the CG data storage unit by the CG image generation unit.

請求項1または請求項2に記載の発明によれば、照明機器の照明状態を制御する照明制御信号を取得し、取得された照明制御信号を、任意に変更可能な変換テーブルに基づいて、CG画像を生成する際に参照するCG制御信号に変換する。そして、このCG制御信号をCG画像を生成する際に用いることで、手間をかけることなく、撮影している映像の照明状態に対応したCG画像を得ることができる。   According to the first or second aspect of the present invention, it is possible to obtain an illumination control signal for controlling the illumination state of the illumination device, and to obtain the illumination control signal based on a conversion table that can be arbitrarily changed. It is converted into a CG control signal that is referred to when an image is generated. Then, by using this CG control signal when generating a CG image, it is possible to obtain a CG image corresponding to the illumination state of the image being taken without taking time and effort.

請求項3または請求項4に記載の発明によれば、センサデータを取得し、取得したセンサデータを、任意に変更可能な変換テーブルに基づいて、CG画像を生成する際に参照するCG制御信号に変換する。そして、このCG制御信号をCG画像を生成する際に用いることで、手間をかけることなく、撮影している現実空間の映像に対応したCG画像を得ることができる。   According to the invention described in claim 3 or claim 4, the CG control signal that is referred to when the sensor data is acquired and the acquired sensor data is generated based on the conversion table that can be arbitrarily changed is generated. Convert to Then, by using this CG control signal when generating a CG image, it is possible to obtain a CG image corresponding to the image of the real space being photographed without taking time and effort.

次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
〈CG画像生成装置(第一実施形態)の構成〉
図1はCG画像生成装置(第一実施形態)のブロック図である。この図1に示すように、CG画像生成装置1は、撮影している映像とリアルタイムに合成するCG画像を生成するもので、照明制御信号取得手段3と、制御信号変換手段5と、CG画像生成手段7と、CGデータ蓄積手段9とを備えている。また、この映像合成装置1には、撮影場所に設置されている照明機器2を制御する照明制御装置(照明制御手段)4と、撮影カメラ(撮影手段)6と、当該装置1で生成したCG画像と撮影カメラ6で撮影した映像とを合成する映像合成装置8とが接続されている。
Next, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
<Configuration of CG Image Generating Device (First Embodiment)>
FIG. 1 is a block diagram of a CG image generation apparatus (first embodiment). As shown in FIG. 1, the CG image generation device 1 generates a CG image that is synthesized in real time with a captured video, and includes an illumination control signal acquisition unit 3, a control signal conversion unit 5, and a CG image. A generation unit 7 and a CG data storage unit 9 are provided. In addition, the video composition device 1 includes an illumination control device (illumination control means) 4 that controls the illumination device 2 installed at the photographing location, a photographing camera (imaging means) 6, and a CG generated by the device 1. A video synthesizing device 8 that synthesizes the image and the video taken by the photographing camera 6 is connected.

このCG画像生成装置1の構成の説明に先立ち、これら照明機器2、照明制御装置4、撮影カメラ6および映像合成装置8の説明をする。   Prior to the description of the configuration of the CG image generating device 1, the lighting device 2, the lighting control device 4, the photographing camera 6, and the video composition device 8 will be described.

照明機器2は、撮影場所(例えば、スタジオ)の様々な箇所(通常、室内であれば天井、または、出演者の間近)に、複数台設置されおり、照明制御装置4から出力された様々な制御信号(照明制御信号)に基づいて、制御されるものである。この照明機器2には、いろいろな型式、形状、機能が備えられている。   A plurality of lighting devices 2 are installed at various places (usually in the studio, close to the performer or close to the performers) in the shooting place (for example, studio), and various lighting devices 2 output from the lighting control device 4 are provided. It is controlled based on a control signal (illumination control signal). The lighting device 2 has various types, shapes, and functions.

また、この照明機器2は、照明の照度や色の調整が可能に構成されており、型式(動きを遠隔制御できる照明)によっては、照明を照射する方向である照射方向を自在に変更できる可動手段(駆動モータと可動自在の筐体等)を一体的に備えている。なお、ここでいう型式では、大まかな分類として、完全に固定された「動かない照明」(一般照明)と、一定位置に固定されているものの照射方向を所定角度内で変更することができる「動きを遠隔制御できる照明」(または特殊効果機器)いわゆるムービングライトとに分けている。   Further, the illumination device 2 is configured to be able to adjust the illuminance and color of the illumination. Depending on the type (illumination capable of remotely controlling movement), the illumination device 2 can freely change the illumination direction, which is the illumination direction. Means (such as a drive motor and a movable housing) are integrally provided. In the model referred to here, as a rough classification, “fixed illumination” (general illumination) and the illumination direction of a fixed object that can be changed within a predetermined angle can be changed. It is divided into “lights that can remotely control movement” (or special effect devices) and so-called moving lights.

このムービングライトについてふれておくと、ムービングライトは、パン・チルト(方向、動き、速さ)を制御可能なだけではなく、照明、すなわち、光芒の状態(明るさ、色、模様)や、レンズの状態(フォーカス、アイリス、カッター)までも制御(変化)可能なものである。   This moving light is not only capable of controlling pan / tilt (direction, movement, speed), but also lighting, that is, lighting conditions (brightness, color, pattern), lens Even the state (focus, iris, cutter) can be controlled (changed).

また、照明機器2の「動きを遠隔制御できる照明」として、例えば、ミラーボールであれば、「回転速度」を、スモークマシン(照明機器の特殊な例(スモークで光を遮ることも照明の一態様))であれば、「発生する煙の量」を、ストロボマシンであれば、「発光するタイミング(発光間隔)」を、ムービングプロジェクタであれば、その動作(明るさ、パン、チルト、ズーム、フォーカシング等)を、照明制御信号で変化させることができる。   In addition, as the “illumination capable of remotely controlling the movement” of the lighting device 2, for example, in the case of a mirror ball, the “rotation speed” is set to a smoke machine (a special example of the lighting device (blocking light with smoke is also one of the lighting) Mode)), “smoke amount generated” for strobe machines, “light emission timing (flash interval)” for strobe machines, and operation (brightness, pan, tilt, zoom) for moving projectors. , Focusing, etc.) can be changed by the illumination control signal.

このように、純粋に「照明機器」ではないもの(照明する単機能以上の機能を有するもの)も、「照明制御信号によって制御される機器」であり、ここでは、照明機器の一態様としている。   Thus, what is not purely “lighting equipment” (having a function of more than a single function to illuminate) is also “apparatus controlled by the lighting control signal”, and here is an embodiment of the lighting equipment. .

照明制御装置4は、複数台の照明機器2に様々な制御信号(照明制御信号)を出力することで、当該照明機器2を統括して制御するものである。なお、照明制御装置4には、図示を省略した照明コントローラが接続されており、この照明コントローラによって、照明機器2から照射出力される照明の照度および色が制御されると共に、照射方向が制御される。   The lighting control device 4 controls the lighting device 2 in an integrated manner by outputting various control signals (lighting control signals) to the plurality of lighting devices 2. The illumination controller 4 is connected to an illumination controller (not shown). The illumination controller controls the illuminance and color of the illumination output from the illumination device 2 and the irradiation direction. The

撮影カメラ6は、撮影場所に存在している被写体(出演者、セット等)を撮影するものである。この撮影カメラ6は、放送局等で番組制作に用いられる一般的なもので、パン、チルト、フォーカシング、ズームといった基本的な動作を行うことができる。そして、この撮影カメラ6で撮影された映像と、当該撮影カメラ6による動作を示す動作制御信号とが映像合成装置1に入力される。なお、この撮影カメラ6は、番組制作に携わるスタッフが直接操作するタイプのものであってもいいし、遠隔操作するタイプのもの(ロボットカメラ)であってもよい。また、この撮影カメラ6はハイビジョン用のものであってもいいし、従来のデジタル放送用若しくはアナログ放送用のものであってもよい。   The photographing camera 6 photographs a subject (performer, set, etc.) existing at the photographing location. The photographing camera 6 is a general camera used for program production at a broadcasting station or the like, and can perform basic operations such as panning, tilting, focusing, and zooming. Then, an image captured by the imaging camera 6 and an operation control signal indicating an operation by the imaging camera 6 are input to the image synthesis apparatus 1. The photographing camera 6 may be of a type that is directly operated by a staff member engaged in program production, or of a type that is remotely operated (robot camera). In addition, the photographing camera 6 may be for high-definition, or may be for conventional digital broadcasting or analog broadcasting.

映像合成装置8は、撮影カメラ6で撮影された映像と、CG画像生成装置1のCG画像生成手段7(後記する)で生成されたCG画像とを合成して、合成映像として出力するものである。この映像合成装置8から出力された合成映像は、図示を省略した放送設備に伝送され、リアルタイムに放送される。つまり、映像合成装置8は、従来の映像合成装置では実現できなかった撮影場所の照明に対応したCG画像を実時間で合成すること、すなわち、CG画像を、リアルタイム連動の映像効果として活用することが可能になる。   The video synthesizing device 8 synthesizes the video shot by the camera 6 and the CG image generated by the CG image generating means 7 (described later) of the CG image generating device 1 and outputs the synthesized video. is there. The synthesized video output from the video synthesizer 8 is transmitted to a broadcasting facility (not shown) and broadcast in real time. That is, the video synthesizer 8 synthesizes a CG image corresponding to the illumination at the shooting location that could not be realized by the conventional video synthesizer in real time, that is, uses the CG image as a real-time-linked video effect. Is possible.

これより、CG画像生成装置1の各構成について説明する。
照明制御信号取得手段3は、照明制御装置4から出力される照明制御信号を取得するものである。この照明制御信号取得手段3が取得する照明制御信号には、照明の照度を上昇下降させるもの、照明の色を変化させるもの、照明方向を変更するもの等が含まれている。CG画像生成装置1は、この照明制御信号により、撮影場所における照明条件(照明状況)を掌握することとなり、CG画像生成手段7で生成するCG画像に反映させる。
From here, each structure of the CG image generation apparatus 1 is demonstrated.
The illumination control signal acquisition unit 3 acquires an illumination control signal output from the illumination control device 4. The illumination control signal acquired by the illumination control signal acquisition means 3 includes those that increase or decrease the illumination intensity, those that change the color of the illumination, and those that change the illumination direction. The CG image generation apparatus 1 grasps the illumination condition (illumination state) at the shooting location by this illumination control signal, and reflects it in the CG image generated by the CG image generation means 7.

また、この照明制御信号取得手段3は、照明機器2から出力されたフィードバック信号を取得するものである。このフィードバック信号は、照明機器2が「動きを遠隔制御できる照明」である場合に、照明制御装置4から出力された照明制御信号により当該照明機器2が制御され、実際に当該照明機器2が動作した結果、何らかのずれ(位置や方向のずれ)が生じた場合に、このずれをリアルタイムに検出可能にするためのものである。つまり、フィードバック信号は、照明機器2が移動した場合の実際の移動量、位置座標、照射方向等を示すものである。   The illumination control signal acquisition unit 3 acquires a feedback signal output from the illumination device 2. When the lighting device 2 is “lighting whose movement can be remotely controlled”, the lighting device 2 is controlled by the lighting control signal output from the lighting control device 4 and the lighting device 2 actually operates. As a result, when some deviation (position or direction deviation) occurs, this deviation can be detected in real time. That is, the feedback signal indicates an actual movement amount, position coordinates, irradiation direction, and the like when the lighting device 2 moves.

制御信号変換手段5は、照明制御信号取得手段3で取得された照明制御信号およびフィードバック信号を、任意に変更可能な変換テーブル5aに基づいて、CG画像を生成する際に参照するCG制御信号に変換するものである。   The control signal conversion unit 5 converts the illumination control signal and feedback signal acquired by the illumination control signal acquisition unit 3 into a CG control signal to be referred to when generating a CG image based on a conversion table 5a that can be arbitrarily changed. To convert.

この任意に変更可能な変換テーブル5aは、照明制御信号およびフィードバック信号とCG制御信号とを対応付けたもので、接続される照明機器2の機能によって、当該装置1の使用者が設定するものであり、撮影カメラ6で撮影場所を撮影している間、固定したパラメータとして設定することも可能であるし、時間経過に伴ってまたは任意のタイミングで当該パラメータが変化するように設定することも可能なものである。   This arbitrarily changeable conversion table 5a associates the illumination control signal, the feedback signal, and the CG control signal, and is set by the user of the apparatus 1 according to the function of the connected lighting device 2. Yes, it can be set as a fixed parameter while shooting the shooting location with the shooting camera 6, or can be set so that the parameter changes as time passes or at an arbitrary timing. It is a thing.

例えば、照明機器2がムービングライトである場合、変換テーブル5aには、ムービングライトの動きによって、CGの位置が変化するパラメータが設定されている。また、変換テーブル5aには、ムービングライトが動く速度に応じて、CGの色が変化するパラメータが設定されている。これについて例示すると、照明機器2の速度が所定速度よりも速い場合には、CG画像を赤っぽく(赤みがけて)生成し、照明機器2の速度が所定速度よりも遅い場合には、CG画像を青っぽく(青みがけて)生成する。   For example, when the lighting device 2 is a moving light, the conversion table 5a is set with a parameter that changes the position of the CG according to the movement of the moving light. In the conversion table 5a, a parameter for changing the color of the CG according to the moving speed of the moving light is set. For example, when the speed of the lighting device 2 is higher than the predetermined speed, a CG image is generated in red (reddish), and when the speed of the lighting device 2 is lower than the predetermined speed, the CG image is generated. Produce an image that is bluish (bluish).

また、例えば、変換テーブル5aには、照度の下降とアニメーション(連続するCG画像)の合成開始とが対応付けられているアニメーションキューや、照明の色の変化とCG画像の色の変化とが対応付けられているもの、照明方向の位置の変更とCG画像の表示位置の変更とが対応付けられているもの、照明方向の角度の変更とCG画像の表示角度の変更とが対応付けられているもの等が含まれている。   In addition, for example, the conversion table 5a corresponds to an animation queue in which a decrease in illuminance is associated with the start of synthesis of animation (continuous CG images), a change in illumination color, and a change in CG image color. Attached, a change in the position in the illumination direction and a change in the display position of the CG image are associated, and a change in the angle in the illumination direction and a change in the display angle of the CG image are associated with each other. Things are included.

CG制御信号は、CG画像の位置(Transition)、回転(Rotation)、大きさ(Size)、質感(Material)等を制御するものである。ちなみに、CG画像の質感に関しては、当該装置1に実装するCG描画システムに依存している。
例えば、Viz(商品名)の場合、“アンビエント”、“スペキュラ”、“エミッション”、“ディフージョン”、“アルファ”の5つの質感を設定することができる。
The CG control signal controls the position (Transition), rotation (Rotation), size (Size), and texture (Material) of the CG image. Incidentally, the texture of the CG image depends on the CG drawing system mounted on the apparatus 1.
For example, in the case of Viz (product name), five textures of “Ambient”, “Specular”, “Emission”, “Diffusion”, and “Alpha” can be set.

CG画像生成手段7は、制御信号変換手段5から出力されたCG制御信号と、撮影カメラ6から出力された動作制御信号(カメラパラメータ)と、CGデータ蓄積手段9に蓄積されているCGデータとに基づいて、CG画像を生成するものである。つまり、このCG画像生成手段7は、CG制御信号により、刻々と変化する撮影場所の照明状況を、生成するCG画像に反映させ、動作制御信号により、撮影カメラ6の動作(パン、チルト、フォーカシング、ズーム)を、生成するCG画像に反映させる。   The CG image generation unit 7 includes a CG control signal output from the control signal conversion unit 5, an operation control signal (camera parameter) output from the photographing camera 6, and CG data stored in the CG data storage unit 9. Based on the above, a CG image is generated. In other words, the CG image generation means 7 reflects the lighting situation of the shooting location that changes every moment by the CG control signal in the generated CG image, and the operation (pan, tilt, focusing) of the shooting camera 6 by the operation control signal. , Zoom) is reflected in the generated CG image.

また、このCG画像生成手段7は、CG制御信号に基づいて、生成するCG画像、つまり、CGオブジェクトについて、その形状・方向・色・質感等を変化させたり、アニメーションとして再生することも可能である。すなわち、このCG画像生成手段7で生成されるCG画像は、視聴者に様々な映像効果を与えるものである。そして、このCG画像生成手段7で生成されたCG画像は、映像合成装置8に出力される。   Further, the CG image generation means 7 can change the shape, direction, color, texture, etc. of the CG image to be generated, that is, the CG object based on the CG control signal, or reproduce it as an animation. is there. That is, the CG image generated by the CG image generating means 7 gives various video effects to the viewer. The CG image generated by the CG image generation means 7 is output to the video composition device 8.

CGデータ蓄積手段9は、CG画像を生成するためのCGデータを蓄積しているもので、一般的なハードディスク等によって構成されている。CGデータとしては、例えば、出演者と共演するキャラクター等が挙げられる。   The CG data storage means 9 stores CG data for generating a CG image, and is constituted by a general hard disk or the like. As CG data, for example, a character co-starring with a performer can be cited.

このCG画像生成装置1によれば、照明制御信号取得手段3によって、照明機器2の照明状態を制御する照明制御信号を取得し、取得された照明制御信号を、制御信号変換手段5の変換テーブル5aに基づいて、CG画像を生成する際に参照するCG制御信号に変換する。そして、このCG制御信号をCG画像生成手段7によりCG画像を生成する際に用いることで、手間をかけることなく、撮影している映像の照明状態に対応したCG画像を得ることができる。   According to the CG image generation device 1, the illumination control signal acquisition unit 3 acquires an illumination control signal for controlling the illumination state of the lighting device 2, and the acquired illumination control signal is converted into a conversion table of the control signal conversion unit 5. Based on 5a, it converts into the CG control signal referred when producing | generating a CG image. Then, by using this CG control signal when the CG image generating means 7 generates a CG image, it is possible to obtain a CG image corresponding to the illumination state of the image being taken without taking time and effort.

〈CG画像生成装置(第一実施形態)の動作〉
次に、図3に示すフローチャートを参照して、CG画像生成装置1の動作について説明する(適宜、図1参照)。
まず、CG画像生成装置1は、照明制御信号取得手段3によって、照明制御装置4から照明制御信号を取得する(ステップS1)。続いて、CG画像生成装置1は、制御信号換手段5によって、照明制御信号をCG制御信号に変換する(ステップS2)。
<Operation of CG Image Generating Device (First Embodiment)>
Next, the operation of the CG image generation apparatus 1 will be described with reference to the flowchart shown in FIG. 3 (see FIG. 1 as appropriate).
First, the CG image generation device 1 acquires an illumination control signal from the illumination control device 4 by the illumination control signal acquisition unit 3 (step S1). Subsequently, the CG image generating apparatus 1 converts the illumination control signal into a CG control signal by the control signal converting unit 5 (step S2).

そして、CG画像生成装置1は、CG画像生成手段7によって、制御信号変換手段5から入力されたCG制御信号と、撮影カメラ6から入力された動作制御信号と、CGデータ蓄積手段9から入力されたCGデータとに基づいて、CG画像を生成する(ステップS3)。その後、CG画像生成装置1は、生成したCG画像を映像合成装置8に出力し、この映像合成装置8は、撮影カメラ6から入力された映像と、CG画像生成装置1のCG画像生成手段7で生成されたCG画像とを合成し、この合成した合成映像を出力する。   The CG image generation apparatus 1 receives the CG control signal input from the control signal conversion unit 5, the operation control signal input from the photographing camera 6, and the CG data storage unit 9 by the CG image generation unit 7. A CG image is generated based on the CG data (step S3). Thereafter, the CG image generation device 1 outputs the generated CG image to the video composition device 8, and the video composition device 8 uses the video input from the photographing camera 6 and the CG image generation means 7 of the CG image generation device 1. Are combined with the CG image generated in step (3), and the combined image is output.

〈CG画像生成装置(第二実施形態)の構成〉
図2はCG画像生成装置(第二実施形態)のブロック図である。この図2に示すように、CG画像生成装置1Aは、撮影している映像とリアルタイムに合成するCG画像を生成するもので、センサデータ取得手段13と、データ変換手段15と、CG画像描画手段(CG画像生成手段)7Aと、CGデータ蓄積手段9とを備えている。なお、この映像合成装置1Aには、撮影カメラ6と、センサ10と、映像合成装置8とが接続されている。また、図1に示したCG画像生成装置1の構成と同様の構成は、同一の符号を付してその説明を省略する。
<Configuration of CG Image Generation Device (Second Embodiment)>
FIG. 2 is a block diagram of the CG image generation apparatus (second embodiment). As shown in FIG. 2, the CG image generation device 1A generates a CG image that is synthesized in real time with the video being shot. The sensor data acquisition means 13, the data conversion means 15, and the CG image drawing means (CG image generation means) 7A and CG data storage means 9 are provided. Note that a photographing camera 6, a sensor 10, and a video composition device 8 are connected to the video composition device 1A. Also, the same configuration as the configuration of the CG image generation apparatus 1 shown in FIG.

センサ10は、撮影カメラ6が撮影している撮影場所(現実空間)の状態を計測(信号化、データ化)するものである。このセンサ10は、圧力センサ(気圧や人間の吸気・呼気を検知してCG画像の変化に利用する)、温度センサ、風力センサ、臭気センサ、加速度センサ(移動する被写体の加速度を測定する。例えば、人間の腕や脚に取り付けて動かした際の最高加速度をCG画像に反映させる)の少なくとも1つから構成されている。   The sensor 10 measures (signals and data) the state of the shooting location (real space) where the shooting camera 6 is shooting. The sensor 10 measures the acceleration of a moving subject, such as a pressure sensor (detects atmospheric pressure or human inspiration / expiration and uses it to change a CG image), temperature sensor, wind sensor, odor sensor, and acceleration sensor. The maximum acceleration when moving by attaching to a human arm or leg is reflected in the CG image).

センサデータ取得手段13は、センサ10でデータ化されたセンサデータを取得するものである。なお、この図2では、センサ10からセンサデータ取得手段13への信号線を1本しか図示していないが、このセンサデータ取得手段13は、センサ10の種類の数に対応した数だけのセンサデータを取得している。   The sensor data acquisition unit 13 acquires sensor data converted into data by the sensor 10. In FIG. 2, only one signal line from the sensor 10 to the sensor data acquisition unit 13 is illustrated. However, the sensor data acquisition unit 13 includes as many sensors as the number of types of sensors 10. Data is being acquired.

データ変換手段15は、センサデータ取得手段13で取得されたセンサデータを、データ変換テーブル15aに基づいて、CG画像を描画する際に参照するCG制御信号に変換するものである。   The data conversion means 15 converts the sensor data acquired by the sensor data acquisition means 13 into a CG control signal to be referred to when drawing a CG image based on the data conversion table 15a.

データ変換テーブル15aは、各種のセンサ10に対応したセンサデータとCG制御信号とが対応付けられているものである。例えば、データ変換テーブル15aには、温度センサ(センサ10)が検出した温度(センサデータ)と、CGキャラクタ(CG画像)の表情の変化とが対応付けられているもの等が含まれている。この場合、データ変換手段15は、温度センサで検出した温度が所定温度よりも高い場合に、CGキャラクタの表情が暑がっているように、CG画像描画手段7Aへ描画指示するCG制御信号に変換することとなる。   In the data conversion table 15a, sensor data corresponding to various sensors 10 and CG control signals are associated with each other. For example, the data conversion table 15a includes a table in which a temperature (sensor data) detected by a temperature sensor (sensor 10) is associated with a change in facial expression of a CG character (CG image). In this case, the data conversion means 15 uses the CG control signal to instruct the CG image drawing means 7A to draw so that the expression of the CG character is hot when the temperature detected by the temperature sensor is higher than the predetermined temperature. Will be converted.

CG画像描画手段7Aは、データ変換手段15で変換されたCG制御信号と、撮影カメラ6から出力された動作制御信号(カメラパラメータ)と、CGデータ蓄積手段9に蓄積されているCGデータとに基づいて、CG画像を描画するものである。つまり、このCG画像描画手段7Aは、CG制御信号により、刻々と変化する現実空間(撮影場所)の様々な変化を、描画するCG画像に反映させ、さらに、動作制御信号により、撮影カメラ6の動作(パン、チルト、フォーカシング、ズーム)を、描画するCG画像に反映させる。   The CG image drawing unit 7A is configured to convert the CG control signal converted by the data conversion unit 15, the operation control signal (camera parameter) output from the photographing camera 6, and the CG data stored in the CG data storage unit 9. Based on this, a CG image is drawn. In other words, the CG image drawing means 7A reflects various changes in the real space (shooting place) that changes every moment according to the CG control signal in the CG image to be drawn. The operations (pan, tilt, focusing, zoom) are reflected on the CG image to be drawn.

なお、このCG画像描画手段7Aは、図1に示したCG画像生成手段7と若干異なり、同時に入力されるCG制御信号が複数の場合(各種のセンサ10から複数のセンサデータ)が想定され、これらCG制御信号の組み合わせによって、出力されるCG画像が多種多様に変化することが可能になる。例えば、センサデータとして、温度と風力とが入力された場合、描画されるCGキャラクタ(人型のCGオブジェクト)の表情(暑がっていたりまたは寒がっていたりする)と、衣服(風力の大きさによってなびく)とに反映させることができる。   The CG image drawing unit 7A is slightly different from the CG image generation unit 7 shown in FIG. 1, and a case where a plurality of CG control signals are input simultaneously (a plurality of sensor data from various sensors 10) is assumed. The combination of these CG control signals makes it possible to change the output CG image in various ways. For example, when temperature and wind power are input as sensor data, a facial expression (hot or cold) of a drawn CG character (human CG object) and clothes (wind power) It can be reflected in the size).

このCG画像生成装置1Aによれば、センサデータ取得手段13によって、センサ10で検出したセンサデータを取得し、取得したセンサデータを、データ変換手段15のデータ変換テーブル15aに基づいて、CG画像を描画する際に参照するCG制御信号に変換する。そして、このCG制御信号をCG画像を描画する際に用いることで、手間をかけることなく、撮影している現実空間の映像に対応したCG画像を得ることができる。   According to this CG image generating apparatus 1A, the sensor data acquisition unit 13 acquires sensor data detected by the sensor 10, and the acquired sensor data is converted into a CG image based on the data conversion table 15a of the data conversion unit 15. It is converted into a CG control signal that is referenced when drawing. Then, by using this CG control signal when drawing a CG image, it is possible to obtain a CG image corresponding to the image of the real space being photographed without taking time and effort.

〈CG画像生成装置(第二実施形態)の動作〉
次に、図4に示すフローチャートを参照して、CG画像生成装置1Aの動作について説明する(適宜、図2参照)。
まず、CG画像生成装置1Aは、センサデータ取得手段13によって、センサ10で検出されたセンサデータを取得する(ステップS11)。続いて、CG画像生成装置1Aは、データ変換手段15によって、センサデータをCG制御信号に変換する(ステップS12)。
<Operation of CG Image Generation Device (Second Embodiment)>
Next, the operation of the CG image generation apparatus 1A will be described with reference to the flowchart shown in FIG. 4 (see FIG. 2 as appropriate).
First, the CG image generation device 1A acquires sensor data detected by the sensor 10 by the sensor data acquisition unit 13 (step S11). Subsequently, the CG image generation apparatus 1A converts the sensor data into a CG control signal by the data conversion unit 15 (step S12).

そして、CG画像生成装置1Aは、CG画像描画手段7Aによって、データ変換手段15から入力されたCG制御信号と、撮影カメラ6から入力された動作制御信号と、CGデータ蓄積手段9から入力されたCGデータとに基づいて、CG画像を描画する(ステップS13)。そしてまた、CG画像生成装置1Aは、CG画像描画手段7Aで描画したCG画像を映像合成装置8に出力し、この映像合成装置8は、撮影カメラ6から入力された映像と、CG画像生成装置1AのCG画像描画手段7Aで生成されたCG画像とを合成し、この合成した合成映像を出力する。   The CG image generation device 1A receives the CG control signal input from the data conversion unit 15, the operation control signal input from the photographing camera 6, and the CG data storage unit 9 by the CG image drawing unit 7A. A CG image is drawn based on the CG data (step S13). Further, the CG image generation device 1A outputs the CG image drawn by the CG image drawing means 7A to the video synthesis device 8, and this video synthesis device 8 includes the video inputted from the photographing camera 6, and the CG image generation device. The CG image generated by the 1A CG image drawing means 7A is synthesized, and this synthesized synthesized video is output.

〈CG画像生成装置の具体例〉
次に、図5を参照して、CG画像生成装置1を組み込んだ具体的例、すなわち、映像合成システムSについて説明する。
この映像合成システムSは、制御信号とエンコーダ情報とによって、照明とCGとを連動させたシステムであり、照明機器2と、照明制御装置4と、2台のムービングライト(照明機器2と照明制御装置4とが一体に構成されたものの一種)と、このムービングライトからのデータを中継するデータ中継器と、データを収集するデータ収集機(照明制御信号取得手段3に該当)と、照明制御装置4に接続されている照明コントローラ(入力手段)と、インターフェイスと、データ変換用PC(制御信号変換手段5に該当)と、ハブと、既存バーチャルスタジオ用PC(CG画像生成手段7、映像合成装置8に該当)と、センサ付カメラ(撮影手段6とセンサ10とに該当)とを備えている。
<Specific Example of CG Image Generation Device>
Next, a specific example in which the CG image generation apparatus 1 is incorporated, that is, the video composition system S will be described with reference to FIG.
This video composition system S is a system in which illumination and CG are linked by a control signal and encoder information. The illumination device 2, the illumination control device 4, and two moving lights (the illumination device 2 and illumination control). A data relay that relays data from the moving light, a data collector that collects data (corresponding to the lighting control signal acquisition means 3), and a lighting control device. 4, an illumination controller (input means), an interface, a data conversion PC (corresponding to the control signal conversion means 5), a hub, and an existing virtual studio PC (CG image generation means 7, video composition device) 8) and a camera with a sensor (corresponding to the photographing means 6 and the sensor 10).

このように、映像合成システムSを構成することで、照明コントローラから出力された制御信号(照明制御信号およびCG制御信号)を反映させたCG画像を、既存バーチャルスタジオ用PCで制作し、センサ付カメラで撮影した映像と合成して出力することができる。   In this way, by configuring the video composition system S, a CG image reflecting the control signals (lighting control signals and CG control signals) output from the lighting controller is produced on the existing virtual studio PC, and with a sensor. Can be combined with the video shot by the camera and output.

なお、照明コントローラと共に、映像操作卓、音声卓、マウス・キーボード、その他のヒューマンインターフェイスを用いることも可能である。また、照明機器2として、空間演出用照明器具、一般家庭用照明器具を用いることも可能である。   In addition to the lighting controller, a video console, a voice console, a mouse / keyboard, and other human interfaces can be used. Further, as the lighting device 2, a space effect lighting device and a general household lighting device can be used.

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、CG画像生成装置1、1Aとして説明したが、これらの装置1、1Aの各構成の処理を実現可能に汎用的または特殊なコンピュータ言語で記述したCG画像生成プログラムとすることも可能である。これらの場合、CG画像生成装置1、1Aと同様の効果を得ることができる。   As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. For example, in the present embodiment, the CG image generation apparatuses 1 and 1A have been described. However, a CG image generation program described in a general-purpose or special computer language is possible so that the processing of each component of the apparatuses 1 and 1A can be realized. It is also possible. In these cases, the same effects as those of the CG image generation apparatuses 1 and 1A can be obtained.

本発明の実施形態に係るCG画像生成装置(第一実施形態)のブロック図である。1 is a block diagram of a CG image generation device (first embodiment) according to an embodiment of the present invention. 本発明の実施形態に係るCG画像生成装置(第二実施形態)のブロック図である。It is a block diagram of a CG image generation device (second embodiment) according to an embodiment of the present invention. 図1に示したCG画像生成装置(第一実施形態)の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the CG image generation apparatus (1st embodiment) shown in FIG. 図2に示したCG画像生成装置(第2実施形態)の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the CG image generation apparatus (2nd Embodiment) shown in FIG. CG画像生成装置を組み込んだ具体例の1つである映像合成システムを示した図である。It is the figure which showed the video composition system which is one of the specific examples incorporating the CG image generation apparatus.

符号の説明Explanation of symbols

1、1A CG画像生成装置
2 照明機器
3 照明制御信号取得手段
4 照明制御装置
5 制御信号変換手段
5a 変換テーブル
6 撮影カメラ
7 CG画像生成手段
7A CG画像描画手段(CG画像生成手段)
8 映像合成装置
9 CGデータ蓄積手段
10 センサ
13 センサデータ取得手段
15 データ変換手段
15a データ変換テーブル
DESCRIPTION OF SYMBOLS 1, 1A CG image generation apparatus 2 Lighting equipment 3 Illumination control signal acquisition means 4 Illumination control apparatus 5 Control signal conversion means 5a Conversion table 6 Shooting camera 7 CG image generation means 7A CG image drawing means (CG image generation means)
8 Video composition device 9 CG data storage means 10 Sensor 13 Sensor data acquisition means 15 Data conversion means 15a Data conversion table

Claims (4)

照明が照射される撮影場所における少なくとも照度の変化に伴って、合成させるCG画像を変化させて生成するCG画像生成装置であって、
前記CG画像を生成するためのCGデータを蓄積するCGデータ蓄積手段と、
前記撮影場所に設置された1つまたは複数の照明機器による照明状態を示す制御信号を出力する照明制御手段から当該制御信号を取得する照明制御信号取得手段と、
この照明制御信号取得手段で取得された制御信号を、複数の前記照明状態と前記CG画像の表示とを任意に変更可能な変換テーブルに基づいて、前記CG画像を生成する際に参照するCG制御信号に変換する制御信号変換手段と、
この制御信号変換手段で変換されたCG制御信号と、前記CGデータ蓄積手段に蓄積されているCGデータとに基づいて、前記CG画像を生成するCG画像生成手段と、
を備えることを特徴とするCG画像生成装置。
A CG image generating device that generates a CG image to be synthesized by changing at least a change in illuminance at a photographing location where illumination is irradiated,
CG data storage means for storing CG data for generating the CG image;
An illumination control signal acquisition means for acquiring the control signal from an illumination control means for outputting a control signal indicating an illumination state by one or a plurality of illumination devices installed in the photographing place;
CG control that is referred to when generating the CG image based on a conversion table that can arbitrarily change a plurality of the illumination states and the display of the CG image, based on the control signal acquired by the illumination control signal acquisition means. Control signal converting means for converting into a signal;
CG image generation means for generating the CG image based on the CG control signal converted by the control signal conversion means and the CG data stored in the CG data storage means;
A CG image generating apparatus comprising:
照明が照射される撮影場所における少なくとも照度の変化に伴って、合成させるCG画像を変化させて生成するために、前記CG画像を生成するためのCGデータを蓄積するCGデータ蓄積手段を備えたコンピュータを、
前記撮影場所に設置された1つまたは複数の照明機器による照明状態を示す制御信号を出力する照明制御手段から当該制御信号を取得する照明制御信号取得手段、
この照明制御信号取得手段で取得された制御信号を、複数の前記照明状態と前記CG画像の表示とを任意に変更可能な変換テーブルに基づいて、前記CG画像を生成する際に参照するCG制御信号に変換する制御信号変換手段、
この制御信号変換手段で変換されたCG制御信号と、前記CGデータ蓄積手段に蓄積されているCGデータとに基づいて、前記CG画像を生成するCG画像生成手段、
として機能させることを特徴とするCG画像生成プログラム。
A computer provided with CG data storage means for storing CG data for generating the CG image in order to change and generate a CG image to be synthesized in accordance with at least a change in illuminance at a photographing location where illumination is irradiated. The
An illumination control signal acquisition means for acquiring the control signal from an illumination control means for outputting a control signal indicating an illumination state by one or a plurality of illumination devices installed at the photographing location;
CG control that is referred to when generating the CG image based on a conversion table that can arbitrarily change a plurality of the illumination states and the display of the CG image, based on the control signal acquired by the illumination control signal acquisition means. Control signal converting means for converting into a signal,
CG image generation means for generating the CG image based on the CG control signal converted by the control signal conversion means and the CG data stored in the CG data storage means,
A CG image generation program that is made to function as
センサで得られたセンサデータから撮影している現実空間の状態を、仮想空間内のCG画像に反映させて生成するCG画像生成装置であって、
前記CG画像を生成するためのCGデータを蓄積するCGデータ蓄積手段と、
前記センサデータを取得するセンサデータ取得手段と、
このセンサデータ取得手段で取得したセンサデータを、任意に変更可能な変換テーブルに基づいて、前記CG画像を生成する際に参照するCG制御信号に変換するデータ変換手段と、
このデータ変換手段で変換されたCG制御信号と、前記CGデータ蓄積手段に蓄積されているCGデータとに基づいて、前記CG画像を生成するCG画像生成手段と、
を備えることを特徴とするCG画像生成装置。
A CG image generation device that generates a state of a physical space that is captured from sensor data obtained by a sensor by reflecting the state in a CG image in a virtual space,
CG data storage means for storing CG data for generating the CG image;
Sensor data acquisition means for acquiring the sensor data;
Data conversion means for converting the sensor data acquired by the sensor data acquisition means into a CG control signal to be referred to when generating the CG image based on a conversion table that can be arbitrarily changed;
CG image generation means for generating the CG image based on the CG control signal converted by the data conversion means and the CG data stored in the CG data storage means;
A CG image generating apparatus comprising:
センサで得られたセンサデータから撮影している現実空間の状態を、仮想空間内のCG画像に反映させて生成するために、前記CG画像を生成するためのCGデータを蓄積するCGデータ蓄積手段を備えたコンピュータを、
前記センサデータを取得するセンサデータ取得手段、
このセンサデータ取得手段で取得したセンサデータを、任意に変更可能な変換テーブルに基づいて、前記CG画像を生成する際に参照するCG制御信号に変換するデータ変換手段、
このデータ変換手段で変換されたCG制御信号と、前記CGデータ蓄積手段に蓄積されているCGデータとに基づいて、前記CG画像を生成するCG画像生成手段、
として機能させることを特徴とするCG画像生成プログラム。
CG data storage means for storing CG data for generating the CG image in order to generate the state of the real space captured from the sensor data obtained by the sensor by reflecting it in the CG image in the virtual space. A computer with
Sensor data acquisition means for acquiring the sensor data;
Data conversion means for converting the sensor data acquired by the sensor data acquisition means into a CG control signal to be referred to when generating the CG image based on a conversion table that can be arbitrarily changed,
CG image generation means for generating the CG image based on the CG control signal converted by the data conversion means and the CG data stored in the CG data storage means,
A CG image generation program that is made to function as
JP2005260615A 2005-09-08 2005-09-08 Apparatus and program for generating cg image Pending JP2007072859A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005260615A JP2007072859A (en) 2005-09-08 2005-09-08 Apparatus and program for generating cg image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005260615A JP2007072859A (en) 2005-09-08 2005-09-08 Apparatus and program for generating cg image

Publications (1)

Publication Number Publication Date
JP2007072859A true JP2007072859A (en) 2007-03-22

Family

ID=37934234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005260615A Pending JP2007072859A (en) 2005-09-08 2005-09-08 Apparatus and program for generating cg image

Country Status (1)

Country Link
JP (1) JP2007072859A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072310A (en) * 2016-10-31 2018-05-10 韓國電子通信研究院Electronics and Telecommunications Research Institute Olfactory information generation device and generation method capable of detecting direction and position of aroma
WO2018155235A1 (en) * 2017-02-24 2018-08-30 ソニー株式会社 Control device, control method, program, and projection system
JP2021508520A (en) * 2017-12-22 2021-03-11 株式会社ソニー・インタラクティブエンタテインメント Dynamic camera positioning using mobile robots, spatial capture by lighting, modeling, and texture reconstruction

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072310A (en) * 2016-10-31 2018-05-10 韓國電子通信研究院Electronics and Telecommunications Research Institute Olfactory information generation device and generation method capable of detecting direction and position of aroma
WO2018155235A1 (en) * 2017-02-24 2018-08-30 ソニー株式会社 Control device, control method, program, and projection system
JP2021508520A (en) * 2017-12-22 2021-03-11 株式会社ソニー・インタラクティブエンタテインメント Dynamic camera positioning using mobile robots, spatial capture by lighting, modeling, and texture reconstruction
JP7184901B2 (en) 2017-12-22 2022-12-06 株式会社ソニー・インタラクティブエンタテインメント Spatial Capture, Modeling, and Texture Reconstruction with Dynamic Camera Positioning and Lighting Using Mobile Robots

Similar Documents

Publication Publication Date Title
CN105072343B (en) A kind of object outward appearance panorama shooting method and portable camera system
US20030202120A1 (en) Virtual lighting system
CN104349020A (en) Virtual camera and real camera switching system and method
JP2000090233A (en) Image processor
CN204859354U (en) Portable shooting system of object outward appearance panorama
WO2009003011A1 (en) Digital image projection system
US20110001935A1 (en) Digital image projection system
JP2008061237A (en) Systems and methods for panoramic image construction using small sensor array
JP4144960B2 (en) Imaging apparatus, image composition apparatus and method
JP2004021388A (en) Image processor and photographing system equipped therewith
JP2009224832A (en) Studio system
JP2002232783A (en) Image processor, method therefor and record medium for program
CN106162024A (en) Photo processing method and device
JP4740969B2 (en) Imaging apparatus and imaging control program
JP2007072859A (en) Apparatus and program for generating cg image
JP2009128386A (en) Projection apparatus, projection method, and program
JP2010183384A (en) Photographic camera learning apparatus and program therefor
JP2008041107A (en) Imaging apparatus and image synthesizer
JP2016015017A (en) Imaging system, light projector and image processing method, beam light control method and program
US20230113256A1 (en) Background display device, camera and method of displaying a representation of a virtual background
JP2011170296A (en) Light projector
JP2012175128A (en) Information processor, and method and program for generating information for setting illumination
JP2000270261A (en) Image pickup device, picture composting method and recording medium
CN116503522A (en) Interactive picture rendering method, device, equipment, storage medium and program product
JP2003107574A (en) Photography system

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061227