JP3122099B2 - Image synthesizing apparatus and image synthesizing method - Google Patents
Image synthesizing apparatus and image synthesizing methodInfo
- Publication number
- JP3122099B2 JP3122099B2 JP01163137A JP16313789A JP3122099B2 JP 3122099 B2 JP3122099 B2 JP 3122099B2 JP 01163137 A JP01163137 A JP 01163137A JP 16313789 A JP16313789 A JP 16313789A JP 3122099 B2 JP3122099 B2 JP 3122099B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- video
- subject
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Circuits (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、映像合成装置及び映像合成方法に関す
る。Description: TECHNICAL FIELD The present invention relates to a video synthesizing apparatus and a video synthesizing method.
この発明は、被写体を撮像して、撮像信号及びレンズ
操作情報を出力する撮像部を備え、その撮像信号を映像
処理して被写体ビデオ信号として出力すると共に、その
映像処理の方法を示す映像処理情報及び撮像部のレンズ
種類情報を出力するビデオカメラと、背景静止画信号を
出力する背景静止画供給手段と、映像処理情報、レンズ
種類情報及びレンズ操作情報に基づいて、被写体ビデオ
信号による被写体映像に対して背景静止画信号による背
景映像を合成することによって生成された合成映像が自
然な映像となるように、背景静止画信号を変化させて、
被写体ビデオ信号及び背景静止画信号を合成する映像合
成手段とを有することにより、ビデオカメラの撮影時の
撮影状態の如何に拘らず、ビデオカメラによって撮影し
た被写体映像と、背景映像との合成映像が、より自然に
近い映像となり、高度の映像合成の可能な映像合成装置
を得るようにしたものである。The present invention includes an image pickup unit that picks up an image of a subject and outputs an image pickup signal and lens operation information. The image pickup signal is image-processed and output as a subject video signal, and image processing information indicating a method of the image processing is provided. A video camera that outputs lens type information of the imaging unit; a background still image supply unit that outputs a background still image signal; and a video image processing information, a lens type information, and a lens operation information. On the other hand, by changing the background still image signal so that the synthesized image generated by synthesizing the background image based on the background still image signal becomes a natural image,
By having the video synthesizing means for synthesizing the subject video signal and the background still image signal, the synthesized video of the subject video captured by the video camera and the background video can be obtained regardless of the shooting state of the video camera at the time of shooting. Thus, an image synthesizing apparatus capable of producing an image that is more natural and capable of synthesizing an advanced image is obtained.
別々の映像を合成する方法として、例えばクロマキー
技法がある。これは、２台のビデオカメラで異なる被写
体を撮影し合成する技法であり、１台のカメラで例えば
主映像となる人物を撮影し、他の１台のカメラで背景を
撮影して、これらを合成するものである。As a method of synthesizing different images, for example, there is a chroma key technique. This is a technique of shooting and combining different subjects with two video cameras. One camera shoots, for example, a person serving as a main image, and the other camera shoots a background, and captures the background. It is to be synthesized.
また、カメラからの主映像と、静止画ファイルやVTR
装置等からの他の映像とを合成するものや、VTR装置等
に記録された映像どうしを合成する装置もある。In addition, the main video from the camera and still image files and VTR
There is a device that combines another image from a device or the like, or a device that combines images recorded on a VTR device or the like.
ところで、従来の映像合成装置においては、合成すべ
き主映像に、パン・チルト等のカメラワークやズーミン
グ、フォーカシング等のレンズ動作が行なわれている
と、合成すべき他の映像とのバランスが取れず、良好な
合成映像を得ることはできない。By the way, in a conventional video synthesizing apparatus, if camera work such as pan / tilt and lens operation such as zooming and focusing are performed on a main video to be synthesized, balance with other video to be synthesized can be obtained. Therefore, a good composite image cannot be obtained.
かかる点に鑑み、この発明は、ビデオカメラの撮影時
の撮影状態の如何に拘らず、ビデオカメラによって撮影
した被写体映像と、背景映像との合成映像が、より自然
に近い映像となり、高度の映像合成の可能な映像合成装
置及び映像合成方法を提案しようとするものである。In view of such a point, the present invention provides an image that is more natural than a composite image of a subject image captured by a video camera and a background image, regardless of the shooting state at the time of shooting by the video camera. An image synthesizing apparatus and an image synthesizing method capable of synthesizing are proposed.
第１の本発明は、被写体を撮像して、撮像信号及びレ
ンズ操作情報を出力する撮像部を備え、その撮像信号を
映像処理して被写体ビデオ信号として出力すると共に、
その映像処理の方法を示す映像処理情報及び撮像部のレ
ンズ種類情報を出力するビデオカメラと、背景静止画信
号を出力する背景静止画供給手段と、映像処理情報、レ
ンズ種類情報及びレンズ操作情報に基づいて、被写体ビ
デオ信号による被写体映像に対して背景静止画信号によ
る背景映像を合成することによって生成された合成映像
が自然な映像となるように、背景静止画信号を変化させ
て、被写体ビデオ信号及び背景静止画信号を合成する映
像合成手段とを有する映像合成装置である。A first aspect of the present invention includes an imaging unit that captures an image of a subject and outputs an imaging signal and lens operation information, performs image processing on the imaging signal, and outputs the processed signal as a subject video signal.
A video camera that outputs video processing information indicating the video processing method and lens type information of the imaging unit, a background still image supply unit that outputs a background still image signal, and video processing information, lens type information, and lens operation information. The background still image signal is changed so that the synthesized image generated by synthesizing the background image based on the background still image signal with the subject image based on the subject video signal becomes a natural image based on the subject video signal. And a video synthesizing means for synthesizing a background still image signal.
第２の本発明は、被写体を撮像して、撮像信号及びレ
ンズ操作情報を出力する撮像部を備え、その撮像信号を
映像処理して被写体ビデオ信号として出力すると共に、
その映像処理の方法を示す映像処理情報及び撮像部のレ
ンズ種類情報を出力するビデオカメラと、撮像部よりの
レンズ操作情報を検出して撮像データとして出力する撮
像データ検出手段と、背景静止画信号を出力する背景静
止画供給手段と、映像処理情報、レンズ種類情報及び撮
像データに基づいて、背景静止画信号による背景映像が
被写体ビデオ信号による被写体映像に対応するように、
背景静止画信号を変化させて、被写体ビデオ信号及び背
景静止画信号を合成する映像合成手段とを有する映像合
成装置である。A second aspect of the present invention includes an imaging unit that captures an image of a subject and outputs an imaging signal and lens operation information, performs image processing on the imaging signal and outputs the processed image signal as a subject video signal,
A video camera that outputs video processing information indicating the video processing method and lens type information of the imaging unit; imaging data detection means that detects lens operation information from the imaging unit and outputs the information as imaging data; and a background still image signal And a background still image supply means for outputting the image processing information, the lens type information and the imaging data, so that the background image based on the background still image signal corresponds to the subject image based on the subject video signal.
An image synthesizing apparatus having image synthesizing means for synthesizing a subject video signal and a background still image signal by changing a background still image signal.
第３の本発明は、撮像部によって被写体を撮像して、
撮像信号及びレンズ操作情報を出力し、撮像部を備える
ビデオカメラから、撮像信号を映像処理して被写体ビデ
オ信号として出力すると共に、その映像処理の方法を示
す映像処理情報及び撮像部のレンズ種類情報を出力し、
背景静止画信号を出力し、映像処理情報、レンズ種類情
報及びレンズ操作情報に基づいて、被写体ビデオ信号に
よる被写体映像に対して背景静止画信号による背景映像
を合成することによって生成された合成映像が自然な映
像となるように、背景静止画信号を変化させて、被写体
ビデオ信号及び背景静止画信号を合成する映像合成方法
である。According to a third aspect of the present invention, a subject is imaged by an imaging unit,
An image pickup signal and lens operation information are output, and the image pickup signal is image-processed and output as a subject video signal from a video camera having an image pickup unit, and image processing information indicating a method of the image processing and lens type information of the image pickup unit. And output
A background video signal is output, and based on the video processing information, the lens type information, and the lens operation information, a composite video generated by synthesizing the background video with the background still image signal with the subject video with the subject video signal is generated. This is a video synthesizing method for synthesizing a subject video signal and a background still image signal by changing a background still image signal so as to obtain a natural image.
第４の本発明は、撮像部によって被写体を撮像して、
撮像信号及びレンズ操作情報を出力し、撮像部を備える
ビデオカメラから、その撮像信号を映像処理して被写体
ビデオ信号として出力すると共に、その映像処理の方法
を示す映像処理情報及び撮像部のレンズ種類情報を出力
し、撮像部よりのレンズ操作情報を検出して撮像データ
を出力し、背景静止画信号を出力し、映像処理情報、レ
ンズ種類情報及び撮像データに基づいて、背景静止画信
号による背景映像が被写体ビデオ信号による被写体映像
に対応するように、背景静止画信号を変化させて、被写
体ビデオ信号及び背景静止画信号を合成する映像合成方
法である。According to a fourth aspect of the present invention, a subject is imaged by an imaging unit,
An image pickup signal and lens operation information are output, and the image pickup signal is image-processed and output as a subject video signal from a video camera having an image pickup unit, and image processing information indicating a method of the image processing and a lens type of the image pickup unit Output information, detect lens operation information from the imaging unit, output imaging data, output a background still image signal, and generate a background based on a background still image signal based on video processing information, lens type information, and imaging data. This is a video synthesizing method in which a background still image signal is changed so that an image corresponds to a subject image based on a subject video signal, and the subject video signal and the background still image signal are synthesized.
第１の本発明によれば、撮像部によって、被写体を撮
像して、撮像信号及びレンズ操作情報を出力し、ビデオ
カメラによって、その撮像信号を映像処理して被写体ビ
デオ信号として出力すると共に、その映像処理の方法を
示す映像処理情報及び撮像部のレンズ種類情報を出力
し、背景静止画供給手段より背景静止画信号を出力し、
映像合成生段によって、映像処理情報、レンズ種類情報
及びレンズ操作情報に基づいて、被写体ビデオ信号によ
る被写体映像に対して背景静止画信号による背景映像を
合成することによって生成された合成映像が自然な映像
となるように、背景静止画信号を変化させて、被写体ビ
デオ信号及び背景静止画信号を合成する。According to the first aspect of the present invention, the imaging unit captures an image of a subject, outputs an imaging signal and lens operation information, and performs a video processing on the imaging signal by a video camera and outputs the processed signal as a subject video signal. Outputting image processing information indicating a method of image processing and lens type information of the imaging unit, outputting a background still image signal from a background still image supply unit,
The synthesized image generated by synthesizing the background video based on the background still image signal with the subject video based on the subject video signal based on the video processing information, the lens type information, and the lens operation information by the video synthesis stage. The background still image signal is changed so as to be a video, and the subject video signal and the background still image signal are synthesized.
第２の本発明によれば、撮像部によって、被写体を撮
像して、撮像信号及びレンズ操作情報を出力し、ビデオ
カメラによって、撮像信号を映像処理して被写体ビデオ
信号として出力すると共に、その映像処理の方法を示す
映像処理情報及び撮像部のレンズ種類情報を出力し、映
像データ検出手段によって、撮像部よりのレンズ操作情
報を検出して撮像データとして出力し、背景静止画供給
手段によって、背景静止画信号を出力し、映像合成手段
によって、映像処理情報、レンズ種類情報及び撮像デー
タに基づいて、背景静止画信号による背景映像が被写体
ビデオ信号による被写体映像に対応するように、背景静
止画信号を変化させて、被写体ビデオ信号及び背景静止
画信号を合成する。According to the second aspect of the present invention, the subject is imaged by the imaging unit, the imaging signal and the lens operation information are output, and the video signal is processed by the video camera to be output as the subject video signal. Image processing information indicating a processing method and lens type information of the imaging unit are output, lens operation information from the imaging unit is detected and output as imaging data by a video data detection unit, and background data is output by a background still image supply unit. A still image signal is output, and the background still image signal is output by the image synthesizing unit based on the image processing information, the lens type information, and the imaging data so that the background image based on the background still image signal corresponds to the subject image based on the subject video signal. Is changed to synthesize the subject video signal and the background still image signal.
第３の本発明によれば、撮像部によって被写体を撮像
して、撮像信号及びレンズ操作情報を出力し、撮像部を
備えるビデオカメラから、撮像信号を映像処理して被写
体ビデオ信号として出力すると共に、その映像処理の方
法を示す映像処理情報及び撮像部のレンズ種類情報を出
力し、背景静止画信号を出力し、映像処理情報、レンズ
種類情報及びレンズ操作情報に基づいて、被写体ビデオ
信号による被写体映像に対して背景静止画信号による背
景映像を合成することによって生成された合成映像が自
然な映像となるように、背景静止画信号を変化させて、
被写体ビデオ信号及び背景静止画信号を合成する。According to the third aspect of the present invention, the subject is imaged by the imaging unit, the imaging signal and the lens operation information are output, and the video signal from the video camera including the imaging unit is processed and output as the subject video signal. Outputting image processing information indicating a method of the image processing and lens type information of the imaging unit, outputting a background still image signal, and generating a subject by a subject video signal based on the image processing information, the lens type information and the lens operation information. By changing the background still image signal so that the synthesized image generated by synthesizing the background image with the background still image signal to the image becomes a natural image,
The subject video signal and the background still image signal are synthesized.
第４の本発明によれば、撮像部によって被写体を撮像
して、撮像信号及びレンズ操作情報を出力し、撮像部を
備えるビデオカメラから、その撮像信号を映像処理して
被写体ビデオ信号として出力すると共に、その映像処理
の方法を示す映像処理情報及び撮像部のレンズ種類情報
を出力し、撮像部よりのレンズ操作情報を検出して撮像
データを出力し、背景静止画信号を出力し、映像処理情
報、レンズ種類情報及び撮像データに基づいて、背景静
止画信号による背景映像が被写体ビデオ信号による被写
体映像に対応するように、背景静止画信号を変化させ
て、被写体ビデオ信号及び背景静止画信号を合成する。According to the fourth aspect of the present invention, the subject is imaged by the imaging unit, the imaging signal and the lens operation information are output, and the imaging signal is subjected to image processing from the video camera including the imaging unit and output as the subject video signal. In addition, it outputs video processing information indicating a method of the video processing and lens type information of the imaging unit, detects lens operation information from the imaging unit, outputs imaging data, outputs a background still image signal, and performs video processing. The background still image signal is changed based on the information, the lens type information, and the imaging data so that the background image based on the background still image signal corresponds to the subject image based on the subject video signal, and the subject video signal and the background still image signal are changed. Combine.
第１図は、この発明の一実施例のブロック図である。 FIG. 1 is a block diagram of one embodiment of the present invention.
同図において、（１）はビデオカメラであり、このビ
デオカメラ（１）からはビデオ信号Svの他に、カメラ
（１）のレンズの種類（広角、望遠等）を示すレンズデ
ータ（レンズ種類データ）Dlや、ガンマ特性（GAMMA,KN
EE,SLOPE等）を示す映像データ（映像処理データ）Dvを
含む信号S1がCCU（カメラコントロールユニット）
（２）に供給される。そして、このCCU（２）からビデ
オ信号Svが映像合成装置（５）に供給される。そして、
CCU（２）からの映像データDv、レンズデータDlが映像
合成装置（５）に供給されるとともに、ビデオカメラ
（１）の撮像部（13）からのズーミング、フォーカシン
グ、絞り等の情報を示す撮像信号がこれらを検出する検
出装置（12）に供給され、この検出装置（12）から撮像
データDiとして、映像合成装置（５）に供給される。In the figure, reference numeral (1) denotes a video camera. From the video camera (1), in addition to the video signal Sv, lens data (lens type data, etc.) indicating the lens type (wide angle, telephoto, etc.) of the camera (1). ) Dl and gamma characteristics (GAMMA, KN
EE, signals S 1 including video data (video processing data) Dv indicating the SLOPE etc.) CCU (camera control unit)
It is supplied to (2). Then, the video signal Sv is supplied from the CCU (2) to the video synthesizing device (5). And
The image data Dv and the lens data Dl from the CCU (2) are supplied to the image synthesizing device (5), and the image pickup indicating information such as zooming, focusing, and aperture from the image pickup section (13) of the video camera (1). The signals are supplied to a detection device (12) that detects them, and are supplied from the detection device (12) to the video synthesizing device (5) as imaging data Di.
また、CCU（２）からのビデオ信号Svは、動き検出装
置（７）に供給される。そして、この動き検出装置
（７）から、ビデオ信号Svの映像内の被写体の動きを示
す動きベクトルデータDmが映像合成装置（５）に供給さ
れる。The video signal Sv from the CCU (2) is supplied to the motion detection device (7). Then, from the motion detecting device (7), motion vector data Dm indicating the motion of the subject in the video of the video signal Sv is supplied to the video synthesizing device (5).
そして、静止画ファイル（６）からのビデオ信号Sv1
が映像合成装置（５）に供給され、映像データDvのガン
マ特性に従って、ガンマ補正されるとともに、レンズデ
ータDl、撮像データDi、動きベクトルデータDmに従っ
て、後述するように、ビデオ信号Sv1の映像が変化され
て、ビデオ信号SvとSv1とが合成される。そして、合成
された映像信号Sv2が映像合成装置（５）から映像記録
装置（11）に供給され、記録される。Then, the video signal Sv 1 from the still image file (6)
There is supplied to the video synthesizer (5), according to a gamma characteristic of the video data Dv, while being gamma correction, lens data Dl, according to the imaging data Di, the motion vector data Dm, as described later, the video signal Sv 1 video Is changed, and the video signals Sv and Sv 1 are combined. Then, the video signal Sv 2 synthesized is supplied to a video recording apparatus (11) from the image synthesizing device (5), is recorded.
次に、上述した第１図例の装置によって、合成される
映像について説明する。Next, an image to be synthesized by the apparatus shown in FIG. 1 will be described.
第２図は、ビデオ信号Svの映像内の被写体がズーミン
グされた場合の説明図である。FIG. 2 is an explanatory diagram when a subject in the video of the video signal Sv is zoomed.
そして、同図Ａはビデオ信号Svの映像であり、主映像
である被写体（８）が撮影されたものである。また、同
図Ｂはビデオ信号Sv1の映像であり他の映像である被写
体（９）が撮影されたものである。そして、映像データ
Dv、レンズデータDlに従って、映像合成装置（５）によ
って映像ＡとＢとが合成されると、同図Ｃに示すような
合成映像が得られる。そして、映像Ａ内の被写体（８）
がズームアップされると、被写体（８）が拡大される。
ここで、映像Ｂ内の被写体（９）に何の処理もせずに、
そのまま合成すると、同図Ｃに示すように、拡大された
被写体（８）と拡大されない被写体（９）との不自然な
合成映像となってしまう。しかし、第１図例の装置の場
合は、撮像データDiに従って、映像合成装置（５）が、
ビデオ信号Sv1の映像の被写体（９）を第２図Ｅに矢印
で示すように放射方向に移動させ、拡大し、自然な合成
映像を得ることができる。FIG. 7A shows an image of the video signal Sv, in which a subject (8) as a main image is photographed. FIG. 6B is a video of the video signal Sv 1 and shows a subject (9) that is another video. And video data
When the images A and B are combined by the image combining device (5) according to Dv and lens data Dl, a combined image as shown in FIG. Then, the subject (8) in the image A
Is zoomed up, the subject (8) is enlarged.
Here, without performing any processing on the subject (9) in the image B,
If they are combined as they are, an unnatural composite image of the enlarged subject (8) and the non-enlarged subject (9) will result, as shown in FIG. However, in the case of the apparatus of FIG. 1, the video synthesizing device (5)
The subject (9) of the video video signal Sv 1 is moved in the radial direction as shown by an arrow in FIG. 2 E, expanded, it is possible to obtain a natural combined image.
なお、第２図においては、被写体（８）がズームアッ
プされ拡大された例を示したが、被写体（８）が縮小さ
れる場合は、それに合わせて、被写体（９）が縮小され
るものである。FIG. 2 shows an example in which the subject (8) is zoomed up and enlarged. However, when the subject (8) is reduced, the subject (9) is reduced accordingly. is there.
第３図は、撮像データDiのフォーカシング情報に従っ
て、合成映像内の各被写体のフォーカシング処理を行な
う場合の説明図である。FIG. 3 is an explanatory diagram of a case where focusing processing is performed on each subject in a composite video in accordance with focusing information of the imaging data Di.
そして、同図Ａはビデオ信号Svの映像であり主撮像で
ある被写体（８）が撮影されたもので、同図Ｂ及びＣは
静止画ファイル（６）からの他の映像であり、それぞれ
被写体は（10）及び（９）となっている。そして、主映
像Ａならびに他の映像B,Cが映像データDi、レンズデー
タDlに従って、映像合成装置（５）によって合成される
と、同図Ｄに示すような合成映像が得られる。そしてこ
の合成映像Ｄにおいては、被写体（８）がビデオカメラ
から最も近い位置であり、被写体（９）が次に近い位
置、被写体（10）が最も遠い位置にあるようにされるも
のである。この場合、フォーカシング情報が被写体
（８）の位置に焦点が合っていることを示すとすると、
この同図Ｄに太い実線で示すように、被写体（８）にピ
ントが合っているようにし、被写体（９）に多少のボカ
シ処理を加え、被写体（10）には被写体（９）よりも多
くボカシ処理を加えるものである。FIG. 7A is a video of the video signal Sv, in which the subject (8), which is the main image, is photographed. FIGS. 6B and 6C are other videos from the still image file (6). Are (10) and (9). Then, when the main image A and the other images B and C are synthesized by the image synthesizing device (5) according to the image data Di and the lens data Dl, a synthesized image as shown in FIG. In the composite image D, the subject (8) is located closest to the video camera, the subject (9) is located next to the video camera, and the subject (10) is located farthest from the video camera. In this case, if the focusing information indicates that the position of the subject (8) is in focus,
As shown by the bold solid line in FIG. D, the subject (8) is focused, the subject (9) is slightly blurred, and the subject (10) is more focused than the subject (9). This is to add a blur treatment.
そして、フォーカシング情報が被写体（９）の位置に
焦点が合っていることを示すと、同図Ｅに太い実線で示
すように、被写体（９）にピントが合っているように
し、被写体（８）及び（10）には多少のボカシ処理を加
えるものである。Then, if the focusing information indicates that the position of the subject (9) is in focus, the subject (9) is brought into focus as indicated by a thick solid line in FIG. (10) and (10) are slightly blurred.
また、フォーカシング情報が被写体（10）の位置に焦
点が合っていることを示すと、同図Ｆに太い実線で示す
ように、被写体（10）にピントが合っているようにし、
被写体（９）には多少のボカシ処理を加え、被写体
（８）には被写体（９）よりも多くボカシ処理を加える
ものである。If the focusing information indicates that the position of the subject (10) is in focus, the subject (10) is focused on as shown by a thick solid line in FIG.
The subject (9) is slightly blurred, and the subject (8) is more blurred than the subject (9).
第４図は、ビデオカメラ（１）によりパン又はチルト
が行なわれた場合の説明図である。FIG. 4 is an explanatory diagram when panning or tilting is performed by the video camera (1).
そして、同図Ａはビデオ信号Svの主映像であり、同図
Ｂはビデオ信号Sv1の他の映像である。そして、これら
の映像Ａ及びＢが映像データDv、レンズデータDlに従っ
て合成されると、同図Ｃに示すような合成映像が得られ
る。そして、ビデオカメラ（１）がパンされて被写体
（８）が映像中の左端に移動したとする。ここで、被写
体（９）に何の処理もせずに、そのまま合成すると、同
図Ｄに示すように、被写体（８）と（９）との間隔が大
きなものとなってしまい、不自然な合成映像となってし
まう。しかし第１図例の装置の場合は、被写体（８）の
動きを示す動きベクトルデータDmに従って、映像合成装
置（５）が、ビデオ信号Sv1の映像の被写体（９）を第
４図Ｅの矢印で示すように、移動させ、自然な合成映像
を得ることができる。Then, the figure A is the main video outputs them as a video signal Sv, drawing B shows another image of the video signal Sv 1. Then, when these images A and B are combined in accordance with the image data Dv and the lens data Dl, a combined image as shown in FIG. Then, it is assumed that the video camera (1) is panned and the subject (8) has moved to the left end in the video. Here, if the subject (9) is synthesized without any processing, the interval between the subject (8) and the subject (9) becomes large as shown in FIG. It becomes a video. However, if the device of the first illustrated example, according to the motion vector data Dm indicating the movement of the object (8), the image synthesizing device (5) is, the video video signal Sv 1 subject (9) of FIG. 4 E As shown by the arrow, the image can be moved to obtain a natural synthesized image.
また、ビデオカメラ（１）がチルトされて被写体
（８）が映像内の上側に位置した状態となったとする。
ここで、被写体（９）に何の処理もせずに、そのまま合
成すると、同図Ｆに示すように、被写体（８）のみが上
側に位置した不自然な合成映像となってしまう。しか
し、第１図例の装置の場合は、動きベクトルデータDmに
従って、映像合成装置（５）が被写体（９）を第４図Ｇ
の矢印で示すように移動させ、自然な合成映像を得るこ
とができる。It is also assumed that the video camera (1) is tilted and the subject (8) is positioned above the image.
Here, if the subject (9) is combined without any processing without any processing, an unnatural combined image in which only the subject (8) is located on the upper side as shown in FIG. However, in the case of the device of FIG. 1, the video synthesizing device (5) moves the subject (9) according to the motion vector data Dm in FIG.
And a natural synthesized image can be obtained.
また、ビデオカメラ（１）の絞りが変化して、合成映
像中の被写体（８）に変化が生じたとする。この場合、
合成映像中の被写体（９）に何の処理も行なわなかった
とすると不自然な合成映像となってしまう。そこで、撮
像データDiの絞り情報に従って、映像合成装置（５）が
被写体（９）を変化させ自然な合成映像を得るようにす
るものである。It is also assumed that the aperture of the video camera (1) has changed and the subject (8) in the composite image has changed. in this case,
If no processing is performed on the subject (9) in the composite video, the composite video becomes unnatural. Therefore, the image synthesizing device (5) changes the subject (9) in accordance with the aperture information of the imaging data Di so as to obtain a natural synthesized image.
なお、第１図例の場合は、ズーミング情報、フォーカ
シング情報、パン・チルト情報及び絞り情報全てに対応
し得るものとしたが、個々の情報のみに、例えばズーミ
ング情報のみに対応し得る装置とすることもできるもの
である。In the example of FIG. 1, it is assumed that the apparatus can correspond to all zooming information, focusing information, pan / tilt information, and aperture information. However, it is assumed that the apparatus can correspond only to individual information, for example, only to zooming information. It can also be.
なお、上述した例においては、ビデオ信号Sv1の発生
源を静止画ファイルとしたが、これに限らず例えばVTR
装置であってもよい。In the above-described example, the source of the video signal Sv 1 is a still image file.
It may be a device.
さらに、映像合成装置（５）は映像の合成を行なうと
ともに編集をも行ない得るものである。Further, the video synthesizing device (5) can synthesize and edit a video.
また、上述した例においては、パン、チルトの検知を
映像内の被写体の動きから検知するようにしたが、ビデ
オカメラ（１）とこのビデオカメラ（１）の三脚等との
相対的な位置の変動から検知するようにしてもよい。In the above-described example, the detection of pan and tilt is detected from the movement of the subject in the video. However, the relative position between the video camera (1) and the tripod of the video camera (1) is determined. You may make it detect from a fluctuation | variation.
そして、さらに上述した例においては、撮像部（13）
からの信号を検出装置（12）を介して、撮像データDiを
得るようにしたが、ビデオカメラ（１）からの信号S1に
撮像データDiを含むようにしてもよい。Further, in the above-described example, the imaging unit (13)
Signal via the detection device (12) from, but to obtain the imaging data Di, the signals S 1 from the video camera (1) may include imaging data Di.
〔発明の効果〕 第１の本発明によれば、被写体を撮像して、撮像信号
及びレンズ操作情報を出力する撮像部を備え、その撮像
信号を映像処理して被写体ビデオ信号として出力すると
共に、その映像処理の方法を示す映像処理情報及び撮像
部のレンズ種類情報を出力するビデオカメラと、背景静
止画信号を出力する背景静止画供給手段と、映像処理情
報、レンズ種類情報及びレンズ操作情報に基づいて、被
写体ビデオ信号による被写体映像に対して背景静止画信
号による背景映像を合成することによって生成された合
成映像が自然な映像となるように、背景静止画信号を変
化させて、被写体ビデオ信号及び背景静止画信号を合成
する映像合成手段とを有するので、ビデオカメラの撮像
時の撮影状態の如何に拘らず、ビデオカメラによって撮
影した被写体映像と、背景映像との合成映像が、より自
然に近い映像となり、高度の映像合成の可能な映像合成
装置を得ることができる。[Effects of the Invention] According to the first aspect of the present invention, the image capturing apparatus includes an image capturing unit that captures an image of a subject and outputs an image capturing signal and lens operation information. A video camera that outputs video processing information indicating the video processing method and lens type information of the imaging unit, a background still image supply unit that outputs a background still image signal, and video processing information, lens type information, and lens operation information. The background still image signal is changed so that the synthesized image generated by synthesizing the background image based on the background still image signal with the subject image based on the subject video signal becomes a natural image based on the subject video signal. And a video synthesizing means for synthesizing the background still image signal, so that the image can be taken by The synthesized image of the subject image and the background image becomes a more natural image, and it is possible to obtain an image synthesizing device capable of advanced image synthesis.
第２の本発明によれば、被写体を撮像して、撮像信号
及びレンズ操作情報を出力する撮像部を備え、その撮像
信号を映像処理して被写体ビデオ信号として出力すると
共に、その映像処理の方法を示す映像処理情報及び撮像
部のレンズ種類情報を出力するビデオカメラと、撮像部
よりのレンズ操作情報を検出して撮像データとして出力
する撮像データ検出手段と、背景静止画信号を出力する
背景静止画供給手段と、映像処理情報、レンズ種類情報
及び撮像データに基づいて、背景静止画信号による背景
映像が被写体ビデオ信号による被写体映像に対応するよ
うに、背景静止画信号を変化させて、被写体ビデオ信号
及び背景静止画信号を合成する映像合成手段とを有する
ので、ビデオカメラの撮像時の撮影状態の如何に拘ら
ず、ビデオカメラによって撮影した被写体映像と、背景
映像との合成映像が、より自然に近い映像となり、高度
の映像合成の可能な映像合成装置を得ることができる。According to a second aspect of the present invention, there is provided an image pickup unit for picking up an image of a subject and outputting an image pickup signal and lens operation information. The image pickup signal is image-processed and output as a subject video signal. A video camera that outputs video processing information indicating lens type information of the image pickup unit, image pickup data detection means that detects lens operation information from the image pickup unit and outputs it as image pickup data, and a background still image that outputs a background still image signal And changing the background still image signal based on the image supply means and the video processing information, the lens type information, and the imaging data so that the background video based on the background still image signal corresponds to the subject video based on the subject video signal. Video synthesizing means for synthesizing the video signal and the background still image signal. A subject image captured Te, composite video with the background video becomes more close to nature images, it is possible to obtain the image synthesizing apparatus capable of a high degree of image synthesis.
第３の本発明によれば、撮像部によって被写体を撮像
して、撮像信号及びレンズ操作情報を出力し、撮像部を
備えるビデオカメラから、撮像信号を映像処理して被写
体ビデオ信号として出力すると共に、その映像処理の方
法を示す映像処理情報及び撮像部のレンズ種類情報を出
力し、背景静止画信号を出力し、映像処理情報、レンズ
種類情報及びレンズ操作情報に基づいて、被写体ビデオ
信号による被写体映像に対して背景静止画信号による背
景映像を合成することによって生成された合成映像が自
然な映像となるように、背景静止画信号を変化させて、
被写体ビデオ信号及び背景静止画信号を合成するので、
ビデオカメラの撮像時の撮影状態の如何に拘らず、ビデ
オカメラによって撮影した被写体映像と、背景映像との
合成映像が、より自然に近い映像となり、高度の映像合
成の可能な映像合成方法を得ることができる。According to the third aspect of the present invention, the subject is imaged by the imaging unit, the imaging signal and the lens operation information are output, and the video signal from the video camera including the imaging unit is processed and output as the subject video signal. Outputting image processing information indicating a method of the image processing and lens type information of the imaging unit, outputting a background still image signal, and generating a subject by a subject video signal based on the image processing information, the lens type information and the lens operation information. By changing the background still image signal so that the synthesized image generated by synthesizing the background image with the background still image signal to the image becomes a natural image,
Since the subject video signal and the background still image signal are synthesized,
Regardless of the shooting state at the time of imaging by the video camera, the synthesized image of the subject image shot by the video camera and the background image becomes a more natural image, and an image synthesis method capable of advanced image synthesis is obtained. be able to.
第４の本発明によれば、撮像部によって被写体を撮像
して、撮像信号及びレンズ操作情報を出力し、撮像部を
備えるビデオカメラから、その撮像信号を映像処理して
被写体ビデオ信号として出力すると共に、その映像処理
の方法を示す映像処理情報及び撮像部のレンズ種類情報
を出力し、撮像部よりのレンズ操作情報を検出して撮像
データを出力し、背景静止画信号を出力し、映像処理情
報、レンズ種類情報及び撮像データに基づいて、背景静
止画信号による背景映像が被写体ビデオ信号による被写
体映像に対応するように、背景静止画信号を変化させ
て、被写体ビデオ信号及び背景静止画信号を合成するの
で、ビデオカメラの撮像時の撮影状態の如何に拘らず、
ビデオカメラによって撮影した被写体映像と、背景映像
との合成映像が、より自然に近い映像となり、高度の映
像合成の可能な映像合成方法を得ることができる。According to the fourth aspect of the present invention, the subject is imaged by the imaging unit, the imaging signal and the lens operation information are output, and the imaging signal is subjected to image processing from the video camera including the imaging unit and output as the subject video signal. In addition, it outputs video processing information indicating a method of the video processing and lens type information of the imaging unit, detects lens operation information from the imaging unit, outputs imaging data, outputs a background still image signal, and performs video processing. The background still image signal is changed based on the information, the lens type information, and the imaging data so that the background image based on the background still image signal corresponds to the subject image based on the subject video signal, and the subject video signal and the background still image signal are changed. Since it is synthesized, regardless of the shooting state at the time of shooting with the video camera,
The composite video of the subject video captured by the video camera and the background video becomes a more natural video, and a video synthesis method capable of advanced video synthesis can be obtained.
第１図はこの発明の一実施例のブロック図、第２図〜第
４図は説明図である。 （１）はビデオカメラ、（２）はCCU、（３）は映像記
録装置、（４）は撮影データ記録装置、（５）は映像合
成装置、（６）は静止画ファイルである。FIG. 1 is a block diagram of an embodiment of the present invention, and FIGS. 2 to 4 are explanatory diagrams. (1) is a video camera, (2) is a CCU, (3) is a video recording device, (4) is a photographing data recording device, (5) is a video synthesizing device, and (6) is a still image file.
Claims (4)
作情報を出力する撮像部を備え、該撮像信号を映像処理
して被写体ビデオ信号として出力すると共に、該映像処
理の方法を示す映像処理情報及び上記撮像部のレンズ種
類情報を出力するビデオカメラと、 背景静止画信号を出力する背景静止画供給手段と、 上記映像処理情報、上記レンズ種類情報及び上記レンズ
操作情報に基づいて、上記被写体ビデオ信号による被写
体映像に対して上記背景静止画信号による背景映像を合
成することによって生成された合成映像が自然な映像と
なるように、上記背景静止画信号を変化させて、上記被
写体ビデオ信号及び上記背景静止画信号を合成する映像
合成手段とを有することを特徴とする映像合成装置。An image pickup section for picking up an image of a subject and outputting an image pickup signal and lens operation information, performs image processing on the image pickup signal and outputs it as a subject video signal, and image processing showing a method of the image processing. A video camera that outputs information and lens type information of the imaging unit; a background still image supply unit that outputs a background still image signal; and the subject based on the video processing information, the lens type information, and the lens operation information. By changing the background still image signal so that the synthesized image generated by synthesizing the background image based on the background still image signal with the subject image based on the video signal becomes a natural image, the subject video signal and A video synthesizing apparatus, comprising: a video synthesizing unit that synthesizes the background still image signal.
作情報を出力する撮像部を備え、その撮像信号を映像処
理して被写体ビデオ信号として出力すると共に、該映像
処理の方法を示す映像処理情報及び上記撮像部のレンズ
種類情報を出力するビデオカメラと、 上記撮像部よりのレンズ操作情報を検出して撮像データ
として出力する撮像データ検出手段と、 背景静止画信号を出力する背景静止画供給手段と、 上記映像処理情報、上記レンズ種類情報及び上記撮像デ
ータに基づいて、上記背景静止画信号による背景映像が
上記被写体ビデオ信号による被写体映像に対応するよう
に、上記背景静止画信号を変化させて、上記被写体ビデ
オ信号及び上記背景静止画信号を合成する映像合成手段
とを有することを特徴とする映像合成装置。2. An image pickup section for picking up an image of a subject and outputting an image pickup signal and lens operation information. The image pickup signal is image-processed and output as a subject video signal. A video camera that outputs information and lens type information of the imaging unit; an imaging data detection unit that detects lens operation information from the imaging unit and outputs the information as imaging data; and a background still image supply that outputs a background still image signal. Means for changing the background still image signal based on the image processing information, the lens type information, and the imaging data so that a background image based on the background still image signal corresponds to a subject image based on the subject video signal. Video synthesizing means for synthesizing the subject video signal and the background still image signal.
号及びレンズ操作情報を出力し、 上記撮像部を備えるビデオカメラから、上記撮像信号を
映像処理して被写体ビデオ信号として出力すると共に、
該映像処理の方法を示す映像処理情報及び上記撮像部の
レンズ種類情報を出力し、 背景静止画信号を出力し、 上記映像処理情報、上記レンズ種類情報及び上記レンズ
操作情報に基づいて、上記被写体ビデオ信号による被写
体映像に対して上記背景静止画信号による背景映像を合
成することによって生成された合成映像が自然な映像と
なるように、上記背景静止画信号を変化させて、上記被
写体ビデオ信号及び上記背景静止画信号を合成すること
を特徴とする映像合成方法。3. An image pickup unit picks up an image of a subject, outputs an image pickup signal and lens operation information, and, from a video camera equipped with the image pickup unit, performs video processing on the image pickup signal and outputs it as a subject video signal.
Outputting video processing information indicating the video processing method and the lens type information of the imaging unit, outputting a background still image signal, and outputting the subject based on the video processing information, the lens type information, and the lens operation information. By changing the background still image signal so that the synthesized image generated by synthesizing the background image based on the background still image signal with the subject image based on the video signal becomes a natural image, the subject video signal and A video synthesizing method, comprising synthesizing the background still image signal.
号及びレンズ操作情報を出力し、 上記撮像部を備えるビデオカメラから、該撮像信号を映
像処理して被写体ビデオ信号として出力すると共に、該
映像処理の方法を示す映像処理情報及び上記撮像部のレ
ンズ種類情報を出力し、 上記撮像部よりのレンズ操作情報を検出して撮像データ
を出力し、 背景静止画信号を出力し、 上記映像処理情報、上記レンズ種類情報及び上記撮像デ
ータに基づいて、上記背景静止画信号による背景映像が
上記被写体ビデオ信号による被写体映像に対応するよう
に、上記背景静止画信号を変化させて、上記被写体ビデ
オ信号及び上記背景静止画信号を合成することを特徴と
する映像合成方法。4. An image pickup unit picks up an image of a subject, outputs an image pickup signal and lens operation information, and performs video processing on the image pickup signal from a video camera provided with the image pickup unit to output it as a subject video signal. Outputting video processing information indicating a video processing method and lens type information of the imaging unit, detecting lens operation information from the imaging unit, outputting imaging data, outputting a background still image signal, and Changing the background still image signal based on the information, the lens type information, and the imaging data so that the background image based on the background still image signal corresponds to the subject image based on the subject video signal. And synthesizing the background still image signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01163137A JP3122099B2 (en) | 1989-06-26 | 1989-06-26 | Image synthesizing apparatus and image synthesizing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01163137A JP3122099B2 (en) | 1989-06-26 | 1989-06-26 | Image synthesizing apparatus and image synthesizing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0329472A JPH0329472A (en) | 1991-02-07 |
| JP3122099B2 true JP3122099B2 (en) | 2001-01-09 |
Family
ID=15767908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01163137A Expired - Fee Related JP3122099B2 (en) | 1989-06-26 | 1989-06-26 | Image synthesizing apparatus and image synthesizing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3122099B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6990429B2 (en) | 2002-12-27 | 2006-01-24 | Canon Kabushiki Kaisha | Information processing apparatus, and information processing method |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03289276A (en) * | 1990-04-03 | 1991-12-19 | Canon Inc | Video system |
| WO1999048285A1 (en) * | 1998-03-18 | 1999-09-23 | Nippon Television Network Corporation | Image replacing system and method therefor |
| JP3485543B2 (en) | 1998-06-22 | 2004-01-13 | 富士写真フイルム株式会社 | Imaging device and method |
| KR20030073313A (en) * | 2002-03-11 | 2003-09-19 | 허균 | Bottle for Beverage with Buffer Member |
| KR20030075986A (en) * | 2002-03-19 | 2003-09-26 | 허균 | Buffer Member Assembled At the Entry of Bottle or Container and the Container Assembled with the Buffer Member |
| JP4742813B2 (en) * | 2005-10-28 | 2011-08-10 | 株式会社ニコン | Image processing apparatus and image processing method |
| JP5402166B2 (en) * | 2009-03-31 | 2014-01-29 | カシオ計算機株式会社 | Image composition apparatus and program |
-
1989
- 1989-06-26 JP JP01163137A patent/JP3122099B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6990429B2 (en) | 2002-12-27 | 2006-01-24 | Canon Kabushiki Kaisha | Information processing apparatus, and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0329472A (en) | 1991-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2020162139A (en) | Imaging apparatus and setting screen of the same | |
| JP4957759B2 (en) | Imaging apparatus and imaging method | |
| KR100325491B1 (en) | Panorama image creation method and device | |
| JP4356621B2 (en) | Imaging apparatus and imaging method | |
| JP2005311789A (en) | Digital camera | |
| JP2006245726A (en) | Digital camera | |
| JP3253478B2 (en) | Video recording device | |
| JP2007173966A (en) | Imaging apparatus and image data processing method thereof | |
| JP2015053741A (en) | Image reproduction device | |
| JP3122099B2 (en) | Image synthesizing apparatus and image synthesizing method | |
| JP2006067452A (en) | Video recording apparatus, and electronic camera | |
| JP2003179798A (en) | Digital camera | |
| JPH09322055A (en) | Electronic camera system | |
| JPH0918773A (en) | Image pickup device | |
| US6876387B1 (en) | Digital zoom-out processing apparatus | |
| JP6330862B2 (en) | Imaging apparatus, imaging method, and program | |
| JP3893416B2 (en) | Electronic still camera and image data recording / reproducing method thereof | |
| JP5267279B2 (en) | Image composition apparatus and program | |
| JP5402242B2 (en) | Image reproduction apparatus, imaging apparatus, image reproduction method, and image reproduction program | |
| JP4001233B2 (en) | Panorama shooting method and image processing apparatus and image pickup apparatus capable of using the method | |
| JPH1188731A (en) | Camera | |
| JP2000188705A (en) | Electronic still camera | |
| JP6399120B2 (en) | Imaging device | |
| JP4556745B2 (en) | Image composition apparatus and method, and recording medium | |
| JP2001157107A (en) | Photographing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |