JP2001320730A - Image composing device - Google Patents

Image composing device

Info

Publication number
JP2001320730A
JP2001320730A JP2000134578A JP2000134578A JP2001320730A JP 2001320730 A JP2001320730 A JP 2001320730A JP 2000134578 A JP2000134578 A JP 2000134578A JP 2000134578 A JP2000134578 A JP 2000134578A JP 2001320730 A JP2001320730 A JP 2001320730A
Authority
JP
Japan
Prior art keywords
image
information
background
key frame
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000134578A
Other languages
Japanese (ja)
Inventor
Hiroshi Mitani
浩 三谷
Yoshihiro Morioka
芳宏 森岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000134578A priority Critical patent/JP2001320730A/en
Publication of JP2001320730A publication Critical patent/JP2001320730A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To solve the problem that color information used for the discrimination of a foreground image and a background image is deteriorated, accuracy of discrimination is lowered, and the quality of an obtained composite image is, as a result, lowered, when a device to generate a background image for performing an image composite by using a chroma-key is shared by a plurality of image productions and picture compression is performed to improve the use efficiency of a network. SOLUTION: A background of image information photographed by a camera 101 is substituted by a background color generated by a background color generator 103 based on key frame information generated by a background displace 104 from a color separator 102, compressed by an image compressor 105, and then transmitted by a transmission transmitter 106 and a transmission receiver 107 to a remote place. Transmitted compressed image information is expanded by an image expander 108 and then composed with a background image generated by a background image generator 110 by an image compositer 111 based on key frame information generated by a color separator 109.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、一般にクロマキー
と呼ばれ、前景画像と背景画像を合成し一つの画像を合
成する画像合成装置に関し、特に、遠隔地で生成され、
ネットワークなどで伝送された前景画像と、背景画像を
合成する画像合成装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image synthesizing apparatus generally called a chroma key, which synthesizes one image by synthesizing a foreground image and a background image.
The present invention relates to an image synthesizing device that synthesizes a foreground image transmitted via a network or the like and a background image.

【0002】[0002]

【従来の技術】映像制作にあたっては、人物などの前景
画像を、他の背景画像にはめ込む画像合成の手法がよく
利用されている。一般に前景画像を抽出する手段とし
て、青などの特定色の背景の前で前景画像を撮影し、前
景画像と背景画像の色情報の違いを使うクロマキーと呼
ばれる方法がよく使われている。
2. Description of the Related Art In video production, an image synthesizing method of fitting a foreground image of a person or the like into another background image is often used. In general, as a means for extracting a foreground image, a method called a chroma key, in which a foreground image is photographed in front of a background of a specific color such as blue and the difference in color information between the foreground image and the background image is used.

【0003】すなわち、図8に示すように、前景画像と
なる人物801を、青一色で着色された背景802の前
でカメラ803で撮影する。撮影された画像情報は色分
離器804に入力され、背景画像の色を検出すること
で、前景画像と背景画像を切替えるための信号であるキ
ーフレーム信号を生成する。背景画像発生装置805
は、別に撮影した画像を出力するVTRや、コンピュー
タグラフィックス発生装置などであり、背景画像を発生
する。合成器806は、カメラ803からの画像と、背
景画像発生装置805からの画像を入力とし、色分離器
804で生成されたキーフレーム信号によってこれらを
合成する。
That is, as shown in FIG. 8, a person 801 to be a foreground image is photographed by a camera 803 in front of a background 802 colored in blue. The captured image information is input to a color separator 804, which detects a color of a background image to generate a key frame signal which is a signal for switching between a foreground image and a background image. Background image generator 805
Is a VTR that outputs a separately shot image, a computer graphics generator, or the like, and generates a background image. The synthesizer 806 receives the image from the camera 803 and the image from the background image generation device 805 as input, and synthesizes them using the key frame signal generated by the color separator 804.

【0004】これによって、人物801の背後にある青
一色に着色された背景は、背景画像発生装置805の発
生した背景画像に入れ替わり、あたかも人物801が、
その背景の前にいるかのような画像を合成することがで
きる。
[0004] As a result, the background colored in solid blue behind the person 801 is replaced with the background image generated by the background image generator 805, as if the person 801 is
An image as if in front of the background can be synthesized.

【0005】[0005]

【発明が解決しようとする課題】近年の傾向として、コ
ンピュータ技術の急速な発展を受けて、前述の背景画像
発生装置として、コンピュータグラフィックス発生装置
が用いられる事が多い。コンピュータグラフィックスで
発生させる背景画像への要求の高度化、コンピュータグ
ラフィックス装置の高価格化が進むに従って、コンピュ
ータグラフィックスの制作に高度の技量が要求されるた
め、専任のオペレータが必要となり、合成画像を制作す
るその場で前景画像や背景画像を用意する事が難しい場
合が出てきた。
As a recent trend, with the rapid development of computer technology, a computer graphics generator is often used as the above-mentioned background image generator. As the demand for background images generated by computer graphics becomes more sophisticated and computer graphics equipment becomes more expensive, advanced skills are required for computer graphics production. In some cases, it is difficult to prepare foreground images and background images on the spot where images are produced.

【0006】そこで、複数の画像合成の要求に応じて、
それぞれに背景画像を供給するため、図9の構成がとら
れる。同図において、図8と同じ番号の構成要素は同じ
働きを行う。カメラ803からの画像情報は、画像圧縮
器807で圧縮され、伝送送信装置808でネットワー
ク809に送出される。伝送受信装置810はネットワ
ーク809から圧縮された画像情報を受信し、画像伸長
器811は画像圧縮器807での圧縮を復元する。画像
伸長器811で復元された画像情報は図8と同じ過程で
色分離器804、背景画像発生器805、画像合成器8
06により画像合成が行われる。合成された画像は、再
び画像圧縮器812で圧縮され、伝送送信装置813、
ネットワーク809、伝送受信装置814を経て画像伸
長装置815によって復元される。
Therefore, in response to a request for synthesizing a plurality of images,
In order to supply a background image to each, the configuration of FIG. 9 is adopted. In the figure, components having the same numbers as those in FIG. 8 perform the same operations. Image information from the camera 803 is compressed by the image compressor 807 and transmitted to the network 809 by the transmission / transmission device 808. The transmission receiving device 810 receives the compressed image information from the network 809, and the image decompressor 811 restores the compression by the image compressor 807. The image information restored by the image decompressor 811 is processed in the same process as in FIG. 8 by the color separator 804, the background image generator 805, and the image synthesizer 8
In step 06, image composition is performed. The synthesized image is compressed again by the image compressor 812, and the transmission and transmission device 813,
The image is restored by the image decompression device 815 via the network 809 and the transmission / reception device 814.

【0007】この構成によって、一つの背景画像発生装
置がネットワークを介して複数の画像合成の要求に応え
る事ができる。また、前景画像を撮影する場所、背景画
像を発生させる場所、そして最終的な合成画像を利用す
る場所がネットワークで接続されてさえいれば、任意の
場所でそれぞれの作業が行える。
With this configuration, one background image generation device can respond to a request for synthesizing a plurality of images via a network. In addition, as long as a place where a foreground image is captured, a place where a background image is generated, and a place where a final composite image is used are connected via a network, each operation can be performed at any place.

【0008】しかしながら、前述のように前景画像と背
景画像の切替えに色情報を使用するため、圧縮−伸長の
過程で色情報が損なわれると、背景画像と前景画像の切
替えが不安定になり、最終的に得られる合成画像の品位
が損なわれる。この影響を取り除くため、画像圧縮器や
画像伸長器を図9の構成から省くと、ネットワーク80
9で伝送しなければならない情報量が増大し、ネットワ
ークの容量を越えた場合には伝送自体が不可能になり、
伝送可能な場合にも伝送に関わる利用料金の負担が大き
くなる。
However, since the color information is used for switching between the foreground image and the background image as described above, if the color information is lost during the compression / decompression process, the switching between the background image and the foreground image becomes unstable, The quality of the finally obtained composite image is impaired. To eliminate this effect, if the image compressor and the image decompressor are omitted from the configuration of FIG.
9, the amount of information that must be transmitted increases, and if the capacity of the network is exceeded, transmission itself becomes impossible,
Even when the transmission is possible, the burden of the usage fee related to the transmission increases.

【0009】本発明は、上記の課題を解決するためにな
されたものであり、画像圧縮による高いネットワーク利
用効率と、十分な合成画像品位を両立させた、ネットワ
ークを介した画像合成装置を提供することを目的とす
る。
SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and provides an image synthesizing apparatus via a network that achieves both high network use efficiency by image compression and sufficient synthesized image quality. The purpose is to:

【0010】[0010]

【課題を解決するための手段】本発明の画像合成装置
は、背景置換手段が前景画像と特定色の背景とで構成さ
れた画像情報において、背景色を背景色発生手段が生成
した背景色に置換し、第二のキーフレーム生成手段が背
景色発生手段が生成した背景色をもとに、伝送された画
像情報の輝度情報、色相および彩度の比較を行ってキー
フレーム情報を生成するものである。
According to the image synthesizing apparatus of the present invention, in the image information composed of the foreground image and the background of the specific color, the background color is changed to the background color generated by the background color generating means. A second key frame generating means for generating key frame information by comparing luminance information, hue and saturation of transmitted image information based on the background color generated by the background color generating means. It is.

【0011】本発明は上記した構成によって、伝送する
画像情報の背景が単純な状態にし、色情報だけでなく、
輝度情報を利用して前景画像と背景を識別するので、受
信側の識別の精度を上げ、合成画像の品位を向上させる
ことができる。
According to the present invention, the background of the image information to be transmitted is made simple by the above-mentioned configuration, and not only the color information but also
Since the foreground image and the background are identified using the luminance information, the accuracy of identification on the receiving side can be improved, and the quality of the synthesized image can be improved.

【0012】また、本発明の画像合成装置は、画像情報
と共に、キーフレーム生成手段が出力するキーフレーム
情報を伝送する。
Further, the image synthesizing apparatus of the present invention transmits the key frame information output by the key frame generating means together with the image information.

【0013】本発明は上記した構成によって、キーフレ
ーム情報を画像情報と独立して伝送するので、識別精度
が損なわれず、ネットワークの利用効率も高くなる。
According to the present invention, since the key frame information is transmitted independently of the image information by the above-described configuration, the accuracy of identification is not impaired and the utilization efficiency of the network is improved.

【0014】[0014]

【発明の実施の形態】本発明の第1の発明は前景画像と
特定色の背景とで構成された第1の画像情報に対して、
前記背景の色情報をもとに前記前景画像と前記背景を識
別するためのキーフレーム情報を生成する第一のキーフ
レーム生成手段と、あらかじめ設定された輝度、色相、
および彩度が均一な背景色を生成する背景色発生手段
と、前記第一のキーフレーム生成手段が出力するキーフ
レーム情報に基づいて、前記第1の画像情報の前記背景
を前記背景色発生手段が生成した背景色に置換して第2
の画像情報を生成する背景置換手段と、前記第2の画像
情報を圧縮して伝送する伝送手段と、前記伝送手段よっ
て伝送された第2の画像情報に対して、前記背景色発生
手段が生成する背景色の色情報をもとに前記前景画像と
前記背景色を識別するためのキーフレーム情報を生成す
る第二のキーフレーム生成手段と、前記第二のキーフレ
ーム生成手段が出力するキーフレーム情報に基づいて、
前記前景画像と所望の背景画像を合成する画像合成手段
とを有することを特徴とする画像合成装置であり、この
構成によって、本発明の画像合成装置は、背景置換手段
が第1の画像情報の背景を背景色発生手段が生成した背
景画像と置換し、第二のキーフレーム生成手段は、第2
の画像情報と背景色発生手段が生成する背景色の輝度情
報、色相および彩度の比較を行ってキーフレーム情報を
生成するので、背景の画素情報を単純にすることがで
き、前景画像と背景の識別を色情報だけではなく輝度情
報も利用しているので、伝送側の識別精度を上げること
ができる。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A first invention of the present invention is directed to a first image information composed of a foreground image and a background of a specific color.
First key frame generating means for generating key frame information for identifying the foreground image and the background based on the color information of the background, and a preset luminance, hue,
A background color generating means for generating a background color having a uniform color saturation, and the background of the first image information based on the key frame information outputted by the first key frame generating means. Replace with the background color generated by
Background replacement means for generating image information of the following, transmission means for compressing and transmitting the second image information, and generation of the background color generation means for the second image information transmitted by the transmission means. Second key frame generating means for generating key frame information for identifying the foreground image and the background color based on the color information of the background color to be generated, and a key frame output by the second key frame generating means. Based on the information,
An image synthesizing device comprising an image synthesizing unit for synthesizing the foreground image and a desired background image. With this configuration, the image synthesizing device of the present invention has The background is replaced with the background image generated by the background color generating means, and the second key frame generating means
The key frame information is generated by comparing the luminance information, hue, and saturation of the background color generated by the image information of the background and the background color generated by the background color generation means, so that the pixel information of the background can be simplified, and the foreground image and the background Since not only the color information but also the luminance information is used for the identification, the identification accuracy on the transmission side can be improved.

【0015】本発明の第2の発明は、第一の発明におい
て、第一のキーフレーム生成手段が生成するキーフレー
ム情報に基づいて、第1の画像情報より前景画像を取り
出し、前記前景画像の輝度、色相および彩度の統計的情
報を抽出する前景画像分析手段を有し、背景色発生手段
は前記前景画像分析手段が出力した統計的情報に基づい
て、前記前景画像の平均的色相から最も離れた色相であ
り、かつ、最も発生頻度の少ない輝度、かつ、前記輝度
の中で最も高い彩度である、輝度、色相および彩度が均
一な背景色を発生することを特徴とする画像合成装置で
あり、この構成によって本発明の画像合成装置は、背景
色発生手段が前景画像分析手段が出力する前景画像の統
計的情報に基づいて前景画像と識別しやすい背景色を発
生するため、前景画像と背景の識別の精度を上げること
ができる。
According to a second aspect of the present invention, in the first aspect, a foreground image is extracted from the first image information based on the key frame information generated by the first key frame generating means, and the foreground image of the foreground image is extracted. The foreground image analysis means for extracting statistical information of luminance, hue and saturation, and the background color generation means, based on the statistical information output by the foreground image analysis means, calculates the most from the average hue of the foreground image. An image synthesis method that generates a background color with a uniform hue, hue, and saturation that is a separated hue and has the least frequency of occurrence and the highest saturation among the brightnesses. With this configuration, the image synthesizing apparatus of the present invention generates a background color that can be easily distinguished from the foreground image based on the statistical information of the foreground image output from the foreground image analysis unit by the background color generation unit. It can improve the accuracy of the identification of the image and the background.

【0016】また、背景色置換手段はあらかじめ設定さ
れた特定の座標の画素情報は常に背景色発生手段が生成
した背景色に置換することから、第二のキーフレーム手
段が特定の座標の画素情報から背景色発生手段が生成し
た背景色を認識できる。
The background color replacing means always replaces the pixel information of the specific coordinates set in advance with the background color generated by the background color generating means. Can be used to recognize the background color generated by the background color generation means.

【0017】本発明の第3の発明は、前景画像と特定色
の背景とで構成された画像情報に対して、前記背景の色
情報をもとに前記前景画像と前記背景を識別するための
キーフレーム情報を生成するキーフレーム生成手段と、
前記キーフレーム生成手段が出力するキーフレーム情報
と前記前景画像を圧縮して伝送する伝送手段と、前記伝
送手段によって伝送されたキーフレーム情報に基づい
て、前記前景画像と前記背景画像を合成する画像合成手
段とを有することを特徴とする画像合成装置であり、こ
の構成によって、本発明の画像合成装置は、キーフレー
ム情報を画像情報と独立して伝送するので、識別精度の
低下を防ぐことができる。
According to a third aspect of the present invention, for the image information composed of a foreground image and a background of a specific color, the image information for identifying the foreground image and the background based on the color information of the background is provided. Key frame generating means for generating key frame information;
Transmitting means for compressing and transmitting the key frame information output by the key frame generating means and the foreground image, and an image for synthesizing the foreground image and the background image based on the key frame information transmitted by the transmitting means And a synthesizing unit. With this configuration, the image synthesizing apparatus of the present invention transmits the key frame information independently of the image information. it can.

【0018】また、キーフレーム情報より前景画像の輪
郭情報を抽出する輪郭情報抽出手段と、輪郭情報からキ
ーフレームを再生するキーフレーム再生手段を設け、輪
郭情報を伝送することで、キーフレーム情報を独立して
伝送することもできる。
Further, there are provided contour information extracting means for extracting contour information of the foreground image from the key frame information, and key frame reproducing means for reproducing a key frame from the contour information. It can also be transmitted independently.

【0019】以下、本発明の実施の形態について、図1
から図6を用いて説明する。
Hereinafter, an embodiment of the present invention will be described with reference to FIG.
This will be described with reference to FIG.

【0020】(実施の形態1)図1は、本発明の実施の形
態1における画像合成装置のブロック図である。図1に
おいて、101は前景画像となる画像を撮影するカメ
ラ、102はカメラ101で撮影された画像情報中の背
景画像の色を検知、分離することで前景画像と背景画像
を識別するための情報を発生する第1のキーフレーム生
成手段である色分離器、103は背景となる画像情報を
発生する背景色発生器、104は色分離器102からの
情報に基づいて、カメラ101で撮影された画像情報の
背景部分を背景色発生器103で生成された背景色に置
換する背景置換器、105は背景置換器104より出力
された画像情報をDV方式に準拠した画像圧縮を行う画
像圧縮器、106は画像圧縮器より出力された圧縮画像
情報をネットワーク上へ送信する伝送送信装置、107
は伝送送信装置106より送信された圧縮画像情報をネ
ットワーク上から受信する伝送受信装置、108は伝送
受信装置107が受信したDV方式に準拠した圧縮画像
情報を伸長する画像伸長器、109は画像伸長器108
より出力された画像情報の中の背景色を検知、分離する
ことで前景画像と背景画像を識別するための情報を出力
する第2のキーフレーム生成手段である色分離器、11
0は背景画像を生成する背景画像発生器、111は色分
離器109からの情報に基づいて画像伸長器108で伸
長された画像情報の背景部分を背景画像発生器110で
生成された背景画像に置換する画像合成器である。ここ
で、画像圧縮器106、伝送送信装置106、伝送受信
装置107、画像伸長器108は伝送手段に相当する。
(Embodiment 1) FIG. 1 is a block diagram of an image synthesizing apparatus according to Embodiment 1 of the present invention. In FIG. 1, reference numeral 101 denotes a camera for capturing an image serving as a foreground image, and 102, information for identifying a foreground image and a background image by detecting and separating a color of a background image in image information captured by the camera 101. Is a color separator which is a first key frame generating means for generating image data, 103 is a background color generator for generating image information to be a background, and 104 is imaged by the camera 101 based on information from the color separator 102. A background replacement unit that replaces the background portion of the image information with the background color generated by the background color generator 103; 105, an image compressor that performs image compression on the image information output from the background replacement unit 104 in accordance with the DV system; 106, a transmission / transmission device for transmitting the compressed image information output from the image compressor to a network, 107
Is a transmission receiving device that receives the compressed image information transmitted from the transmission transmitting device 106 from the network, 108 is an image decompressor that decompresses the compressed image information conforming to the DV system received by the transmission receiving device 107, and 109 is an image decompressor. Vessel 108
A color separator 11 serving as second key frame generating means for outputting information for identifying a foreground image and a background image by detecting and separating a background color in the output image information;
0 is a background image generator for generating a background image, and 111 is a background image generated by the background image generator 110 by converting the background portion of the image information expanded by the image expander 108 based on the information from the color separator 109. The image synthesizer to be replaced. Here, the image compressor 106, the transmission transmission device 106, the transmission reception device 107, and the image decompression device 108 correspond to transmission means.

【0021】以上のように構成された画像合成装置につ
いて、以下その動作について説明する。
The operation of the image synthesizing apparatus configured as described above will be described below.

【0022】カメラ101は特定色の背景の前で前景画
像となる画像を撮影する。前景画像としては人物を撮影
することが多く、背景の色としては、人物の肌の色の補
色関係になる色、例えば青色が選ばれることが多い。色
分離器102はカメラ101で撮影された画像情報を受
け、画像情報中の背景画像の色を検知、分離することで
前景画像と背景画像を識別するためのキーフレーム情報
を発生し、背景置換器104へ出力する。背景色発生器
103は背景色となる輝度、色相、彩度が全画面にわた
って均一な画像情報を発生する。背景置換器104は、
色分離器102の出力するキーフレーム情報によって、
画像の前景部分ではカメラ101からの画像情報を、背
景部分では背景色発生器103で生成された画像情報を
選択し、カメラ101からの画像情報の中で、背景の部
分を背景色発生器103により生成された背景色に置換
する。画像圧縮器105は、背景置換器104より出力
された画像情報にSMPTE(Society of Motion Pictu
re and Television Engineers)314M規格のDV(Di
gital Video)方式に準拠した画像圧縮を行い、伝送送
信装置106は伝送受信装置107と対になってネット
ワークを経由して画像圧縮器105が出力した圧縮画像
情報を遠隔地への伝送を行う。
The camera 101 captures an image serving as a foreground image in front of a specific color background. A person is often photographed as the foreground image, and a color that is complementary to the skin color of the person, for example, blue is often selected as the background color. The color separator 102 receives image information captured by the camera 101, detects and separates the color of the background image in the image information, generates key frame information for identifying the foreground image and the background image, and performs background replacement. Output to the device 104. The background color generator 103 generates image information in which luminance, hue, and saturation as a background color are uniform over the entire screen. The background replacer 104
According to the key frame information output from the color separator 102,
For the foreground part of the image, the image information from the camera 101 is selected, and for the background part, the image information generated by the background color generator 103 is selected. Replace with the background color generated by. The image compressor 105 adds SMPTE (Society of Motion Pictu) to the image information output from the background replacement unit 104.
re and Television Engineers) DV (Di
Gital Video), and the transmission / transmission apparatus 106 transmits the compressed image information output from the image compressor 105 to a remote place via the network in combination with the transmission / reception apparatus 107.

【0023】画像伸張器108は伝送受信装置107が
受信したDV方式に準拠した圧縮画像情報を元の画像情
報に伸長する。色分離器109は画像伸長器108が伸
長した画像情報の中から背景色発生器103が発生した
背景色を検知、分離することで前景画像と背景画像を識
別するためのキーフレーム情報を発生して画像合成器1
11へ出力する。背景画像発生器110はVTRあるい
はコンピュータグラフィックスを発生するコンピュータ
であり、背景画像を再生または生成して画像合成器11
1へ出力する。画像合成器111は色分離器109の出
力するキーフレーム情報によって、画像の前景部分では
画像伸長器108からの画像情報を、背景部分では背景
画像発生器110が生成した画像情報を選択することに
より、画像伸長器108からの画像情報と背景画像発生
器110からの画像情報を合成する。
An image decompressor 108 decompresses the compressed image information conforming to the DV system received by the transmission receiver 107 to the original image information. The color separator 109 detects and separates the background color generated by the background color generator 103 from the image information expanded by the image expander 108 to generate key frame information for identifying the foreground image and the background image. Image synthesizer 1
Output to 11 The background image generator 110 is a computer that generates a VTR or computer graphics.
Output to 1. The image synthesizer 111 selects the image information from the image expander 108 in the foreground portion of the image and the image information generated by the background image generator 110 in the background portion, based on the key frame information output from the color separator 109. The image information from the image decompressor 108 and the image information from the background image generator 110 are combined.

【0024】以上の処理により、背景画像発生器110
の生成した背景の前にあたかもカメラ110で撮影した
人物などの前景画像が存在するかのような画像を合成す
ることができる。
By the above processing, the background image generator 110
Can be synthesized as if there is a foreground image of a person or the like photographed by the camera 110 in front of the background generated by.

【0025】図2は画像圧縮器105においてDV方式
に準拠した画像圧縮をする際に、同時に圧縮する画素の
組合せを示す模式図である。DV方式では、画面上の離
れた5ヶ所の画素ブロックを組み合わせて1つにまと
め、圧縮を施す。5ヶ所の画素ブロックをそれぞれ符号
化し、合わせた符号長が一定の長さになるようにまとめ
られる。画素ブロック内の画像情報が複雑な場合、その
符号長は長くなり、画像情報が単純な場合は符号長は短
くなる。DV方式では、まとめられる画素ブロックの5
ヶ所は図2のa,b,c,d,eに示すように画面上で
分散するように配置されており、一定の長さの総符号長
の中でそれぞれの画素ブロックに割り当てられる符号長
を最適に配分することによって、単純に総符号長を5等
分した場合より有効に符号長の割当が行われる。
FIG. 2 is a schematic diagram showing combinations of pixels that are simultaneously compressed when the image compressor 105 performs image compression in accordance with the DV system. In the DV system, five distant pixel blocks on the screen are combined into one, and compressed. The five pixel blocks are coded, and are combined so that the combined code length becomes a fixed length. When the image information in the pixel block is complicated, the code length becomes long, and when the image information is simple, the code length becomes short. In the DV system, 5 of the pixel blocks to be collected are
The two locations are arranged so as to be dispersed on the screen as shown by a, b, c, d, and e in FIG. 2, and the code lengths assigned to the respective pixel blocks in the fixed length total code length , The code length is more effectively allocated than when the total code length is simply divided into five.

【0026】画像合成を行う際、最終的に使用される部
分は画像全体のうち前景部分だけである。従って圧縮す
る際には前景となる部分に優先的に符号長が割り当てら
れるようにすれば、前景部分の精細度が向上し、特に背
景画像と前景画像の境界部分が尖鋭化することで、前景
画像と背景画像の分離精度が向上する。従来例に示した
ようにカメラからの画像情報をそのまま画像圧縮した場
合、背景部分の画像は特定色一色の画像であるが、カメ
ラで撮影する関係上、輝度は照明の当たり具合やレンズ
の特性にとって一定とはならず、また雑音の混入が避け
られないため、本来符号長を割り当てたくない図2の
b,c,d,eなどの画素ブロックにも符号長を消費さ
れ、本来、集中的に符号長を割り当てたい図2のaの画
素ブロックへの符号の割り当て量が減少する。これが最
終的な合成画像の品位の低下の原因となる。
When image synthesis is performed, only the foreground portion of the entire image is finally used. Therefore, when the code length is preferentially assigned to the foreground part during compression, the definition of the foreground part is improved, and in particular, the boundary between the background image and the foreground image is sharpened. The separation accuracy between the image and the background image is improved. As shown in the conventional example, when image information from a camera is compressed as it is, the image of the background part is an image of a specific color, but due to shooting with the camera, the luminance is determined by the degree of illumination and the characteristics of the lens. Therefore, the code length is also consumed in pixel blocks such as b, c, d, and e in FIG. 2 where it is not desired to assign a code length because the noise is inevitably mixed. The amount of codes to be assigned to the pixel blocks in FIG. This causes the quality of the final synthesized image to deteriorate.

【0027】図1に示した本発明の画像合成装置におい
ては、画像圧縮に先だって背景置換器104によって背
景部分を背景色発生器103で発生した、輝度、色相、
彩度が一定な背景画像情報に置換される。この結果、背
景部分の画素ブロックの画像情報はもっとも単純な状態
になるため背景部分に割り当てられる符号長は最小化さ
れ、前景部分には十分な符号長を割り当てることができ
る。この結果、伝送先の色分離器109での前景画像と
背景画像の分離精度が向上し、画像合成器111から得
られる合成画像の品位を向上させることができる。
In the image synthesizing apparatus of the present invention shown in FIG. 1, the background portion is generated by the background color generator 103 by the background replacement unit 104 prior to the image compression.
The background image information having a constant saturation is replaced. As a result, the image information of the pixel block in the background portion becomes the simplest state, so that the code length assigned to the background portion is minimized, and a sufficient code length can be assigned to the foreground portion. As a result, the separation accuracy of the foreground image and the background image in the color separator 109 at the transmission destination is improved, and the quality of the synthesized image obtained from the image synthesizer 111 can be improved.

【0028】(実施の形態2)図3は、実施の形態1にお
ける伝送先の色分離器109に入力される画像伸長器1
08の出力する画像情報の前景画像と背景画像の境界部
分を拡大した信号波形図である。DV方式の画像圧縮で
は単位時間あたり輝度情報4に対して色情報1の割合で
情報が伝達される。したがって前景画像と背景画像の境
界部分では、図3のaの曲線で示される輝度に比べて、
色の情報は同図bの曲線のようになだらかに変化してい
く。図3では、時刻t0から、t3までが前景画像で時
刻t4から背景画像になるが、色の変化がなだらかなた
め、t3での画素の色情報はほとんど背景に近く、色情
報だけで前景画像と背景画像の識別を行うとt3の画素
を背景であると誤識別してしまう。また、従来例のよう
に背景がカメラで撮影したままの状態では、前述のよう
に背景の輝度が一定ではないため、輝度に関する情報
は、前景画像と背景画像の識別では直接利用することが
できない。
(Embodiment 2) FIG. 3 shows an image decompressor 1 input to a destination color separator 109 in Embodiment 1.
FIG. 18 is a signal waveform diagram in which a boundary portion between a foreground image and a background image of image information output by reference numeral 08 is enlarged. In the image compression of the DV system, information is transmitted at a ratio of one piece of color information to four pieces of luminance information per unit time. Therefore, at the boundary between the foreground image and the background image, compared to the luminance indicated by the curve in FIG.
The color information changes gradually as shown by the curve in FIG. In FIG. 3, the time from t0 to t3 is the foreground image and the background image is from time t4. However, since the color changes gradually, the color information of the pixel at t3 is almost close to the background, and the foreground image is only color information. When the background image is identified, the pixel at t3 is erroneously identified as the background. Further, when the background is still photographed by the camera as in the conventional example, the luminance of the background is not constant as described above, so that information on the luminance cannot be directly used for discriminating the foreground image from the background image. .

【0029】本実施の形態の画像合成装置は、画像圧縮
に先だって背景置換器104によって背景部分を背景色
発生器103で発生した、輝度、色相、彩度が一定な背
景画像情報に置換されるので、背景画像の輝度も一意に
決定することができる。
In the image synthesizing apparatus according to the present embodiment, the background portion is replaced by the background color generator 103 with background image information having a constant luminance, hue and saturation before the image compression. Therefore, the luminance of the background image can be uniquely determined.

【0030】また、色分離器109は色情報の比較に先
だって、まず輝度情報の比較を行う。すなわち、図3の
例では、t3の画素については色情報では背景画像と判
定されるが、輝度情報では背景画像の輝度と一致しない
ため、背景画像とは識別されることはなく、正しく前景
画像であると識別する。
The color separator 109 first compares luminance information before comparing color information. That is, in the example of FIG. 3, the pixel at t3 is determined to be a background image in the color information, but does not match the luminance of the background image in the luminance information. Is identified.

【0031】このように輝度情報を前景画像と背景画像
の識別に利用することができるので、識別の精度を向上
することが可能で、画像合成器111から得られる合成
画像の品位を向上させることができる。
As described above, since the luminance information can be used for discriminating the foreground image from the background image, the accuracy of the discrimination can be improved, and the quality of the synthesized image obtained from the image synthesizer 111 can be improved. Can be.

【0032】(実施の形態3)本実施の形態では、カメラ
で撮影された画像情報の背景部分を置換する背景色を前
景画像の統計情報を用いて生成する映像合成装置を説明
する。
(Embodiment 3) In this embodiment, a video synthesizing apparatus for generating a background color for replacing a background portion of image information captured by a camera using statistical information of a foreground image will be described.

【0033】図4は、本発明の実施の形態3における画
像合成装置のブロック図である。図4において実施の形
態1と同じ動作を行う構成要素については同じ番号をふ
り、説明は省略する。
FIG. 4 is a block diagram of an image synthesizing apparatus according to Embodiment 3 of the present invention. In FIG. 4, the same reference numerals are given to components performing the same operation as in the first embodiment, and description thereof will be omitted.

【0034】図4において、112は色分離器102か
らのキーフレーム情報よりカメラ101からの画像情報
から前景画像を取りだし、前景画像の統計情報を算出す
る前景画像分析器、113は前景画像分析器112が算
出した統計情報より背景色を生成する背景色発生器であ
る。
In FIG. 4, reference numeral 112 denotes a foreground image analyzer which extracts a foreground image from image information from the camera 101 from key frame information from the color separator 102 and calculates statistical information of the foreground image, and 113 denotes a foreground image analyzer. A background color generator 112 generates a background color from the calculated statistical information.

【0035】本実施の形態と実施の形態1の相違点は、
前景画像分析器112を設け、前景画像分析器112が
算出した統計情報より背景色発生器113が背景色を生
成している点であるので、本実施の形態では、前景画像
分析器112、背景色発生器113の動作を中心に説明
する。
The difference between the present embodiment and the first embodiment is as follows.
The foreground image analyzer 112 is provided in the present embodiment because the background color generator 113 generates the background color based on the statistical information calculated by the foreground image analyzer 112. The operation of the color generator 113 will be mainly described.

【0036】前景画像分析器112は色分離器102か
らのキーフレーム情報を受け、カメラ101からの画像
情報から前景画像を取り出し、前景画像の統計情報とし
て、前景画像の色相の平均値と、輝度値の発生頻度を算
出する。背景色発生器113は、前景画像分析器112
より出力された前景画像の統計情報から、前景画像の平
均色相とは最も離れた色相でかつ、最も発生頻度の少な
い輝度値を持ち、その輝度値で最も飽和度の高い彩度の
背景色を発生して背景置換器104へ出力する。
The foreground image analyzer 112 receives the key frame information from the color separator 102, extracts the foreground image from the image information from the camera 101, and obtains the average value of the hue of the foreground image and the luminance as statistical information of the foreground image. Calculate the frequency of occurrence of the value. The background color generator 113 includes a foreground image analyzer 112.
From the statistical information of the foreground image output from the foreground image, from the hue that is the farthest from the average hue of the foreground image, has the least frequently occurring luminance value, and select the background color with the highest saturation in the luminance value. Generated and output to the background replacement unit 104.

【0037】本実施の形態では、背景色発生器113
が、背景置換器104がカメラ101より出力された画
像情報の背景画像と置換する背景色として、最も前景画
像と識別しやすい背景色を生成することができるため、
伝送先の色分離器109での前景画像と背景画像との識
別がより容易になる。これにより色分離器109での誤
識別の発生確率を低下させることができ、画像合成器1
11から得られる合成画像の品位を向上させることがで
きる。
In this embodiment, the background color generator 113
However, since the background replacement unit 104 can generate a background color that is most easily distinguished from a foreground image as a background color to be replaced with a background image of image information output from the camera 101,
It becomes easier to distinguish between the foreground image and the background image in the color separator 109 at the transmission destination. As a result, the probability of occurrence of erroneous identification in the color separator 109 can be reduced, and the image synthesizer 1
11 can be improved.

【0038】(実施の形態4)実施の形態3では、置換し
た背景色が前景画像の統計的特徴によって変化する。背
景色を伝送元と伝送先であらかじめ取り決めている画像
合成装置の場合、色分離器109ではキーフレームの発
生に当たって、背景色をあらかじめ認識していることが
必要である。
(Embodiment 4) In Embodiment 3, the replaced background color changes depending on the statistical characteristics of the foreground image. In the case of an image synthesizing apparatus in which the background color is determined in advance by the transmission source and the transmission destination, the color separator 109 needs to recognize the background color before generating a key frame.

【0039】本実施の形態では、背景置換器104が特
定の座標、例えば画面の左上隅においてかならず背景色
発生器113からの背景画像を選択する。伝送先の色分
離器109ではこの特定座標の画素の情報から背景色発
生器113が発生する背景色を認識し、前景画像と背景
画像の識別に利用する。
In this embodiment, the background replacement unit 104 always selects the background image from the background color generator 113 at a specific coordinate, for example, at the upper left corner of the screen. The color separator 109 at the transmission destination recognizes the background color generated by the background color generator 113 from the information of the pixel at the specific coordinates, and uses it for discriminating the foreground image from the background image.

【0040】なお、本実施の形態では、背景置換器10
4が特定の座標を画面の左上隅として説明したが、これ
に限定するものではない。
In this embodiment, the background replacement unit 10
4 describes the specific coordinates as the upper left corner of the screen, but is not limited to this.

【0041】(実施の形態5)従来例では、背景画像と前
景画像を識別するために色情報を利用し、しかも色情報
の伝送に当たって画像圧縮を用いるため識別精度の低下
を招いていた。本実施の形態の画像合成装置は、キーフ
レーム情報を画像情報と独立して伝送する画像合成装置
について説明する。
(Embodiment 5) In the conventional example, color information is used to distinguish between a background image and a foreground image, and image compression is used in transmitting the color information. The image synthesizing apparatus according to the present embodiment will be described as an image synthesizing apparatus that transmits key frame information independently of image information.

【0042】図5は、本発明の実施の形態5における画
像合成装置のブロック図である。
FIG. 5 is a block diagram of an image synthesizing apparatus according to Embodiment 5 of the present invention.

【0043】図5において101は特定色の背景の前で
前景画像となる画像を撮影するカメラであり、102は
カメラ101で撮影された画像情報中の背景画像の色を
検知、分離することで前景画像と背景画像を識別するた
めの情報を発生する色分離器、105はカメラ101で
撮影された画像情報にDV方式に準拠した画像圧縮を行
う画像圧縮器、106、115はそれぞれ画像圧縮器1
05、キーフレーム圧縮器114より出力された圧縮画
像情報をネットワークへ送出する伝送送信装置、10
7、116はそれぞれ伝送送信装置106、伝送送信装
置115より送信された圧縮画像情報をネットワークか
ら受信する伝送受信装置、108は伝送受信装置107
が受信したDV方式に準拠した圧縮画像情報を伸長する
画像伸長器、110は背景画像を生成する背景画像発生
器、111はキーフレーム伸長器117より出力される
キーフレーム情報により画像伸長器108から出力され
る画像情報と背景画像発生器110で生成された背景画
像を合成する画像合成器、114はキーフレームの画像
圧縮を行うキーフレーム圧縮器、117は圧縮したキー
フレーム情報を元のキーフレーム情報に伸長するキーフ
レーム伸長器である。ここで、伝送送信装置106、1
15、伝送受信装置107,116は伝送手段に相当す
る。
In FIG. 5, reference numeral 101 denotes a camera for photographing an image to be a foreground image in front of a background of a specific color, and 102 detects and separates the color of the background image in the image information photographed by the camera 101. A color separator 105 for generating information for identifying a foreground image and a background image; 105, an image compressor for performing image compression based on the DV system on image information captured by the camera 101; 1
05, a transmission / transmission device for transmitting the compressed image information output from the key frame compressor 114 to the network,
Reference numerals 7 and 116 denote transmission receivers for receiving the compressed image information transmitted from the transmission transmitter 106 and the transmission transmitter 115 from the network, respectively.
Is an image decompressor that decompresses the received compressed image information conforming to the DV system, 110 is a background image generator that generates a background image, and 111 is an image decompressor that generates a background image from the image decompressor 108 based on key frame information output from the key frame decompressor 117 An image synthesizer for synthesizing the output image information and the background image generated by the background image generator 110, a key frame compressor 114 for compressing a key frame image, and a key frame 117 for converting the compressed key frame information to an original key frame. It is a key frame decompressor that decompresses information. Here, the transmission transmitting devices 106, 1
15. The transmission receivers 107 and 116 correspond to transmission means.

【0044】以上のように構成された画像合成装置につ
いて、以下その動作について説明する。
The operation of the image synthesizing apparatus configured as described above will be described below.

【0045】カメラ101は特定色の背景の前で前景画
像となる画像を撮影し、撮影した画像情報を色分離器1
02、画像圧縮器105に出力する。色分離器102
は、カメラ101からの画像情報を受け、画像情報中の
背景の色を検知、分離することで前景と背景を識別する
ためのキーフレーム情報を発生する。キーフレーム圧縮
器102は色分離器102が生成したキーフレーム情報
をDV方式に準拠した画像圧縮、例えば、前景を白、背
景を黒に対応させた2値画像として画像圧縮を行う。伝
送送信装置115、伝送受信装置116はキーフレーム
圧縮器114で圧縮された圧縮キーフレーム情報をネッ
トワークを経由して遠隔地への伝送を行う。キーフレー
ム伸長器117はDV方式に準拠した圧縮キーフレーム
情報を元のキーフレーム情報に伸長する。
The camera 101 captures an image to be a foreground image in front of a background of a specific color, and converts the captured image information into a color separator 1.
02, output to the image compressor 105. Color separator 102
Receives the image information from the camera 101 and detects and separates the color of the background in the image information to generate key frame information for identifying the foreground and the background. The key frame compressor 102 performs image compression in accordance with the DV system on the key frame information generated by the color separator 102, for example, image compression as a binary image in which the foreground is white and the background is black. The transmission transmission device 115 and the transmission reception device 116 transmit the compressed key frame information compressed by the key frame compressor 114 to a remote place via a network. The key frame expander 117 expands the compressed key frame information conforming to the DV system to the original key frame information.

【0046】一方、画像圧縮器105はカメラ101か
らの画像情報を画像圧縮する。伝送送信装置106、伝
送受信装置107は対になって、画像圧縮器105によ
り圧縮された画像情報をネットワークを経由して遠隔地
への伝送を行う。画像伸長器108は伝送受信装置10
7より出力された圧縮画像情報を元の画像情報に伸長す
る。
On the other hand, the image compressor 105 compresses image information from the camera 101. The transmission transmitting device 106 and the transmission receiving device 107 form a pair and transmit the image information compressed by the image compressor 105 to a remote place via a network. The image decompressor 108 is a transmission receiving device 10
7 expands the compressed image information output to the original image information.

【0047】背景画像発生器110はVTRあるいはコ
ンピュータグラフィックスを発生するコンピュータであ
り、背景色を再生または生成する。画像合成器111
は、キーフレーム伸長器117の出力するキーフレーム
情報によって、画像の前景部分では画像伸長器108か
らの画像情報を、背景部分では背景画像発生器110か
らの画像情報を選択する。これによって、背景画像発生
器110の生成した背景の前にあたかもカメラ101で
撮影した人物などの前景画像が存在するかのような画像
を合成することができる。
The background image generator 110 is a VTR or a computer that generates computer graphics, and reproduces or generates a background color. Image synthesizer 111
Selects the image information from the image expander 108 in the foreground portion of the image and the image information from the background image generator 110 in the background portion, based on the key frame information output from the key frame expander 117. Thus, an image can be synthesized as if a foreground image such as a person photographed by the camera 101 exists in front of the background generated by the background image generator 110.

【0048】本実施の形態では、キーフレーム情報の伝
送に独立した伝送手段を用意することで、識別精度が損
なわれない。また、DV方式の圧縮では約1/5の圧縮
が可能なので独立に伝送を行っても圧縮を併用しない場
合に比べてもネットワークの利用効率は高い。
In this embodiment, by providing an independent transmission means for transmitting the key frame information, the identification accuracy is not impaired. In addition, since the compression of the DV system can reduce the compression by about 1/5, the use efficiency of the network is higher than the case where the transmission is performed independently and the compression is not used together.

【0049】なお、キーフレーム圧縮器114はキーフ
レーム情報をDV方式で圧縮したが、これに限定するも
のではない。例えば、キーフレーム圧縮器114の圧縮
方式としてハフマン符号化を用いる。また対となるキー
フレーム伸長器117においてもハフマン符号化にもと
づいて伸長を行う。前景画像の画面内に占める領域は、
連続した領域でありライン間の相関が高い。この種の情
報の圧縮にはハフマン符号化が高い効率を示す。
Although the key frame compressor 114 compresses the key frame information by the DV system, the present invention is not limited to this. For example, Huffman coding is used as a compression method of the key frame compressor 114. Also, the key frame decompressor 117 to be paired performs decompression based on Huffman coding. The area occupied by the foreground image on the screen is
It is a continuous area and the correlation between lines is high. Huffman coding shows high efficiency in compressing this type of information.

【0050】(実施の形態6)実施の形態1ではキーフレ
ーム情報を圧縮して伝送していたが、本実施の形態では
キーフレーム情報を輪郭情報を表現するベクトルの連鎖
を使用して伝送する画像合成装置について説明する。
(Embodiment 6) In the first embodiment, the key frame information is compressed and transmitted. In the present embodiment, the key frame information is transmitted using a chain of vectors expressing contour information. The image synthesizing device will be described.

【0051】図6は、本発明の実施の形態6における画
像合成装置のブロック図である。図6において実施の形
態5と同じ動作を行う構成要素については同じ番号をふ
り、説明は省略する。
FIG. 6 is a block diagram of an image synthesizing apparatus according to Embodiment 6 of the present invention. In FIG. 6, the same reference numerals are given to components performing the same operation as in the fifth embodiment, and description thereof will be omitted.

【0052】図6において118は色分離器102が出
力するキーフレーム情報より輪郭情報を抽出する輪郭情
報抽出器、119は輪郭情報抽出器118より出力され
た輪郭情報をネットワークへ送出する伝送送信装置、1
20は伝送送信装置119より送信された輪郭情報をネ
ットワークから受信する伝送受信装置、121は伝送受
信装置が受信した輪郭情報より元のキーフレーム情報を
復元するキーフレーム再生器である。ここで、伝送送信
装置119、伝送受信装置120は伝送手段に相当す
る。
In FIG. 6, reference numeral 118 denotes a contour information extractor for extracting contour information from the key frame information output from the color separator 102, and 119 denotes a transmission / transmission device for sending the contour information output from the contour information extractor 118 to a network. , 1
Reference numeral 20 denotes a transmission receiving device that receives the contour information transmitted from the transmission transmitting device 119 from the network, and reference numeral 121 denotes a key frame regenerator that restores the original key frame information from the contour information received by the transmission receiving device. Here, the transmission transmission device 119 and the transmission reception device 120 correspond to transmission means.

【0053】本実施の形態と実施の形態5の相違点は、
キーフレーム情報の伝送方法であるので、本実施の形態
では、輪郭情報118、キーフレーム再生器121の動
作を中心に説明する。
The difference between this embodiment and the fifth embodiment is that
Since this is a method of transmitting key frame information, in the present embodiment, the operation of the outline information 118 and the operation of the key frame reproducer 121 will be mainly described.

【0054】輪郭情報抽出器118は色分離器102よ
り出力されたキーフレーム情報より前景と背景の境界部
分を検出し、境界が閉曲線となることを利用して、境界
を構成する閉曲線を図7に示す8方向のベクトルの連鎖
として表現する。ここで、ベクトルの連鎖とは、閉曲線
上のある座標を始点とすると、次の座標の位置は図7に
示す8方向のベクトルの中の1つのベクトルで表せる。
この処理を順次、平曲線状の全ての点で行えば、閉曲線
はベクトルの連鎖で表現できる。
The contour information extractor 118 detects a boundary between the foreground and the background from the key frame information output from the color separator 102, and utilizes the fact that the boundary becomes a closed curve to convert the closed curve forming the boundary into a closed curve as shown in FIG. Is expressed as a chain of vectors in eight directions. Here, the chain of vectors starts at a certain coordinate on the closed curve, and the position of the next coordinate can be represented by one of the vectors in the eight directions shown in FIG.
If this processing is sequentially performed on all points of the flat curve shape, the closed curve can be represented by a chain of vectors.

【0055】伝送送信装置119は伝送受信装置120
と対になってネットワークを経由してキーフレームの境
界をあらわすベクトル情報の遠隔地への伝送を行う。キ
ーフレーム再生器121はキーフレームの境界を表すベ
クトル情報閉曲線を復元し、元のキーフレームを復元す
る。
The transmission transmitter 119 is the transmission receiver 120
And transmits vector information indicating a boundary of a key frame to a remote place via a network. The key frame reproducer 121 restores the vector information closed curve representing the boundary of the key frame, and restores the original key frame.

【0056】本実施の形態では、キーフレーム情報の伝
送に輪郭情報を表現するベクトルの連鎖を使用する。こ
こで使われるベクトルは図7に示すように8方向しかな
く、それらを相互に識別するためにはわずか3ビットの
情報があればよいので、キーフレーム情報の伝送効率を
極めて高くすることができる。
In this embodiment, a chain of vectors expressing contour information is used for transmitting key frame information. Since the vectors used here have only eight directions as shown in FIG. 7 and only three bits of information are required to distinguish them from each other, the transmission efficiency of key frame information can be made extremely high. .

【0057】なお、本発明において、伝送送信装置、伝
送受信装置はネットワークにより画像情報を伝送する
が、これに限定するものではなく、遠隔地において、画
像情報の伝送が行える伝送手段であればよい。
In the present invention, the transmission transmitting apparatus and the transmission receiving apparatus transmit image information via a network. However, the present invention is not limited to this, and any transmission means capable of transmitting image information at a remote location may be used. .

【0058】また、本発明において、前景画像と特定色
の背景とで構成された画像情報の入力手段をカメラとし
ているが、これに限定するものではなく、前景画像と特
定色の背景とで構成された画像情報を録画しているVT
Rを再生させることで入力するとしてもよい。
In the present invention, the camera is used as an input means for image information composed of a foreground image and a background of a specific color. However, the present invention is not limited to this. VT recording recorded image information
The input may be made by reproducing R.

【0059】また、本発明において、画像圧縮器はDV
方式に準拠した方式で画像の圧縮伸長を行うが、これに
限定するものではない。
In the present invention, the image compressor is a DV
The image is compressed and decompressed by a method conforming to the method, but is not limited to this.

【0060】[0060]

【発明の効果】以上説明いたところからも明らかなよう
に、本発明は、画像合成をネットワーク等を介して行う
ことができ、高価でしかも専任のオペレータが必要な背
景画像を合成する装置を複数の映像制作で共用すること
が可能であり、画像圧縮による高いネットワーク利用効
率と十分な合成画像品位を両立させた、ネットワークを
介した画像合成装置を提供することができる。
As is apparent from the above description, according to the present invention, a plurality of apparatuses for synthesizing background images which can perform image synthesis via a network or the like and which are expensive and require a dedicated operator are provided. It is possible to provide an image synthesizing apparatus via a network that achieves both high network utilization efficiency by image compression and sufficient synthesized image quality.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態1における画像合成装置の
ブロック図
FIG. 1 is a block diagram of an image synthesizing apparatus according to Embodiment 1 of the present invention.

【図2】DV方式の画像圧縮の説明図FIG. 2 is an explanatory diagram of image compression of a DV system.

【図3】前景画像と背景画像の境界部分の波形図FIG. 3 is a waveform diagram of a boundary portion between a foreground image and a background image.

【図4】本発明の実施の形態3における画像合成装置の
ブロック図
FIG. 4 is a block diagram of an image synthesizing apparatus according to Embodiment 3 of the present invention.

【図5】本発明の実施の形態5における画像合成装置の
ブロック図
FIG. 5 is a block diagram of an image synthesizing apparatus according to a fifth embodiment of the present invention.

【図6】本発明の実施の形態6における画像合成装置の
ブロック図
FIG. 6 is a block diagram of an image synthesizing apparatus according to a sixth embodiment of the present invention.

【図7】前景と背景の境界を表現するベクトルの説明図FIG. 7 is an explanatory diagram of a vector expressing a boundary between a foreground and a background.

【図8】従来の画像合成装置のブロック図FIG. 8 is a block diagram of a conventional image synthesizing apparatus.

【図9】従来のネットワークを介した画像合成装置のブ
ロック図
FIG. 9 is a block diagram of a conventional image synthesizing apparatus via a network.

【符号の説明】[Explanation of symbols]

101 カメラ 102 色分離器 103、113 背景色発生器 104 背景置換器 105 画像圧縮器 106、115、119 伝送送信装置 107、116、120 伝送受信装置 108 画像伸長器 109 色分離器 110 背景画像発生器 111 画像合成器 112 前景画像分析器 114 キーフレーム圧縮器 117 キーフレーム伸長器 118 輪郭情報抽出器 121 キーフレーム再生器 101 Camera 102 Color Separator 103, 113 Background Color Generator 104 Background Replacer 105 Image Compressor 106, 115, 119 Transmission Transmitter 107, 116, 120 Transmission Receiver 108 Image Decompressor 109 Color Separator 110 Background Image Generator Reference Signs List 111 Image synthesizer 112 Foreground image analyzer 114 Key frame compressor 117 Key frame decompressor 118 Outline information extractor 121 Key frame reproducer

フロントページの続き Fターム(参考) 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE08 CE17 CG01 DA08 DB02 DB06 DB09 DC16 DC25 5C066 AA12 BA17 CA05 CA11 DC01 DC06 ED00 ED02 ED03 EE01 EE11 GA01 GA05 GA31 HA03 HA04 JA01 5C076 AA11 AA12 AA13 AA26 BA06 CA12 5C079 HA01 HB06 LA02 LA07 LA26 LA40 LB13 MA02 NA13 5L096 AA02 AA06 BA20 CA07 DA01 FA15 Continued on front page F-term (reference) 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE08 CE17 CG01 DA08 DB02 DB06 DB09 DC16 DC25 5C066 AA12 BA17 CA05 CA11 DC01 DC06 ED00 ED02 ED03 EE01 EA11 GA01 GA01 GA03 AA12 AA13 AA26 BA06 CA12 5C079 HA01 HB06 LA02 LA07 LA26 LA40 LB13 MA02 NA13 5L096 AA02 AA06 BA20 CA07 DA01 FA15

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 前景画像と特定色の背景とで構成された
第1の画像情報に対して、前記背景の色情報をもとに前
記前景画像と前記背景を識別するためのキーフレーム情
報を生成する第一のキーフレーム生成手段と、 あらかじめ設定された輝度、色相、および彩度が均一な
背景色を生成する背景色発生手段と、 前記第一のキーフレーム生成手段が出力するキーフレー
ム情報に基づいて、前記第1の画像情報の前記背景を前
記背景色発生手段が生成した背景色に置換して第2の画
像情報を生成する背景置換手段と、 前記第2の画像情報を圧縮して伝送する伝送手段と、 前記伝送手段よって伝送された第2の画像情報に対し
て、前記背景色発生手段が生成する背景色の色情報をも
とに前記前景画像と前記背景色を識別するためのキーフ
レーム情報を生成する第二のキーフレーム生成手段と、 前記第二のキーフレーム生成手段が出力するキーフレー
ム情報に基づいて、前記前景画像と所望の背景画像を合
成する画像合成手段とを有することを特徴とする画像合
成装置。
1. Key frame information for identifying the foreground image and the background based on the color information of the background is provided for first image information composed of a foreground image and a background of a specific color. First key frame generating means for generating; background color generating means for generating a background color having uniform luminance, hue, and saturation preset; and key frame information output by the first key frame generating means A background replacement unit that generates the second image information by replacing the background of the first image information with a background color generated by the background color generation unit; and compresses the second image information. Transmitting means for transmitting the foreground image and the background color with respect to the second image information transmitted by the transmitting means based on the color information of the background color generated by the background color generating means Keyframe information for A second key frame generating means for generating; and an image synthesizing means for synthesizing the foreground image and a desired background image based on the key frame information output by the second key frame generating means. Image synthesizing device.
【請求項2】 第二のキーフレーム生成手段は、伝送手
段によって伝送された第2の画像情報と背景色発生手段
が生成する背景色の輝度情報、色相および彩度の比較を
行ってキーフレーム情報を生成することを特徴とする請
求項1記載の画像合成装置。
A second key frame generation unit that compares the second image information transmitted by the transmission unit with luminance information, hue, and saturation of a background color generated by the background color generation unit and performs key frame generation; The image synthesizing apparatus according to claim 1, wherein the information is generated.
【請求項3】 第一のキーフレーム生成手段が生成する
キーフレーム情報に基づいて、第1の画像情報より前景
画像を取り出し、前記前景画像の輝度、色相および彩度
の統計的情報を抽出する前景画像分析手段を有し、 背景色発生手段は前記前景画像分析手段が出力した統計
的情報に基づいて、前記前景画像の平均的色相から最も
離れた色相であり、かつ、最も発生頻度の少ない輝度、
かつ、前記輝度の中で最も高い彩度である、輝度、色相
および彩度が均一な背景色を発生することを特徴とする
請求項1記載の画像合成装置。
3. A foreground image is extracted from first image information based on key frame information generated by a first key frame generation unit, and statistical information of luminance, hue, and saturation of the foreground image is extracted. A foreground image analyzing unit, wherein the background color generating unit is a hue farthest from an average hue of the foreground image based on the statistical information output by the foreground image analyzing unit, and has a lowest frequency of occurrence. Luminance,
2. The image synthesizing apparatus according to claim 1, wherein a background color having a uniform luminance, hue, and saturation, which is the highest saturation among the luminances, is generated.
【請求項4】 背景置換手段は、あらかじめ設定された
特定座標の画素情報を常に背景色発生手段が出力する背
景色に置換し、 第二のキーフレーム生成手段は前記特定座標の画素情報
から前記背景色発生手段が発生する背景色の輝度、色
相、および彩度を検出することを特徴とする請求項3記
載の画像合成装置。
4. The background replacement means always replaces pixel information of a specific coordinate set in advance with a background color output by the background color generation means, and the second key frame generation means converts the pixel information of the specific coordinate from the pixel information of the specific coordinate. 4. The image synthesizing apparatus according to claim 3, wherein the background color generating means detects the luminance, hue, and saturation of the background color generated.
【請求項5】 前景画像と特定色の背景とで構成された
画像情報に対して、前記背景の色情報をもとに前記前景
画像と前記背景を識別するためのキーフレーム情報を生
成するキーフレーム生成手段と、 前記キーフレーム生成手段が出力するキーフレーム情報
と前記画像情報を圧縮して伝送する伝送手段と、 前記伝送手段によって伝送されたキーフレーム情報に基
づいて、前記前景画像と所望の背景画像を合成する画像
合成手段とを有することを特徴とする画像合成装置。
5. A key for generating key frame information for identifying the foreground image and the background based on the color information of the background, for image information composed of a foreground image and a background of a specific color. A frame generation unit, a transmission unit that compresses and transmits the key frame information and the image information output by the key frame generation unit, and, based on the key frame information transmitted by the transmission unit, the foreground image and a desired An image synthesizing apparatus, comprising: image synthesizing means for synthesizing a background image.
【請求項6】 前景画像と特定色の背景とで構成された
画像情報に対して、前記背景の色情報をもとに前記前景
画像と前記背景を識別するためのキーフレーム情報を生
成するキーフレーム生成手段と、 前記キーフレーム生成手段が出力するキーフレーム情報
より前記前景画像の輪郭情報を抽出する輪郭情報抽出手
段と、 前記輪郭情報と前記画像情報を伝送する伝送手段と、 前記伝送手段によって伝送された輪郭情報からキーフレ
ーム情報を復元するキーフレーム再生手段と、 前記キーフレーム再生手段が出力するキーフレーム情報
に基づいて前記前景画像と所望の背景画像を合成する画
像合成手段とを有することを特徴とする画像合成装置。
6. A key for generating key frame information for identifying the foreground image and the background based on the color information of the background, for image information composed of a foreground image and a background of a specific color. Frame generating means; contour information extracting means for extracting contour information of the foreground image from key frame information output by the key frame generating means; transmitting means for transmitting the contour information and the image information; Key frame reproducing means for restoring key frame information from the transmitted contour information, and image synthesizing means for synthesizing the foreground image and a desired background image based on the key frame information output by the key frame reproducing means. An image synthesizing apparatus characterized by the above-mentioned.
JP2000134578A 2000-05-08 2000-05-08 Image composing device Pending JP2001320730A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000134578A JP2001320730A (en) 2000-05-08 2000-05-08 Image composing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000134578A JP2001320730A (en) 2000-05-08 2000-05-08 Image composing device

Publications (1)

Publication Number Publication Date
JP2001320730A true JP2001320730A (en) 2001-11-16

Family

ID=18642833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000134578A Pending JP2001320730A (en) 2000-05-08 2000-05-08 Image composing device

Country Status (1)

Country Link
JP (1) JP2001320730A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020067024A (en) * 2002-07-22 2002-08-21 (주)디지털미디어콘텐츠 Photo service method based on digital edition and system thereof
KR20030065650A (en) * 2002-01-30 2003-08-09 (주)자이언트 코리아 Wire/wireless transmitting system having function of image chroma key
JP2008092085A (en) * 2006-09-29 2008-04-17 Nec Personal Products Co Ltd Chroma key detection range adjusting method and information processor
JP2008227817A (en) * 2007-03-12 2008-09-25 Seiko Epson Corp Image data encoder, image data decoder, image processor, and electronic equipment
JP2010211255A (en) * 2009-03-06 2010-09-24 Casio Computer Co Ltd Imaging apparatus, image processing method, and program
JP2011175663A (en) * 2011-04-22 2011-09-08 Casio Computer Co Ltd Imaging device, image processing method, and program
JP2019149617A (en) * 2018-02-26 2019-09-05 大日本印刷株式会社 Imaging system, and photographing device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030065650A (en) * 2002-01-30 2003-08-09 (주)자이언트 코리아 Wire/wireless transmitting system having function of image chroma key
KR20020067024A (en) * 2002-07-22 2002-08-21 (주)디지털미디어콘텐츠 Photo service method based on digital edition and system thereof
JP2008092085A (en) * 2006-09-29 2008-04-17 Nec Personal Products Co Ltd Chroma key detection range adjusting method and information processor
JP4757761B2 (en) * 2006-09-29 2011-08-24 Necパーソナルプロダクツ株式会社 Chroma key detection range adjustment method and information processing apparatus
JP2008227817A (en) * 2007-03-12 2008-09-25 Seiko Epson Corp Image data encoder, image data decoder, image processor, and electronic equipment
JP2010211255A (en) * 2009-03-06 2010-09-24 Casio Computer Co Ltd Imaging apparatus, image processing method, and program
JP2011175663A (en) * 2011-04-22 2011-09-08 Casio Computer Co Ltd Imaging device, image processing method, and program
JP2019149617A (en) * 2018-02-26 2019-09-05 大日本印刷株式会社 Imaging system, and photographing device

Similar Documents

Publication Publication Date Title
US6847333B2 (en) Method of and system for low-bandwidth transmission of color video
WO1995033337A1 (en) A method for specifying a video window's boundary coordinates to partition a video signal and compress its components
US11445160B2 (en) Image processing device and method for operating image processing device
KR960020533A (en) Compression extension method of video information and video signal processing device
US6229930B1 (en) Image processing apparatus, image processing method, image data structure, and data storage media
JPS6355276B2 (en)
US5774191A (en) Chroma-key color range determination
JPH1013799A (en) Video telephone set
JP2001320730A (en) Image composing device
JP3462867B2 (en) Image compression method and apparatus, image compression program, and image processing apparatus
US5808682A (en) Picture data processing system for processing picture data representing foreground and background
JPWO2004056084A1 (en) Image data compression apparatus and restoration apparatus, and image data compression program and restoration program
JP3577585B2 (en) Image transmission device, image transmission method, and computer-readable recording medium recording image transmission program
JP2000261774A (en) Method for segmenting and transmitting portrait
JP4151134B2 (en) Transmission apparatus and method, reception apparatus and method, and recording medium
JP4540552B2 (en) Image transmission device
JP4895041B2 (en) Image processing apparatus, image processing method, and program
CN114040203A (en) Video data processing method, device, equipment and computer storage medium
KR100993068B1 (en) System and method for processing symbols embedded in digital video
JPH11308463A (en) Image processor and image processing method
JP3832971B2 (en) Image processing apparatus and method, and image processing system
JP3148710B2 (en) Video coding method
US20090202165A1 (en) Image decoding method and image decoding apparatus
JP2002112285A (en) Signal transmission system
JPH08130744A (en) Television receiver