JPH1127577A - Image system with virtual visual point - Google Patents
Image system with virtual visual pointInfo
- Publication number
- JPH1127577A JPH1127577A JP9173530A JP17353097A JPH1127577A JP H1127577 A JPH1127577 A JP H1127577A JP 9173530 A JP9173530 A JP 9173530A JP 17353097 A JP17353097 A JP 17353097A JP H1127577 A JPH1127577 A JP H1127577A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- background
- subject
- frame memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、カメラの画像と、
事前に撮影した背景等の画像データベースの出力に、輪
郭抽出、拡大、合成等の信号処理を適用することによ
り、任意の視点における画像を仮想的に生成する画像シ
ステムに関するものである。TECHNICAL FIELD The present invention relates to a camera image,
The present invention relates to an image system that virtually generates an image at an arbitrary viewpoint by applying signal processing such as contour extraction, enlargement, and synthesis to the output of an image database of a background or the like captured in advance.
【０００２】[0002]
【従来の技術】リアルタイムで画像中の対象物の形状を
抽出する方法としては、従来、背景を例えば青色にし、
所定の色成分（この場合は青色）以外の部分を対象物と
するクロマキー処理がある。2. Description of the Related Art As a method of extracting a shape of an object in an image in real time, a background is conventionally made blue, for example.
There is a chroma key process in which a portion other than a predetermined color component (in this case, blue) is an object.
【０００３】また、クロマキー処理等により抽出した対
象物の画像は、通常、所定の大きさ・形状に変換された
上で背景画像に合成される。An image of an object extracted by chroma key processing or the like is usually converted into a predetermined size and shape and then synthesized with a background image.
【０００４】（１）例えば野球やサッカーをはじめとす
るスポーツ中継では、フィールド内にカメラを設置する
ことができない。このため、従来はフィールド外に望遠
レンズ付きのカメラを設置していた。しかし、望遠レン
ズは人間の目に比べ焦点距離が長く、その画像はレンズ
の軸方向が圧縮され、奥行き感が乏しく臨場感に欠ける
という問題があった。また、被写体を実時間で背景から
分離する必要があるが、クロマキー処理は利用できな
い。(1) For example, in sports broadcasting such as baseball and soccer, a camera cannot be installed in the field. For this reason, a camera with a telephoto lens has conventionally been installed outside the field. However, the telephoto lens has a problem that the focal length is longer than that of the human eye, and the image of the telephoto lens is compressed in the axial direction of the lens, resulting in a poor sense of depth and a lack of realism. Also, the subject needs to be separated from the background in real time, but chroma key processing cannot be used.
【０００５】（２）また、人間の目に近い標準的なレン
ズを用いた場合、カメラの設置場所が大きく制限され
る。例えばテレビ電話では人間の正面にはモニタがあ
り、カメラを設置することができない。この場合、斜め
の角度からの撮影となるため会話する人間の視線が一致
しないという問題点があった。(2) When a standard lens close to human eyes is used, the installation place of the camera is greatly restricted. For example, in a videophone, there is a monitor in front of a person, and a camera cannot be installed. In this case, since the photographing is performed from an oblique angle, there is a problem that the line of sight of the talking person does not match.
【０００６】（３）また、防犯カメラでは、犯人のみを
実時間で背景から分離する必要があるが、クロマキー処
理は利用できない。(3) In a security camera, only the criminal needs to be separated from the background in real time, but chroma key processing cannot be used.
【０００７】[0007]
【発明が解決しようとする課題】一般的な画像では、静
止した背景の手前に人物をはじめとする被写体が配置さ
れることが多い（図２参照）。本発明は、被写体の写っ
たカメラの画像と、事前に撮影・記録された背景画像の
データベース出力を比較して被写体のみを抽出し、これ
らに変形・合成等の処理を施すことにより、任意の視点
における画像を仮想的に生成するものである。これによ
り、例えば野球ではフィールド内の選手や、審判の視点
に近い臨場感ある画像を実時間で生成することが可能と
なる。In a general image, a subject including a person is often arranged in front of a stationary background (see FIG. 2). The present invention compares an image of a camera in which a subject is captured with a database output of a background image captured and recorded in advance to extract only the subject, and performs a process such as deformation and synthesis on the subject to obtain an arbitrary image. This is to virtually generate an image at the viewpoint. Thus, for example, in baseball, it is possible to generate a realistic image close to the viewpoint of a player in the field or a referee in real time.
【０００８】[0008]
【課題を解決するための手段】本発明は、カメラの画像
と事前に撮影した背景画像を比較することにより被写体
を抽出する手段と、被写体の画像を拡大・変形して、静
止した背景上に合成する手段を有している。SUMMARY OF THE INVENTION The present invention provides a means for extracting a subject by comparing a camera image with a background image taken in advance, and a method for enlarging and transforming the image of the subject to form a picture on a stationary background. It has means for synthesizing.
【０００９】はじめに、たとえば人物等の被写体を分離
する手段について、図２及び図３を用いて説明する。カ
メラＡ（実カメラ）には例えば望遠レンズがマウントさ
れており、図３(a)のように背景の手前に被写体（人
物）が写っているものとする。また、画像データベース
には、カメラＡの位置で撮影した背景のみの画像（図３
(b)）が事前に記録されているものとする。First, means for separating a subject such as a person will be described with reference to FIGS. It is assumed that a telephoto lens is mounted on the camera A (real camera), for example, and a subject (person) is shown in front of the background as shown in FIG. In addition, the image database contains an image of only the background taken at the position of camera A (FIG. 3).
(b)) shall have been recorded in advance.
【００１０】(1)被写体の抽出 カメラの位置やレンズ、照明等の条件が同一であり、被
写体の影の影響が無視できるとき、これらの２枚の画像
を比較すると背景部は完全に一致する。また、一般には
被写体部分に不一致が生じる。背景と被写体の情報（輝
度あるいは色信号）が明らかに異なっている場合、適切
な判別法（例えばしきい値による２値化）を用いること
により、背景から被写体を完全に分離することができ
る。(1) Extraction of subject When the conditions of the camera position, lens, illumination, etc. are the same and the influence of the shadow of the subject can be neglected, when these two images are compared, the background part completely matches. . Further, in general, a mismatch occurs in the subject portion. If the information (luminance or color signal) of the background and the subject is clearly different, the subject can be completely separated from the background by using an appropriate discrimination method (for example, binarization using a threshold).
【００１１】また、背景と被写体の輝度と色が部分的に
一致する場合であっても、画像処理の手法（例えば、モ
ルフォロジー理論におけるクロージング処理等。電子情
報通信学会誌1991年２月号pp.166〜173参照）を適用す
ることにより、外側の輪郭線を推定し、図３(c)のよう
に、ほぼ被写体のみを背景から実時間で分離することが
できる。これらの手法を整理すると、以下のようにな
る。Further, even when the background and the brightness and color of the subject partially match, an image processing method (for example, a closing process in morphology theory, etc., Journal of the Institute of Electronics, Information and Communication Engineers, February 1991, pp. 166 to 173), it is possible to estimate the outer contour line and to separate almost only the subject from the background in real time as shown in FIG. The following is a summary of these methods.
【００１２】(1-1)背景領域の抽出 背景領域は、以下の条件式を満たす画素の集合とする。(1-1) Extraction of background region The background region is a set of pixels satisfying the following conditional expression.
【００１３】しきい値＜abs（（背景の手前に被写体の
ある画像）−（背景のみの画像）） ここで、absは絶対値、しきい値は雑音等の状態で決ま
る定数である。Threshold <abs ((image with subject in front of background)-(image with background only)) Here, abs is an absolute value, and the threshold is a constant determined by the state of noise or the like.
【００１４】(1-2)被写体領域の抽出 被写体領域は、背景以外の領域（補集合）とする。(1-2) Extraction of Subject Area The subject area is an area other than the background (complementary set).
【００１５】(1-3)被写体領域のクロージング処理 (1-2)で得た被写体領域を膨張処理（dilation）し、そ
の結果を収縮処理（erosion）する。このクロージング
処理により、たまたま被写体と背景の信号レベルが一致
し、被写体の一部が誤って背景と判定された場合でも、
小さな凹部を除去することが可能となり、ほぼ被写体の
輪郭を含む外形を実時間で抽出することができる。な
お、背景領域にオープニング処理（収縮処理後に膨張処
理）を加えても、同様の効果が得られることは明らかで
ある。(1-3) Closing Processing of Subject Area The subject area obtained in (1-2) is subjected to dilation processing, and the result is subjected to erosion processing (erosion). By this closing process, even if the signal level of the subject coincides with the signal level of the background, and a part of the subject is erroneously determined to be the background,
It is possible to remove a small concave portion, and it is possible to extract a contour including a contour of a subject substantially in real time. It is clear that the same effect can be obtained even if an opening process (expansion process after the contraction process) is added to the background area.
【００１６】なお、カメラの位置やレンズ、照明等の条
件が異なる場合には、それらの画像に共通する特徴点を
検出し、これらの輝度や色情報が一致するような補正処
理を行う。これにより、異なる条件下で撮影した場合で
も、背景部をほぼ一致させることができる。If the conditions such as the position of the camera, the lens, and the illumination are different, feature points common to the images are detected, and correction processing is performed so that their luminance and color information match. As a result, even when the image is captured under different conditions, the background portions can be substantially matched.
【００１７】(2)被写体の変形と合成 次に、抽出した被写体を他の背景上に合成する手段につ
いて説明する。抽出した被写体の画像（図３(c)）は、
３次元の物体をある視点（あるいはビューポート）に投
影した２次元画像であり、その３次元的な情報は欠落し
ている。したがって、視点の異なる被写体の画像を正確
に生成するためには、被写体の３次元構造や、照明に用
いた光源の位置等に関する情報を取得する必要がある。
しかし、これらの情報が得られない場合でも、被写体が
人間や一般的な道具であれば、その３次元的な形状をあ
る程度予測することができる。また、光源の位置につい
ても、一定の近似を行うことにより、人間の目には違和
感のない画像を作り出すことも可能である。とくに、実
際のカメラの光軸と、仮想カメラの光軸が大きくずれな
い場合、単純な拡大処理のみで、自然な画像を生成でき
ることが多い。図３(d)は、仮想カメラの位置で標準レ
ンズを用いて撮影したと想定される場合の被写体の画像
である。(2) Deformation and Composition of Subject Next, means for combining the extracted subject with another background will be described. The extracted image of the subject (Fig. 3 (c))
This is a two-dimensional image obtained by projecting a three-dimensional object to a certain viewpoint (or viewport), and its three-dimensional information is missing. Therefore, in order to accurately generate an image of a subject having a different viewpoint, it is necessary to acquire information on the three-dimensional structure of the subject, the position of a light source used for illumination, and the like.
However, even when such information cannot be obtained, if the subject is a human or a general tool, the three-dimensional shape can be predicted to some extent. Also, by performing a certain approximation on the position of the light source, it is also possible to create an image that is not uncomfortable to human eyes. In particular, when the optical axis of the actual camera and the optical axis of the virtual camera do not largely deviate, a natural image can often be generated only by simple enlargement processing. FIG. 3D is an image of the subject when it is assumed that the image was taken using the standard lens at the position of the virtual camera.
【００１８】このようにして生成した被写体の画像に明
るさ等の補正を加え、仮想カメラの位置で事前に撮影し
た背景画像（図３(e)）の上に合成することにより、そ
の視点での自然感のある画像（図３(f)）を実時間で生
成することが可能となる。以上の手法を整理すると、以
下のようになる。The image of the subject generated in this way is corrected for brightness and the like, and is synthesized with a background image (FIG. 3 (e)) photographed in advance at the position of the virtual camera, so that the image can be obtained from that viewpoint. 3 (f) can be generated in real time. The above method is summarized as follows.
【００１９】(2-1)被写体の変形・拡大 被写体の３次元形状をモデリングし、仮想カメラの位置
から撮影した２次元画像を生成する。（なお、最も単純
には被写体を２次元平面と仮定して、アフィン変換によ
る変形・拡大を行う。）勿論、更に仮想現実感を増すに
は、背景画像にもアフィン変換を行うこともできる。(2-1) Deformation / Enlargement of Subject The three-dimensional shape of the subject is modeled, and a two-dimensional image taken from the position of the virtual camera is generated. (In the simplest case, deformation and enlargement are performed by affine transformation on the assumption that the object is a two-dimensional plane.) Needless to say, affine transformation can also be performed on a background image to further increase the virtual reality.
【００２０】(2-2)背景と変形した被写体の合成 (2-1)で得られた被写体を、背景画像の上にオーバライ
ト（上書き）する。もし、(1-2)で抽出した被写体が変
形した被写体の領域内に完全に含まれる場合は、背景画
像として、(1-1)で得た背景領域（あるいはその一部）
を用いることも可能である。(2-2) Combining the background and the deformed subject The subject obtained in (2-1) is overwritten (overwritten) on the background image. If the subject extracted in (1-2) is completely included in the area of the deformed subject, the background area (or a part thereof) obtained in (1-1) is used as a background image.
Can also be used.
【００２１】(3)仮想視点背景画像の事前記憶 上記(1)と(2)で述べた背景画像は実カメラAから事前に
撮像したものである。(3) Preliminary storage of virtual viewpoint background image The background image described in the above (1) and (2) is obtained from the real camera A in advance.
【００２２】これを発展させ、仮想視点から事前に撮影
した背景画像を図1の記憶装置５に記憶しておくことに
より、より現実感の強い画像を合成できることは明白で
ある。(2-1)に述べた背景画像のアフィン変換による合
成において、仮想視点から事前に撮像した画像を参考に
した中間処理を実施し、より仮想現実感の強い合成画像
をえることが出来る。本発明の実施により、任意の視点
における画像、いいかえれば仮想カメラの画像を実時間
で生成することが可能となる。It is obvious that by developing this and storing the background image previously photographed from the virtual viewpoint in the storage device 5 of FIG. 1, it is possible to synthesize a more realistic image. In the synthesis of the background image by the affine transformation described in (2-1), an intermediate process is performed with reference to an image captured in advance from a virtual viewpoint, and a synthesized image with a stronger virtual reality can be obtained. By implementing the present invention, it is possible to generate an image at an arbitrary viewpoint, in other words, an image of a virtual camera in real time.
【００２３】[0023]
【発明の実施の形態】以下、本発明の第１の実施例につ
いて、図１を用いて説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a first embodiment of the present invention will be described with reference to FIG.
【００２４】図１において、カメラ１にはズームレンズ
２がマウントされており、その画像はフレームメモリ８
に書き込まれる。In FIG. 1, a zoom lens 2 is mounted on a camera 1 and its image is stored in a frame memory 8.
Is written to.
【００２５】このカメラの位置で撮影した背景のみの画
像が、画像データベースが構築されている記憶装置５か
ら読み出され、フレームメモリ６に書き込まれる。２つ
のフレームメモリ６８の内容は比較回路９により比較さ
れ、一致する部分を背景、その他の部分を被写体と判定
して、被写体部のみがフレームメモリ１０に転送され
る。なお、背景として不適切な画像が選択された場合に
は背景部が一致しない。この場合、比較回路９から別の
背景を読み出すよう制御される。An image of only the background photographed at the position of the camera is read from the storage device 5 in which the image database is constructed, and written into the frame memory 6. The contents of the two frame memories 68 are compared by the comparison circuit 9, and the matching part is determined as the background and the other part is determined as the subject, and only the subject part is transferred to the frame memory 10. When an inappropriate image is selected as the background, the background portions do not match. In this case, control is performed to read another background from the comparison circuit 9.
【００２６】フレームメモリ１０の画像信号は、画像変
換回路１１において、仮想カメラの位置、角度に基づく
変形・拡大等の処理が施され、背景のみが書き込まれた
フレームメモリ７の上にオーバライトされる。このフレ
ームメモリ７の内容は、仮想的なカメラの出力として表
示される。The image signal of the frame memory 10 is subjected to processing such as deformation and enlargement based on the position and angle of the virtual camera in the image conversion circuit 11 and is overwritten on the frame memory 7 in which only the background is written. You. The contents of the frame memory 7 are displayed as an output of a virtual camera.
【００２７】次に図４を用いて、本発明の第２の実施例
について説明する。図４において、カメラ１にはズーム
レンズ２がマウントされている。カメラ１にはレンズの
光軸、言い換えれば水平・垂直方向の角度を検出するセ
ンサー３が付加されている。さらに、ズームレンズ２に
はそのズーム比やピント、絞り、シャッター速度をはじ
めとする撮影条件を検出するセンサー４がついている。
それらのセンサーで検出した角度やズーム比等のデータ
は、画像データベースが構築されている記憶装置５に転
送され、その条件に一致する画像（背景のみ）が読み出
され、フレームメモリ６、７に転送される。背景の手前
に被写体が写っているカメラ１の画像はフレームメモリ
８に転送される。２つのフレームメモリ６、８の内容は
比較回路９により比較され、一致する部分を背景、その
他の部分を被写体と判定して、被写体部はフレームメモ
リ１０に転送される。この画像信号は、画像変換回路１
１において、仮想カメラの位置、角度に基づく変形・拡
大等の処理が施され、背景のみのフレームメモリ７の上
にオーバライトされる。なお、例えば被写体に発振器を
装着したり、カメラ１以外のカメラで撮影した映像を比
較することにより、被写体までの距離を測定し、変形や
拡大処理に用いることもできる。さらに、映像から被写
体の位置を検出し、これを自動的に追尾するようカメラ
１の方向を制御することもできる。Next, a second embodiment of the present invention will be described with reference to FIG. In FIG. 4, a camera 1 has a zoom lens 2 mounted thereon. The camera 1 is provided with a sensor 3 for detecting the optical axis of the lens, in other words, the angle in the horizontal and vertical directions. Further, the zoom lens 2 is provided with a sensor 4 for detecting shooting conditions such as the zoom ratio, focus, aperture, and shutter speed.
The data such as the angle and the zoom ratio detected by those sensors are transferred to the storage device 5 in which the image database is constructed, and the images (only the background) matching the conditions are read out and stored in the frame memories 6 and 7. Will be transferred. The image of the camera 1 in which the subject is in front of the background is transferred to the frame memory 8. The contents of the two frame memories 6 and 8 are compared by the comparing circuit 9, and the matching part is determined as the background and the other part is determined as the subject, and the subject part is transferred to the frame memory 10. This image signal is supplied to the image conversion circuit 1
In step 1, processing such as deformation and enlargement based on the position and angle of the virtual camera is performed, and overwriting is performed on the frame memory 7 containing only the background. The distance to the subject can be measured, for example, by attaching an oscillator to the subject or comparing images taken by cameras other than the camera 1, and can be used for deformation and enlargement processing. Furthermore, the direction of the camera 1 can be controlled so that the position of the subject is detected from the video and the tracking is performed automatically.
【００２８】被写体の位置検出の具体的実施例は被写体
の重心を使用する方法がある。また、カメラ１の光軸
と、仮想視点と対象物のなす角度が、あらかじめ設定し
た反内に収まるよう、カメラ１の光軸もしくは仮想視点
の位置を制御することもできる。As a specific embodiment of the object position detection, there is a method using the center of gravity of the object. Further, the position of the optical axis of the camera 1 or the position of the virtual viewpoint can be controlled so that the angle between the optical axis of the camera 1 and the virtual viewpoint and the object falls within a preset range.
【００２９】さらに、上記実施例では、比較回路９にお
いて、一致する部分を背景、一致しない部分を被写体と
判定していたが、一致しない部分の領域を一旦膨張さ
せ、その結果を収縮させた領域を被写体領域と判定する
回路を追加することもできる。Furthermore, in the above embodiment, the comparing circuit 9 determines that the matching part is the background and the non-matching part is the subject. However, the area of the non-matching part is temporarily expanded and the result is reduced. May be added as a circuit for determining that is a subject area.
【００３０】なお、本実施例ではカメラ１には望遠レン
ズ、仮想カメラは標準レンズを用いるものとしたが、そ
れ以外の場合でも同様の手法により仮想カメラの映像を
生成することができることは明らかである。In this embodiment, a telephoto lens is used for the camera 1 and a standard lens is used for the virtual camera. However, it is apparent that the video of the virtual camera can be generated by a similar method in other cases. is there.
【００３１】また、本実施例では背景の映像を事前に取
得するものとしたが、図５および図６に示すように、カ
メラＡと同時に背景画像（被写体を含む）をカメラＢに
より撮影し、その上に拡大・変形した被写体を合成する
こともできる。ただし、この場合、カメラＢにより撮影
した被写体の上に、拡大・変形した被写体がオーバライ
トされていることが条件となる（図６(c)）。In this embodiment, the background image is obtained in advance. However, as shown in FIGS. 5 and 6, a background image (including a subject) is photographed by the camera B at the same time as the camera A. An enlarged or deformed subject can be combined with the image. However, in this case, it is a condition that the enlarged and deformed subject is overwritten on the subject photographed by the camera B (FIG. 6C).
【００３２】さらに、防犯カメラへの応用のように図2
に示した背景が比較的近い場合、これにアフィン変換等
の変形処理を施すことにより、より自然感のある合成画
像を生成することもできる。また、この背景（山などの
後景）の手前に、家並みや他の被写体のような前景が配
置されている場合、その前景の位置（例えばカメラから
の距離）を求め、これにふさわしい変形処理を加えて合
成することも可能であることは明らかである。Further, as shown in FIG.
In the case where the background is relatively close, by applying a deformation process such as affine transformation to the background, a synthetic image with a more natural feeling can be generated. When a foreground such as a house or another subject is arranged in front of this background (background such as a mountain), the position of the foreground (for example, the distance from the camera) is obtained, and a deformation process suitable for this is performed. Obviously, it can be synthesized by adding
【００３３】また、防犯カメラへの応用の場合、上記
(3)で述べた如く、図5のカメラBを仮想カメラの位置ま
で移動し、いくつかの方位毎の背景画像を記憶装置５に
記憶し、上記アフィン変換等の変形処理に於ける中間処
理として、その基準画像に使用する方法も本発明の実施
例であることは明白である。また複数の仮想視点に於け
る背景画像を記憶し、被写体が移動した場合に自動追尾
することも本発明の実施例である。In the case of application to a security camera,
As described in (3), the camera B in FIG. 5 is moved to the position of the virtual camera, the background images in several directions are stored in the storage device 5, and the intermediate processing in the deformation processing such as the affine transformation is performed. It is clear that the method used for the reference image is also an embodiment of the present invention. The embodiment of the present invention also stores background images at a plurality of virtual viewpoints and performs automatic tracking when a subject moves.
【００３４】[0034]
【発明の効果】このように、本発明によれば、近似的に
静止した背景の手前に被写体がある場合、実際にはカメ
ラが存在しないような視点における画像を、近似的に実
時間で生成することができる。As described above, according to the present invention, when a subject is present in front of an approximately still background, an image at a viewpoint where no camera actually exists is generated approximately in real time. can do.
【図１】本発明の第１の実施例を示す構成図。FIG. 1 is a configuration diagram showing a first embodiment of the present invention.
【図２】本発明におけるカメラと背景、被写体の位置関
係を示す配置図。FIG. 2 is a layout diagram showing a positional relationship between a camera, a background, and a subject according to the present invention.
【図３】本発明における背景からの被写体分離、拡大、
合成等の手順を示す概念図。FIG. 3 is a diagram illustrating the separation and enlargement of a subject from a background according to the present invention.
FIG. 3 is a conceptual diagram showing a procedure such as synthesis.
【図４】本発明の第２の実施例を示す構成図。FIG. 4 is a configuration diagram showing a second embodiment of the present invention.
【図５】本発明の変形例を示すカメラの配置図。FIG. 5 is a layout view of a camera showing a modification of the present invention.
【図６】本発明の変形例を示す概念図。FIG. 6 is a conceptual diagram showing a modification of the present invention.
１…カメラ、２…カメラ１にマウントされているズーム
レンズ、３…カメラ１の光軸角度を検出するセンサー、
４…ズームレンズ２のズーム比やピント、絞り、シャッ
ター速度をはじめとする撮影条件を検出するセンサー、
５…背景画像のデータベースが構築されている画像ファ
イル（記憶装置）、６、７、８…１枚の画像信号を書き
込むフレームメモリ、９…２枚のフレームメモリの内容
を比較して一致しない部分を検出する比較回路、１０…
被写体の画像が書き込まれるフレームメモリ、１１…仮
想カメラの位置、角度に基づいてフレームメモリ１０の
画像を変形・拡大する画像変換回路。Reference numeral 1 denotes a camera, 2 denotes a zoom lens mounted on the camera 1, 3 denotes a sensor for detecting an optical axis angle of the camera 1,
4. A sensor for detecting shooting conditions such as the zoom ratio, focus, aperture, and shutter speed of the zoom lens 2,
5: an image file (storage device) in which a background image database is constructed; 6, 7, 8: a frame memory for writing one image signal; and 9: a part that does not match by comparing the contents of two frame memories. , A comparison circuit for detecting
A frame memory in which an image of a subject is written; 11... An image conversion circuit for transforming and enlarging the image in the frame memory 10 based on the position and angle of the virtual camera.
Claims (5)
影・記録された画像ファイルの出力画像を比較すること
により対象物を抽出する手段と、上記画像ファイルの出
力画像から所定の領域を背景画像として抽出する手段
と、抽出した対象物を仮想視点から角度・距離に応じて
画像変換する手段と、画像変換した対象物を抽出した背
景画像に合成する手段を有する画像システム。A means for extracting an object by comparing an image photographed by a first camera with an output image of an image file photographed and recorded in advance; and a predetermined area from an output image of the image file. An image system comprising: a unit for extracting an image as a background image; a unit for performing image conversion of the extracted object from a virtual viewpoint according to an angle and a distance; and a unit for combining the image-converted object with the extracted background image.
1のカメラの方向、絞り、ズーム比、被写体への距離等
の情報を検出する手段、検出した情報をもとに画像ファ
イルの出力から抽出する背景画像の領域位置・形状を定
める手段を有することを特徴とする画像システム。2. The image system according to claim 1, wherein
1. Means for detecting information such as camera direction, aperture, zoom ratio, distance to the subject, etc., and means for determining the area position and shape of the background image to be extracted from the output of the image file based on the detected information An imaging system characterized by the following.
て、実カメラの光軸と被写体と仮想視点を結ぶ直線が、
あらかじめ定めた角度の範囲内に収まるよう、実カメラ
の光軸、もしくは仮想視点の位置を制御することを特徴
とする画像システム。3. The image system according to claim 1, wherein a straight line connecting the optical axis of the real camera, the subject, and the virtual viewpoint is:
An image system characterized by controlling an optical axis of a real camera or a position of a virtual viewpoint so as to fall within a range of a predetermined angle.
て、事前に撮影・記録された画像ファイルの出力画像の
かわりに、第２のカメラの出力画像を用いることを特徴
とする画像システム。4. An image system according to claim 1, wherein an output image of a second camera is used in place of an output image of an image file previously photographed and recorded.
２のカメラの方向、絞り、ズーム比、被写体への距離等
の情報を用いることを特徴とする画像システム。5. The image system according to claim 4, wherein information such as the direction of the second camera, the aperture, the zoom ratio, and the distance to the subject is used.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9173530A JPH1127577A (en) | 1997-06-30 | 1997-06-30 | Image system with virtual visual point |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9173530A JPH1127577A (en) | 1997-06-30 | 1997-06-30 | Image system with virtual visual point |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1127577A true JPH1127577A (en) | 1999-01-29 |
Family
ID=15962248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9173530A Pending JPH1127577A (en) | 1997-06-30 | 1997-06-30 | Image system with virtual visual point |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1127577A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006332743A (en) * | 2005-05-23 | 2006-12-07 | Nikon Corp | Electronic camera and image processing program |
| WO2008126371A1 (en) * | 2007-04-02 | 2008-10-23 | M.Soft Co., Ltd. | Image synthesizing method and image synthesizing system |
| JP2013003412A (en) * | 2011-06-17 | 2013-01-07 | Tatsumi Denshi Kogyo Kk | Automatic photograph creation device, automatic photograph creation method and program |
| WO2016136462A1 (en) * | 2015-02-25 | 2016-09-01 | 愼一 駒井 | Method and device for cutting out subject portion from image acquired by camera image pickup |
| JP2016213578A (en) * | 2015-04-30 | 2016-12-15 | キヤノン株式会社 | Image processing apparatus, imaging device, image processing method, program |
| JP2017092543A (en) * | 2015-11-02 | 2017-05-25 | 日本電信電話株式会社 | Image processing device, image processing method and computer program |
| US9665939B2 (en) | 2014-04-04 | 2017-05-30 | Canon Kabushiki Kaisha | Image processing apparatus, control method, and recording medium |
| JP2017102715A (en) * | 2015-12-02 | 2017-06-08 | 日本電信電話株式会社 | Synthesis information table creation device, synthesis information table creation method and computer program |
| JP2017527230A (en) * | 2014-05-29 | 2017-09-14 | ネクストブイアール・インコーポレイテッド | Method and apparatus for distributing and / or playing content |
| WO2018161759A1 (en) * | 2017-03-09 | 2018-09-13 | 广东欧珀移动通信有限公司 | Backlight image processing method, backlight image processing device and electronic device |
| US11336966B2 (en) | 2014-05-29 | 2022-05-17 | Nevermind Capital Llc | Methods and apparatus for delivering content and/or playing back content |
| WO2022186646A1 (en) * | 2021-03-05 | 2022-09-09 | 삼성전자 주식회사 | Electronic device for image generation, and operating method of electronic device |
-
1997
- 1997-06-30 JP JP9173530A patent/JPH1127577A/en active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006332743A (en) * | 2005-05-23 | 2006-12-07 | Nikon Corp | Electronic camera and image processing program |
| WO2008126371A1 (en) * | 2007-04-02 | 2008-10-23 | M.Soft Co., Ltd. | Image synthesizing method and image synthesizing system |
| JP5313127B2 (en) * | 2007-04-02 | 2013-10-09 | 株式会社エム・ソフト | Video composition method, video composition system |
| JP2013003412A (en) * | 2011-06-17 | 2013-01-07 | Tatsumi Denshi Kogyo Kk | Automatic photograph creation device, automatic photograph creation method and program |
| US9665939B2 (en) | 2014-04-04 | 2017-05-30 | Canon Kabushiki Kaisha | Image processing apparatus, control method, and recording medium |
| US10304161B2 (en) * | 2014-04-04 | 2019-05-28 | Canon Kabushiki Kaisha | Image processing apparatus, control method, and recording medium |
| US11336966B2 (en) | 2014-05-29 | 2022-05-17 | Nevermind Capital Llc | Methods and apparatus for delivering content and/or playing back content |
| JP2017527230A (en) * | 2014-05-29 | 2017-09-14 | ネクストブイアール・インコーポレイテッド | Method and apparatus for distributing and / or playing content |
| US11871085B2 (en) | 2014-05-29 | 2024-01-09 | Nevermind Capital Llc | Methods and apparatus for delivering content and/or playing back content |
| WO2016136462A1 (en) * | 2015-02-25 | 2016-09-01 | 愼一 駒井 | Method and device for cutting out subject portion from image acquired by camera image pickup |
| JP2016213578A (en) * | 2015-04-30 | 2016-12-15 | キヤノン株式会社 | Image processing apparatus, imaging device, image processing method, program |
| JP2017092543A (en) * | 2015-11-02 | 2017-05-25 | 日本電信電話株式会社 | Image processing device, image processing method and computer program |
| JP2017102715A (en) * | 2015-12-02 | 2017-06-08 | 日本電信電話株式会社 | Synthesis information table creation device, synthesis information table creation method and computer program |
| US11295421B2 (en) | 2017-03-09 | 2022-04-05 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method, image processing device and electronic device |
| WO2018161759A1 (en) * | 2017-03-09 | 2018-09-13 | 广东欧珀移动通信有限公司 | Backlight image processing method, backlight image processing device and electronic device |
| WO2022186646A1 (en) * | 2021-03-05 | 2022-09-09 | 삼성전자 주식회사 | Electronic device for image generation, and operating method of electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7623733B2 (en) | Image combination device, image combination method, image combination program, and recording medium for combining images having at least partially same background | |
| US5625765A (en) | Vision systems including devices and methods for combining images for extended magnification schemes | |
| CN101124816B (en) | Image processing apparatus and image processing method | |
| US9396399B1 (en) | Unusual event detection in wide-angle video (based on moving object trajectories) | |
| CN100369461C (en) | Image capture apparatus, image display method, and program | |
| US8922718B2 (en) | Key generation through spatial detection of dynamic objects | |
| JP5313127B2 (en) | Video composition method, video composition system | |
| CN105075237A (en) | Image processing apparatus, image processing method, and program | |
| JPH0380676A (en) | Electronic pan focus device | |
| CN106296589B (en) | Panoramic image processing method and device | |
| JPH1127577A (en) | Image system with virtual visual point | |
| CN107872631B (en) | Image shooting method and device based on double cameras and mobile terminal | |
| TWI477887B (en) | Image processing device, image processing method and recording medium | |
| TW202236840A (en) | Image fusion for scenes with objects at multiple depths | |
| KR101733125B1 (en) | Method of chroma key image synthesis without background screen | |
| US11636683B2 (en) | Precise object segmentation with multi-modal input for realtime video application | |
| JPH07128017A (en) | Distance measuring instrument | |
| KR20050015737A (en) | Real image synthetic process by illumination control | |
| JP7065708B2 (en) | Recording / playback device and program | |
| CN113763545A (en) | Image determination method, image determination device, electronic equipment and computer-readable storage medium | |
| JP5924833B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
| Kim et al. | AR timewarping: A temporal synchronization framework for real-Time sensor fusion in head-mounted displays | |
| JP2003179930A (en) | Method and apparatus for extracting dynamic object | |
| JPWO2020066008A1 (en) | Image data output device, content creation device, content playback device, image data output method, content creation method, and content playback method | |
| WO2024075525A1 (en) | Information processing device and program |