JP2007163367A - Camera information analyzer - Google Patents

Camera information analyzer Download PDF

Info

Publication number
JP2007163367A
JP2007163367A JP2005361954A JP2005361954A JP2007163367A JP 2007163367 A JP2007163367 A JP 2007163367A JP 2005361954 A JP2005361954 A JP 2005361954A JP 2005361954 A JP2005361954 A JP 2005361954A JP 2007163367 A JP2007163367 A JP 2007163367A
Authority
JP
Japan
Prior art keywords
infrared
image
marker
light
camera information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005361954A
Other languages
Japanese (ja)
Other versions
JP4769079B2 (en
Inventor
Seiki Inoue
誠喜 井上
Hideki Mitsumine
秀樹 三ッ峰
Yuiko Yamauchi
結子 山内
Takashi Fukaya
崇史 深谷
Hidehiko Okubo
英彦 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2005361954A priority Critical patent/JP4769079B2/en
Publication of JP2007163367A publication Critical patent/JP2007163367A/en
Application granted granted Critical
Publication of JP4769079B2 publication Critical patent/JP4769079B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a camera information analyzer capable of analyzing camera information with proper accuracy, without any markers projected in imageries, without adding gauges to cameras and/or tripod stands. <P>SOLUTION: The camera information analyzer 1 is provided with an infrared mirror (spectroscopic means) 21 for dispersing the light, containing infrared maker (invisible marker) M reflecting, absorbing or emitting infrared radiation from photographic subjects into infrared radiation and visible light; an infrared imager (invisible light imager) 24 for imaging infrared imageries of the photographic subjects; an RGB imager (visible light imager) 22 for imaging visible light imageries of the photographic subject; a marker extracting means 31 for extracting infrared markers M, based on the RGB imageries imaged by the RGB imager 22 and infrared imageries imaged by the infrared imager 24; and a camera information calculating means 32 for calculating camera information, based on the infrared markers M extracted by the marker-extracting means 31. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、所定の形状のマーカをカメラによって撮像して、当該カメラのカメラ情報を解析するカメラ情報解析装置に関する。   The present invention relates to a camera information analysis apparatus that images a marker having a predetermined shape with a camera and analyzes camera information of the camera.

映像を撮像したカメラの移動や向きの変化に応じてＣＧ（Computer Graphics）を生成し、このＣＧを撮像された映像内に合成するためには、実空間を撮像したカメラの位置や姿勢と、ＣＧの映像を生成する際の仮想カメラの位置や姿勢とを一致させる必要がある。このカメラの位置や姿勢の情報（カメラ情報）を解析するために、従来、カメラや三脚に計測器を付加してカメラ情報を取得する方法が行われている。そして、このカメラ情報に基づいてＣＧの映像を生成し、実写の映像に合成することで、カメラの動きに合わせてＣＧの映像のオブジェクトが実空間に存在するかのように合成される。   In order to generate CG (Computer Graphics) according to the movement or change of orientation of the camera that has captured the video, and to synthesize this CG into the captured video, the position and orientation of the camera that has captured the real space, It is necessary to match the position and orientation of the virtual camera when generating the CG video. In order to analyze the information on the position and orientation of the camera (camera information), a method of acquiring camera information by adding a measuring instrument to a camera or a tripod has been conventionally performed. Then, a CG video is generated based on the camera information and synthesized with a live-action video, so that a CG video object is synthesized as if it exists in real space according to the movement of the camera.

また、従来、所定の形状のマーカを撮像し、撮像された映像からマーカを抽出してカメラ情報を求めて、映像内のマーカの位置にＣＧを合成する技術が開示されている（例えば、非特許文献１参照）。   Conventionally, a technique has been disclosed in which a marker having a predetermined shape is imaged, the marker is extracted from the captured image, camera information is obtained, and CG is synthesized at the position of the marker in the image (for example, non-marking). Patent Document 1).

ここで、図５を参照して、実空間上にマーカＭｖを設置して撮像し、このマーカＭｖの撮像された位置にＣＧを合成する従来の方法について説明する。図５は、従来のマーカを用いた実写の映像にＣＧを合成する方法を説明するための説明図である。   Here, with reference to FIG. 5, a conventional method of setting and imaging a marker Mv in real space and synthesizing CG at the imaged position of the marker Mv will be described. FIG. 5 is an explanatory diagram for explaining a method of synthesizing CG with a live-action image using a conventional marker.

図５に示すように、実写の映像内においてＣＧを合成したい位置に対応する実空間上の位置に所定の形状のマーカＭｖを設置し、ＲＧＢカメラＣによってマーカＭｖを含む実空間を撮像する。そうすると、マーカＭｖを含む映像が得られる。この映像を構成するフレーム画像（ＲＧＢ画像）の各々からマーカＭｖの画像を抽出し、その形状や向きに基づいてＲＧＢカメラＣのカメラ情報を算出する。そして、このカメラ情報によって示されるＲＧＢカメラＣの位置や向きに応じてＣＧを生成し、マーカＭｖの位置に合成することで、実写の映像内に、ＲＧＢカメラＣの位置や向きの変化に応じた仮想の物体がＣＧとして合成される。
加藤 博一、外３名、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌、１９９９年１２月、Ｖｏｌ．４、Ｎｏ．４、ｐ．６０７−６１６ As shown in FIG. 5, a marker Mv having a predetermined shape is placed at a position on the real space corresponding to the position where CG is to be synthesized in the live-action image, and the real space including the marker Mv is imaged by the RGB camera C. Then, an image including the marker Mv is obtained. An image of the marker Mv is extracted from each of the frame images (RGB images) constituting this video, and the camera information of the RGB camera C is calculated based on the shape and orientation thereof. Then, a CG is generated according to the position and orientation of the RGB camera C indicated by the camera information, and is combined with the position of the marker Mv, so that the position of the RGB camera C is changed according to the change in the position and orientation of the photographed image. The virtual object is synthesized as CG.
Hirokazu Kato and three others, “Augmented Reality System Based on Marker Tracking and Its Calibration”, Transactions of the Virtual Reality Society of Japan, December 1999, Vol. 4, no. 4, p. 607-616

カメラや三脚に計測器を付加すると、装置全体が大掛かりになり、また、手持ちカメラでは使えないなどの問題があった。また、非特許文献１の方法では、実空間上にマーカを設置して撮像するため、映像内にマーカが映ってしまうという問題があった。更に、撮像する際にカメラや被写体が動くことによって映像がぼけてしまうとともに、マーカ以外の実空間上のオブジェクト（被写体）も撮像されることによって、マーカの抽出の処理が不安定になり、正確なカメラ情報の解析が行えないという問題があった。   When a measuring instrument is added to a camera or tripod, the entire apparatus becomes large, and there is a problem that it cannot be used with a handheld camera. Further, the method of Non-Patent Document 1 has a problem in that a marker is reflected in the video because a marker is placed in the real space to capture an image. In addition, the camera and the subject move when the image is taken, and the image is blurred, and the object (subject) in the real space other than the marker is also imaged, which makes the marker extraction process unstable and accurate. There was a problem that the camera information could not be analyzed.

本発明は、前記従来技術の問題を解決するために成されたもので、カメラや三脚に計測器を付加せず、また、映像内にマーカが映ることなく、精度よくカメラ情報を解析することができるカメラ情報解析装置を提供することを目的とする。   The present invention was made to solve the above-described problems of the prior art, and does not add a measuring instrument to a camera or a tripod, and accurately analyzes camera information without displaying a marker in the image. An object of the present invention is to provide a camera information analysis apparatus capable of

前記課題を解決するため、請求項１に記載のカメラ情報解析装置は、可視光及び不可視光を含む光が照射された、前記不可視光のみを反射、吸収あるいは発光する不可視マーカを含む被写体を撮像し、カメラ情報を解析するカメラ情報解析装置であって、分光手段と、不可視光撮像手段と、可視光撮像手段と、マーカ抽出手段と、カメラ情報算出手段とを備える構成とした。   In order to solve the above-described problem, the camera information analysis apparatus according to claim 1 captures an object including an invisible marker that reflects, absorbs, or emits only the invisible light irradiated with light including visible light and invisible light. The camera information analyzing apparatus analyzes camera information, and includes a spectroscopic unit, an invisible light imaging unit, a visible light imaging unit, a marker extraction unit, and a camera information calculation unit.

かかる構成によれば、カメラ情報解析装置は、分光手段によって、被写体からの光を可視光と不可視光とに分光する。そして、カメラ情報解析装置は、分光手段によって分光された不可視光の被写体の像を不可視光撮像手段によって撮像する。この不可視光撮像手段によって、不可視マーカを含む被写体の画像が撮像される。また、カメラ情報解析装置は、分光手段によって分光された可視光の被写体の像を可視光撮像手段によって撮像する。この可視光撮像手段によって、不可視マーカを含まない被写体の画像が撮像される。   According to such a configuration, the camera information analysis apparatus separates light from the subject into visible light and invisible light by the spectroscopic means. Then, the camera information analysis apparatus captures an invisible light subject image spectrally separated by the spectral means by the invisible light imaging means. The invisible light imaging unit captures an image of the subject including the invisible marker. In addition, the camera information analysis apparatus captures an image of a visible light subject dispersed by the spectroscopic unit using the visible light imaging unit. The visible light imaging means captures an image of a subject that does not include an invisible marker.

そして、カメラ情報解析装置は、マーカ抽出手段によって、これらの２つの画像に基づいて不可視マーカを抽出する。ここで、不可視光撮像手段によって撮像された画像には不可視マーカが含まれているが、可視光撮像手段によって撮像された画像には不可視マーカが含まれていない。そのため、カメラ情報解析装置は、２つの画像を比較して不可視光のみが特に反射、吸収あるいは発光している領域を不可視マーカとして抽出することができる。更に、カメラ情報解析装置は、カメラ情報算出手段によって、マーカ抽出手段で抽出された不可視マーカに基づいてカメラ情報を解析する。   And a camera information analysis apparatus extracts an invisible marker based on these two images by a marker extraction means. Here, the image captured by the invisible light imaging unit includes the invisible marker, but the image captured by the visible light imaging unit does not include the invisible marker. Therefore, the camera information analysis device can compare two images and extract a region where only invisible light is reflected, absorbed, or emitted as an invisible marker. Furthermore, the camera information analysis apparatus analyzes the camera information based on the invisible marker extracted by the marker extraction unit by the camera information calculation unit.

これによって、カメラ情報解析装置は、不可視光のみを反射、吸収あるいは発光する不可視マーカを含む被写体を撮像し、不可視マーカが含まれている不可視光の画像と、不可視マーカが含まれていない可視光の画像とに基づいて不可視マーカを抽出して、カメラ情報を解析することができる。   As a result, the camera information analysis apparatus captures an image of an object including an invisible marker that reflects, absorbs, or emits only invisible light, an invisible light image including the invisible marker, and visible light not including the invisible marker. The invisible marker can be extracted based on the image and the camera information can be analyzed.

また、請求項２に記載のカメラ情報解析装置は、請求項１に記載のカメラ情報解析装置において、前記分光手段と前記不可視光撮像手段との間にシャッタを有する構成とした。   According to a second aspect of the present invention, there is provided a camera information analyzing apparatus according to the first aspect, wherein a shutter is provided between the spectroscopic means and the invisible light imaging means.

かかる構成によれば、カメラ情報解析装置は、シャッタによって、分光手段で分光された不可視光を、不可視光撮像手段に所定時間だけ受光させる。これによって、カメラ情報解析装置は、不可視光撮像手段によって撮像された画像に、撮像する際のカメラや被写体の動きによる映像のぼけが生じることを防ぐことができる。   According to such a configuration, the camera information analysis apparatus causes the invisible light imaging unit to receive the invisible light dispersed by the spectroscopic unit for a predetermined time by the shutter. Accordingly, the camera information analysis apparatus can prevent the image captured by the invisible light imaging unit from being blurred due to the movement of the camera and the subject when the image is captured.

本発明に係るカメラ情報解析装置では、以下のような優れた効果を奏する。請求項１に記載の発明によれば、不可視光のみを反射、吸収あるいは発光する不可視マーカを撮像するため、可視光撮像手段によって、画像内に不可視マーカが含まれない画像を撮像することができる。更に、不可視マーカが含まれている画像と、不可視マーカが含まれていない画像とに基づいて不可視マーカを抽出することによって、不可視マーカ以外の被写体が、不可視マーカとして抽出されることを防ぐことができる。これによって、カメラ情報解析装置は、不可視マーカの抽出を安定して行うことができ、正確なカメラ情報の解析ができる。   The camera information analysis apparatus according to the present invention has the following excellent effects. According to the first aspect of the present invention, since an invisible marker that reflects, absorbs, or emits only invisible light is imaged, an image that does not include the invisible marker in the image can be captured by the visible light imaging unit. . Further, by extracting the invisible marker based on the image including the invisible marker and the image not including the invisible marker, it is possible to prevent a subject other than the invisible marker from being extracted as the invisible marker. it can. Accordingly, the camera information analysis apparatus can stably extract the invisible marker and can accurately analyze the camera information.

請求項２に記載の発明によれば、不可視光撮像手段によって撮像された画像にぼけが生じないため、高い精度でカメラ情報の解析を行うことができる。   According to the second aspect of the present invention, blurring does not occur in the image captured by the invisible light imaging unit, so that camera information can be analyzed with high accuracy.

以下、本発明の実施の形態について図面を参照して説明する。
［カメラ情報解析装置の構成］
まず、図１を参照して、本発明におけるカメラ情報解析装置１の構成について説明する。図１は、本発明におけるカメラ情報解析装置の構成を模式的に示した模式図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[Configuration of camera information analyzer]
First, the configuration of the camera information analysis apparatus 1 according to the present invention will be described with reference to FIG. FIG. 1 is a schematic diagram schematically showing a configuration of a camera information analysis apparatus according to the present invention.

カメラ情報解析装置１は、実空間上に設置された赤外線（不可視光）のみを反射、吸収あるいは発光する赤外マーカＭ（不可視マーカ）を含む被写体を撮像し、撮像された映像を構成するフレーム画像ごとにカメラ情報を解析するものである。更に、ここでは、カメラ情報解析装置１は、カメラ情報に基づいてＣＧを生成して、被写体のフレーム画像内に合成したＣＧ合成画像を生成することとした。カメラ情報解析装置１は、カメラ２と、ＣＧ合成画像生成装置３とを備える。   The camera information analysis apparatus 1 captures an object including an infrared marker M (invisible marker) that reflects, absorbs, or emits only infrared light (invisible light) installed in real space, and forms a captured image. The camera information is analyzed for each image. Furthermore, here, the camera information analysis apparatus 1 generates CG based on the camera information, and generates a CG composite image synthesized within the frame image of the subject. The camera information analysis device 1 includes a camera 2 and a CG composite image generation device 3.

（カメラの構成）
カメラ２は、実空間上に設置された赤外マーカＭを含む被写体を撮像するものである。ここでは、カメラ２は、赤外ミラー２１と、ＲＧＢ撮像部２２と、シャッタ２３と、赤外撮像部２４とを備える。なお、この赤外マーカＭは、例えば、実空間上において赤外線のみを反射あるいは吸収するインクで所定の形状（図１では四角形と円形を組み合わせたもの）のマーカを描画することで設置することができる。また、赤外マーカＭとして透明で赤外線を発光する発光体［例えば、赤外ＬＥＤ（Light Emitting Diode）］を設置することとしてもよい。赤外線の発光体を赤外マーカＭとして用いることで、後記する赤外撮像部２４によって、赤外マーカＭがより鮮明な赤外画像を取得することができる。 (Camera configuration)
The camera 2 captures an image of a subject including an infrared marker M installed in real space. Here, the camera 2 includes an infrared mirror 21, an RGB imaging unit 22, a shutter 23, and an infrared imaging unit 24. The infrared marker M can be installed by, for example, drawing a marker having a predetermined shape (a combination of a square and a circle in FIG. 1) with ink that reflects or absorbs only infrared light in real space. it can. Moreover, it is good also as installing the light-emitting body [For example, infrared LED (Light Emitting Diode)] which is transparent and emits infrared rays as the infrared marker M. By using the infrared light emitter as the infrared marker M, the infrared imaging unit 24 described later can acquire a clearer infrared image of the infrared marker M.

赤外ミラー（分光手段）２１は、実空間から入射する被写体からの光に含まれる赤外線を反射するものである。この赤外ミラー２１は、カメラ２に入射する光の入射方向に対して４５°の角度で傾斜して設置されている。そのため、赤外ミラー２１に入射した被写体からの光に含まれる赤外線は、この赤外ミラー２１によって反射されて入射方向に対して直交する方向に出射し、赤外撮像部２４に入射する。また、それ以外の光は赤外ミラー２１を透過してＲＧＢ撮像部２２に入射する。   The infrared mirror (spectral means) 21 reflects infrared rays contained in light from a subject incident from real space. The infrared mirror 21 is installed at an angle of 45 ° with respect to the incident direction of light incident on the camera 2. Therefore, the infrared rays included in the light from the subject incident on the infrared mirror 21 are reflected by the infrared mirror 21, emitted in a direction orthogonal to the incident direction, and incident on the infrared imaging unit 24. Other light passes through the infrared mirror 21 and enters the RGB imaging unit 22.

ＲＧＢ撮像部（可視光撮像手段）２２は、赤外ミラー２１を透過した可視光の被写体の像を撮像するものである。ここで撮像されたフレーム画像であるＲＧＢ画像（可視画像）は、実空間上において、赤外マーカＭ以外の被写体のＲＧＢ成分のフレーム画像であり、ＣＧ合成画像生成装置３に出力される。   The RGB imaging unit (visible light imaging means) 22 captures an image of a visible light subject that has passed through the infrared mirror 21. The captured RGB image (visible image) is a frame image of the RGB component of the subject other than the infrared marker M in the real space, and is output to the CG composite image generation device 3.

ここで、ＲＧＢ撮像部２２は、単板方式の撮像板（図示せず）から構成されていてもよいし、３板方式によって、入射した光のうち可視光を赤色光、緑色光及び青色光に分解する色分解プリズム（図示せず）と、赤色光の被写体の像を撮像する赤色撮像板（図示せず）と、緑色光の被写体の像を撮像する緑色撮像板（図示せず）と、青色光の被写体の像を撮像する青色撮像板（図示せず）とから構成されることとしてもよい。なお、ここでは、ＲＧＢ撮像部２２が、赤色光、緑色光及び青色光の被写体の像を撮像したＲＧＢ画像を撮像することとしたが、本発明の可視光撮像手段は、例えば、モノクロのフレーム画像を撮像することとしてもよい。   Here, the RGB imaging unit 22 may be composed of a single-plate type imaging plate (not shown), and visible light of incident light is converted into red light, green light, and blue light by a three-plate method. A color separation prism (not shown) that decomposes into a red light, a red image pickup plate (not shown) that picks up an image of a red light subject, and a green image pick-up plate (not shown) that picks up an image of a green light subject A blue imaging plate (not shown) that captures an image of a blue light subject may be used. Here, the RGB image capturing unit 22 captures an RGB image obtained by capturing an image of a subject of red light, green light, and blue light. However, the visible light image capturing unit according to the present invention is, for example, a monochrome frame. An image may be taken.

シャッタ２３は、赤外ミラー２１によって反射された赤外線を、後記する赤外撮像部２４に所定時間だけ受光させるものである。ここで、撮像時にカメラ２や被写体が動くと、ＲＧＢ撮像部２２及び赤外撮像部２４によって撮像されるフレーム画像にぼけ（動きぼけ）が生じるが、シャッタ２３によって赤外撮像部２４に短時間受光させることで、赤外撮像部２４によって撮像される赤外画像に動きぼけが生じることを防ぐことができる。これによって、後記するＣＧ合成画像生成装置３による処理を安定させることができる。   The shutter 23 causes infrared rays reflected by the infrared mirror 21 to be received by an infrared imaging unit 24 described later for a predetermined time. Here, if the camera 2 or the subject moves during imaging, the frame image captured by the RGB imaging unit 22 and the infrared imaging unit 24 is blurred (motion blur), but the shutter 23 causes the infrared imaging unit 24 to be short-time. By receiving light, it is possible to prevent motion blur from occurring in the infrared image captured by the infrared imaging unit 24. This makes it possible to stabilize processing by the CG composite image generation device 3 to be described later.

赤外撮像部（不可視光撮像手段）２４は、赤外ミラー２１によって反射された赤外線の被写体の像を撮像するものである。ここで撮像されたフレーム画像である赤外画像（不可視画像）は、赤外マーカＭを含む実空間上の被写体のＩＲ（赤外）成分のフレーム画像であり、ＣＧ合成画像生成装置３に出力される。   The infrared imaging unit (invisible light imaging means) 24 captures an infrared object image reflected by the infrared mirror 21. The infrared image (invisible image) that is the frame image captured here is a frame image of the IR (infrared) component of the subject in the real space including the infrared marker M, and is output to the CG composite image generation device 3. Is done.

このようにカメラ２を構成することで、カメラ２は、被写体のＲＧＢ画像と赤外画像とを撮像することができる。また、赤外マーカＭを実空間上に設置し、カメラ２が、赤外ミラー２１によって赤外線と可視光とを分光することで、可視画像から構成される可視光の実写の映像に赤外マーカＭが映ることを防ぐことができる。更に、赤外ミラー２１を、光路上においてカメラ２のレンズ（図示せず）より後方に設置することで、レンズの歪みやズーム操作等によってＲＧＢ画像と赤外画像とにずれが生じず、ＲＧＢ画像と赤外画像とにおける被写体の位置を一致させることができる。そして、赤外線の撮像系は、可視光の撮像系に影響を及ぼさないため、赤外線を反射あるいは吸収する赤外マーカＭを設置する場合に実空間において赤外線の照明を付加することで、赤外撮像部２４によって、より高品質な赤外画像を得ることができる。これによって、後記するＣＧ合成画像生成装置３によって精度良くカメラ情報を解析することができる。   By configuring the camera 2 in this way, the camera 2 can capture an RGB image and an infrared image of the subject. Further, the infrared marker M is installed in the real space, and the camera 2 separates the infrared ray and the visible light by the infrared mirror 21, so that the infrared marker M is added to the real image of the visible light composed of the visible image. It is possible to prevent M from being reflected. Furthermore, by installing the infrared mirror 21 behind the lens (not shown) of the camera 2 on the optical path, the RGB image and the infrared image do not shift due to lens distortion, zoom operation, etc. The position of the subject in the image and the infrared image can be matched. Since the infrared imaging system does not affect the visible light imaging system, infrared imaging is performed by adding infrared illumination in real space when an infrared marker M that reflects or absorbs infrared light is installed. The unit 24 can obtain a higher quality infrared image. Thus, the camera information can be analyzed with high accuracy by the CG composite image generation device 3 described later.

また、赤外ミラー２１の代わりにハーフミラー（図示せず）を用いると、ＲＧＢ撮像部２２に入射する光の光量が半分になり、撮像されるＲＧＢ画像が暗くなってしまうが、赤外ミラー２１によって赤外線と可視光とを分光することで、ＲＧＢ撮像部２２によって撮像されるＲＧＢ画像が暗くなることを防ぐことができる。なお、ここでは、赤外線を反射、吸収あるいは発光する赤外マーカＭを実空間に設置し、カメラ２が赤外線を分光する赤外ミラー２１と、赤外線の被写体の像を撮像する赤外撮像部２４とを備えることとしたが、不可視光は赤外線に限定されない。例えば、紫外線のみを反射、吸収あるいは発光する紫外マーカ（図示せず）を実空間に設置し、カメラ２が紫外線を分光する紫外ミラー（図示せず）と、紫外線を撮像する紫外撮像部（図示せず）とを備えることとしてもよい。   If a half mirror (not shown) is used instead of the infrared mirror 21, the amount of light incident on the RGB imaging unit 22 is halved and the captured RGB image becomes dark. By separating the infrared light and the visible light by 21, it is possible to prevent the RGB image captured by the RGB imaging unit 22 from becoming dark. Here, an infrared marker M that reflects, absorbs, or emits infrared light is installed in real space, and the infrared mirror 21 that the camera 2 separates infrared light and an infrared imaging unit 24 that captures an infrared subject image. However, invisible light is not limited to infrared rays. For example, an ultraviolet marker (not shown) that reflects, absorbs, or emits only ultraviolet light is installed in the real space, and the camera 2 disperses the ultraviolet light (not shown) and an ultraviolet imaging unit (not shown) that picks up the ultraviolet light. (Not shown).

（ＣＧ合成画像生成装置の構成）
ＣＧ合成画像生成装置３は、カメラ２によって撮像されたＲＧＢ画像と赤外画像とに基づいてカメラ情報を解析し、このカメラ情報に基づいて生成したＣＧをＲＧＢ画像に合成するものである。ここでは、ＣＧ合成画像生成装置３は、マーカ抽出手段３１と、カメラ情報算出手段３２と、ＣＧ合成手段３３とを備える。 (Configuration of CG composite image generation device)
The CG composite image generation device 3 analyzes camera information based on the RGB image and the infrared image captured by the camera 2 and combines the CG generated based on the camera information with the RGB image. Here, the CG composite image generation apparatus 3 includes a marker extraction unit 31, a camera information calculation unit 32, and a CG synthesis unit 33.

マーカ抽出手段３１は、カメラ２によって撮像されたＲＧＢ画像と赤外画像とに基づいて、赤外画像から赤外マーカＭを抽出するものである。ここで赤外マーカＭが抽出された画像（抽出画像）は、カメラ情報算出手段３２に出力される。   The marker extraction unit 31 extracts the infrared marker M from the infrared image based on the RGB image and the infrared image captured by the camera 2. Here, the image from which the infrared marker M is extracted (extracted image) is output to the camera information calculation means 32.

ここでは、マーカ抽出手段３１は、まず、ＲＧＢ画像と赤外画像との差分画像を生成する。ここで、例えば、実空間上の白色の領域（ＲＧＢ信号の大きい領域）に赤外線を吸収する赤外マーカＭを設置したとすると、この赤外マーカＭの領域だけ赤外画像の画素値が小さくなる。そのため、この領域においてＲＧＢ画像と赤外画像との画素値の差が他の領域より大きくなる。そこで、マーカ抽出手段３１は、この差分画像の画素値が相対的に大きい部分を赤外マーカＭとして抽出することができる。このように、赤外画像には赤外マーカＭのみでなく他の被写体も撮像されているが、マーカ抽出手段３１が、赤外マーカＭの撮像されている赤外画像と、赤外マーカＭの撮像されていないＲＧＢ画像とに基づいて赤外マーカＭを抽出することで、安定して赤外マーカＭを抽出することができる。   Here, the marker extraction means 31 first generates a difference image between the RGB image and the infrared image. Here, for example, if an infrared marker M that absorbs infrared rays is installed in a white region (region where the RGB signal is large) in real space, the pixel value of the infrared image is small only in the region of the infrared marker M. Become. Therefore, the pixel value difference between the RGB image and the infrared image is larger in this region than in other regions. Therefore, the marker extraction unit 31 can extract a portion having a relatively large pixel value of the difference image as the infrared marker M. In this way, not only the infrared marker M but also other subjects are imaged in the infrared image. However, the marker extraction means 31 uses the infrared image captured by the infrared marker M and the infrared marker M. The infrared marker M can be stably extracted by extracting the infrared marker M based on the RGB image that has not been captured.

なお、ここでは、マーカ抽出手段３１が、ＲＧＢ画像と赤外画像との差分画像を生成して、赤外マーカＭを抽出することとしたが、マーカ抽出手段がＲＧＢ画像と赤外画像とに基づいて赤外マーカを抽出する方法は、この方法に限定されない。例えば、ＲＧＢ画像と赤外画像との各々について、エッジの検出をし、更に２値化してエッジ領域を抽出することとしてもよい。そうすると、ＲＧＢ画像からは赤外マーカＭを除いた被写体のエッジが、赤外画像からは赤外マーカＭを含む被写体のエッジが抽出される。そして、マーカ抽出手段３１は、エッジの抽出された２つの画像の差、あるいは、排他的論理和をとることで、赤外マーカＭのエッジのみを抽出することができる。   Here, the marker extracting unit 31 generates a difference image between the RGB image and the infrared image and extracts the infrared marker M. However, the marker extracting unit extracts the RGB image and the infrared image. The method of extracting an infrared marker based on this is not limited to this method. For example, for each of the RGB image and the infrared image, the edge may be detected and further binarized to extract the edge region. Then, the edge of the subject excluding the infrared marker M is extracted from the RGB image, and the edge of the subject including the infrared marker M is extracted from the infrared image. Then, the marker extraction means 31 can extract only the edge of the infrared marker M by taking the difference between the two images from which the edges have been extracted or the exclusive OR.

カメラ情報算出手段３２は、マーカ抽出手段３１によって生成された抽出画像に基づいて、カメラ情報を算出するものである。ここで算出されたカメラ情報は、ＣＧ合成手段３３に出力される。   The camera information calculation unit 32 calculates camera information based on the extracted image generated by the marker extraction unit 31. The camera information calculated here is output to the CG combining unit 33.

ここで、カメラ情報とは、例えば、カメラ２の位置、パン、チルト、ロール、ズーム量などのデータである。このカメラ２の位置は、赤外マーカＭに対するカメラ２の位置が特定できるものであり、また、パン、チルト、ロールは、カメラ２の視線方向の基準となる向きからの水平方向の角度と、鉛直方向の角度と、視線方向を軸とした回転角で表したものである。ここでは、カメラ情報算出手段３２は、実空間に対応する仮想空間を設定して、この仮想空間に赤外マーカＭの中心を原点とする３次元座標系（マーカ座標系）を設定し、このマーカ座標系でカメラ２の位置及び姿勢（パン、チルト、ロール）を算出することとした。   Here, the camera information is data such as the position of the camera 2, pan, tilt, roll, and zoom amount, for example. The position of the camera 2 is such that the position of the camera 2 with respect to the infrared marker M can be specified, and pan, tilt, and roll are the angle in the horizontal direction from the reference direction of the viewing direction of the camera 2, and This is expressed by an angle in the vertical direction and a rotation angle with the line-of-sight direction as an axis. Here, the camera information calculation means 32 sets a virtual space corresponding to the real space, sets a three-dimensional coordinate system (marker coordinate system) with the center of the infrared marker M as the origin in this virtual space, The position and orientation (pan, tilt, roll) of the camera 2 are calculated in the marker coordinate system.

ここで、カメラ情報算出手段３２は、例えば、次に示すような方法で赤外マーカＭの位置に対するカメラ２の位置や姿勢を算出することができる。以下、図２を参照（適宜図１参照）して、カメラ情報算出手段３２がカメラ情報を算出する方法について簡単に説明する。図２は、カメラ情報算出手段がカメラ情報を算出する方法を説明するための説明図である。   Here, the camera information calculation means 32 can calculate the position and orientation of the camera 2 with respect to the position of the infrared marker M by the following method, for example. Hereinafter, with reference to FIG. 2 (refer to FIG. 1 as appropriate), a method in which the camera information calculation unit 32 calculates camera information will be briefly described. FIG. 2 is an explanatory diagram for explaining a method in which camera information calculation means calculates camera information.

カメラ情報算出手段３２は、実空間に対応する仮想空間上に赤外マーカＭの中心を原点とした３次元座標系（マーカ座標系Ｃｍ）を設定する。また、カメラ情報算出手段３２は、カメラ２の焦点を原点とした３次元座標系（カメラ座標系Ｃｃ）を設定する。更に、カメラ情報算出手段３２は、カメラ座標系Ｃｃにおいて透視変換によって投影される画像平面を理想スクリーン座標系ｃｃとして設定する。 The camera information calculation unit 32 sets a three-dimensional coordinate system (marker coordinate system C m ) with the center of the infrared marker M as the origin in a virtual space corresponding to the real space. The camera information calculation unit 32 sets a three-dimensional coordinate system (camera coordinate system C c ) with the focal point of the camera 2 as the origin. Furthermore, the camera information calculation unit 32 sets the image plane which is projected by the perspective transformation in the camera coordinate system C c as an ideal screen coordinate system c c.

ここで、理想スクリーン座標系ｃｃ上の点（ｘｃ，ｙｃ）は、透視変換によって、以下の式（１）でカメラ座標系Ｃｃ上の点（Ｘｃ，Ｙｃ，Ｚｃ）に変換される。なお、変換行列Ｐは、キャリブレーションによって予め求めておく。 Here, the point (x c , y c ) on the ideal screen coordinate system c c is converted into a point (X c , Y c , Z c ) on the camera coordinate system C c by the following equation (1) by perspective transformation. Is converted to Note that the transformation matrix P is obtained in advance by calibration.

Figure 2007163367
Figure 2007163367

また、カメラ座標系Ｃｃにおいて座標（Ｘｃ，Ｙｃ，Ｚｃ）で表される点が、マーカ座標系Ｃｍでは座標（Ｘｍ，Ｙｍ，Ｚｍ）で表されるとすると、以下の式（２）が成り立つ。なお、Ｔｃｍは、カメラ座標系Ｃｃをマーカ座標系Ｃｍに変換する変換行列であり、回転移動成分Ｒ３×３と平行移動成分Ｔ３×１とからなる。 Further, if a point represented by coordinates (X c , Y c , Z c ) in the camera coordinate system C c is represented by coordinates (X m , Y m , Z m ) in the marker coordinate system C m , The following formula (2) holds. T cm is a transformation matrix for transforming the camera coordinate system C c to the marker coordinate system C m , and consists of a rotational movement component R 3 × 3 and a translation component T 3 × 1 .

Figure 2007163367
Figure 2007163367

そこで、カメラ情報算出手段３２は、マーカ抽出手段３１によって生成された抽出画像の赤外マーカＭの四角形の枠を４本の線分に近似し、理想スクリーン座標系における四角形の４頂点の座標を求める。そして、カメラ情報算出手段３２は、この座標と、予め求められているマーカ座標系Ｃｍにおける四角形の４頂点の座標とを用いて、前記の式（１）及び（２）によって変換行列Ｔｃｍを求めることができる。そして、カメラ情報算出手段３２は、平行移動成分Ｔ３×１からカメラ２の位置を、回転移動成分Ｒ３×３からカメラ２の姿勢を求めることができる。 Therefore, the camera information calculation unit 32 approximates the quadrangular frame of the infrared marker M of the extracted image generated by the marker extracting unit 31 to four line segments, and obtains the coordinates of the four vertices of the quadrangle in the ideal screen coordinate system. Ask. The camera information calculation unit 32, and the coordinates, by using the coordinates of the four vertices of the rectangle in the marker coordinate system C m are obtained in advance, the transformation matrix by the formula (1) and (2) T cm Can be requested. Then, the camera information calculation means 32 can obtain the position of the camera 2 from the parallel movement component T 3 × 1 and the posture of the camera 2 from the rotational movement component R 3 × 3 .

図１に戻って説明を続ける。ＣＧ合成手段３３は、カメラ情報算出手段３２で算出されたカメラ情報に基づいてＣＧを生成し、カメラ２から入力されたＲＧＢ画像における、マーカ抽出手段３１で抽出された赤外マーカＭの位置に当該ＣＧを合成するものである。ここで生成された画像は、外部に出力される。ここで、ＣＧ合成手段３３は、カメラ情報に基づいてＣＧを生成するため、カメラ２の位置や姿勢に応じたＣＧを生成することができる。   Returning to FIG. 1, the description will be continued. The CG synthesizing unit 33 generates a CG based on the camera information calculated by the camera information calculating unit 32, and at the position of the infrared marker M extracted by the marker extracting unit 31 in the RGB image input from the camera 2. The CG is synthesized. The image generated here is output to the outside. Here, since the CG synthesizing unit 33 generates a CG based on the camera information, it can generate a CG according to the position and orientation of the camera 2.

なお、ＣＧ合成手段３３は、カメラ情報に基づいて、カメラ２の位置や姿勢の変化の大きさを示すカメラ２の動き情報に基づいてＣＧをぼかしてＲＧＢ画像に合成することによって、視聴者から見て違和感の少ない映像を生成することができる。つまり、ＲＧＢ画像は動きぼけを伴う画像であり、ＣＧ合成手段３３は、このＲＧＢ画像に合成するＣＧに対して、カメラ情報に基づいて同程度のぼけを与えるため、生成される映像は、より自然な映像となる。   Note that the CG combining means 33 blurs the CG based on the motion information of the camera 2 indicating the magnitude of the change in the position and orientation of the camera 2 based on the camera information, and synthesizes it into an RGB image. It is possible to generate a video with little sense of incongruity. That is, the RGB image is an image with motion blur, and the CG synthesis unit 33 gives the same degree of blur to the CG synthesized with the RGB image based on the camera information. It becomes a natural image.

このようにＣＧ合成画像生成装置３を構成することで、ＣＧ合成画像生成装置３は、カメラ２によって撮像されたＲＧＢ画像と赤外画像とに基づいてカメラ情報を解析し、このカメラ情報に基づいてＣＧを生成してＲＧＢ画像内に合成することができる。   By configuring the CG composite image generation device 3 in this way, the CG composite image generation device 3 analyzes the camera information based on the RGB image and the infrared image captured by the camera 2, and based on the camera information. CG can be generated and combined into the RGB image.

なお、ＣＧ合成画像生成装置３は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、ＣＧ合成画像生成プログラムとして動作させることも可能である。   Note that the CG composite image generation apparatus 3 can also realize each unit as a function program in a computer, and can also combine the function programs to operate as a CG composite image generation program.

［カメラ情報解析装置の動作］
次に、図３を参照（適宜図１参照）して、本発明におけるカメラ情報解析装置１の動作について説明する。図３は、本発明におけるカメラ情報解析装置が１つのフレーム画像を撮像してカメラ情報を解析し、ＣＧを合成する動作を示したフローチャートである。なお、カメラ情報解析装置１は、被写体のフレーム画像を順次撮像して、各々のフレーム画像についてカメラ情報を解析し、ＣＧを合成するが、ここでは、カメラ情報解析装置１が、１つのフレーム画像を撮像してＣＧを合成する動作について説明する。 [Operation of camera information analyzer]
Next, the operation of the camera information analysis apparatus 1 according to the present invention will be described with reference to FIG. 3 (refer to FIG. 1 as appropriate). FIG. 3 is a flowchart showing an operation in which the camera information analysis apparatus according to the present invention captures one frame image, analyzes the camera information, and synthesizes CG. The camera information analysis apparatus 1 sequentially captures frame images of a subject, analyzes camera information for each frame image, and synthesizes a CG. Here, the camera information analysis apparatus 1 uses one frame image. An operation for synthesizing CG by capturing the image will be described.

カメラ情報解析装置１のカメラ２は、赤外ミラー２１によって、被写体からの光に含まれる赤外線を反射するとともに、可視光を透過させ、可視光と赤外線とを分光する（ステップＳ１１）。そして、ステップＳ１１において赤外ミラー２１を透過した可視光は、ＲＧＢ撮像部２２に入射し、カメラ２は、当該ＲＧＢ撮像部２２によって可視光の被写体の像を撮像する。同時に、カメラ２は、赤外撮像部２４によって、シャッタ２３を通過した赤外線の被写体の像を撮像する（ステップＳ１２）。ここで、シャッタ２３は、赤外ミラー２１を反射した赤外線を所定時間だけ赤外撮像部２４に受光させる。   The camera 2 of the camera information analysis apparatus 1 reflects the infrared light contained in the light from the subject, transmits the visible light, and splits the visible light and the infrared light by the infrared mirror 21 (step S11). Then, the visible light transmitted through the infrared mirror 21 in step S11 enters the RGB imaging unit 22, and the camera 2 captures an image of a visible light subject using the RGB imaging unit 22. At the same time, the camera 2 captures an image of an infrared subject that has passed through the shutter 23 by the infrared imaging unit 24 (step S12). Here, the shutter 23 causes the infrared imaging unit 24 to receive the infrared rays reflected by the infrared mirror 21 for a predetermined time.

そして、カメラ情報解析装置１のＣＧ合成画像生成装置３は、マーカ抽出手段３１によって、ステップＳ１２においてカメラ２のＲＧＢ撮像部２２によって撮像されたＲＧＢ画像と、赤外撮像部２４によって撮像された赤外画像とに基づいて、赤外マーカＭを抽出して抽出画像を生成する（ステップＳ１３）。ここで、ＣＧ合成画像生成装置３は、ＲＧＢ画像と赤外画像との差分画像を生成し、画素値の差が相対的に大きい部分を赤外マーカＭとして抽出する。   Then, the CG composite image generation device 3 of the camera information analysis device 1 uses the marker extraction unit 31 to detect the RGB image captured by the RGB imaging unit 22 of the camera 2 in step S12 and the red image captured by the infrared imaging unit 24. Based on the outside image, the infrared marker M is extracted to generate an extracted image (step S13). Here, the CG composite image generation device 3 generates a difference image between the RGB image and the infrared image, and extracts a portion having a relatively large difference in pixel values as the infrared marker M.

続いて、ＣＧ合成画像生成装置３は、カメラ情報算出手段３２によって、ステップＳ１３においてマーカ抽出手段３１によって生成された抽出画像に基づいて、カメラ情報を算出する（ステップＳ１４）。更に、ＣＧ合成画像生成装置３は、ＣＧ画像合成手段３３によって、ステップＳ１４において算出されたカメラ情報に基づいてＣＧを生成し、ステップＳ１２において撮像されたＲＧＢ画像にこのＣＧを合成して、外部に出力する（ステップＳ１５）。   Subsequently, the CG composite image generation device 3 calculates camera information by the camera information calculation unit 32 based on the extracted image generated by the marker extraction unit 31 in step S13 (step S14). Further, the CG composite image generation device 3 generates a CG based on the camera information calculated in step S14 by the CG image synthesis means 33, synthesizes this CG with the RGB image captured in step S12, (Step S15).

（カメラ情報解析装置の変形例）
なお、カメラ２はシャッタ２３によって受光させる時間を調整することで、赤外撮像部２４によって撮像される赤外画像の動きぼけを防いでいるが、カメラ２がシャッタ２３を備えず、赤外撮像部２４が、ＲＧＢ撮像部２２より高速な撮像間隔で撮像することとしてもよい。例えば、ＲＧＢ撮像部２２が、通常のビデオカメラと同様に３０枚／秒で撮像する場合に、赤外撮像部２４が更に高速に撮像することで、同じ撮像間隔で撮像する場合に比べてＣＧ合成画像生成装置３によって、より精度の高いカメラ情報を解析することができる。そして、このように撮像間隔を高速にすることで、カメラ２の動き情報の精度が増すため、ＣＧ合成手段３３によって生成された、動きぼけを与えたＣＧを合成した映像の質を向上させることができる。 (Modification of camera information analyzer)
In addition, although the camera 2 prevents the motion blur of the infrared image imaged by the infrared imaging part 24 by adjusting the time which light is received by the shutter 23, the camera 2 is not provided with the shutter 23, but infrared imaging. The unit 24 may capture images at an imaging interval faster than the RGB imaging unit 22. For example, when the RGB imaging unit 22 captures images at 30 frames / second in the same manner as a normal video camera, the infrared imaging unit 24 captures images at a higher speed than when capturing at the same imaging interval. The synthesized image generating apparatus 3 can analyze camera information with higher accuracy. Since the accuracy of the motion information of the camera 2 is increased by increasing the imaging interval in this way, the quality of the video generated by the CG synthesis unit 33 and synthesized with the motion blurred CG is improved. Can do.

このとき、ＣＧ合成画像生成装置３のマーカ抽出手段３１は、ＲＧＢ画像と同時に撮像された赤外画像が入力された場合には、このＲＧＢ画像と赤外画像とに基づいて赤外マーカＭを抽出する。また、ＲＧＢ画像が撮像される合間に撮像された赤外画像が入力された場合には、当該赤外画像が撮像された前後に撮像されたＲＧＢ画像と赤外画像とに基づいて赤外マーカＭを抽出する。   At this time, when an infrared image captured at the same time as the RGB image is input, the marker extraction unit 31 of the CG composite image generation device 3 sets the infrared marker M based on the RGB image and the infrared image. Extract. In addition, when an infrared image captured between the time when the RGB image is captured is input, an infrared marker is based on the RGB image and the infrared image captured before and after the infrared image is captured. Extract M.

また、カメラ２を、図４に示すような、色分解プリズム２５Ａと、ＲＧＢ撮像部２２Ａと、赤外撮像部２４Ａとを備えるカメラ２Ａとしてもよい。図４は、カメラの他の形態を模式的に示す模式図である。   The camera 2 may be a camera 2A including a color separation prism 25A, an RGB imaging unit 22A, and an infrared imaging unit 24A as shown in FIG. FIG. 4 is a schematic diagram schematically showing another embodiment of the camera.

色分解プリズム２５Ａは、実空間から入射した被写体からの光を赤色光、青色光、赤外線及び緑色光に分光するものである。ここで、色分解プリズム２５Ａは、赤色光分離プリズム２５ＡＲと、青色光分離プリズム２５ＡＢと、赤外分離プリズム２５ＡＩＲと、緑色光分離プリズム２５ＡＧとを備える。 The color separation prism 25A splits light from a subject incident from real space into red light, blue light, infrared light, and green light. Here, the color separation prism 25A includes a red light separation prism 25A R , a blue light separation prism 25A B , an infrared separation prism 25A IR, and a green light separation prism 25A G.

赤色光分離プリズム２５ＡＲは、実空間から入射した光から赤色光を分離し、この赤色光を後記するＲ撮像部２２ＡＲに導くものである。そして、赤色光分離プリズム２５ＡＲは、青色光分離プリズム２５ＡＢとの境界面において反射した赤色光を、当該赤色光分離プリズム２５ＡＲ内で再度反射させた後に、端面に接合あるいは所定の間隔だけ離隔して固定されたＲ撮像部２２ＡＲに導く。また、境界面を透過した光は、青色光分離プリズム２５ＡＢに入射する。 The red light separation prism 25A R separates red light from light incident from the real space and guides the red light to the R imaging unit 22A R described later. Then, the red light separation prism 25A R reflects the red light reflected at the boundary surface with the blue light separation prism 25A B again within the red light separation prism 25A R , and then joins the end face or at a predetermined interval. Guided to the R imaging unit 22A R which is fixed apart. The light transmitted through the interface enters the blue light separating prism 25A B.

青色光分離プリズム２５ＡＢは、赤色光分離プリズム２５ＡＲから入射した光から青色光を分離し、この青色光を後記するＢ撮像部２２ＡＢに導くものである。そして、青色光分離プリズム２５ＡＢは、緑色光分離プリズム２５ＡＧとの境界面において反射した青色光を、当該青色光分離プリズム２５ＡＢ内で再度反射させた後に、端面に接合あるいは所定の間隔だけ離隔して固定されたＢ撮像部２２ＡＢに導く。また、境界面を透過した光は、赤外分離プリズム２５ＡＩＲに入射する。 The blue light separation prism 25A B separates the blue light from the light incident from the red light separation prism 25A R and guides the blue light to a B imaging unit 22A B described later. Then, the blue light separation prism 25A B reflects the blue light reflected at the boundary surface with the green light separation prism 25A G again within the blue light separation prism 25A B , and then joins to the end face or at a predetermined interval. spaced apart from leading to the fixed B imaging unit 22A B. The light transmitted through the interface enters the infrared separation prism 25A IR.

赤外分離プリズム（分光手段）２５ＡＩＲは、青色光分離プリズム２５ＡＢから入射した光から赤外線を分離し、この赤外線を後記する赤外撮像部２４Ａに導くものである。そして、赤外分離プリズム２５ＡＩＲは、緑色光分離プリズム２５ＡＧとの境界面において反射した赤外線を、当該赤外分離プリズム２５ＡＩＲ内で再度反射させた後に、端面に接合あるいは所定の間隔だけ離隔して固定された赤外撮像部２４Ａに導く。また、境界面を透過した緑色光は、緑色光分離プリズム２５ＡＧに入射する。 The infrared separation prism (spectral means) 25A IR separates infrared rays from the light incident from the blue light separation prism 25A B, and guides the infrared rays to an infrared imaging unit 24A described later. The infrared separation prism 25A IR reflects the infrared light reflected at the boundary surface with the green light separation prism 25A G again within the infrared separation prism 25A IR , and then joins or separates at a predetermined interval from the end face. To the fixed infrared imaging unit 24A. Further, the green light transmitted through the boundary surface enters the green light separation prism 25A G.

緑色光分離プリズム２５ＡＧは、赤外分離プリズム２５ＡＩＲから入射した緑色光を後記するＧ撮像部２２ＡＧに導くものである。この緑色光分離プリズム２５ＡＧの端面には、Ｇ撮像部２２ＡＧが接合あるいは所定の間隔だけ離隔して固定されている。 The green light separation prism 25A G guides the green light incident from the infrared separation prism 25A IR to the G imaging unit 22A G described later. On the end face of the green light separation prism 25A G , a G image pickup unit 22A G is bonded or fixed at a predetermined interval.

ＲＧＢ撮像部（可視光撮像手段）２２Ａは、赤色光分離プリズム２５ＡＲと、青色光分離プリズム２５ＡＢと、緑色光分離プリズム２５ＡＧとによって分離された赤色光と、青色光と、緑色光とを撮像するものである。ここで撮像されたフレーム画像であるＲＧＢ画像（可視画像）は、ＣＧ合成画像生成装置３に出力される。ここでは、ＲＧＢ撮像部２２Ａは、Ｒ撮像部２２ＡＲと、Ｂ撮像部２２ＡＢと、Ｇ撮像部２２ＡＧとを備える。 The RGB imaging unit (visible light imaging means) 22A includes red light, blue light, and green light separated by the red light separation prism 25A R , the blue light separation prism 25A B, and the green light separation prism 25A G. Is taken. The RGB image (visible image) that is the frame image captured here is output to the CG composite image generation device 3. Here, the RGB imaging unit 22A includes an R imaging unit 22A R , a B imaging unit 22A B, and a G imaging unit 22A G.

Ｒ撮像部２２ＡＲは、赤色光分離プリズム２５ＡＲから入射した赤色光の被写体の像を撮像するものである。ここで撮像された赤色光の画像は、ＣＧ合成画像生成装置３に出力される。 R imaging unit 22A R is for imaging an object image of the incident red light from the red light separating prism 25A R. The image of red light captured here is output to the CG composite image generation device 3.

Ｂ撮像部２２ＡＢは、青色光分離プリズム２５ＡＢから入射した青色光の被写体の像を撮像するものである。ここで撮像された青色光の画像は、ＣＧ合成画像生成装置３に出力される。 B imaging unit 22A B is for imaging an image of a subject of the blue light incident from the blue light separating prism 25A B. The blue light image captured here is output to the CG composite image generation device 3.

Ｇ撮像部２２ＡＧは、緑色光分離プリズム２５ＡＧから入射した緑色光の被写体の像を撮像するものである。ここで撮像された緑色光の画像は、ＣＧ合成画像生成装置３に出力される。 G imaging unit 22A G is for imaging an image of a subject of the incident green light from the green light separating prism 25A G. The green light image captured here is output to the CG composite image generation device 3.

なお、Ｒ撮像部２２ＡＲとＢ撮像部２２ＡＢとＧ撮像部２２ＡＧとが特許請求の範囲に記載の可視光撮像手段に相当し、これらの各々によって撮像された赤色光の画像と、青色光の画像と、緑色光の画像とがＲＧＢ画像となる。 The R imaging unit 22A R , the B imaging unit 22A B, and the G imaging unit 22A G correspond to the visible light imaging unit described in the claims, and an image of red light captured by each of these and the blue image The light image and the green light image are RGB images.

赤外撮像部（不可視光撮像手段）２４Ａは、赤外分離プリズム２５ＡＩＲから入射した赤外線の被写体の像を撮像するものである。ここで撮像された赤外線の画像（赤外画像）は、ＣＧ合成画像生成装置３に出力される。 The infrared imaging unit (invisible light imaging unit) 24A captures an image of an infrared subject incident from the infrared separation prism 25A IR . The infrared image (infrared image) captured here is output to the CG composite image generation device 3.

このようにカメラ２Ａを構成することで、カメラ２をより小型化することができるとともに、ＣＧ合成画像生成装置３によるカメラ情報の解析の精度や信頼性や安定性を向上させることができる。ここで、カメラ２Ａは、赤外分離プリズム２５ＡＩＲと赤外撮像部２４Ａとの間にシャッタ（図示せず）を備えることとしてもよいし、外部から入射する光の光路上において色分解プリズム２５Ａの前にシャッタ（図示せず）を備えることとしてもよい。これによって、カメラ２Ａは、赤外撮像部２４によって撮像される赤外画像に動きぼけが生じることを防ぐことができ、ＣＧ合成画像生成装置３による処理を容易にすることができる。 By configuring the camera 2A in this way, the camera 2 can be further reduced in size, and the accuracy, reliability, and stability of camera information analysis by the CG composite image generation device 3 can be improved. Here, the camera 2A may include a shutter (not shown) between the infrared separation prism 25A IR and the infrared imaging unit 24A, or the color separation prism 25A on the optical path of light incident from the outside. It is good also as providing a shutter (not shown) before this. Accordingly, the camera 2A can prevent motion blur from occurring in the infrared image captured by the infrared imaging unit 24, and can facilitate processing by the CG composite image generation device 3.

本発明におけるカメラ情報解析装置の構成を模式的に示した模式図である。It is the schematic diagram which showed typically the structure of the camera information analysis apparatus in this invention. 本発明におけるカメラ情報解析装置のカメラ情報算出手段がカメラ情報を算出する方法を説明するための説明図である。It is explanatory drawing for demonstrating the method by which the camera information calculation means of the camera information analysis apparatus in this invention calculates camera information. 本発明におけるカメラ情報解析装置が１つのフレーム画像を撮像してカメラ情報を解析し、ＣＧを合成する動作を示したフローチャートである。It is the flowchart which showed the operation | movement which the camera information analyzer in this invention images one frame image, analyzes camera information, and synthesize | combines CG. 本発明におけるカメラ情報解析装置のカメラの他の形態を模式的に示す模式図である。It is a schematic diagram which shows typically the other form of the camera of the camera information analysis apparatus in this invention. 従来のマーカを用いた実写の映像にＣＧを合成する方法を説明するための説明図である。It is explanatory drawing for demonstrating the method to synthesize | combine CG with the image | video of the real photography using the conventional marker.

符号の説明Explanation of symbols

１ カメラ情報解析装置
２１ 赤外ミラー（分光手段）
２２、２２Ａ ＲＧＢ撮像部（可視光撮像手段）
２３ シャッタ
２４、２４Ａ 赤外撮像部（不可視光撮像手段）
２５ＡＩＲ 赤外分離プリズム（分光手段）
３１ マーカ抽出手段
３２ カメラ情報算出手段 1 Camera information analyzer 21 Infrared mirror (spectral means)
22, 22A RGB imaging unit (visible light imaging means)
23 Shutter 24, 24A Infrared imaging unit (invisible light imaging means)
25A IR infrared separation prism (spectral means)
31 Marker extraction means 32 Camera information calculation means

Claims (2)

可視光及び不可視光を含む光が照射された、前記不可視光のみを反射、吸収あるいは発光する不可視マーカを含む被写体を撮像し、カメラ情報を解析するカメラ情報解析装置であって、
前記被写体からの光を、前記不可視光と前記可視光とに分光する分光手段と、
この分光手段によって分光された不可視光の前記被写体の像を撮像する不可視光撮像手段と、
前記分光手段によって分光された可視光の前記被写体の像を撮像する可視光撮像手段と、
この可視光撮像手段によって撮像された可視画像と、前記不可視光撮像手段によって撮像された不可視画像とに基づいて、前記不可視画像から前記不可視マーカを抽出するマーカ抽出手段と、
このマーカ抽出手段によって抽出された不可視マーカに基づいて、カメラ情報を算出するカメラ情報算出手段と、
を備えることを特徴とするカメラ情報解析装置。 A camera information analysis apparatus for imaging a subject including an invisible marker that reflects, absorbs, or emits only the invisible light irradiated with light including visible light and invisible light, and analyzes camera information,
Spectroscopic means for splitting light from the subject into the invisible light and the visible light,
Invisible light imaging means for capturing an image of the subject invisible light spectrally separated by the spectroscopic means;
Visible light imaging means for capturing an image of the subject of visible light separated by the spectral means;
A marker extracting unit that extracts the invisible marker from the invisible image based on the visible image captured by the visible light imaging unit and the invisible image captured by the invisible light imaging unit;
Camera information calculating means for calculating camera information based on the invisible marker extracted by the marker extracting means;
A camera information analysis apparatus comprising: 前記分光手段と前記不可視光撮像手段との間にシャッタを有することを特徴とする請求項１に記載のカメラ情報解析装置。   The camera information analysis apparatus according to claim 1, further comprising a shutter between the spectroscopic unit and the invisible light imaging unit.
JP2005361954A 2005-12-15 2005-12-15 Camera information analyzer Expired - Fee Related JP4769079B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005361954A JP4769079B2 (en) 2005-12-15 2005-12-15 Camera information analyzer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005361954A JP4769079B2 (en) 2005-12-15 2005-12-15 Camera information analyzer

Publications (2)

Publication Number Publication Date
JP2007163367A true JP2007163367A (en) 2007-06-28
JP4769079B2 JP4769079B2 (en) 2011-09-07

Family

ID=38246424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005361954A Expired - Fee Related JP4769079B2 (en) 2005-12-15 2005-12-15 Camera information analyzer

Country Status (1)

Country Link
JP (1) JP4769079B2 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027640A (en) * 2007-07-23 2009-02-05 Nippon Hoso Kyokai <Nhk> Marker detection device and marker detection program
JP2009237878A (en) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd Composite image generating system, overlaying condition determining method, image processing apparatus, and image processing program
JP2010540933A (en) * 2007-09-28 2010-12-24 ザ・ボーイング・カンパニー Local positioning system and method
US20110298951A1 (en) * 2010-05-12 2011-12-08 Sony Corporation Imaging apparatus
WO2012011180A1 (en) 2010-07-22 2012-01-26 パイオニア株式会社 Augmented reality device and method of controlling the same
JP2012084149A (en) * 2010-10-06 2012-04-26 Stmicroelectronics (Research & Development) Ltd Navigation of mobile divice
JP2012175668A (en) * 2011-02-24 2012-09-10 Ohbayashi Corp Image combination method
WO2012160531A1 (en) * 2011-05-25 2012-11-29 Koninklijke Philips Electronics N.V. An identification system for a surface
WO2013132032A1 (en) * 2012-03-08 2013-09-12 Supponor Oy Method and apparatus for image content detection and image content replacement system
JP2015225014A (en) * 2014-05-29 2015-12-14 日本電信電話株式会社 Position estimation device, position estimation method, and program
JP2016003992A (en) * 2014-06-18 2016-01-12 株式会社ミツトヨ Image measurement device and image measurement method
CN105391953A (en) * 2014-08-29 2016-03-09 日立产业控制解决方案有限公司 Image-capturing method and image-capturing device
KR101758058B1 (en) * 2011-01-20 2017-07-17 삼성전자주식회사 Apparatus and method for estimating camera motion using depth information, augmented reality system
JP2018201196A (en) * 2017-05-26 2018-12-20 パナソニックＩｐマネジメント株式会社 Imaging device, imaging system, vehicle travel control system, and image processing apparatus
JP2019134331A (en) * 2018-01-31 2019-08-08 セコム株式会社 Image processing system

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63213077A (en) * 1987-02-28 1988-09-05 Nippon Telegr & Teleph Corp <Ntt> Picture synthesizing method
JPH06261234A (en) * 1993-03-04 1994-09-16 Sony Corp Video camera device
JPH0926613A (en) * 1995-07-13 1997-01-28 Olympus Optical Co Ltd Optical device provided with eyepiece part
JPH09212078A (en) * 1996-01-31 1997-08-15 Hitachi Denshi Ltd Education system
JPH1013729A (en) * 1996-06-19 1998-01-16 Matsushita Electric Works Ltd Tracking device
JPH11136706A (en) * 1997-09-01 1999-05-21 Mr System Kenkyusho:Kk Position attitude sensor, position attitude detection method, composite reality providing device, game machine, composite reality providing method and storage medium
JPH11351826A (en) * 1998-06-09 1999-12-24 Mitsubishi Electric Corp Camera position identifier
JP2000050162A (en) * 1998-07-29 2000-02-18 Nec Corp Image pickup method and its device
JP2000112334A (en) * 1998-10-07 2000-04-21 Mitsubishi Heavy Ind Ltd Driving operation training device
JP2000201290A (en) * 1999-01-08 2000-07-18 Fuji Photo Optical Co Ltd Television lens having still picture photographing function
JP2000347128A (en) * 1999-03-26 2000-12-15 Mr System Kenkyusho:Kk Head mount display device and head mount display system
JP2001134362A (en) * 1999-11-01 2001-05-18 Atr Media Integration & Communications Res Lab Doll type interface virtual space walking through system
JP2001202379A (en) * 2000-01-21 2001-07-27 Kobe University Virtual figure motion data browsing device for virtual space
JP2002369223A (en) * 2001-06-08 2002-12-20 Pentax Corp Image detector and diaphragm
JP2002366021A (en) * 2001-06-13 2002-12-20 Kawasaki Heavy Ind Ltd Virtual field training device
JP2003308514A (en) * 1997-09-01 2003-10-31 Canon Inc Information processing method and information processing device
JP2004128830A (en) * 2002-10-02 2004-04-22 Fuji Photo Optical Co Ltd Photographing apparatus for presentation
JP2004522327A (en) * 2000-01-31 2004-07-22 オサケユイチア バーチャル アドバタイジング システムズ ブイエーエス リミティド Method for correcting visible objects shot by TV camera
JP2004312565A (en) * 2003-04-09 2004-11-04 Jai Corporation High-speed frame-by-frame recording television camera system
JP2004344418A (en) * 2003-05-22 2004-12-09 Anima Kk Three-dimensional motion analyzing device
JP2005079773A (en) * 2003-08-29 2005-03-24 Nippon Hoso Kyokai <Nhk> Image photographing system
JP2005229494A (en) * 2004-02-16 2005-08-25 Matsushita Electric Ind Co Ltd Imaging apparatus
JP2005331476A (en) * 2004-05-21 2005-12-02 Nippon Hoso Kyokai <Nhk> Method and device for detecting three-dimensional information
JP2006094085A (en) * 2004-09-24 2006-04-06 Fuji Photo Film Co Ltd Photographing device

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63213077A (en) * 1987-02-28 1988-09-05 Nippon Telegr & Teleph Corp <Ntt> Picture synthesizing method
JPH06261234A (en) * 1993-03-04 1994-09-16 Sony Corp Video camera device
JPH0926613A (en) * 1995-07-13 1997-01-28 Olympus Optical Co Ltd Optical device provided with eyepiece part
JPH09212078A (en) * 1996-01-31 1997-08-15 Hitachi Denshi Ltd Education system
JPH1013729A (en) * 1996-06-19 1998-01-16 Matsushita Electric Works Ltd Tracking device
JPH11136706A (en) * 1997-09-01 1999-05-21 Mr System Kenkyusho:Kk Position attitude sensor, position attitude detection method, composite reality providing device, game machine, composite reality providing method and storage medium
JP2003308514A (en) * 1997-09-01 2003-10-31 Canon Inc Information processing method and information processing device
JPH11351826A (en) * 1998-06-09 1999-12-24 Mitsubishi Electric Corp Camera position identifier
JP2000050162A (en) * 1998-07-29 2000-02-18 Nec Corp Image pickup method and its device
JP2000112334A (en) * 1998-10-07 2000-04-21 Mitsubishi Heavy Ind Ltd Driving operation training device
JP2000201290A (en) * 1999-01-08 2000-07-18 Fuji Photo Optical Co Ltd Television lens having still picture photographing function
JP2000347128A (en) * 1999-03-26 2000-12-15 Mr System Kenkyusho:Kk Head mount display device and head mount display system
JP2001134362A (en) * 1999-11-01 2001-05-18 Atr Media Integration & Communications Res Lab Doll type interface virtual space walking through system
JP2001202379A (en) * 2000-01-21 2001-07-27 Kobe University Virtual figure motion data browsing device for virtual space
JP2004522327A (en) * 2000-01-31 2004-07-22 オサケユイチア バーチャル アドバタイジング システムズ ブイエーエス リミティド Method for correcting visible objects shot by TV camera
JP2002369223A (en) * 2001-06-08 2002-12-20 Pentax Corp Image detector and diaphragm
JP2002366021A (en) * 2001-06-13 2002-12-20 Kawasaki Heavy Ind Ltd Virtual field training device
JP2004128830A (en) * 2002-10-02 2004-04-22 Fuji Photo Optical Co Ltd Photographing apparatus for presentation
JP2004312565A (en) * 2003-04-09 2004-11-04 Jai Corporation High-speed frame-by-frame recording television camera system
JP2004344418A (en) * 2003-05-22 2004-12-09 Anima Kk Three-dimensional motion analyzing device
JP2005079773A (en) * 2003-08-29 2005-03-24 Nippon Hoso Kyokai <Nhk> Image photographing system
JP2005229494A (en) * 2004-02-16 2005-08-25 Matsushita Electric Ind Co Ltd Imaging apparatus
JP2005331476A (en) * 2004-05-21 2005-12-02 Nippon Hoso Kyokai <Nhk> Method and device for detecting three-dimensional information
JP2006094085A (en) * 2004-09-24 2006-04-06 Fuji Photo Film Co Ltd Photographing device

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027640A (en) * 2007-07-23 2009-02-05 Nippon Hoso Kyokai <Nhk> Marker detection device and marker detection program
JP2010540933A (en) * 2007-09-28 2010-12-24 ザ・ボーイング・カンパニー Local positioning system and method
JP2009237878A (en) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd Composite image generating system, overlaying condition determining method, image processing apparatus, and image processing program
US8576302B2 (en) * 2010-05-12 2013-11-05 Sony Corporation Imaging apparatus comprising color image pickup device and monochrome image pickup device
US20110298951A1 (en) * 2010-05-12 2011-12-08 Sony Corporation Imaging apparatus
WO2012011180A1 (en) 2010-07-22 2012-01-26 パイオニア株式会社 Augmented reality device and method of controlling the same
JP2012084149A (en) * 2010-10-06 2012-04-26 Stmicroelectronics (Research & Development) Ltd Navigation of mobile divice
KR101758058B1 (en) * 2011-01-20 2017-07-17 삼성전자주식회사 Apparatus and method for estimating camera motion using depth information, augmented reality system
JP2012175668A (en) * 2011-02-24 2012-09-10 Ohbayashi Corp Image combination method
WO2012160531A1 (en) * 2011-05-25 2012-11-29 Koninklijke Philips Electronics N.V. An identification system for a surface
CN103548073A (en) * 2011-05-25 2014-01-29 皇家飞利浦有限公司 An identification system for a surface
US9196180B2 (en) 2011-05-25 2015-11-24 Koninklijke Philips N.V. Identification system for a surface
CN103548073B (en) * 2011-05-25 2016-09-14 皇家飞利浦有限公司 Identification system for surface
WO2013132032A1 (en) * 2012-03-08 2013-09-12 Supponor Oy Method and apparatus for image content detection and image content replacement system
US10554923B2 (en) 2012-03-08 2020-02-04 Supponor Oy Method and apparatus for image content detection and image content replacement system
US10033959B2 (en) 2012-03-08 2018-07-24 Supponor Oy Method and apparatus for image content detection and image content replacement system
JP2015225014A (en) * 2014-05-29 2015-12-14 日本電信電話株式会社 Position estimation device, position estimation method, and program
JP2016003992A (en) * 2014-06-18 2016-01-12 株式会社ミツトヨ Image measurement device and image measurement method
CN105391953A (en) * 2014-08-29 2016-03-09 日立产业控制解决方案有限公司 Image-capturing method and image-capturing device
JP2018201196A (en) * 2017-05-26 2018-12-20 パナソニックＩｐマネジメント株式会社 Imaging device, imaging system, vehicle travel control system, and image processing apparatus
JP7113283B2 (en) 2017-05-26 2022-08-05 パナソニックＩｐマネジメント株式会社 Imaging device, imaging system, vehicle driving control system, and image processing device
US11528424B2 (en) 2017-05-26 2022-12-13 Panasonic Intellectual Property Management Co., Ltd. Imaging device, imaging system, vehicle running control system, and image processing device
JP7331201B2 (en) 2017-05-26 2023-08-22 パナソニックＩｐマネジメント株式会社 Imaging device, imaging system, vehicle driving control system, and image processing device
JP2019134331A (en) * 2018-01-31 2019-08-08 セコム株式会社 Image processing system

Also Published As

Publication number Publication date
JP4769079B2 (en) 2011-09-07

Similar Documents

Publication Publication Date Title
JP4769079B2 (en) Camera information analyzer
US20140192238A1 (en) System and Method for Imaging and Image Processing
CN108307675B (en) Multi-baseline camera array system architecture for depth enhancement in VR/AR applications
CN106412426B (en) Total focus camera and method
US20140168424A1 (en) Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
US20130335535A1 (en) Digital 3d camera using periodic illumination
US20110222757A1 (en) Systems and methods for 2D image and spatial data capture for 3D stereo imaging
CN108702437A (en) High dynamic range depth for 3D imaging systems generates
CN109076200A (en) The calibration method and device of panoramic stereoscopic video system
JP2016218905A (en) Information processing device, information processing method and program
US10003739B2 (en) Imaging apparatus and imaging method
US20210084231A1 (en) Electronic device including plurality of cameras, and operation method therefor
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
KR101801100B1 (en) Video providing apparatus and method for supporting production of immersive contents
TWI501193B (en) Computer graphics using AR technology. Image processing systems and methods
JP2014010783A (en) Image processing apparatus, image processing method, and program
JP2011013993A (en) Image display apparatus and method, as well as program
JP2009088844A (en) Color separation stereo camera
JP2015046019A (en) Image processing device, imaging device, imaging system, image processing method, program, and storage medium
JP2001285762A (en) Image printer
AU2020408599A1 (en) Light field reconstruction method and system using depth sampling
JP5363872B2 (en) Image correction apparatus and program thereof
CN111272101A (en) Four-dimensional hyperspectral depth imaging system
KR20090114707A (en) Camera and method for compounding picked-up image
JP5592834B2 (en) Optical projection control apparatus, optical projection control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110617

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4769079

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees