JP2005182413A - Image separator - Google Patents

Image separator Download PDF

Info

Publication number
JP2005182413A
JP2005182413A JP2003421511A JP2003421511A JP2005182413A JP 2005182413 A JP2005182413 A JP 2005182413A JP 2003421511 A JP2003421511 A JP 2003421511A JP 2003421511 A JP2003421511 A JP 2003421511A JP 2005182413 A JP2005182413 A JP 2005182413A
Authority
JP
Japan
Prior art keywords
image
projection
space
primary color
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003421511A
Other languages
Japanese (ja)
Other versions
JP4491599B2 (en
Inventor
Tomohiro Hatsugawa
友宏 秡川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2003421511A priority Critical patent/JP4491599B2/en
Publication of JP2005182413A publication Critical patent/JP2005182413A/en
Application granted granted Critical
Publication of JP4491599B2 publication Critical patent/JP4491599B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image separator capable of separateing only one image information from the mixed image of two images different in a generation source, for instance, capable of discriminating the image projected on a screen by a projector (a projected image: a second image in this in vention) and the other image existing in front of the projected image (the actual image of an object: a first image in this invention) and acquiring only the one image information. <P>SOLUTION: In this image separator, the first image is composed of the object or the projected image existing in a space. A projection means generates primary color images composed of projection colors successively selected from a plurality of primary colors selected so as to reproduce colors in a wide range by mixing them and periodically projects them in order to form the second image by successively and repeatedly projecting the object or the projection image in the space by an image source. An image pickup means photographs the space. A processing means removes the projection color components of the unit for each unit from the mixed image of the first image and the second image in the space photographed by the image pickup means. An arithmetic means computes the output of the processing means and obtains only the video information of the first image. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、発生源の異なる2つの像の混合像から一方の像の情報のみを分離する像分離装置、例えば投影装置によりスクリーンに投影された像(投影像:本願では第2の像)と、前記像の手前に存在する他の像(物体の実像:本願では第1の像)を区別して、一方の像の情報のみを取得できる像分離装置に関する。   The present invention provides an image separation device that separates only information of one image from a mixed image of two images having different sources, for example, an image projected on a screen by a projection device (projection image: second image in the present application) and The present invention relates to an image separating apparatus capable of distinguishing another image (real image of an object: a first image in the present application) existing in front of the image and acquiring only information of one image.

発生源の異なる2つの像から一方の像の情報のみを分離する例として投影像前面の実物体像を得る例がある。投影像前面の実物体を検出する方式として現存するものには次の2方式がある。
(特定波長検出方式)専用支持棒つき画像投影機などで用いられる。これは指示棒の先に赤外線発光器を取り付け、投影像がもともと赤外成分を含まないことを利用して指示棒の検出を行うものもしくはレーザポインタ等で指示した可視の指示点をその特徴色を利用して検出するものがある。
(画像差分方式)カメラにより表示面全体をいったん撮像し、かかる後に表示装置に入力した元画像を整合させ差し引く演算により、残差が投影面前面物体による実像であるとするもの。
As an example of separating only information of one image from two images having different generation sources, there is an example of obtaining a real object image in front of a projection image. There are the following two existing methods for detecting a real object in front of the projected image.
(Specific wavelength detection method) Used in an image projector with a dedicated support bar. This is characterized by attaching an infrared light emitter to the tip of the indicator bar and detecting the indicator bar using the fact that the projected image does not originally contain an infrared component, or the visible indicator point indicated by a laser pointer, etc. Some are detected using.
(Image difference method) The entire display surface is once imaged by a camera, and the residual image is assumed to be a real image by the object on the front surface of the projection surface by an operation of matching and subtracting the original image input to the display device after that.

前述した特定波長検出方式では、表示面前面にある物体が特定の波長で発光していることが必要であり、任意の物体による実像は撮影できない。また、特に、可視光領域の波長を用いるものにあっては、表示装置に入力した映像自体に特徴色が含まれる場合に誤動作を起こす可能性がある。画像差分方式では、カメラにより撮像した画像と元画像との解像度や輝度の違いを補正するための演算に高速の演算装置を必要とする。   In the specific wavelength detection method described above, an object in front of the display surface needs to emit light at a specific wavelength, and a real image cannot be taken with any object. In particular, in the case of using a wavelength in the visible light region, a malfunction may occur when a characteristic color is included in the video input to the display device. In the image difference method, a high-speed computing device is required for computation for correcting a difference in resolution and luminance between an image captured by a camera and an original image.

本発明の主たる目的は、問題の空間に特別の刺激(不自然な照明等)を与えなくても、一方の像の映像情報を獲得できる像分離装置を提供することにある。
本発明の他の目的は、外界の状況を受け難く確実に、一方の像の映像情報を獲得できる像分離装置を提供することにある。
本発明のさらに他の目的は、獲得した一方の像の情報を利用して多くの応用、例えば車載応用等、が可能な像分離装置を提供することにある。
A main object of the present invention is to provide an image separation device that can acquire image information of one image without giving a special stimulus (unnatural lighting or the like) to the space in question.
Another object of the present invention is to provide an image separating apparatus that can reliably acquire video information of one image without being easily affected by the situation of the outside world.
Still another object of the present invention is to provide an image separation apparatus that can be used for many applications, for example, in-vehicle applications, by using information on one acquired image.

前記目的を達成するために本発明による請求項1記載の像分離装置は、
動画の情報を含む画像の情報を複数の原色成分に分解して各原色成分を順次高速で周期的に投影する投影手段と共に用いられる像分離装置であって、
前記投影画像の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の画像出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成されている。
本発明による請求項2記載の像分離装置は、
複数の原色成分に分解された画像を各原色成分ごとに順次高速で周期的に投影する投影手段と、
前記投影画像の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の画像出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成されている。
In order to achieve the object, an image separating apparatus according to claim 1 according to the present invention is provided.
An image separation apparatus used together with a projection unit that decomposes image information including moving image information into a plurality of primary color components and sequentially projects each primary color component at high speed sequentially,
Imaging means for capturing an image of a space affected by the projected image;
Processing means for removing the primary color component from the image output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
It is composed of
According to the present invention, there is provided an image separating apparatus according to claim 2.
A projecting means for periodically projecting an image separated into a plurality of primary color components at high speed sequentially for each primary color component;
Imaging means for capturing an image of a space affected by the projected image;
Processing means for removing the primary color component from the image output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
It is composed of

本発明による請求項3記載の像分離装置は、複数の原色を順次選択し前記原色の照明光を高速で周期的に投射する照明手段と、
前記照明の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成されている。
An image separating apparatus according to claim 3 according to the present invention, wherein an illumination unit that sequentially selects a plurality of primary colors and periodically projects illumination light of the primary colors at a high speed;
Imaging means for capturing an image of the space affected by the illumination;
Processing means for removing the primary color component from the output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
It is composed of

本発明による請求項4記載の像分離装置は、複数の原色を順次選択し前記原色の照明光を高速で周期的に投射する照明手段と、
前記照明の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成されている。
An image separation apparatus according to claim 4 according to the present invention is an illumination unit that sequentially selects a plurality of primary colors and periodically projects illumination light of the primary colors at high speed.
Imaging means for capturing an image of the space affected by the illumination;
Processing means for removing the primary color component from the output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
It is composed of

本発明による請求項5記載の像分離装置は、請求項1〜4記載の像分離装置において、前記演算手段は、各周期の像を加算することで空間の像を再生するように構成されている。
本発明による請求項6記載の像分離装置は、請求項1〜4記載の像分離装置において、前記複数の原色は、混合することにより広範囲の色を再現し得るように選んだ複数の原色であり、好ましくはR,G,Bである。
An image separation device according to a fifth aspect of the present invention is the image separation device according to any one of the first to fourth aspects, wherein the arithmetic means is configured to reproduce an image of a space by adding the images of each period. Yes.
According to a sixth aspect of the present invention, in the image separation device according to the first to fourth aspects, the plurality of primary colors are a plurality of primary colors selected so that a wide range of colors can be reproduced by mixing. Yes, preferably R, G, B.

本発明による請求項7記載の像分離装置は、請求項2記載の像分離装置において、前記空間に存在する移動像と投影手段による投影画像が分離され、前記移動像はスクリーンの前の人物または投影像の部分を指示する像である。
本発明による請求項8記載の像分離装置は、請求項3記載の像分離装置において、前記空間には講演者または運転者が存在し、前記照明手段は白色照明であり、講演者の投影または運転者の姿勢検出のために像が分離される。
本発明による請求項9記載の像分離装置は、請求項4記載の像分離装置において、前記空間は走行車両の前方空間であり、前記空間に物体が存在し、
前記投影手段は前記物体にスケール像を投影し、前記演算手段は前記物体の影響を受けたスケール像を分離して前記物体のデータを提供する。
According to a seventh aspect of the present invention, in the image separation device according to the second aspect, the moving image existing in the space and the projection image by the projection unit are separated, and the moving image is a person in front of the screen or It is an image that indicates the portion of the projected image.
The image separating apparatus according to claim 8 of the present invention is the image separating apparatus according to claim 3, wherein a speaker or a driver is present in the space, the illumination means is white illumination, Images are separated for driver attitude detection.
The image separation device according to claim 9 according to the present invention is the image separation device according to claim 4, wherein the space is a front space of a traveling vehicle, and an object exists in the space.
The projection unit projects a scale image onto the object, and the calculation unit separates the scale image affected by the object and provides data of the object.

本発明によれば、問題の空間に特別の刺激(不自然な照明等)を与えなくても、一方の像の映像情報を獲得できる像分離装置を提供することができる。
さらに、外界の状況を受け難く確実に、一方の像の映像情報を獲得できる像分離装置を提供することにある。
また、獲得した一方の像の情報を利用して多くの応用、例えば車載応用等、が可能な像分離装置を提供することができる。
According to the present invention, it is possible to provide an image separation device that can acquire video information of one image without giving a special stimulus (unnatural lighting or the like) to the space in question.
It is another object of the present invention to provide an image separation device that can reliably acquire video information of one image without being easily affected by the external environment.
In addition, it is possible to provide an image separation device that can be used for many applications, for example, in-vehicle applications, using information on one acquired image.

以下図面等を参照して本発明による装置の実施の形態を説明する。
図1は、本発明による像分離装置の概念を説明するための概略図、この実施の形態は、空間内に第1の像20が存在し、その像20に、投影手段により、第2の像を形成するものである。まずここで第2図を参照して、第1の像と第2の像の概念を説明する。図2は、前記像分離装置の動作原理を説明するための略図であって、撮像による混合、撮像された映像の処理、演算のプロセスを特定の画像パターンを例にして示したものである。
Embodiments of an apparatus according to the present invention will be described below with reference to the drawings.
FIG. 1 is a schematic diagram for explaining the concept of an image separation device according to the present invention. In this embodiment, a first image 20 exists in a space, and a second image is projected on the image 20 by a projection means. It forms an image. First, the concept of the first image and the second image will be described with reference to FIG. FIG. 2 is a schematic diagram for explaining the operation principle of the image separation device, and illustrates mixing by imaging, processing of captured images, and calculation processes by taking a specific image pattern as an example.

第1の像は空間に存在する物体20により決定される。理解を容易にするためにこの物体をシート状のものとして、その表面は、図1,図2中上辺中央部のObという領域にある。このシートは図1および図2の20に示すようなパターンで着色されており、着色成分はr,g,bあるとする。投影手段により、前記空間の前記物体を第2の像源(図示せず)により順次繰り返し照明して第2の像を形成する。
そのために全体として補色の関係を形成する2以上の投影色(R,G,B)の各一色ずつからなる像を高速で分割発生し,複数の照明単位からなる照明で投影する。
第2の像源は空間に、第2の像21(可視像)を投影するものであり、像21中,(R),(G),(B)はそれぞれの色のそのような模様であると理解されたい。
この像(可視像)は、図2に示す21R,21G,21Bを3つの連続する極めて短い投影単位として、順次繰り返し空間に投影することにより、可視像21を得るものである。そして観測者(図示せず)は前記R,G,B色の繰り返し投影には追従できないから図2の22の示すような混合像を観察することになる。観測者は、第1の像にRの縦線,Gの横線,Bの斜線が重なった像を観察することになる。
なお、本発明において、補色、全体として補色と言う用語を用いる。これは、前述の例において色Rに対して色G,Bの混合色が補色となり、全体で無色となると言う意味に用いている。例えば、照明の色であると考えると高速でR,G,Bの照明を繰替すと白色光で照明されていると観測者が認識するときに、全体として補色の関係にあると言うように使用している。
そのために2以上の原色(R,G,B)の各一色ずつからなる像を高速で分割発生し,複数の照明単位からなる照明で投影する。
第2の像源は空間に、第2の像21(可視像)を投影するものであり、像21中,(R),(G),(B)はそれぞれの色のそのような模様であると理解されたい。
この像(可視像)は、図2に示す21R,21G,21Bを3つの連続する極めて短い投影単位として、順次繰り返し空間に投影することにより、可視像21を得るものである。そして観測者(図示せず)は前記R,G,B色の繰り返し投影には追従できないから図2の22の示すような混合像を観察することになる。観測者は、第1の像があたかも白色光源で形成された像で照射されているような像を観察することになる。
The first image is determined by the object 20 existing in space. In order to facilitate understanding, the object is formed into a sheet shape, and the surface thereof is in a region called Ob in the center of the upper side in FIGS. This sheet is colored in a pattern as shown in 20 of FIGS. 1 and 2, and the coloring components are r, g, and b. The object in the space is sequentially and repeatedly illuminated by a second image source (not shown) by the projecting means to form a second image.
For this purpose, an image composed of each of two or more projection colors (R, G, B) that form a complementary color relationship as a whole is divided and generated at high speed and projected with illumination composed of a plurality of illumination units.
The second image source projects the second image 21 (visible image) into space, and (R), (G), and (B) in the image 21 are such patterns of the respective colors. I want to be understood.
This image (visible image) is obtained by sequentially projecting 21R, 21G, and 21B shown in FIG. 2 in three consecutive extremely short projection units onto a space in succession. An observer (not shown) cannot follow the repetitive projection of the R, G, and B colors and observes a mixed image as indicated by 22 in FIG. The observer observes an image in which the vertical line of R, the horizontal line of G, and the oblique line of B overlap the first image.
In the present invention, the terms complementary color and complementary color as a whole are used. This is used in the above-described example to mean that the mixed color of the colors G and B with respect to the color R becomes a complementary color and becomes colorless as a whole. For example, when the color of the illumination is considered, when the R, G, and B illuminations are repeated at high speed, when the observer recognizes that it is illuminated with white light, the overall color relationship is said to be complementary. It is used for.
For this purpose, an image composed of each of two or more primary colors (R, G, B) is divided at high speed and projected with illumination composed of a plurality of illumination units.
The second image source projects the second image 21 (visible image) into space, and (R), (G), and (B) in the image 21 are such patterns of the respective colors. I want to be understood.
This image (visible image) is obtained by sequentially projecting 21R, 21G, and 21B shown in FIG. 2 in three consecutive extremely short projection units onto a space in succession. An observer (not shown) cannot follow the repetitive projection of the R, G, and B colors and observes a mixed image as indicated by 22 in FIG. The observer observes an image as if the first image is irradiated with an image formed with a white light source.

ここで、図8Aを参照して投影手段の構成を説明する。
図8Aは、本発明による像分離装置の背面投影と3板CMOSもしくはCCDカラーカメラの組み合わせによる構成例を示す略図である。
図8Aにおいて、光源1からの白色光はコンデンサレンズ2を介して集光され、高速回転するカラーホイール4を介して投影色に着色される。演算手段3Bにより第2の像の投影原像のうちの投影色に関する濃淡情報を像源シート3から発生する。着色された像は投影レンズ6でスクリーン10の裏面に結像され、前述の第2の像に相当する像を形成する。図1に示した配置と異なる点は第2の像が第1の像(図8Aでは物体13)の背景となる点である。光源1からレンズ6にいたる構成が第1図の投影手段に対応する。観察者がその観察眼19で視認するであろう像を19Aとして示す。
図8Bは、本発明による像分離装置の背面投影と単板CMOSもしくはCCDカラーカメラの組み合わせによる構成例を示す略図である。
図8Bにおいて、光源801からの白色光はコンデンサレンズ802を介して集光され、高速回転するカラーホイール804を介して投影色に着色される。投影色判定部809は回転角検出部808の出力をもとに現在の投影色を判定し、演算部809Aが投影原像のうち投影色に関する濃淡情報を単板デジタルミラー803に送る。単板デジタルミラーは多数の微細な可動鏡を1枚の板上に設置したものであり、各可動鏡の角度を調整することにより、当該可動鏡の反射光をレンズ806に導くか否かを選択し、図8Aの像源シートの代替をなす。着色された像はレンズ806により選択的反射光による像をスクリーン810に形成する。これにより前述の第2の像に相当する像を形成する。図8Aの構成と大きく異なる点は、投影色の情報を投影装置から導いておらず、別途撮像系統で独自に判定している点である。光源801からレンズ806にいたる構成が第1図の投影手段に対応する。なお、観察者がその観察眼820を介して視認するであろう像を820Aとして示す。
Here, the configuration of the projection means will be described with reference to FIG. 8A.
FIG. 8A is a schematic diagram showing a configuration example of a combination of a rear projection and a three-plate CMOS or CCD color camera of the image separation device according to the present invention.
In FIG. 8A, white light from the light source 1 is condensed through the condenser lens 2 and colored into a projected color through the color wheel 4 that rotates at high speed. The calculation means 3B generates density information relating to the projection color of the projection original image of the second image from the image source sheet 3. The colored image is formed on the back surface of the screen 10 by the projection lens 6 to form an image corresponding to the second image described above. The difference from the arrangement shown in FIG. 1 is that the second image is the background of the first image (the object 13 in FIG. 8A). The configuration from the light source 1 to the lens 6 corresponds to the projection means in FIG. An image that the observer will visually recognize with the observation eye 19 is shown as 19A.
FIG. 8B is a schematic diagram showing a configuration example of a combination of a rear projection and a single-chip CMOS or CCD color camera of the image separation device according to the present invention.
In FIG. 8B, the white light from the light source 801 is condensed through a condenser lens 802 and colored into a projected color through a color wheel 804 that rotates at high speed. The projection color determination unit 809 determines the current projection color based on the output of the rotation angle detection unit 808, and the calculation unit 809A sends to the single-plate digital mirror 803 density information regarding the projection color in the projection original image. A single-plate digital mirror has a large number of minute movable mirrors installed on a single plate. By adjusting the angle of each movable mirror, whether or not the reflected light of the movable mirror is guided to the lens 806 is determined. To replace the image source sheet of FIG. 8A. The colored image forms an image of selectively reflected light on the screen 810 through the lens 806. Thereby, an image corresponding to the second image is formed. A significant difference from the configuration of FIG. 8A is that the projection color information is not derived from the projection apparatus and is independently determined by the imaging system. The configuration from the light source 801 to the lens 806 corresponds to the projection means in FIG. Note that an image that the observer will visually recognize through the observation eye 820 is indicated as 820A.

図1に示す撮像手段は、前記空間を撮像して、前記空間の前記第1の像と第2の像の混合像を逐次撮像する。
第1の投影単位と同期している第1の撮像単位で像21Rと像20の混合像23が撮像され、次の撮像単位で像21Gと像20の混合像24が撮像され、次の撮像単位で像21Bと像20の混合像25が撮像され、この撮像がくりかえされる。
The imaging means shown in FIG. 1 images the space and sequentially captures a mixed image of the first image and the second image in the space.
The mixed image 23 of the image 21R and the image 20 is captured in the first imaging unit synchronized with the first projection unit, the mixed image 24 of the image 21G and the image 20 is captured in the next imaging unit, and the next imaging is performed. A mixed image 25 of the image 21B and the image 20 is captured in units, and this imaging is repeated.

一方、処理手段は前記空間の前記第1の像と第2の像の混合像から各単位毎に該単位の投影色成分を除去する処理をする。
第1の撮像単位と同期している第1の処理で像21Rと像20の混合像23から、投影色成分を除去した像26を得る。この時第2の像の成分像21Rとともに第1の像のr成分も除去されていることに注意されたい。
同様にして、
第2の撮像単位と同期している第2の処理で像21Gと像20の混合像24から、投影色成分を除去した像27を得る。この時第2の像の成分像21Gとともに第1の像のg成分も同様に除去される。
第3の撮像単位と同期している第3の処理で像21Bと像20の混合像25から、投影色成分を除去した像28を得る。この時第2の像の成分像21Bとともに第1の像のb成分も同様に除去される。
On the other hand, the processing means performs processing for removing the projected color component of each unit from the mixed image of the first image and the second image in the space for each unit.
An image 26 from which the projection color component has been removed is obtained from the mixed image 23 of the image 21R and the image 20 by the first processing synchronized with the first imaging unit. Note that at this time, the r component of the first image is removed together with the component image 21R of the second image.
Similarly,
An image 27 from which the projection color component has been removed is obtained from the mixed image 24 of the image 21G and the image 20 by the second process synchronized with the second imaging unit. At this time, the g component of the first image is similarly removed together with the component image 21G of the second image.
An image 28 obtained by removing the projection color component from the mixed image 25 of the image 21B and the image 20 is obtained by the third process synchronized with the third imaging unit. At this time, the b component of the first image is also removed together with the component image 21B of the second image.

前述した、撮影手段と処理手段の連携動作を図8Aの例を参照して説明する。なお図8A,Bに示す例は理解を容易にするために、カラーホイールと半透明の像源シートを用いる例を示しているが、投影手段としては、単板デジタルミラー方式のDLPプロジェクタを好適に利用できる。図8Aにおいて、スクリーン10の像が第1図の第2の像21に、物体13を白色光源からの光束15で照明したものが、第1の像20に対応する。
空間における第1の像と第2の混合像は、次の時系列で処理される。
第1の投影単位により図2の21Rの投影が行われる。カラーホイール4のRと、それに同期した像源シート3により投影源像の赤色成分21Rがスクリーンに形成される。その像と物体13の像23がレンズ14により、ダイクロイックプリズム16を介して3板CMOSまたはCCD17R,17G,17Bに分配される。このときアナログスイッチ18から投影色を除いた画像成分17G,17Bの合成出力像26が取り出される。
第2の投影単位により図2の21Gの投影が行われる。カラーホイール4のGと、それに同期した像源シート3により像投影源像の緑色成分21Gがスクリーン10に形成される。その像と物体13の像24がレンズ14により、ダイクロイックプリズム16を介して3板CCD17R,17G,17Bに分配される。このときアナログスイッチ18から投影色を除いた画像成分17B,17Rの合成出力像27が取り出される。
第3の投影単位により図2の21Bの投影が行われる。カラーホイール4のBと、それに同期した像源シート3により像投影源像の青色成分21Bがスクリーン10に形成される。その像と物体13の像25がレンズ14により、ダイクロイックプリズム16を介して3板CCD17R,17G,17Bに分配される。このときアナログスイッチ18から投影色を除いた画像成分17R,17Gの合成出力像28が取り出される。
前記アナログスイッチの切り換えはホトインタラプタ7がカラーホイール4の位置を検出して、PLL回路8を介して投影色の判定部9により投影色の判定が行われその判定にしたがって行われる。
The above-described cooperative operation between the photographing unit and the processing unit will be described with reference to the example of FIG. 8A. 8A and 8B show an example using a color wheel and a translucent image source sheet for easy understanding, but a single-plate digital mirror type DLP projector is suitable as the projection means. Available to: In FIG. 8A, the image of the screen 10 corresponds to the second image 21 of FIG. 1, and the object 13 illuminated with the light beam 15 from the white light source corresponds to the first image 20.
The first image and the second mixed image in space are processed in the following time series.
The projection of 21R in FIG. 2 is performed by the first projection unit. The red component 21R of the projection source image is formed on the screen by the R of the color wheel 4 and the image source sheet 3 synchronized therewith. The image and the image 23 of the object 13 are distributed by the lens 14 to the three-plate CMOS or the CCDs 17R, 17G, and 17B via the dichroic prism 16. At this time, a combined output image 26 of the image components 17G and 17B excluding the projection color is taken out from the analog switch 18.
The projection of 21G in FIG. 2 is performed by the second projection unit. The green component 21G of the image projection source image is formed on the screen 10 by G of the color wheel 4 and the image source sheet 3 synchronized therewith. The image and the image 24 of the object 13 are distributed by the lens 14 to the three-plate CCDs 17R, 17G, and 17B via the dichroic prism 16. At this time, a combined output image 27 of the image components 17B and 17R excluding the projection color is extracted from the analog switch 18.
The projection of 21B in FIG. 2 is performed by the third projection unit. The blue component 21B of the image projection source image is formed on the screen 10 by the color wheel 4 B and the image source sheet 3 synchronized therewith. The image and the image 25 of the object 13 are distributed by the lens 14 to the three-plate CCDs 17R, 17G, and 17B via the dichroic prism 16. At this time, a combined output image 28 of the image components 17R and 17G excluding the projection color is extracted from the analog switch 18.
The analog switch is switched by the photo interrupter 7 detecting the position of the color wheel 4, and determining the projection color by the projection color determination unit 9 via the PLL circuit 8.

像26は第1の像のうち投影色と同色の成分rと第2の像のR成分である像21Rが除去されたものとなる。同様に、像27は第1の像のうち投影色と同色の成分gと第2の像のG成分である像21Gが除去されたものとなる。同様に、像28は第1の像のうち投影色と同色の成分bと第2の像のB成分である像21Bが除去されたものとなる。前述のようにして得られた投影色除去済画像26,27,28は、演算手段(図1)により演算される。像26,27,28の和を求めると第1の像の色成分は増強されて回復し、背景光と考えられる第2の像成分は完全に除去される。   The image 26 is obtained by removing the component r having the same color as the projection color and the image 21R which is the R component of the second image from the first image. Similarly, the image 27 is obtained by removing the component g having the same color as the projection color and the image 21G which is the G component of the second image from the first image. Similarly, the image 28 is obtained by removing the component b of the same color as the projection color and the image 21B which is the B component of the second image from the first image. The projection color-removed images 26, 27, and 28 obtained as described above are calculated by the calculation means (FIG. 1). When the sum of the images 26, 27, and 28 is obtained, the color component of the first image is enhanced and recovered, and the second image component considered to be background light is completely removed.

撮影手段と処理手段の連携動作をさらに、図8Bの例を参照して説明する。
図8Bにおいて、スクリーン810の像が第1図の第2の像21に、物体813を白色光源からの光束815で照明したものが、第1の像20に対応する。
空間における第1の像と第2の混合像は、次の時系列で処理される。
第1の投影単位により図2の21Rの投影が行われる。カラーホイール804のRにより赤色の像21Rがスクリーンに形成される。その像と物体13の像23(図2)が単板カラー撮像装置816の単板CMOSまたはCCD816Aにより撮像され、フレームメモリ817に蓄積され投影色成分、この場合はR成分であって図2の23と同じく図2の20r成分が、投影色除去部818によって、図2の像26が取り出される。
引き続く第2,第3の投影単位に関連する処理も同様であるから説明を省略する。
前記投影色除去部818の制御は、角度検出部808が、カラーホイール804の位置を検出し、投影色判定部809の投影色の判定結果に基づいてなされる。
また演算処理も前述と同様であり、第1の像の色成分は2倍に増強されて回復し、背景光と考えられる第2の像成分は完全に除去される。
図8Bでは、投影装置からの同期信号の引き回しを必要としない、より実利的な構成について図示している。単版カラー撮像装置816を用い超高速に撮像を繰り返すと、撮像領域の中に超高速で色が変化する領域を発見できる。自然光あるいは通常の照明が超高速で変化することはありえないから、投影領域判定部818Aはこれを投影装置の投影領域と判断する。投影色判定部818Bは投影領域のみに着目して現在の投影色を計算する。 現在の投影色の計算は、以下の論理によってなすことができる。投影領域の色が高速で変化している際、変化直後の撮像画像から直前の撮像画像を減じる。たとえば、投影色がRからBに変化した際、直前の撮像画像にはR,r,g,bの各色が、直後の撮像画像にはG,r,g,bの各色が捉えられているはずであるから、後者から前者を減じG−Rなる差分を得る。このうちの正成分が新色,負成分が旧色である。実際には、スクリーンの前の実物体が移動すると差分にはノイズ(雑音)が乗るが、超高速の撮像周期からみれば実物体の移動は微動であるから、統計的手法により正成分の主色を求めることで新色は充分に計算可能である。
The cooperative operation between the photographing means and the processing means will be further described with reference to the example of FIG. 8B.
In FIG. 8B, the image of the screen 810 corresponds to the second image 21 in FIG. 1, and the object 813 illuminated with the light beam 815 from the white light source corresponds to the first image 20.
The first image and the second mixed image in space are processed in the following time series.
The projection of 21R in FIG. 2 is performed by the first projection unit. A red image 21R is formed on the screen by R of the color wheel 804. 2 and the image 13 of the object 13 (FIG. 2) are picked up by the single-chip CMOS or CCD 816A of the single-plate color image pickup device 816 and stored in the frame memory 817 as the projection color component, in this case the R component, as shown in FIG. 2, the image 26 of FIG. 2 is extracted from the 20r component of FIG.
Since the subsequent processes related to the second and third projection units are the same, the description thereof will be omitted.
The projection color removal unit 818 is controlled based on the projection color determination result of the projection color determination unit 809 by the angle detection unit 808 detecting the position of the color wheel 804.
The arithmetic processing is also the same as described above, and the color component of the first image is enhanced and recovered by a factor of 2, and the second image component considered to be background light is completely removed.
FIG. 8B illustrates a more practical configuration that does not require routing of the synchronization signal from the projection apparatus. When imaging is repeated at a very high speed using the single color imaging device 816, an area where the color changes at an extremely high speed can be found in the imaging area. Since natural light or normal illumination cannot change at an extremely high speed, the projection area determination unit 818A determines this as the projection area of the projection apparatus. The projection color determination unit 818B calculates the current projection color while paying attention only to the projection area. The current projection color can be calculated by the following logic. When the color of the projection area changes at high speed, the immediately preceding captured image is subtracted from the captured image immediately after the change. For example, when the projected color changes from R to B, the colors R, r, g, and b are captured in the immediately preceding captured image, and the colors G, r, g, and b are captured in the immediately following captured image. Therefore, the former is subtracted from the latter to obtain a difference of GR. Of these, the positive component is the new color and the negative component is the old color. Actually, when the real object in front of the screen moves, noise is added to the difference. However, since the movement of the real object is slight movement in the ultra-high-speed imaging cycle, the main component of the positive component is obtained by statistical methods. By finding the color, the new color can be calculated sufficiently.

(実施例1)以下ジェスチャ認識装置に応用する例について図3を参照して説明する。
フロストガラス304の下から、投影手段であるプロジェクタ302から、図8A,Bを参照して説明した構成のスクリーン10に対応するフロストガラス304に動画を投影する。
なお303は投影に用いられる反射鏡である。投影される動画は前述した第2の像に対応するものであり、全体として補色の関係を形成する2以上の投影色(R,G.B)の各一色ずつからなる像を高速で分割発生し、複数の投影単位で投影されるものであり、使用者には通常のカラー動画として観察される。
動画との関係で前述した第1の像に対応する手301を動かすと、投影画像を無視して実画像のみを取得される。撮影手段であるカメラ305で撮影され、処理手段310で処理され、演算手段312により投影画像の動きに影響されることなくユーザの動きが切り出される。投影装置306でスクリーンに307に手の像308のみを投影して示す。
このように同期式撮像では投影画像を無視して実画像のみを取得し得るため、投影画像の動きに影響されることなくユーザの動きを素早く認識可能である。
この実施例は車内や壁面へのリアプロジェクションと、それに同期する撮像装置にも応用できる。
(Embodiment 1) An example applied to a gesture recognition apparatus will be described below with reference to FIG.
A moving image is projected from below the frost glass 304 to the frost glass 304 corresponding to the screen 10 having the configuration described with reference to FIGS.
Reference numeral 303 denotes a reflecting mirror used for projection. The projected moving image corresponds to the above-described second image, and generates an image composed of each of two or more projected colors (R, GB) forming a complementary color relationship as a whole at high speed. However, it is projected in a plurality of projection units, and is observed as a normal color moving image by the user.
When the hand 301 corresponding to the first image described above in relation to the moving image is moved, only the actual image is acquired ignoring the projected image. The image is captured by the camera 305 that is an image capturing unit, processed by the processing unit 310, and the motion of the user is extracted by the calculation unit 312 without being affected by the motion of the projection image. Only the hand image 308 is projected onto the screen 307 by the projection device 306 and shown.
As described above, in the synchronous imaging, only the actual image can be obtained by ignoring the projection image, so that the user's movement can be quickly recognized without being influenced by the movement of the projection image.
This embodiment can also be applied to a rear projection on the inside of a vehicle or a wall surface, and an imaging device synchronized therewith.

(実施例2)クロマキー装置への応用例を図4を参照して説明する。クロマキー装置 (またはクロマキー合成) とは、風景映像にスタジオで別撮りした役者の映像を重ね合わせることにより、あたかも役者がその場に居合わせたような映像を作り出す装置もしくは効果のことをいう。従来のクロマキー合成では、役者はスタジオ背景消去のためブルースクリーン (あるいはグリーンスクリーン) の前で演技をする。スタジオ映像の青成分 (緑成分) の除去と風景映像との合成はディジタル処理で行われるため映像の劣化が少ないが、役者の背景は青一色であるため風景の変化にあわせた演技や演出をしたり、仕上がり具合を想像したりすることが難しい。このため、役者の背景に大きなスクリーンを置き、そのスクリーンにリアプロジェクション (スクリーン裏面からの投影) で風景映像を投影し、その前で役者に演技させる。しかしながら、この方法では、いちど撮影した風景映像を映写し、ふたたび役者ごと撮像する過程がアナログ的にしか行えないため、風景映像の劣化を免れない。 (Example 2) An example of application to a chroma key device will be described with reference to FIG. A chroma key device (or chroma key composition) refers to a device or effect that creates an image as if the actor was on the spot by superimposing the actor's video taken separately in the studio on the landscape video. In traditional chroma key composition, actors act in front of a blue screen (or green screen) to erase the studio background. The removal of the blue component (green component) from the studio video and the synthesis with the landscape video are performed digitally, so there is little degradation of the video. And it is difficult to imagine the finish. For this reason, a large screen is placed on the actor's background, and a landscape image is projected on the screen by rear projection (projection from the back of the screen), and the actor is acting in front of it. However, in this method, since the process of projecting the landscape video once taken and imaging again for each actor can be performed only in an analog manner, degradation of the landscape video is inevitable.

本発明による像分離装置によれば、リアプロジェクション方式同様に映像を実際に投影しながら、投映像を除去した実映像のみを撮像し得る。このため、演技や演出の容易さを損なうことなく収録ができ、背景はあとから高画質にディジタル合成し得る。第4図に
第1の像に対応する俳優403の後方に配置されているリアスクリーン401に投影手段であるプロジェクタ400により背景画像を投影する。背景は原色単位で投影が繰り返される。カメラ404の出力は処理手段410で処理され、演算手段411で演算され、第1の像である俳優403の像だけが取り出される。演算手段411の演算出力である俳優の像は撮影データと背景合成手段412で構成される。
According to the image separation device of the present invention, it is possible to capture only the actual image from which the projected image is removed while actually projecting the image in the same manner as the rear projection method. For this reason, it is possible to record without impairing the ease of acting and production, and the background can be digitally synthesized later with high image quality. In FIG. 4, a background image is projected by a projector 400 as projection means on a rear screen 401 arranged behind the actor 403 corresponding to the first image. The background is projected in units of primary colors. The output of the camera 404 is processed by the processing unit 410 and is calculated by the calculation unit 411, and only the image of the actor 403 that is the first image is taken out. The actor's image, which is the calculation output of the calculation means 411, is composed of shooting data and background composition means 412.

従来のクロマキー方式は画質は悪くないが、演技・演出の容易さ、仕上がりの確認に難点がある。また従来のリア投影方式は演技・演出の容易さ、仕上がりの確認に問題は少ないが画質に問題がある。これに対して本発明による像分離装置を用いると前記何れの点でも従来方式より優れている。   The conventional chroma key method is not bad in image quality, but there are difficulties in performance and production, and confirmation of the finish. The conventional rear projection method has few problems in the ease of acting and production and the confirmation of the finish, but has a problem in image quality. On the other hand, the image separation apparatus according to the present invention is superior to the conventional method in any of the above points.

(実施例3)次に舞台スクリーン撮像投影または講演者の投影装置に応用した例を図5を参照して説明する。舞台上の講演者を撮影し、舞台のスクリーンに再び投影すると、投影像がふたたび撮像装置に入り込んでしまい、合わせ鏡のように何重にも映り込んでしまうことがある。本発明による像分離装置を用いると投影をしつつ投影像を除去して撮像できるため、撮像画面をリアルタイムにスクリーン506に投影しても視認性を損なわない。演台501で講演中の講演者502(第1の像に対応)を撮像した映像は天井釣りのプロジェクタ503でふたたび原色単位で投影されるが、カメラ504は、同期接続線508により、相互に接続され、前述の実施例と同様に同期させられている。カメラ504の出力は処理手段510、演算手段512に講演者の像のみを取り出し、プロジェクタ503からスクリーン506に投影される。 (Embodiment 3) Next, an example applied to stage screen imaging projection or a speaker's projection apparatus will be described with reference to FIG. When a lecturer on the stage is photographed and projected onto the screen on the stage again, the projected image may enter the imaging device again, and may appear in multiple layers like a mirror. When the image separation device according to the present invention is used, the projected image can be removed while projecting, so that the visibility is not impaired even if the imaging screen is projected onto the screen 506 in real time. The video of the lecturer 502 (corresponding to the first image) being lectured on the podium 501 is projected again in primary color units by the ceiling fishing projector 503, but the cameras 504 are connected to each other by a synchronous connection line 508. And is synchronized as in the previous embodiment. As for the output of the camera 504, only the image of the lecturer is taken out by the processing means 510 and the computing means 512 and projected from the projector 503 onto the screen 506.

(実施例4)本発明による像分離装置を用いた遠隔操作形プロジェクタを図6を参照して説明する。レーザポインタ605ならびにいくつかのクリックボタンを具備するポインティング装置608でクリックボタンの押下状態を無線でプロジェクタ603に通知する。プロジェクタ(時分割式カラー表示装置)603は投影レンズの真横に撮像カメラ604を備え、クリックボタン押下通知の瞬間のレーザポインタの投影点605Aを本発明による像分離装置により調べる。具体的には時分割式カラー表示装置が青または緑の表示を行っている際に赤色の異色成分検出を行うことで、赤色レーザの輝点成分を高速に検出できる。
また、プロジェクタ603の原色すべてについて異色成分検出を行うことにより、レーザポインタ605の色自体を同定することも可能である。たとえば、赤と青の表示を行っている際のみに異色成分として検出される輝点があれば、それを緑色の輝点として同定でき、原色すべてについて同程度に検出される異色成分が認められれば、それを白色の輝点として同定できる。カメラ604の出力は処理手段610,演算手段612により第1の像であるポインタの投影点605Aを取り出して必要に応じて表示する。
(Embodiment 4) A remote control type projector using an image separating apparatus according to the present invention will be described with reference to FIG. The projector 603 is wirelessly notified of the pressing state of the click button by the laser pointer 605 and the pointing device 608 having several click buttons. The projector (time-division color display device) 603 includes an imaging camera 604 directly beside the projection lens, and examines the projection point 605A of the laser pointer at the moment when the click button is notified by the image separation device according to the present invention. Specifically, the bright spot component of the red laser can be detected at high speed by detecting the different color component of red while the time-division color display device displays blue or green.
It is also possible to identify the color of the laser pointer 605 by detecting different color components for all the primary colors of the projector 603. For example, if there is a bright spot that is detected as a different color component only when displaying red and blue, it can be identified as a green bright spot, and a different color component that is detected to the same extent is recognized for all primary colors. It can be identified as a white bright spot. The output of the camera 604 is displayed as necessary by extracting the projection point 605A of the pointer as the first image by the processing means 610 and the arithmetic means 612.

(実施例5)本発明による像分離装置を用いて車載の距離測定装置を構成することができる。図7の(A)は物体までの距離を取得する手段として光切断法の原理を図示している。これは、線状の光を物体に投影し、物体708の表面の凹凸による光線の曲がり具合を、光源とは異なる光軸を持つ撮像装置で捉え、三角測量の原理で測定するものである。
同図(B)に示すように、自動車700の前方空間に存在する物体からなる対象物703(第1の像に対応)があったとする。前記空間の前記物体703(Aの708に対応)にメッシュ状のスケール投影像(第2の像)を像源(図示せず)により順次繰り返し投影する。投影手段である投影装置702により、投影色が全体として補色の関係を形成する2以上の投影色であって、各一色ずつからなる像を高速で分割発生し,複数の投影単位で投影する。
(Embodiment 5) A vehicle-mounted distance measuring device can be constructed using the image separating device according to the present invention. FIG. 7A illustrates the principle of the light cutting method as means for acquiring the distance to the object. In this method, linear light is projected onto an object, and the degree of bending of the light beam due to the unevenness of the surface of the object 708 is captured by an imaging device having an optical axis different from that of the light source, and measured by the principle of triangulation.
Assume that there is an object 703 (corresponding to the first image) made of an object existing in the front space of the automobile 700 as shown in FIG. A mesh-like scale projection image (second image) is sequentially and repeatedly projected onto the object 703 (corresponding to A 708) in the space by an image source (not shown). The projection device 702 that is a projection means generates two or more projection colors whose complementary colors form a complementary color relationship as a whole, and generates an image composed of one color at a high speed and projects it in a plurality of projection units.

撮像手段である同期カメラ701で物体703とメッシュ状のスケール投影像(第2の像)を撮像する。図7Cに示す処理手段710で前記撮像手段で撮影した前記空間の前記第1の像と第2の像の混合像から各単位毎に該単位の投影色成分を除去する。第1の演算手段で、前記処理手段の出力を演算して第1の像の映像情報のみを得る。第2の演算手段712により、前記処理手段710の任意の投影単位の出力と前記第1演算手段711の第1の像の映像情報から対象物703の距離のデータを取得する。前述した実施例は、いずれも3原色を利用する例を示したが、この例ではメッシュ像とその補色画像を超高速で交互に表示すると人間の目に白色として映る。すなわち距離測定用のメッシュ (方眼) 画像とその補色メッシュ画像を自車から交互に高速に投影する。他車のドライバーにはヘッドライト同様の白色灯にしか見えないが、自車の高速車載カメラはメッシュをメッシュとして的確に捉え、測距に利用することができる。補色の組み合わせを動的に交渉することができれば、アクティブ測距方式にみられる車々間の干渉が回避できる可能性がある。   An object 703 and a mesh-like scale projection image (second image) are picked up by a synchronous camera 701 as image pickup means. The projection color component of the unit is removed for each unit from the mixed image of the first image and the second image of the space captured by the imaging unit by the processing unit 710 shown in FIG. 7C. The first calculation means calculates the output of the processing means to obtain only the video information of the first image. The second calculation means 712 acquires distance data of the object 703 from the output of an arbitrary projection unit of the processing means 710 and the video information of the first image of the first calculation means 711. In the above-described embodiments, all three primary colors are used. However, in this example, when a mesh image and its complementary color image are alternately displayed at an ultra-high speed, the image appears white for human eyes. In other words, a mesh (squares) image for distance measurement and its complementary color mesh image are alternately projected at high speed from the own vehicle. The driver of other vehicles can only see a white light like a headlight, but the high-speed in-vehicle camera of the vehicle can accurately capture the mesh as a mesh and use it for distance measurement. If the complementary color combinations can be negotiated dynamically, there is a possibility that the interference between vehicles seen in the active ranging method can be avoided.

以上詳しく説明したように、本発明による像分離装置は、車載装置として、また広く映像処理の分野で利用できる。   As described above in detail, the image separation device according to the present invention can be used as a vehicle-mounted device and widely in the field of video processing.

本発明による像分離装置の概略構成例を示す略図である。1 is a schematic diagram illustrating a schematic configuration example of an image separation device according to the present invention. 本発明による像分離装置の動作原理を説明するための略図である。1 is a schematic diagram for explaining an operation principle of an image separation device according to the present invention. 本発明による像分離装置を用いて構成したジェスチヤ認識装置を示す斜視図である。It is a perspective view which shows the gesture recognition apparatus comprised using the image separation apparatus by this invention. 本発明による像分離装置を用いて構成したクロマキー装置を示す斜視図である。It is a perspective view which shows the chroma key apparatus comprised using the image separation apparatus by this invention. 本発明による像分離装置を用いて構成した講演者投影装置を示す斜視図である。It is a perspective view which shows the speaker projection apparatus comprised using the image separation apparatus by this invention. 本発明による像分離装置を用いて構成したポインタ装置を示す斜視図である。It is a perspective view which shows the pointer apparatus comprised using the image separation apparatus by this invention. 本発明による像分離装置を用いて構成した車載障害物検出システム(B)と測定距離の原理(A)と前記システムのブロック図(C)を説明するための説明図である。It is explanatory drawing for demonstrating the block diagram (C) of the vehicle-mounted obstacle detection system (B) comprised using the image separation apparatus by this invention, the principle of a measurement distance (A), and the said system. 本発明による像分離装置の背面投影と3板CCDカラーカメラの組み合わせによる構成例を示す略図である。1 is a schematic diagram showing a configuration example of a combination of a rear projection of an image separation device according to the present invention and a three-plate CCD color camera. 本発明による像分離装置の背面投影と単板CCDカラーカメラの組み合わせによる構成例を示す略図である。1 is a schematic diagram illustrating a configuration example of a combination of a rear projection of an image separation device according to the present invention and a single-plate CCD color camera.

符号の説明Explanation of symbols

1 光源
2 コンデンサレンズ
3 像源シート(液晶像源)
4 カラーホイール
5 リレーレンズ
6 投影レンズ
7 投影色検出手段(ホトインタラプタ)
8 PLL回路
9 判定部
10 スクリーン
11 同期信号線
13 物体
14 撮像レンズ
15 光束
16 ダイクロイックプリズム
17(17R,17B,17G) CCD
18 アナログスイッチ
19 観察眼
20 第1の像
21 第2の像の視認像
22 第1および第2の像の混合視認像
23 R映像投影の像(視認不可)
24 G映像投影の像(視認不可)
25 B映像投影の像(視認不可)
26 R映像投影の像(合成出力)
27 G映像投影の像(合成出力)
28 B映像投影の像(合成出力)
29 演算手段出力像
30 インターフェイス(処理手段)
31,32,33 スイッチ出力
34 インターフェイス(演算装置)
300 机
301 手
302 プロジェクタ
303 反射鏡
304 フロストガラス
305 カメラ
306 投影装置
307 表示面対応スクリーン
308 手の像
400 プロジェクタ
401 スクリーン
405 同期信号線
500 照明手段
501 演台
502 講演者
502A 講演者像
503 プロジェクタ
504 カメラ
506 スクリーン
601 机
602 講演者
603 プロジェクタ
605 レーザポインタ
700 自動車
701 同期カメラ
702 投影装置
706 スリット状レーザ光源
707 カメラ
708 測定物体
801 光源
803 単板デジタルミラー
804 カラーホイール
806 投影レンズ
808 角度検出部
810 スクリーン
811 同期信号線
813 物体
816 単板カラー撮像装置
817 フレームメモリ
818 投影色除去部
819 出力画像
820 観察眼
1 light source 2 condenser lens 3 image source sheet (liquid crystal image source)
4 Color wheel 5 Relay lens 6 Projection lens 7 Projection color detection means (photo interrupter)
8 PLL circuit 9 Judgment part 10 Screen 11 Sync signal line 13 Object 14 Imaging lens 15 Light flux 16 Dichroic prism 17 (17R, 17B, 17G) CCD
18 Analog switch 19 Observation eye 20 First image 21 Visual image of second image 22 Mixed visual image of first and second images 23 R image projection image (not visible)
24 G image projection image (not visible)
25 B image projection image (not visible)
26 R image projection image (composite output)
27 G image projection image (composite output)
28 B image projection image (composite output)
29 Calculation means output image 30 Interface (processing means)
31, 32, 33 Switch output 34 Interface (arithmetic unit)
DESCRIPTION OF SYMBOLS 300 Desk 301 Hand 302 Projector 303 Reflector 304 Frost glass 305 Camera 306 Projector 307 Display surface corresponding screen 308 Hand image 400 Projector 401 Screen 405 Synchronization signal line 500 Illumination means 501 Podium 502 Speaker 502A Speaker image 503 Projector 504 Camera 506 Screen 601 Desk 602 Speaker 603 Projector 605 Laser pointer 700 Automobile 701 Synchronous camera 702 Projector 706 Slit laser light source 707 Camera 708 Measurement object 801 Light source 803 Single plate digital mirror 804 Color wheel 806 Projection lens 808 Angle detection unit 810 Screen 811 Sync signal line 813 Object 816 Single plate color imaging device 817 Frame memory 818 Projection color Remover 819 Output image 820 Observation eye

Claims (9)

動画の情報を含む画像の情報を複数の原色成分に分解して各原色成分を順次高速で周期的に投影する投影手段と共に用いられる像分離装置であって、
前記投影画像の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の画像出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成した像分離装置。
An image separation apparatus used together with a projection unit that decomposes image information including moving image information into a plurality of primary color components and sequentially projects each primary color component at high speed sequentially,
Imaging means for capturing an image of a space affected by the projected image;
Processing means for removing the primary color component from the image output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
An image separation device composed of
複数の原色から順次選択された原色で画像を高速で周期的に投影する投影手段と、
前記投影画像の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の画像出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成した像分離装置。
A projecting means for periodically projecting an image with a primary color sequentially selected from a plurality of primary colors at high speed;
Imaging means for capturing an image of a space affected by the projected image;
Processing means for removing the primary color component from the image output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
An image separation device composed of
複数の原色を順次選択し前記原色の照明光を高速で周期的に投射する照明手段と、
前記照明の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成した像分離装置。
Illumination means for sequentially selecting a plurality of primary colors and periodically projecting illumination light of the primary colors at a high speed,
Imaging means for capturing an image of the space affected by the illumination;
Processing means for removing the primary color component from the output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
An image separation device composed of
複数の原色を順次選択し前記原色の画像を高速で周期的に投影する投影手段と、
前記投影の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の影響を受けた任意の原色の画像を得る演算装置と、
から構成した像分離装置。
Projection means for sequentially selecting a plurality of primary colors and periodically projecting the primary color image at a high speed;
Imaging means for capturing an image of a space affected by the projection;
Processing means for removing the primary color component from the output corresponding to each primary color of the imaging means;
A computing device that computes the output of the processing means to obtain an image of any primary color affected by the space;
An image separation device composed of
前記演算手段は、各周期の像を加算することで空間の像を再生する請求項1〜4記載の像分離装置。   5. The image separation device according to claim 1, wherein the calculation unit reproduces an image of the space by adding the images of each period. 前記複数の原色は、混合することにより広範囲の色を再現し得るように選んだ複数の原色であり、好ましくはR,G,Bである請求項1〜4記載の像分離装置。   5. The image separating apparatus according to claim 1, wherein the plurality of primary colors are a plurality of primary colors selected so that a wide range of colors can be reproduced by mixing, preferably R, G, and B. 請求項2記載の像分離装置において、前記空間に存在する移動像と投影手段による投影画像が分離され、前記移動像はスクリーンの前の人物または投影像の部分を指示する像である像分離装置。   3. The image separation device according to claim 2, wherein a moving image existing in the space and a projection image by the projection unit are separated, and the moving image is an image indicating a person in front of the screen or a portion of the projection image. . 請求項3記載の像分離装置において、前記空間には講演者または運転者が存在し、前記照明手段は白色照明であり、講演者の投影または運転者の姿勢検出のために像が分離される像分離装置。   4. The image separating apparatus according to claim 3, wherein a speaker or a driver is present in the space, and the illumination unit is white illumination, and an image is separated for projecting the speaker or detecting the posture of the driver. Image separation device. 請求項4記載の像分離装置において、前記空間は走行車両の前方空間であり、前記空間に物体が存在し、
前記投影手段は前記物体にスケール像を投影し、前記演算手段は前記物体の影響を受けたスケール像を分離して前記物体のデータを提供する像分離装置。
The image separation device according to claim 4, wherein the space is a front space of a traveling vehicle, and an object exists in the space.
The projection unit projects a scale image onto the object, and the calculation unit separates the scale image affected by the object and provides data of the object.
JP2003421511A 2003-12-18 2003-12-18 Image separation device Expired - Lifetime JP4491599B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003421511A JP4491599B2 (en) 2003-12-18 2003-12-18 Image separation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003421511A JP4491599B2 (en) 2003-12-18 2003-12-18 Image separation device

Publications (2)

Publication Number Publication Date
JP2005182413A true JP2005182413A (en) 2005-07-07
JP4491599B2 JP4491599B2 (en) 2010-06-30

Family

ID=34782712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003421511A Expired - Lifetime JP4491599B2 (en) 2003-12-18 2003-12-18 Image separation device

Country Status (1)

Country Link
JP (1) JP4491599B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097191A (en) * 2006-10-10 2008-04-24 Fujifilm Corp Image synthesis system
CN111143270A (en) * 2019-12-23 2020-05-12 武汉轻工大学 Distance projection calculation method and device, calculation equipment and storage medium
JP2022116092A (en) * 2018-03-29 2022-08-09 日本電気株式会社 Accounting device, accounting system, product identification method and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097191A (en) * 2006-10-10 2008-04-24 Fujifilm Corp Image synthesis system
JP2022116092A (en) * 2018-03-29 2022-08-09 日本電気株式会社 Accounting device, accounting system, product identification method and program
CN111143270A (en) * 2019-12-23 2020-05-12 武汉轻工大学 Distance projection calculation method and device, calculation equipment and storage medium
CN111143270B (en) * 2019-12-23 2023-05-05 武汉轻工大学 Distance projection calculation method, device, calculation equipment and storage medium

Also Published As

Publication number Publication date
JP4491599B2 (en) 2010-06-30

Similar Documents

Publication Publication Date Title
US9832436B1 (en) Image projection system and image projection method
TWI287402B (en) Panoramic vision system and method
JP5814566B2 (en) IMAGING DEVICE, IMAGING METHOD, AND IMAGING DEVICE CONTROL PROGRAM
JP5045212B2 (en) Face image capturing device
US7839543B2 (en) Document imager, document stillness detection method, and computer program product
JP2012142958A (en) Image tracking device, image tracking method, and camera
JP2013219525A (en) Imaging device, control method therefor, and program
JP3091628B2 (en) Stereoscopic video camera
JPH1173491A (en) Foreground image generating device
JP2008017386A (en) Key image generation device
JP4491599B2 (en) Image separation device
JP6426308B2 (en) Image pickup system, lens apparatus, and method of operating lens apparatus
JP6426307B2 (en) Image pickup system, image pickup apparatus and operation method of image pickup apparatus
JP2005241591A (en) Projection device, and method and program for processing distance measurement
JP2015159460A (en) Projection system, projection device, photographing device, method for generating guide frame, and program
KR20050015737A (en) Real image synthetic process by illumination control
JPH05328197A (en) Image pickup device
JP5227883B2 (en) Composite video generation system, lighting control device, and program
JP2008282077A (en) Image pickup device and image processing method, and program therefor
JP2019197948A (en) Imaging device and method for controlling the same
JPH08307756A (en) Video forming method
JP4556944B2 (en) Projection apparatus, distance measurement processing method, and program
JP2004128588A (en) Imaging unit
JP2002300605A (en) Image pickup device for three-dimensional input
JP2011053550A (en) Optical instrument

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091225

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20091225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Ref document number: 4491599

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

EXPY Cancellation because of completion of term