JP2005182413A - Image separator - Google Patents
Image separator Download PDFInfo
- Publication number
- JP2005182413A JP2005182413A JP2003421511A JP2003421511A JP2005182413A JP 2005182413 A JP2005182413 A JP 2005182413A JP 2003421511 A JP2003421511 A JP 2003421511A JP 2003421511 A JP2003421511 A JP 2003421511A JP 2005182413 A JP2005182413 A JP 2005182413A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- space
- primary color
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 34
- 239000003086 colorant Substances 0.000 claims abstract description 33
- 238000002156 mixing Methods 0.000 claims abstract description 4
- 238000003384 imaging method Methods 0.000 claims description 41
- 238000000926 separation method Methods 0.000 claims description 41
- 238000005286 illumination Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 description 15
- 230000001360 synchronised effect Effects 0.000 description 13
- 230000000295 complement effect Effects 0.000 description 11
- 238000001444 catalytic combustion detection Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 241001310793 Podium Species 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000006103 coloring component Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000004042 decolorization Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、発生源の異なる2つの像の混合像から一方の像の情報のみを分離する像分離装置、例えば投影装置によりスクリーンに投影された像(投影像:本願では第2の像)と、前記像の手前に存在する他の像(物体の実像:本願では第1の像)を区別して、一方の像の情報のみを取得できる像分離装置に関する。 The present invention provides an image separation device that separates only information of one image from a mixed image of two images having different sources, for example, an image projected on a screen by a projection device (projection image: second image in the present application) and The present invention relates to an image separating apparatus capable of distinguishing another image (real image of an object: a first image in the present application) existing in front of the image and acquiring only information of one image.
発生源の異なる2つの像から一方の像の情報のみを分離する例として投影像前面の実物体像を得る例がある。投影像前面の実物体を検出する方式として現存するものには次の2方式がある。
(特定波長検出方式)専用支持棒つき画像投影機などで用いられる。これは指示棒の先に赤外線発光器を取り付け、投影像がもともと赤外成分を含まないことを利用して指示棒の検出を行うものもしくはレーザポインタ等で指示した可視の指示点をその特徴色を利用して検出するものがある。
(画像差分方式)カメラにより表示面全体をいったん撮像し、かかる後に表示装置に入力した元画像を整合させ差し引く演算により、残差が投影面前面物体による実像であるとするもの。
As an example of separating only information of one image from two images having different generation sources, there is an example of obtaining a real object image in front of a projection image. There are the following two existing methods for detecting a real object in front of the projected image.
(Specific wavelength detection method) Used in an image projector with a dedicated support bar. This is characterized by attaching an infrared light emitter to the tip of the indicator bar and detecting the indicator bar using the fact that the projected image does not originally contain an infrared component, or the visible indicator point indicated by a laser pointer, etc. Some are detected using.
(Image difference method) The entire display surface is once imaged by a camera, and the residual image is assumed to be a real image by the object on the front surface of the projection surface by an operation of matching and subtracting the original image input to the display device after that.
前述した特定波長検出方式では、表示面前面にある物体が特定の波長で発光していることが必要であり、任意の物体による実像は撮影できない。また、特に、可視光領域の波長を用いるものにあっては、表示装置に入力した映像自体に特徴色が含まれる場合に誤動作を起こす可能性がある。画像差分方式では、カメラにより撮像した画像と元画像との解像度や輝度の違いを補正するための演算に高速の演算装置を必要とする。 In the specific wavelength detection method described above, an object in front of the display surface needs to emit light at a specific wavelength, and a real image cannot be taken with any object. In particular, in the case of using a wavelength in the visible light region, a malfunction may occur when a characteristic color is included in the video input to the display device. In the image difference method, a high-speed computing device is required for computation for correcting a difference in resolution and luminance between an image captured by a camera and an original image.
本発明の主たる目的は、問題の空間に特別の刺激(不自然な照明等)を与えなくても、一方の像の映像情報を獲得できる像分離装置を提供することにある。
本発明の他の目的は、外界の状況を受け難く確実に、一方の像の映像情報を獲得できる像分離装置を提供することにある。
本発明のさらに他の目的は、獲得した一方の像の情報を利用して多くの応用、例えば車載応用等、が可能な像分離装置を提供することにある。
A main object of the present invention is to provide an image separation device that can acquire image information of one image without giving a special stimulus (unnatural lighting or the like) to the space in question.
Another object of the present invention is to provide an image separating apparatus that can reliably acquire video information of one image without being easily affected by the situation of the outside world.
Still another object of the present invention is to provide an image separation apparatus that can be used for many applications, for example, in-vehicle applications, by using information on one acquired image.
前記目的を達成するために本発明による請求項1記載の像分離装置は、
動画の情報を含む画像の情報を複数の原色成分に分解して各原色成分を順次高速で周期的に投影する投影手段と共に用いられる像分離装置であって、
前記投影画像の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の画像出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成されている。
本発明による請求項2記載の像分離装置は、
複数の原色成分に分解された画像を各原色成分ごとに順次高速で周期的に投影する投影手段と、
前記投影画像の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の画像出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成されている。
In order to achieve the object, an image separating apparatus according to claim 1 according to the present invention is provided.
An image separation apparatus used together with a projection unit that decomposes image information including moving image information into a plurality of primary color components and sequentially projects each primary color component at high speed sequentially,
Imaging means for capturing an image of a space affected by the projected image;
Processing means for removing the primary color component from the image output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
It is composed of
According to the present invention, there is provided an image separating apparatus according to
A projecting means for periodically projecting an image separated into a plurality of primary color components at high speed sequentially for each primary color component;
Imaging means for capturing an image of a space affected by the projected image;
Processing means for removing the primary color component from the image output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
It is composed of
本発明による請求項3記載の像分離装置は、複数の原色を順次選択し前記原色の照明光を高速で周期的に投射する照明手段と、
前記照明の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成されている。
An image separating apparatus according to claim 3 according to the present invention, wherein an illumination unit that sequentially selects a plurality of primary colors and periodically projects illumination light of the primary colors at a high speed;
Imaging means for capturing an image of the space affected by the illumination;
Processing means for removing the primary color component from the output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
It is composed of
本発明による請求項4記載の像分離装置は、複数の原色を順次選択し前記原色の照明光を高速で周期的に投射する照明手段と、
前記照明の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成されている。
An image separation apparatus according to
Imaging means for capturing an image of the space affected by the illumination;
Processing means for removing the primary color component from the output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
It is composed of
本発明による請求項5記載の像分離装置は、請求項1〜4記載の像分離装置において、前記演算手段は、各周期の像を加算することで空間の像を再生するように構成されている。
本発明による請求項6記載の像分離装置は、請求項1〜4記載の像分離装置において、前記複数の原色は、混合することにより広範囲の色を再現し得るように選んだ複数の原色であり、好ましくはR,G,Bである。
An image separation device according to a fifth aspect of the present invention is the image separation device according to any one of the first to fourth aspects, wherein the arithmetic means is configured to reproduce an image of a space by adding the images of each period. Yes.
According to a sixth aspect of the present invention, in the image separation device according to the first to fourth aspects, the plurality of primary colors are a plurality of primary colors selected so that a wide range of colors can be reproduced by mixing. Yes, preferably R, G, B.
本発明による請求項7記載の像分離装置は、請求項2記載の像分離装置において、前記空間に存在する移動像と投影手段による投影画像が分離され、前記移動像はスクリーンの前の人物または投影像の部分を指示する像である。
本発明による請求項8記載の像分離装置は、請求項3記載の像分離装置において、前記空間には講演者または運転者が存在し、前記照明手段は白色照明であり、講演者の投影または運転者の姿勢検出のために像が分離される。
本発明による請求項9記載の像分離装置は、請求項4記載の像分離装置において、前記空間は走行車両の前方空間であり、前記空間に物体が存在し、
前記投影手段は前記物体にスケール像を投影し、前記演算手段は前記物体の影響を受けたスケール像を分離して前記物体のデータを提供する。
According to a seventh aspect of the present invention, in the image separation device according to the second aspect, the moving image existing in the space and the projection image by the projection unit are separated, and the moving image is a person in front of the screen or It is an image that indicates the portion of the projected image.
The image separating apparatus according to claim 8 of the present invention is the image separating apparatus according to claim 3, wherein a speaker or a driver is present in the space, the illumination means is white illumination, Images are separated for driver attitude detection.
The image separation device according to
The projection unit projects a scale image onto the object, and the calculation unit separates the scale image affected by the object and provides data of the object.
本発明によれば、問題の空間に特別の刺激(不自然な照明等)を与えなくても、一方の像の映像情報を獲得できる像分離装置を提供することができる。
さらに、外界の状況を受け難く確実に、一方の像の映像情報を獲得できる像分離装置を提供することにある。
また、獲得した一方の像の情報を利用して多くの応用、例えば車載応用等、が可能な像分離装置を提供することができる。
According to the present invention, it is possible to provide an image separation device that can acquire video information of one image without giving a special stimulus (unnatural lighting or the like) to the space in question.
It is another object of the present invention to provide an image separation device that can reliably acquire video information of one image without being easily affected by the external environment.
In addition, it is possible to provide an image separation device that can be used for many applications, for example, in-vehicle applications, using information on one acquired image.
以下図面等を参照して本発明による装置の実施の形態を説明する。
図1は、本発明による像分離装置の概念を説明するための概略図、この実施の形態は、空間内に第1の像20が存在し、その像20に、投影手段により、第2の像を形成するものである。まずここで第2図を参照して、第1の像と第2の像の概念を説明する。図2は、前記像分離装置の動作原理を説明するための略図であって、撮像による混合、撮像された映像の処理、演算のプロセスを特定の画像パターンを例にして示したものである。
Embodiments of an apparatus according to the present invention will be described below with reference to the drawings.
FIG. 1 is a schematic diagram for explaining the concept of an image separation device according to the present invention. In this embodiment, a
第1の像は空間に存在する物体20により決定される。理解を容易にするためにこの物体をシート状のものとして、その表面は、図1,図2中上辺中央部のObという領域にある。このシートは図1および図2の20に示すようなパターンで着色されており、着色成分はr,g,bあるとする。投影手段により、前記空間の前記物体を第2の像源(図示せず)により順次繰り返し照明して第2の像を形成する。
そのために全体として補色の関係を形成する2以上の投影色(R,G,B)の各一色ずつからなる像を高速で分割発生し,複数の照明単位からなる照明で投影する。
第2の像源は空間に、第2の像21(可視像)を投影するものであり、像21中,(R),(G),(B)はそれぞれの色のそのような模様であると理解されたい。
この像(可視像)は、図2に示す21R,21G,21Bを3つの連続する極めて短い投影単位として、順次繰り返し空間に投影することにより、可視像21を得るものである。そして観測者(図示せず)は前記R,G,B色の繰り返し投影には追従できないから図2の22の示すような混合像を観察することになる。観測者は、第1の像にRの縦線,Gの横線,Bの斜線が重なった像を観察することになる。
なお、本発明において、補色、全体として補色と言う用語を用いる。これは、前述の例において色Rに対して色G,Bの混合色が補色となり、全体で無色となると言う意味に用いている。例えば、照明の色であると考えると高速でR,G,Bの照明を繰替すと白色光で照明されていると観測者が認識するときに、全体として補色の関係にあると言うように使用している。
そのために2以上の原色(R,G,B)の各一色ずつからなる像を高速で分割発生し,複数の照明単位からなる照明で投影する。
第2の像源は空間に、第2の像21(可視像)を投影するものであり、像21中,(R),(G),(B)はそれぞれの色のそのような模様であると理解されたい。
この像(可視像)は、図2に示す21R,21G,21Bを3つの連続する極めて短い投影単位として、順次繰り返し空間に投影することにより、可視像21を得るものである。そして観測者(図示せず)は前記R,G,B色の繰り返し投影には追従できないから図2の22の示すような混合像を観察することになる。観測者は、第1の像があたかも白色光源で形成された像で照射されているような像を観察することになる。
The first image is determined by the
For this purpose, an image composed of each of two or more projection colors (R, G, B) that form a complementary color relationship as a whole is divided and generated at high speed and projected with illumination composed of a plurality of illumination units.
The second image source projects the second image 21 (visible image) into space, and (R), (G), and (B) in the
This image (visible image) is obtained by sequentially projecting 21R, 21G, and 21B shown in FIG. 2 in three consecutive extremely short projection units onto a space in succession. An observer (not shown) cannot follow the repetitive projection of the R, G, and B colors and observes a mixed image as indicated by 22 in FIG. The observer observes an image in which the vertical line of R, the horizontal line of G, and the oblique line of B overlap the first image.
In the present invention, the terms complementary color and complementary color as a whole are used. This is used in the above-described example to mean that the mixed color of the colors G and B with respect to the color R becomes a complementary color and becomes colorless as a whole. For example, when the color of the illumination is considered, when the R, G, and B illuminations are repeated at high speed, when the observer recognizes that it is illuminated with white light, the overall color relationship is said to be complementary. It is used for.
For this purpose, an image composed of each of two or more primary colors (R, G, B) is divided at high speed and projected with illumination composed of a plurality of illumination units.
The second image source projects the second image 21 (visible image) into space, and (R), (G), and (B) in the
This image (visible image) is obtained by sequentially projecting 21R, 21G, and 21B shown in FIG. 2 in three consecutive extremely short projection units onto a space in succession. An observer (not shown) cannot follow the repetitive projection of the R, G, and B colors and observes a mixed image as indicated by 22 in FIG. The observer observes an image as if the first image is irradiated with an image formed with a white light source.
ここで、図8Aを参照して投影手段の構成を説明する。
図8Aは、本発明による像分離装置の背面投影と3板CMOSもしくはCCDカラーカメラの組み合わせによる構成例を示す略図である。
図8Aにおいて、光源1からの白色光はコンデンサレンズ2を介して集光され、高速回転するカラーホイール4を介して投影色に着色される。演算手段3Bにより第2の像の投影原像のうちの投影色に関する濃淡情報を像源シート3から発生する。着色された像は投影レンズ6でスクリーン10の裏面に結像され、前述の第2の像に相当する像を形成する。図1に示した配置と異なる点は第2の像が第1の像(図8Aでは物体13)の背景となる点である。光源1からレンズ6にいたる構成が第1図の投影手段に対応する。観察者がその観察眼19で視認するであろう像を19Aとして示す。
図8Bは、本発明による像分離装置の背面投影と単板CMOSもしくはCCDカラーカメラの組み合わせによる構成例を示す略図である。
図8Bにおいて、光源801からの白色光はコンデンサレンズ802を介して集光され、高速回転するカラーホイール804を介して投影色に着色される。投影色判定部809は回転角検出部808の出力をもとに現在の投影色を判定し、演算部809Aが投影原像のうち投影色に関する濃淡情報を単板デジタルミラー803に送る。単板デジタルミラーは多数の微細な可動鏡を1枚の板上に設置したものであり、各可動鏡の角度を調整することにより、当該可動鏡の反射光をレンズ806に導くか否かを選択し、図8Aの像源シートの代替をなす。着色された像はレンズ806により選択的反射光による像をスクリーン810に形成する。これにより前述の第2の像に相当する像を形成する。図8Aの構成と大きく異なる点は、投影色の情報を投影装置から導いておらず、別途撮像系統で独自に判定している点である。光源801からレンズ806にいたる構成が第1図の投影手段に対応する。なお、観察者がその観察眼820を介して視認するであろう像を820Aとして示す。
Here, the configuration of the projection means will be described with reference to FIG. 8A.
FIG. 8A is a schematic diagram showing a configuration example of a combination of a rear projection and a three-plate CMOS or CCD color camera of the image separation device according to the present invention.
In FIG. 8A, white light from the light source 1 is condensed through the
FIG. 8B is a schematic diagram showing a configuration example of a combination of a rear projection and a single-chip CMOS or CCD color camera of the image separation device according to the present invention.
In FIG. 8B, the white light from the
図1に示す撮像手段は、前記空間を撮像して、前記空間の前記第1の像と第2の像の混合像を逐次撮像する。
第1の投影単位と同期している第1の撮像単位で像21Rと像20の混合像23が撮像され、次の撮像単位で像21Gと像20の混合像24が撮像され、次の撮像単位で像21Bと像20の混合像25が撮像され、この撮像がくりかえされる。
The imaging means shown in FIG. 1 images the space and sequentially captures a mixed image of the first image and the second image in the space.
The
一方、処理手段は前記空間の前記第1の像と第2の像の混合像から各単位毎に該単位の投影色成分を除去する処理をする。
第1の撮像単位と同期している第1の処理で像21Rと像20の混合像23から、投影色成分を除去した像26を得る。この時第2の像の成分像21Rとともに第1の像のr成分も除去されていることに注意されたい。
同様にして、
第2の撮像単位と同期している第2の処理で像21Gと像20の混合像24から、投影色成分を除去した像27を得る。この時第2の像の成分像21Gとともに第1の像のg成分も同様に除去される。
第3の撮像単位と同期している第3の処理で像21Bと像20の混合像25から、投影色成分を除去した像28を得る。この時第2の像の成分像21Bとともに第1の像のb成分も同様に除去される。
On the other hand, the processing means performs processing for removing the projected color component of each unit from the mixed image of the first image and the second image in the space for each unit.
An image 26 from which the projection color component has been removed is obtained from the
Similarly,
An image 27 from which the projection color component has been removed is obtained from the
An image 28 obtained by removing the projection color component from the
前述した、撮影手段と処理手段の連携動作を図8Aの例を参照して説明する。なお図8A,Bに示す例は理解を容易にするために、カラーホイールと半透明の像源シートを用いる例を示しているが、投影手段としては、単板デジタルミラー方式のDLPプロジェクタを好適に利用できる。図8Aにおいて、スクリーン10の像が第1図の第2の像21に、物体13を白色光源からの光束15で照明したものが、第1の像20に対応する。
空間における第1の像と第2の混合像は、次の時系列で処理される。
第1の投影単位により図2の21Rの投影が行われる。カラーホイール4のRと、それに同期した像源シート3により投影源像の赤色成分21Rがスクリーンに形成される。その像と物体13の像23がレンズ14により、ダイクロイックプリズム16を介して3板CMOSまたはCCD17R,17G,17Bに分配される。このときアナログスイッチ18から投影色を除いた画像成分17G,17Bの合成出力像26が取り出される。
第2の投影単位により図2の21Gの投影が行われる。カラーホイール4のGと、それに同期した像源シート3により像投影源像の緑色成分21Gがスクリーン10に形成される。その像と物体13の像24がレンズ14により、ダイクロイックプリズム16を介して3板CCD17R,17G,17Bに分配される。このときアナログスイッチ18から投影色を除いた画像成分17B,17Rの合成出力像27が取り出される。
第3の投影単位により図2の21Bの投影が行われる。カラーホイール4のBと、それに同期した像源シート3により像投影源像の青色成分21Bがスクリーン10に形成される。その像と物体13の像25がレンズ14により、ダイクロイックプリズム16を介して3板CCD17R,17G,17Bに分配される。このときアナログスイッチ18から投影色を除いた画像成分17R,17Gの合成出力像28が取り出される。
前記アナログスイッチの切り換えはホトインタラプタ7がカラーホイール4の位置を検出して、PLL回路8を介して投影色の判定部9により投影色の判定が行われその判定にしたがって行われる。
The above-described cooperative operation between the photographing unit and the processing unit will be described with reference to the example of FIG. 8A. 8A and 8B show an example using a color wheel and a translucent image source sheet for easy understanding, but a single-plate digital mirror type DLP projector is suitable as the projection means. Available to: In FIG. 8A, the image of the
The first image and the second mixed image in space are processed in the following time series.
The projection of 21R in FIG. 2 is performed by the first projection unit. The
The projection of 21G in FIG. 2 is performed by the second projection unit. The
The projection of 21B in FIG. 2 is performed by the third projection unit. The
The analog switch is switched by the photo interrupter 7 detecting the position of the
像26は第1の像のうち投影色と同色の成分rと第2の像のR成分である像21Rが除去されたものとなる。同様に、像27は第1の像のうち投影色と同色の成分gと第2の像のG成分である像21Gが除去されたものとなる。同様に、像28は第1の像のうち投影色と同色の成分bと第2の像のB成分である像21Bが除去されたものとなる。前述のようにして得られた投影色除去済画像26,27,28は、演算手段(図1)により演算される。像26,27,28の和を求めると第1の像の色成分は増強されて回復し、背景光と考えられる第2の像成分は完全に除去される。
The image 26 is obtained by removing the component r having the same color as the projection color and the
撮影手段と処理手段の連携動作をさらに、図8Bの例を参照して説明する。
図8Bにおいて、スクリーン810の像が第1図の第2の像21に、物体813を白色光源からの光束815で照明したものが、第1の像20に対応する。
空間における第1の像と第2の混合像は、次の時系列で処理される。
第1の投影単位により図2の21Rの投影が行われる。カラーホイール804のRにより赤色の像21Rがスクリーンに形成される。その像と物体13の像23(図2)が単板カラー撮像装置816の単板CMOSまたはCCD816Aにより撮像され、フレームメモリ817に蓄積され投影色成分、この場合はR成分であって図2の23と同じく図2の20r成分が、投影色除去部818によって、図2の像26が取り出される。
引き続く第2,第3の投影単位に関連する処理も同様であるから説明を省略する。
前記投影色除去部818の制御は、角度検出部808が、カラーホイール804の位置を検出し、投影色判定部809の投影色の判定結果に基づいてなされる。
また演算処理も前述と同様であり、第1の像の色成分は2倍に増強されて回復し、背景光と考えられる第2の像成分は完全に除去される。
図8Bでは、投影装置からの同期信号の引き回しを必要としない、より実利的な構成について図示している。単版カラー撮像装置816を用い超高速に撮像を繰り返すと、撮像領域の中に超高速で色が変化する領域を発見できる。自然光あるいは通常の照明が超高速で変化することはありえないから、投影領域判定部818Aはこれを投影装置の投影領域と判断する。投影色判定部818Bは投影領域のみに着目して現在の投影色を計算する。 現在の投影色の計算は、以下の論理によってなすことができる。投影領域の色が高速で変化している際、変化直後の撮像画像から直前の撮像画像を減じる。たとえば、投影色がRからBに変化した際、直前の撮像画像にはR,r,g,bの各色が、直後の撮像画像にはG,r,g,bの各色が捉えられているはずであるから、後者から前者を減じG−Rなる差分を得る。このうちの正成分が新色,負成分が旧色である。実際には、スクリーンの前の実物体が移動すると差分にはノイズ(雑音)が乗るが、超高速の撮像周期からみれば実物体の移動は微動であるから、統計的手法により正成分の主色を求めることで新色は充分に計算可能である。
The cooperative operation between the photographing means and the processing means will be further described with reference to the example of FIG. 8B.
In FIG. 8B, the image of the
The first image and the second mixed image in space are processed in the following time series.
The projection of 21R in FIG. 2 is performed by the first projection unit. A
Since the subsequent processes related to the second and third projection units are the same, the description thereof will be omitted.
The projection
The arithmetic processing is also the same as described above, and the color component of the first image is enhanced and recovered by a factor of 2, and the second image component considered to be background light is completely removed.
FIG. 8B illustrates a more practical configuration that does not require routing of the synchronization signal from the projection apparatus. When imaging is repeated at a very high speed using the single
(実施例1)以下ジェスチャ認識装置に応用する例について図3を参照して説明する。
フロストガラス304の下から、投影手段であるプロジェクタ302から、図8A,Bを参照して説明した構成のスクリーン10に対応するフロストガラス304に動画を投影する。
なお303は投影に用いられる反射鏡である。投影される動画は前述した第2の像に対応するものであり、全体として補色の関係を形成する2以上の投影色(R,G.B)の各一色ずつからなる像を高速で分割発生し、複数の投影単位で投影されるものであり、使用者には通常のカラー動画として観察される。
動画との関係で前述した第1の像に対応する手301を動かすと、投影画像を無視して実画像のみを取得される。撮影手段であるカメラ305で撮影され、処理手段310で処理され、演算手段312により投影画像の動きに影響されることなくユーザの動きが切り出される。投影装置306でスクリーンに307に手の像308のみを投影して示す。
このように同期式撮像では投影画像を無視して実画像のみを取得し得るため、投影画像の動きに影響されることなくユーザの動きを素早く認識可能である。
この実施例は車内や壁面へのリアプロジェクションと、それに同期する撮像装置にも応用できる。
(Embodiment 1) An example applied to a gesture recognition apparatus will be described below with reference to FIG.
A moving image is projected from below the
When the
As described above, in the synchronous imaging, only the actual image can be obtained by ignoring the projection image, so that the user's movement can be quickly recognized without being influenced by the movement of the projection image.
This embodiment can also be applied to a rear projection on the inside of a vehicle or a wall surface, and an imaging device synchronized therewith.
(実施例2)クロマキー装置への応用例を図4を参照して説明する。クロマキー装置 (またはクロマキー合成) とは、風景映像にスタジオで別撮りした役者の映像を重ね合わせることにより、あたかも役者がその場に居合わせたような映像を作り出す装置もしくは効果のことをいう。従来のクロマキー合成では、役者はスタジオ背景消去のためブルースクリーン (あるいはグリーンスクリーン) の前で演技をする。スタジオ映像の青成分 (緑成分) の除去と風景映像との合成はディジタル処理で行われるため映像の劣化が少ないが、役者の背景は青一色であるため風景の変化にあわせた演技や演出をしたり、仕上がり具合を想像したりすることが難しい。このため、役者の背景に大きなスクリーンを置き、そのスクリーンにリアプロジェクション (スクリーン裏面からの投影) で風景映像を投影し、その前で役者に演技させる。しかしながら、この方法では、いちど撮影した風景映像を映写し、ふたたび役者ごと撮像する過程がアナログ的にしか行えないため、風景映像の劣化を免れない。 (Example 2) An example of application to a chroma key device will be described with reference to FIG. A chroma key device (or chroma key composition) refers to a device or effect that creates an image as if the actor was on the spot by superimposing the actor's video taken separately in the studio on the landscape video. In traditional chroma key composition, actors act in front of a blue screen (or green screen) to erase the studio background. The removal of the blue component (green component) from the studio video and the synthesis with the landscape video are performed digitally, so there is little degradation of the video. And it is difficult to imagine the finish. For this reason, a large screen is placed on the actor's background, and a landscape image is projected on the screen by rear projection (projection from the back of the screen), and the actor is acting in front of it. However, in this method, since the process of projecting the landscape video once taken and imaging again for each actor can be performed only in an analog manner, degradation of the landscape video is inevitable.
本発明による像分離装置によれば、リアプロジェクション方式同様に映像を実際に投影しながら、投映像を除去した実映像のみを撮像し得る。このため、演技や演出の容易さを損なうことなく収録ができ、背景はあとから高画質にディジタル合成し得る。第4図に
第1の像に対応する俳優403の後方に配置されているリアスクリーン401に投影手段であるプロジェクタ400により背景画像を投影する。背景は原色単位で投影が繰り返される。カメラ404の出力は処理手段410で処理され、演算手段411で演算され、第1の像である俳優403の像だけが取り出される。演算手段411の演算出力である俳優の像は撮影データと背景合成手段412で構成される。
According to the image separation device of the present invention, it is possible to capture only the actual image from which the projected image is removed while actually projecting the image in the same manner as the rear projection method. For this reason, it is possible to record without impairing the ease of acting and production, and the background can be digitally synthesized later with high image quality. In FIG. 4, a background image is projected by a
従来のクロマキー方式は画質は悪くないが、演技・演出の容易さ、仕上がりの確認に難点がある。また従来のリア投影方式は演技・演出の容易さ、仕上がりの確認に問題は少ないが画質に問題がある。これに対して本発明による像分離装置を用いると前記何れの点でも従来方式より優れている。 The conventional chroma key method is not bad in image quality, but there are difficulties in performance and production, and confirmation of the finish. The conventional rear projection method has few problems in the ease of acting and production and the confirmation of the finish, but has a problem in image quality. On the other hand, the image separation apparatus according to the present invention is superior to the conventional method in any of the above points.
(実施例3)次に舞台スクリーン撮像投影または講演者の投影装置に応用した例を図5を参照して説明する。舞台上の講演者を撮影し、舞台のスクリーンに再び投影すると、投影像がふたたび撮像装置に入り込んでしまい、合わせ鏡のように何重にも映り込んでしまうことがある。本発明による像分離装置を用いると投影をしつつ投影像を除去して撮像できるため、撮像画面をリアルタイムにスクリーン506に投影しても視認性を損なわない。演台501で講演中の講演者502(第1の像に対応)を撮像した映像は天井釣りのプロジェクタ503でふたたび原色単位で投影されるが、カメラ504は、同期接続線508により、相互に接続され、前述の実施例と同様に同期させられている。カメラ504の出力は処理手段510、演算手段512に講演者の像のみを取り出し、プロジェクタ503からスクリーン506に投影される。
(Embodiment 3) Next, an example applied to stage screen imaging projection or a speaker's projection apparatus will be described with reference to FIG. When a lecturer on the stage is photographed and projected onto the screen on the stage again, the projected image may enter the imaging device again, and may appear in multiple layers like a mirror. When the image separation device according to the present invention is used, the projected image can be removed while projecting, so that the visibility is not impaired even if the imaging screen is projected onto the
(実施例4)本発明による像分離装置を用いた遠隔操作形プロジェクタを図6を参照して説明する。レーザポインタ605ならびにいくつかのクリックボタンを具備するポインティング装置608でクリックボタンの押下状態を無線でプロジェクタ603に通知する。プロジェクタ(時分割式カラー表示装置)603は投影レンズの真横に撮像カメラ604を備え、クリックボタン押下通知の瞬間のレーザポインタの投影点605Aを本発明による像分離装置により調べる。具体的には時分割式カラー表示装置が青または緑の表示を行っている際に赤色の異色成分検出を行うことで、赤色レーザの輝点成分を高速に検出できる。
また、プロジェクタ603の原色すべてについて異色成分検出を行うことにより、レーザポインタ605の色自体を同定することも可能である。たとえば、赤と青の表示を行っている際のみに異色成分として検出される輝点があれば、それを緑色の輝点として同定でき、原色すべてについて同程度に検出される異色成分が認められれば、それを白色の輝点として同定できる。カメラ604の出力は処理手段610,演算手段612により第1の像であるポインタの投影点605Aを取り出して必要に応じて表示する。
(Embodiment 4) A remote control type projector using an image separating apparatus according to the present invention will be described with reference to FIG. The
It is also possible to identify the color of the
(実施例5)本発明による像分離装置を用いて車載の距離測定装置を構成することができる。図7の(A)は物体までの距離を取得する手段として光切断法の原理を図示している。これは、線状の光を物体に投影し、物体708の表面の凹凸による光線の曲がり具合を、光源とは異なる光軸を持つ撮像装置で捉え、三角測量の原理で測定するものである。
同図(B)に示すように、自動車700の前方空間に存在する物体からなる対象物703(第1の像に対応)があったとする。前記空間の前記物体703(Aの708に対応)にメッシュ状のスケール投影像(第2の像)を像源(図示せず)により順次繰り返し投影する。投影手段である投影装置702により、投影色が全体として補色の関係を形成する2以上の投影色であって、各一色ずつからなる像を高速で分割発生し,複数の投影単位で投影する。
(Embodiment 5) A vehicle-mounted distance measuring device can be constructed using the image separating device according to the present invention. FIG. 7A illustrates the principle of the light cutting method as means for acquiring the distance to the object. In this method, linear light is projected onto an object, and the degree of bending of the light beam due to the unevenness of the surface of the
Assume that there is an object 703 (corresponding to the first image) made of an object existing in the front space of the
撮像手段である同期カメラ701で物体703とメッシュ状のスケール投影像(第2の像)を撮像する。図7Cに示す処理手段710で前記撮像手段で撮影した前記空間の前記第1の像と第2の像の混合像から各単位毎に該単位の投影色成分を除去する。第1の演算手段で、前記処理手段の出力を演算して第1の像の映像情報のみを得る。第2の演算手段712により、前記処理手段710の任意の投影単位の出力と前記第1演算手段711の第1の像の映像情報から対象物703の距離のデータを取得する。前述した実施例は、いずれも3原色を利用する例を示したが、この例ではメッシュ像とその補色画像を超高速で交互に表示すると人間の目に白色として映る。すなわち距離測定用のメッシュ (方眼) 画像とその補色メッシュ画像を自車から交互に高速に投影する。他車のドライバーにはヘッドライト同様の白色灯にしか見えないが、自車の高速車載カメラはメッシュをメッシュとして的確に捉え、測距に利用することができる。補色の組み合わせを動的に交渉することができれば、アクティブ測距方式にみられる車々間の干渉が回避できる可能性がある。
An
以上詳しく説明したように、本発明による像分離装置は、車載装置として、また広く映像処理の分野で利用できる。 As described above in detail, the image separation device according to the present invention can be used as a vehicle-mounted device and widely in the field of video processing.
1 光源
2 コンデンサレンズ
3 像源シート(液晶像源)
4 カラーホイール
5 リレーレンズ
6 投影レンズ
7 投影色検出手段(ホトインタラプタ)
8 PLL回路
9 判定部
10 スクリーン
11 同期信号線
13 物体
14 撮像レンズ
15 光束
16 ダイクロイックプリズム
17(17R,17B,17G) CCD
18 アナログスイッチ
19 観察眼
20 第1の像
21 第2の像の視認像
22 第1および第2の像の混合視認像
23 R映像投影の像(視認不可)
24 G映像投影の像(視認不可)
25 B映像投影の像(視認不可)
26 R映像投影の像(合成出力)
27 G映像投影の像(合成出力)
28 B映像投影の像(合成出力)
29 演算手段出力像
30 インターフェイス(処理手段)
31,32,33 スイッチ出力
34 インターフェイス(演算装置)
300 机
301 手
302 プロジェクタ
303 反射鏡
304 フロストガラス
305 カメラ
306 投影装置
307 表示面対応スクリーン
308 手の像
400 プロジェクタ
401 スクリーン
405 同期信号線
500 照明手段
501 演台
502 講演者
502A 講演者像
503 プロジェクタ
504 カメラ
506 スクリーン
601 机
602 講演者
603 プロジェクタ
605 レーザポインタ
700 自動車
701 同期カメラ
702 投影装置
706 スリット状レーザ光源
707 カメラ
708 測定物体
801 光源
803 単板デジタルミラー
804 カラーホイール
806 投影レンズ
808 角度検出部
810 スクリーン
811 同期信号線
813 物体
816 単板カラー撮像装置
817 フレームメモリ
818 投影色除去部
819 出力画像
820 観察眼
1
4
8
18
24 G image projection image (not visible)
25 B image projection image (not visible)
26 R image projection image (composite output)
27 G image projection image (composite output)
28 B image projection image (composite output)
29 Calculation means
31, 32, 33
DESCRIPTION OF
Claims (9)
前記投影画像の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の画像出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成した像分離装置。 An image separation apparatus used together with a projection unit that decomposes image information including moving image information into a plurality of primary color components and sequentially projects each primary color component at high speed sequentially,
Imaging means for capturing an image of a space affected by the projected image;
Processing means for removing the primary color component from the image output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
An image separation device composed of
前記投影画像の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の画像出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成した像分離装置。 A projecting means for periodically projecting an image with a primary color sequentially selected from a plurality of primary colors at high speed;
Imaging means for capturing an image of a space affected by the projected image;
Processing means for removing the primary color component from the image output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
An image separation device composed of
前記照明の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の像を得る演算装置と、
から構成した像分離装置。 Illumination means for sequentially selecting a plurality of primary colors and periodically projecting illumination light of the primary colors at a high speed,
Imaging means for capturing an image of the space affected by the illumination;
Processing means for removing the primary color component from the output corresponding to each primary color of the imaging means;
An arithmetic device for calculating the output of the processing means to obtain an image of the space;
An image separation device composed of
前記投影の影響を受けた空間の像を撮像する撮像手段と、
前記撮像手段の各原色対応の出力から当該原色成分を除去する処理手段と、
前記処理手段の出力を演算して、前記空間の影響を受けた任意の原色の画像を得る演算装置と、
から構成した像分離装置。 Projection means for sequentially selecting a plurality of primary colors and periodically projecting the primary color image at a high speed;
Imaging means for capturing an image of a space affected by the projection;
Processing means for removing the primary color component from the output corresponding to each primary color of the imaging means;
A computing device that computes the output of the processing means to obtain an image of any primary color affected by the space;
An image separation device composed of
前記投影手段は前記物体にスケール像を投影し、前記演算手段は前記物体の影響を受けたスケール像を分離して前記物体のデータを提供する像分離装置。 The image separation device according to claim 4, wherein the space is a front space of a traveling vehicle, and an object exists in the space.
The projection unit projects a scale image onto the object, and the calculation unit separates the scale image affected by the object and provides data of the object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003421511A JP4491599B2 (en) | 2003-12-18 | 2003-12-18 | Image separation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003421511A JP4491599B2 (en) | 2003-12-18 | 2003-12-18 | Image separation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005182413A true JP2005182413A (en) | 2005-07-07 |
JP4491599B2 JP4491599B2 (en) | 2010-06-30 |
Family
ID=34782712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003421511A Expired - Lifetime JP4491599B2 (en) | 2003-12-18 | 2003-12-18 | Image separation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4491599B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008097191A (en) * | 2006-10-10 | 2008-04-24 | Fujifilm Corp | Image synthesis system |
CN111143270A (en) * | 2019-12-23 | 2020-05-12 | 武汉轻工大学 | Distance projection calculation method and device, calculation equipment and storage medium |
JP2022116092A (en) * | 2018-03-29 | 2022-08-09 | 日本電気株式会社 | Accounting device, accounting system, product identification method and program |
-
2003
- 2003-12-18 JP JP2003421511A patent/JP4491599B2/en not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008097191A (en) * | 2006-10-10 | 2008-04-24 | Fujifilm Corp | Image synthesis system |
JP2022116092A (en) * | 2018-03-29 | 2022-08-09 | 日本電気株式会社 | Accounting device, accounting system, product identification method and program |
CN111143270A (en) * | 2019-12-23 | 2020-05-12 | 武汉轻工大学 | Distance projection calculation method and device, calculation equipment and storage medium |
CN111143270B (en) * | 2019-12-23 | 2023-05-05 | 武汉轻工大学 | Distance projection calculation method, device, calculation equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP4491599B2 (en) | 2010-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9832436B1 (en) | Image projection system and image projection method | |
TWI287402B (en) | Panoramic vision system and method | |
JP5814566B2 (en) | IMAGING DEVICE, IMAGING METHOD, AND IMAGING DEVICE CONTROL PROGRAM | |
JP5045212B2 (en) | Face image capturing device | |
US7839543B2 (en) | Document imager, document stillness detection method, and computer program product | |
JP2012142958A (en) | Image tracking device, image tracking method, and camera | |
JP2013219525A (en) | Imaging device, control method therefor, and program | |
JP3091628B2 (en) | Stereoscopic video camera | |
JPH1173491A (en) | Foreground image generating device | |
JP2008017386A (en) | Key image generation device | |
JP4491599B2 (en) | Image separation device | |
JP6426308B2 (en) | Image pickup system, lens apparatus, and method of operating lens apparatus | |
JP6426307B2 (en) | Image pickup system, image pickup apparatus and operation method of image pickup apparatus | |
JP2005241591A (en) | Projection device, and method and program for processing distance measurement | |
JP2015159460A (en) | Projection system, projection device, photographing device, method for generating guide frame, and program | |
KR20050015737A (en) | Real image synthetic process by illumination control | |
JPH05328197A (en) | Image pickup device | |
JP5227883B2 (en) | Composite video generation system, lighting control device, and program | |
JP2008282077A (en) | Image pickup device and image processing method, and program therefor | |
JP2019197948A (en) | Imaging device and method for controlling the same | |
JPH08307756A (en) | Video forming method | |
JP4556944B2 (en) | Projection apparatus, distance measurement processing method, and program | |
JP2004128588A (en) | Imaging unit | |
JP2002300605A (en) | Image pickup device for three-dimensional input | |
JP2011053550A (en) | Optical instrument |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050309 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091225 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20091225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100309 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4491599 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
EXPY | Cancellation because of completion of term |