JP2002084552A - カラオケ用立体画像表示装置およびカラオケ用立体画像表示方法 - Google Patents

Abstract

(57)【要約】 【課題】 リアルタイムでの３次元画像を生成するとと
もに遊戯者（歌唱者）のみの立体画像を表示することを
可能としたカラオケ用立体画像表示装置を提供する。 【解決手段】 投影したパターンを同じ光軸で撮影した
パターンを用いて再コード化する再コード化法、あるい
は強度変調光を用いた３次元形状計測装置によって被写
体としての例えば遊戯者（歌唱者）を含む画像の３次元
データを取得するとともに、距離データに基づく特定領
域画像、すなわち歌唱者である人物画像の取り出し、あ
るいは赤外データによる人物画像の取り出しを実行し
て、遊戯者（歌唱者）のみの３次元画像を表示手段によ
り表示することにより、遊戯者（歌唱者）が空中に浮遊
したような立体画像を表示することが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カラオケボックス
等の遊戯室において遊戯者（歌唱者）の三次元画像を表
示するカラオケ用立体画像表示装置およびカラオケ用立
体画像表示方法に関する。さらに、詳細には、背景画像
等を排除して遊戯者（歌唱者）のみの三次元画像を取り
出して、あたかも歌唱者が空中に浮かんでいるように立
体表示することを可能とするカラオケ用立体画像表示装
置およびカラオケ用立体画像表示方法に関する。

【０００２】

【従来の技術】ゲーム機等の様々なエンタティメント機
器においては、仮想現実感を与えるための画像処理技術
が様々な形で採用されている。例えば特開平１０−１４
９０８９号には、カラオケボックス等の独立した遊戯室
の壁面に大型ディスプレイを３面配置し、遊戯者自身が
特定の立体空間に存在しているような画像を各面のディ
スプレイに表示する構成が示されている。さらに、ゲー
ム機器等においては、表示画像の３次元化、すなわち、
３Ｄグラフィック表示を行なうことによって、ゲームの
中の映像世界をより現実に近いものとした構成が多く使
用されている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来技術において、特開平１０−１４９０８９号は、歌唱
者自身の映像が３次元画像として表示されるものではな
く、歌唱者の周りに配置したディスプレイに様々な映像
を提供する構成であり、歌唱者自身の映像を３次元画像
として表示可能な構成を提供するものではなかった。ま
た、従来のゲーム機器等において使用されている３次元
画像表示は、予め準備されたアニメーション画像を３次
元化して表示する構成であり、遊戯者自身の画像を撮り
込んで遊戯者自身をリアルタイムあるいは動画の３次元
画像としてゲーム機のディスプレイ等に表示するもので
はなかった。

【０００４】上述のように、遊技者自身が歌っている状
態を立体画像として表示できるものではなく、魅力に乏
しいという問題点があった。本発明は、遊技者、歌唱者
自身の映像をリアルタイムで撮り込んで、その撮り込み
画像のデータ処理により、３次元画像を生成して３次元
画像を表示することにより、遊技者及び周囲の観客によ
り魅力のある画像表示を可能とするカラオケ用立体画像
表示装置およびカラオケ用立体画像表示方法を提供する
ことを目的とする。

【０００５】

【課題を解決するための手段】本発明は、上述の目的を
解決するものであり、その第１の側面は、遊戯者の画像
を撮り込む撮像手段と、前記撮像手段によって撮り込ま
れた画像から背景画像と遊戯者画像とを判別し遊戯者画
像のみの画像を抽出する画像切り出し手段と、前記画像
切り出し手段によって分離された遊戯者画像を立体画像
として表示する画像表示手段と、を有することを特徴と
するカラオケ用立体画像表示装置にある。

【０００６】さらに、本発明のカラオケ用立体画像表示
装置の一実施態様において、前記撮像手段は、パターン
を測定対象に投影する投光手段と、前記投光手段の光軸
方向から投影パターンを撮影する第１の撮像手段と、前
記投光手段光軸方向と異なる方向から前記投影パターン
を撮影する第２の撮像手段とを備え、前記カラオケ用立
体画像表示装置は、さらに、前記第１の撮像手段の撮影
した投影パターン画像と、前記投光手段による投影パタ
ーンとの比較により、前記第１の撮像手段の撮影した投
影パターン画像に新たなエッジが検出された場合に、該
検出エッジに基づく新規コードを割り付け、前記新規コ
ードに基づいて第２の撮像手段による撮影パターンから
距離情報を生成する構成を有する３次元データ取得手段
を有し、前記画像切り出し手段は、前記３次元データ取
得手段によって取得された距離情報に基づいて、前記撮
像手段によって撮像された画像から、背景画像と遊戯者
画像とを判別し遊戯者画像のみの画像を抽出する処理を
実行する構成であることを特徴とする。

【０００７】さらに、本発明のカラオケ用立体画像表示
装置の一実施態様において、前記撮像手段は、所定の周
波数で強度変調された出射光を物体に向けて出射する光
出射手段と、該光出射手段から出射された出射光を所定
の方向に反射する反射部材と、前記物体からの前記反射
光と前記反射部材からの前記出射光とを受光し、それら
の合成により前記位相差が反映された合成検出信号、前
記出射光の出射によって前記物体で反射した前記反射光
を受光して反射光検出信号、および前記反射部材からの
前記出射光を受光して参照光検出信号を出力する検出手
段と、前記合成検出信号、前記反射光検出信号および前
記参照光検出信号に基づいて、前記物体表面の反射率の
違い等の外的成分を除去する補正を行って前記距離を演
算する演算部とを有し、前記画像切り出し手段は、前記
距離分布演算部によって取得される距離情報に基づい
て、前記撮像手段によって撮像された画像から、背景画
像と遊戯者画像とを判別し遊戯者画像のみの画像を抽出
する処理を実行する構成であることを特徴とする。

【０００８】さらに、本発明のカラオケ用立体画像表示
装置の一実施態様において、画像切り出し手段は、異な
る感度波長領域を有する複数の光検出装置で構成され、
物体からの透過／反射光をその強度に応じた複数画素の
出力データとして検出する光検出手段と、前記複数の光
検出装置より得られた各出力データを画素毎に相互に対
応させる出力データ対応手段と、を有する構成であるこ
とを特徴とする。

【０００９】さらに、本発明のカラオケ用立体画像表示
装置の一実施態様において、前記複数の光検出装置は、
可視光線に対して感度波長領域を有する撮像装置と、可
視光線以外の赤外線から短波長側に対して感度波長領域
を有する撮像装置とから構成されることを特徴とする。

【００１０】さらに、本発明のカラオケ用立体画像表示
装置の一実施態様において、前記画像表示手段は、第1
の画像を発生する第1の画像源と、前記第1の画像源と異
なる方向に対して画像を発生する第２の画像源と、前記
第1の画像源および第2の画像源のいずれかの画像を反射
する位置に設置された凹面鏡と、前記凹面鏡に対して、
ほぼ４５度傾斜して、かつ、前記第1の画像源および前
記第2の画像源の発する画像の出力方向位置に配置さ
れ、入射された光線を２つに分けるビームスプリッタ
と、前記凹面鏡および観察者の眼との間を結ぶ光軸上に
配置され、入射された光線を偏光させる直線偏光板と、
前記凹面鏡および観察者の眼との間を結ぶ光軸上に配置
され、入射された光線の振動方向に位相差を生じさせる
１／４波長板と、から成ることを特徴とする。

【００１１】さらに、本発明のカラオケ用立体画像表示
装置の一実施態様において、前記第２の画像源は、前記
第1の画像源に対向して配置され、前記凹面鏡は、第1の
画像源および第2の画像源の対向軸に直行する位置に中
心軸を形成する位置に配置され、前記ビームスプリッタ
は、前記中心軸に対して、ほぼ４５度傾斜して、かつ、
前記第1の画像源および前記第2の画像源に挟まれて配置
され、前記直線偏光板は、前記中心軸に対して直交し
て、かつ、前記凹面鏡および観察者の眼との間に配置さ
れ、前記１／４波長板は、前記中心軸に対して直交し
て、かつ、前記凹面鏡および観察者の眼との間に配置さ
れた構成を有することを特徴とする。

【００１２】さらに、本発明のカラオケ用立体画像表示
装置の一実施態様において、前記第1の画像源は、前記
凹面鏡に対向して、前記凹面鏡の焦点距離の２倍の距離
あるいは前記２倍の距離の近傍に配置され、前記ビーム
スプリッタは、前記凹面鏡と前記第１の画像源との対向
軸に対して、ほぼ４５度傾斜して、前記凹面鏡と前記第
１の画像源との間に配置され、前記第２の画像源は、前
記ビームスプリッタを介して前記観察者に対向して、前
記対向軸の垂直方向に配置された構成を有し、前記第１
の画像は、前記ビームスプリッタを通過して前記凹面鏡
において前記ビームスプリッタに向かって反射し、さら
に、前記ビームスプリッタにより観察者に向かって反射
して空中に浮かんだ立体画像として表示され、前記第２
の画像は前記観察者に向かって前記ビームスプリッタを
通過し、平面画像として表示される構成を有することを
特徴とする。

【００１３】さらに、本発明のカラオケ用立体画像表示
装置の一実施態様において、前記第1の画像源および前
記第2の画像源は、ＣＲＴ、液晶表示装置、プラズマデ
ィスプレイ装置、装飾ライト、あるいは実物のいずれか
であることを特徴とする。

【００１４】さらに、本発明のカラオケ用立体画像表示
装置の一実施態様において、前記１／４波長板は、前記
凹面鏡の前記反射面に貼り付けた構成であることを特徴
とする。

【００１５】さらに、本発明のカラオケ用立体画像表示
装置の一実施態様において、前記直線偏光板の表面に
は、前記光線の反射を減少するコーティングが施された
構成、あるいは、前記光線の反射を減少するフィルムを
貼り付けた構成であることを特徴とする。

【００１６】さらに、本発明のカラオケ用立体画像表示
装置の一実施態様において、前記１／４波長板の表面に
は、前記光線の反射を減少するコーティングが施された
構成、あるいは、前記光線の反射を減少するフィルムを
貼り付けた構成であることを特徴とする。

【００１７】さらに、本発明の第２の側面は、カラオケ
用立体画像表示方法であり、遊戯者の画像を撮像手段に
よって撮り込む撮像ステップと、前記撮像手段によって
撮り込まれた画像から背景画像と遊戯者画像とを判別し
遊戯者画像のみの画像を抽出する画像切り出しステップ
と、前記画像切り出しステップによって分離された遊戯
者画像を立体画像として表示する画像表示ステップと、
を有することを特徴とするカラオケ用立体画像表示方法
にある。

【００１８】さらに、本発明のカラオケ用立体画像表示
方法の一実施態様において、前記撮像ステップは、投光
手段を用いてパターンを測定対象に投影する投光ステッ
プと、前記投光手段の光軸方向から第１の撮像手段によ
り投影パターンを撮影する第１の撮像ステップと、前記
投光手段光軸方向と異なる方向から第２の撮像手段によ
り前記投影パターンを撮影する第２の撮像ステップとを
含み、前記カラオケ用立体画像表示方法は、さらに、前
記第１の撮像手段の撮影した投影パターン画像と、前記
投光手段による投影パターンとの比較により、前記第１
の撮像手段の撮影した投影パターン画像に新たなエッジ
が検出された場合に、該検出エッジに基づく新規コード
を割り付け、前記新規コードに基づいて第２の撮像手段
による撮影パターンから距離情報を生成する３次元デー
タ取得ステップを有し、前記画像切り出しステップは、
前記３次元データ取得ステップによって取得された距離
情報に基づいて、前記撮像手段によって撮像された画像
から、背景画像と遊戯者画像とを判別し遊戯者画像のみ
の画像を抽出する処理を実行することを特徴とする。

【００１９】さらに、本発明のカラオケ用立体画像表示
方法の一実施態様において、前記撮像ステップは、強度
変調光を被測定体に照射するステップと、被測定体から
の反射光と前記強度変調光とを受光し、それらの合成に
より位相差が反映された合成光信号を検出するステップ
と、前記反射光を受光し、反射光信号を検出するステッ
プと、前記強度変調光を受光し、参照光信号を検出する
ステップと、前記合成光信号、前記反射光信号および前
記参照光信号に基づいて、被測定体の反射率の違い等の
外的成分を除去する補正を行って被測定体各部までの距
離分布を求める距離分布演算ステップとを有し、前記画
像切り出しステップは、前記距離分布演算ステップによ
って取得される距離情報に基づいて、前記撮像手段によ
って撮像された画像から、背景画像と遊技者画像とを判
別し遊技者画像のみの画像を抽出する処理を実行するこ
とを特徴とする。

【００２０】さらに、本発明のカラオケ用立体画像表示
方法の一実施態様において、画像切り出しステップは、
物体からの透過／反射光を異なる感度波長領域を有する
複数の光検出装置の強度に応じた複数画素の出力データ
として検出するステップと、前記複数の光検出装置より
得られた各出力データを画素毎に相互に対応させる出力
データ対応ステップとを含むことを特徴とする。

【００２１】

【発明の実施の形態】本発明のカラオケ用立体画像表示
装置およびカラオケ用立体画像表示方法の実施例につい
て、以下、図面を参照して説明する。

【００２２】本発明のカラオケ用立体画像表示装置は、
遊戯者の画像を撮り込む撮像手段と、撮像手段によって
撮り込まれた画像から背景画像と遊戯者画像とを判別し
遊戯者画像のみの画像を抽出する画像切り出し手段と、
画像切り出し手段によって分離された遊戯者画像を立体
画像として表示する画像表示手段とを構成要素とする。

【００２３】撮像手段によって撮り込まれた画像に基づ
いて距離データを取得、すなわち３次元形状計測を行な
うとともに、撮り込まれた画像から背景画像と遊戯者画
像とを判別し遊戯者画像のみの画像を切出して、切り出
した画像についての立体（３次元）画像を画像表示手段
によって、表示する。以下、本発明のカラオケ用立体画
像表示装置の説明を下記の項目に従って行なう。 （１）３次元形状計測および画像切り出し構成 （１−１）再コード化による３次元形状測定手法 （１−２）強度変調光を用いた３次元形状測定手法 （１−３）反射光強度計測による画像切り出し方法 （２）画像表示処理手段

【００２４】（１）３次元形状計測および画像切り出し
構成 まず、３次元形状計測および画像切り出し構成について
説明する。３次元形状を取得する手法には、アクティブ
手法（Active vision）とパッシブ手法（Passive visio
n）がある。アクティブ手法は、（1）レーザ光や超音波
等を発して、対象物からの反射光量や到達時間を計測
し、奥行き情報を抽出するレーザー手法や、（2）スリ
ット光などの特殊なパターン光源を用いて、対象表面パ
ターンの幾何学的変形等の画像情報より対象形状を推定
するパターン投影方法や、(3)光学的処理によってモア
レ縞により等高線を形成させて、３次元情報を得る方法
などがある。一方、パッシブ手法は、対象物の見え方、
光源、照明、影情報等に関する知識を利用して、一枚の
画像から３次元情報を推定する単眼立体視、三角測量原
理で各画素の奥行き情報を推定する二眼立体視等があ
る。

【００２５】（１−１）再コード化による３次元形状測
定手法 まず、再コード（符号）化による３次元形状測定手法に
ついて説明する。この再コード化による３次元形状測定
手法は、上述のアクティブ手法の３次元計測方法を応用
したものであり、より正確な３次元画像を得るために必
要となる距離データと、輝度画像を同時に取得して、リ
アルタイムに３次元画像を生成して表示することを可能
とした手法である。さらに、特定の距離にある画像、例
えば背景と人物が混在した画像から人物画像のみを取り
出して表示することを可能とする手法である。

【００２６】再コード化処理を用いた距離データの取得
原理について説明する。再コード化処理を用いた距離デ
ータの取得を実行する３次元画像撮像装置の構成を表す
ブロック図を図１に示す。図２に光源と撮像素子の位置
関係を示す。

【００２７】図２に示すように、３次元形状測定装置
は、３台のカメラ１０１〜１０３および投光器１０４を
備える。各カメラの距離関係が揃うように、図示の距離
Ｉ1、Ｉ2、Ｉ3は等しくされている。カメラ３，１０３
と投光器１０４は、ビームスプリッタとしてのハーフミ
ラー１０５を用いて光軸が一致するように配置される。
カメラ１，１０１、カメラ２，１０２は、カメラ３，１
０３と投光器１０４の両側に、それらと光軸が異なるよ
うに配置される。中央の光軸と両側の光軸との距離が基
線長Ｌである。

【００２８】投光器１０４は、光源１０６と、マスクパ
ターン１０７と、強度パターン１０８と、プリズム１０
９とを有する。ここで光源１０６は、赤外もしくは紫外
光を用いた不可視領域の光源を用いることができる。こ
の場合、各カメラは図３に示すように構成される。すな
わち、入射してきた光３１０は、プリズム３０１で２方
向に分割され、一方は不可視領域（赤外あるいは紫外）
透過フィルター３０２を通って撮像装置（例えばＣＣＤ
カメラ）３０３に入射し、他方は不可視領域（赤外と紫
外）遮断フィルター３０４を通って撮像装置３０５に入
射する。

【００２９】また図２に示す光源１０６は、可視領域あ
るいは不可視領域に限定せず、撮像可能な波長帯の光源
を用いてもよい。この場合、カメラ３，１０３において
は、プログレッシブスキャンタイプのＣＣＤカメラを用
い、カメラ１，１０１、カメラ２，１０２に関しては、
特に構成はこだわらない。ただし、カメラ３，１０３と
の対応を考慮すれば、同じ構成のＣＣＤカメラが望まし
い。光源１０６からパターンが投影され、３台のカメラ
１〜３（１０１〜１０３）が同時に撮影を行う。そして
各カメラは、フィルター３０４，３０５（図３参照）を
通過した光を撮像装置３０３，３０５で得ることによ
り、画像の一括取得を行う。

【００３０】図１を用いて３次元形状測定装置の構成を
説明する。図示のように、カメラ１，１０１は、撮影し
て得た輝度情報を輝度値メモリ１２１に記憶し、撮影パ
ターンをパターン画像メモリ１２２に記憶する。カメラ
２，１０２は、同様に、輝度情報を輝度値メモリ１２３
に記憶し、撮影パターンをパターン画像メモリ１２４に
記憶する。カメラ３，１０３は、輝度情報を輝度値メモ
リ１２５に記憶し、撮影パターンをパターン画像メモリ
１２６に記憶する。投光器１０４は、事前に作成したコ
ード化されたパターンを後に参照する為に、各スリット
を正方格子上のセルに分割してフレームメモリ１２７に
格納している。

【００３１】この記憶保持された撮影パターンおよび輝
度情報を用いて、次のようにして３次元画像を得る。以
下の操作は、カメラ１，１０１とカメラ３，１０３の組
み合わせ、カメラ２，１０２とカメラ３，１０３の組み
合わせの双方に共通なので、ここではカメラ１，１０１
とカメラ３，１０３の組み合わせを例にとって説明す
る。

【００３２】図１において、領域分割部１２８は、カメ
ラ３，１０３で撮影された撮影パターンの領域分割を行
う。そして、隣り合うスリットパターン間の強度差が閾
値以下である領域については投光器からの光が届いてな
い領域１として抽出し、スリットパターン間の強度差が
閾値以上である領域については領域２として抽出する。
再コード化部１２９は、抽出された領域２について、パ
ターン画像メモリ１２６に記憶された撮影パターンとフ
レームメモリ１２７に格納された投影パターンを用いて
再コード化を行う。

【００３３】図４は、再コード化を行う際のフローチャ
ートである。まず、各スリットパターンをスリット幅毎
に縦方向に分割し（ステップ１００１）、正方形のセル
を生成する。生成された各セルについて強度の平均値を
とり、平均値を各セルの強度とする（ステップ１００
２）。画像の中心から順に、投影パターン及び撮影パタ
ーンの対応する各セル間の強度を比較し、対象物の反射
率、対象物までの距離などの要因によってパターンが変
化したためにセル間の強度が閾値以上異なるかどうかを
判断する（ステップ１００３）。閾値以上異ならない場
合は、撮影されたすべてのセルについて再コード化を終
了する（ステップ１００７）。

【００３４】閾値以上異なる場合は、新たな強度のセル
かどうか判断する（ステップ１００４）。そして、新た
な強度のセルのときは、新たなコードの生成、割り付け
を行う（ステップ１００５）。また、新たな強度のセル
でないときは、他に出現している部位と識別可能とする
スリットパターンの並びを用いてコード化する（ステッ
プ１００６）。これで、再コード化を終了する（ステッ
プ１００７）。

【００３５】図５はスリットパターンのコード化の例を
示すもので、同図（ａ）はスリットの並びによってコー
ド化された投影パターンであり、強度としてそれぞれ３
（強）、２（中）、１（弱）が割り当てられている。同
図（ｂ）においては、左から３つめのセルで強度が変化
して新たなコードが出現したので、新たに０というコー
ドを割り当てている。同図（ｃ）においては、左から３
つめ上から２つめのセルに既存のコードが出現している
ので、セルの並びから新たなコードとして、縦の並びを
［２３２］、横の並びを［１３１］という具合に再コー
ド化する。この再コード化は、対象の形状が変化に富む
部位には２次元パターンなどの複雑なパターンを投光
し、変化の少ない部位には簡単なパターンを投光してい
るのに等しい。この過程を繰り返し、全てのセルに対し
て一意なコードを割り付けることで再コード化を行う。

【００３６】図６は、カメラ６０１〜６０３および投光
器６０４を用いて、壁６０５の前に配置された板６０６
にコード化されたパターンを投光する例を示す。ここで
コード化されたパターンは、図７に示すスリットパター
ンである。このとき、カメラ６０１、カメラ６０２で得
られる画像は、図８及び図９に示すように、それぞれ板
６０６の影となる領域８０１、９０１が生ずる。本例で
は、板６０６の表面には新たにコード化されたパターン
として、図１０に示すようなスリットパターンが得られ
る。

【００３７】次に図１に戻って説明する。カメラ１，１
０１側のコード復号部１３０は、パターン画像メモリ１
２２から投影パターンを抽出し、上述と同様にしてセル
に分割する。そして、先に再コード化部１２９で再コー
ド化されたコードを用いて各セルのコードを検出し、こ
の検出したコードに基づいて光源からのスリット角θを
算出する。図１１は空間コード化における距離の算出方
法を示す図であり、各画素の属するセルのスリット角θ
とカメラ１で撮影された画像上のｘ座標とカメラパラメ
ータである焦点距離Ｆと基線長Ｌとから、次の式によっ
て距離Ｚを算出する。 Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ）

【００３８】この距離Ｚの算出は、カメラ２，１０２側
のコード復号部１３１においても、同様に行われる。ま
た、上述の領域１については次のようにして距離を算出
する。領域１では、投光されたパターンによるパターン
検出は行うことができないので、対応点探索部１３２に
おいて、カメラ１〜３の輝度値メモリ１２１、１２３、
１２５から読み出された輝度情報を用いて視差を検出
し、これに基づいて距離を算出する。領域１を除く領域
に対しては、前述の操作により距離が算出されているの
で、領域１の距離の最小値が得られ、また対応づけ可能
な画素も限定される。これらの制限を用いて、画素間の
対応づけを行い視差ｄを検出し、カメラパラメータであ
る画素サイズλを用いて、次の式によって距離Ｚを算出
する。 Ｚ＝（Ｌ×Ｆ）／（λ×ｄ）

【００３９】前述の手法でカメラ３，１０３とカメラ
１，１０１の組み合わせによって得られた距離情報で
は、図８に示す板の影となる領域８０１の距離情報が検
出できない。一方、カメラ３，１０３とカメラ２，１０
２の組み合わせによって得られた距離情報では、図９に
示す板の影となる領域９０１の距離情報が検出できな
い。しかし、図８に示す板の影となる領域８０１の距離
情報が算出可能である。従って、図１の距離情報統合部
１３３において、カメラ３，１０３とカメラ１，１０１
の組で算出された距離情報およびカメラ３，１０３とカ
メラ２，１０２で算出された距離情報から、カメラ３の
画像（図１２）のすべての画素に対する距離情報を取得
することが可能となる。以上の操作によって得られた距
離情報を、例えばカメラ３の輝度画像に対応づけて３次
元画像メモリに記憶することで３次元画像生成を行う。

【００４０】なお、前述した例においては、カメラ３，
１０３と、カメラ１，１０１およびカメラ２，１０２の
二つの組を使用して、それぞれのカメラの組において影
となる部分を他方のカメラの組の画像で補い、死角のな
い距離画像を得るという実施例を提示したが、カメラと
被測定対象、例えばカラオケボックスにおける遊技者
（歌唱者）の距離がある程度離れていれば、遊技者によ
って影となる部分は、距離として算出されなくても遊技
者と背景を分離する作業には影響を及ぼさないため、カ
メラの組は一つであっても、人物の距離データの取得に
は十分である。複数のカメラの組を使用する構成に比べ
て、遊技者を切り出す精度は若干落ちるが、カメラの台
数、及び処理回路が低減できるためにコストダウンが可
能である。

【００４１】背景画像から人物像のみを切り出す処理
は、距離データの解析を実行し、例えば背景画像に比較
して近距離にある距離データを持つ画像を人物画像とし
て特定する処理により実行可能となる。前述の再コード
化処理によって得られる距離データから、ある閾値以下
の距離を持つ画像領域のデータを人物画像として特定
し、その特定領域の対応する領域にある輝度画像を抽出
して、抽出した輝度画像と距離データにより人物のみの
３次元画像を生成することが可能となる。

【００４２】輝度情報と距離情報を用いて特定の画像、
例えば遊技者（歌唱者）を切り出す手法について説明す
る。以下の実施例は、前述の距離撮像装置のカメラ３，
１０３とカメラ１，１０１（図１，２参照）の一つのカ
メラの組み合わせを使用した例として説明する。

【００４３】図１３は、遊技者Ｐを撮像したときの輝度
画像の一例を示す。なお、同図において、Ｐａは人物画
像、Ｂは背景画像、Ｃは表示装置画像である。第１のカ
メラ３，１０３の輝度画像用ＣＣＤカメラで人物画像Ｐ
ａ、背景画像Ｂおよび表示装置画像Ｃを撮像することに
よって得た画像が輝度画像として輝度画像メモリ３，１
２５に格納される。この輝度画像は、人物Ｐの表面から
第１のカメラ３，１０３の受光部に入る光の輝度を各画
素毎に分類したものである。

【００４４】図１４は、人物Ｐａを撮像したときの距離
画像の一例を示す。第２のカメラ１，１０１の距離画像
用ＣＣＤカメラで背景および人物Ｐａに投影された投影
パターン光の反射光を撮像することに基づく投影パター
ンの変形量から距離に応じた領域に分類し、分類された
領域毎の画素に距離コードを割り付けることにより距離
画像を形成する。この距離画像は、第２のカメラ１，１
０１の受光部から対象物各点までの距離を各画素値と
し、２次元に配列したものである。同図においては人物
画像Ｐａが紙面方向における最前に位置しており、その
後方に図１３に示すＣに対応する領域１４０４が位置
し、更にその後方に領域１４０１が位置し、更にその後
方に領域１４０２が位置し、最も後方に領域１４０３が
位置している。これらの距離データを画面上で表示する
距離画像表示方法として、例えば、輝度の大小で表現す
ることができ、紙面手前側の領域における輝度を大に
し、紙面奥方向に輝度が小になるように表現しても良
い。

【００４５】図１５は、距離画像に基づいて人物画像Ｐ
ａとその他の背景部分１５０１を分離した画像を示し、
人物画像Ｐａの部分の画素値を１（白）、その他の背景
部分１５０１の画素値を０（黒）として表示している。
距離画像を取得する際にノイズ等が重畳することによっ
て距離画像で１であるべき画素が０になることがある。
同図においては人物画像Ｐａの部分にノイズによる画素
値０のドット１５０２が形成されている。

【００４６】図１６は、補間処理を行った距離画像を示
し、人物画像Ｐａの部分においてノイズが重畳している
０の画素が周囲を１の画素で囲まれているとき、この０
の画素を１に変換する補間処理を行うことにより、人物
画像Ｐａの部分に含まれるノイズ等による不良画素が補
間された２値画像データが形成される。

【００４７】図１７は、人物画像Ｐａの部分画像を輝度
画像から抽出し、その他を画素値０の背景１７０１とし
て形成したデータを示す。このような処理によって、遊
技者である人物と、背景を分離して表示する構成、すな
わち、人物データのみの表示が可能となる。

【００４８】以上の形態により、遊技者Ｐに投影された
投影パターン光を第１および第２のカメラ3，1で撮像す
ることによって得られる距離画像に基づいて輝度画像か
ら人物Ｐの画像領域を抽出するようにしたので、人物Ｐ
のみの画像を抽出することができる。また、遊技者を抽
出する際に特殊な設備や操作が不要であるので使い勝手
を向上させることができる。

【００４９】（１−２）強度変調光を用いた３次元形状
測定手法 次に、強度変調光を用いた３次元形状測定手法について
説明する。本構成も、上述の再コード化法と同様、正確
な３次元画像を得るために必要となる距離データと、輝
度画像を同時に取得して、リアルタイムに３次元画像を
生成して表示することを可能とした手法である。さら
に、特定の距離にある画像、例えば背景と人物が混在し
た画像から人物画像のみを取り出して表示することを可
能とする手法である。

【００５０】図１８は、強度変調光を用いた３次元形状
測定を実現する三次元形状計測装置構成例を示す。この
装置１８０１は、変調信号を発生する変調信号発生器１
８０２と、変調信号発生器１８０２からの変調信号に基
づいて強度変調されたレーザ光からなる照明光１８０４
ａを出射する半導体レーザ１８０３と、半導体レーザ１
８０３からの照明光１８０４ａを対象物体１８０６に向
けて照射する投影レンズ１８０５と、対象物体１８０６
で反射した反射光１８０４ｂを光学フィルタ１８０８を
介して平面センサ１８０９上に結像させる結像レンズ１
８０７と、半導体レーザ１８０３からの照明光１８０４
ａを透過させるとともに、反射させ、その反射させたレ
ーザ光を参照光１８０４ｃとして光学フィルタ１８０８
を介して平面センサ１８０９上に導くハーフミラー１８
１０と、対象物体１８０６と光学フィルタ１８０８との
間に配置された第１のシャッタ１８１１Ａと、ハーフミ
ラー１８１０と光学フィルタ１８０８との間に配置され
た第２のシャッタ１８１１Ｂと、平面センサ９の出力信
号を濃淡情報として記憶する２次元の画像メモリ１８１
２と、画像メモリ１８１２に記憶された濃淡情報に基づ
いて対象物体１８０６の表面形状に関する距離データを
２次元的に算出する距離演算部１８１３と、この装置１
８０１の各部を制御するＣＰＵ１８１４とを有する。

【００５１】第１および第２のシャッタ１８１１Ａ，１
８１１Ｂとしては、例えば、偏光子と検光子の間に透明
電極を両端に設けた電気光学効果を有する単結晶板を配
置したものを用いることができる。なお、液晶，機械式
等を用いてもよい。また、本実施の形態では、電圧印加
（ＯＮ）によって入射光を透過するものを用いる。

【００５２】図１９は、平面センサ１８０９を構成する
１つの画素回路を示す。平面センサ１８０９は、振幅検
出モードと光量検出モードとを有し、２次元状に配列さ
れた複数の画素を備える。１つの画素は、フォトダイオ
ード１９００と、第１のバイパス回路切り替え部１９０
１Ａと、ハイパスフィルタ（ＨＰＦ:High Pass Filter)
１９０２と、比較器１９０３ａ，ダイオード１９０３
ｂ，コンデンサ１９０３ｃからなるピークホールド回路
１９０３と、電流変換回路１９０４と、第２のバイパス
回路切り替え部１９０１Ｂと、第１のバイパス回路切り
替え部１９０１Ａと第２のバイパス回路切り替え部１９
０１Ｂとに接続され、ＨＰＦ１９０２とピークホールド
回路１９０３をバイパスするバイパス配線１９０５と、
スイッチ１９０６と、電荷蓄積回路１９０７とを備え
る。

【００５３】図２０（ａ）〜（ｄ）は、平面センサ１８
０９の動作を示す。第１および第２のバイパス回路切り
替え部１９０１Ａ，１９０１ＢをＡ側に設定すると、同
図（ａ）に示すように、フォトダイオード１９００から
信号Ｓａが出力され、そのフォトダイオード１９００の
出力信号Ｓａは、ＨＰＦ１９０２でＤＣ成分Ｖ0がカッ
トされて同図（ｂ）に示す高周波信号Ｓｂとなり、ピー
クホールド回路１９０３に入力される。ピークホールド
回路１９０３により同図（ｃ）に示すように振幅のピー
ク値が保持されたピーク値信号Ｓｃが出力される。この
ピーク値信号Ｓｃは非常に低電圧であり、検出が困難で
あるため、電流変換回路１９０４により電流に変換して
から電荷蓄積回路１９０７に一定時間蓄積している。電
荷蓄積回路１９０７の蓄積電圧Ｓｄは、同図（ｄ）に示
すように、直線的に増加し、レーザ光の変調周波数ω／
２πと比較して十分大きな時間Ｔ1の期間積分すると、
容易に検出可能な電圧値Ｖとなる。この電圧値Ｖは合成
光の振幅に比例することは明らかである。データ転送期
間Ｔ2に電圧値Ｖは距離演算部１８１３に転送される。
電荷蓄積回路１９０７からは、対象物体１８０６からの
強度変調光の振幅が検出され、対象物体１８０６までの
距離に対応した位相データを含んだ画像信号が得られ
る。放電期間Ｔ3で電荷蓄積回路１９０７はスイッチ１
９０６により接地され、蓄積された電荷は放出され、そ
の後再び蓄積が開始される。一方、第１および第２のバ
イパス回路切り替え部１９０１Ａ，１９０１ＢをＢ側に
設定すると、フォトダイオード１９００の出力信号Ｓａ
は直接電荷蓄積回路１９０７に入力され、対象物体１８
０６からの定常光の平均輝度が検出され、対象物体６の
輝度データが得られる。これらの回路によりフォトダイ
オード１９００の出力信号Ｓａの高周波成分の振幅を電
圧の形で検出することが可能となる。

【００５４】次に、本装置１８０１の動作を図２１およ
び図２２をも参照し、図２３のフローチャートに従って
説明する。図２１（ａ），（ｂ）は、反射光１８０４ｂ
の位相遅れにより合成光の振幅が変化することを計算機
シミュレーションにより表した図である。図２２（ａ）
は、照明光１８０４ａ、参照光１８０４ｃおよび外光１
８０４ｄによる撮像状態を示し、図２２（ｂ）は、照明
光１８０４ａおよび外光１８０４ｄによる撮像状態を示
し、図２２（ｃ）は、参照光１８０４ｃのみによる撮像
状態を示す。

【００５５】（１）照明光１８０４ａ、参照光１８０４
ｃおよび外光１８０４ｄによる撮像 ここでは、図２２（ａ）に示すように、強度変調された
照明光１８０４ａ、参照光１８０４ｃ、および外光１８
０４ｄを用いた照明条件で対象物体１８０６を撮像する
（図２３、Ｓ２３０１）。すなわち、ＣＰＵ１８１４
は、変調信号発生器１８０２への制御信号により、半導
体レーザ１８０３から強度変調された照明光１８０４ａ
を発生させる。また、ＣＰＵ１８１４は、第１および第
２のシャッタ１８１１Ａ，１８１１Ｂへの制御信号によ
り、両シャッタ１８１１Ａ，１８１１Ｂを開状態にし、
対象物体１８０６からの反射光１８０４ｂ、および参照
光１８０４ｃを全て透過させる。すなわち、半導体レー
ザ１８０３からの照明光１８０４ａは、投影レンズ１８
０５を介してハーフミラー１８１０に入射する。ハーフ
ミラー１８１０に入射した照明光１８０４ａは、透過す
る光と反射する光に２分される。ハーフミラー１８１０
を透過した照明光１８０４ａは、対象物体１８０６に照
射され、対象物体１８０６で反射した反射光１８０４ｂ
は、結像レンズ１８０７、および第１のシャッタ１８１
１Ａを通り、光学フィルタ１８０８を介して平面センサ
１８０９上に結像される。ハーフミラー１８１０で反射
した参照光１８０４ｃは、第２のシャッタ１８１１Ｂお
よび光学フィルタ１８０８を介して平面センサ１８０９
に入射する。従って、平面センサ１８０９には、反射光
１８０４ｂと参照光１８０４ｃとの合成光が入射する。
また、ＣＰＵ１８１４は、平面センサ１８０９への制御
信号により、平面センサ１８０９の光検出モードを強度
変調光の振幅を検出する振幅検出モードに設定する。こ
の状態で撮像することにより、後述する式（６）で表さ
れるような反射光１８０４ｂと参照光１８０４ｃとの合
成光の振幅情報が濃淡情報（画像データＡｎ）として画
像メモリ１８１２に記憶される。

【００５６】（２）照明光１８０４ａおよび外光１８０
４ｄによる撮像 ここでは、図２２（ｂ）に示すように、強度変調された
照明光１８０４ａを照射し、参照光１８０４ｃを遮光
し、外光１８０４ｄが照射された状態で対象物体１８０
６を撮像する（図２３、Ｓ２３０２）。すなわち、ＣＰ
Ｕ１８１４は、変調信号発生器１８０２への制御信号に
より半導体レーザ１８０３から強度変調された照明光１
８０４ａを発生させる。また、ＣＰＵ１８１４は、第１
および第２のシャッタ１８１１Ａ，１８１１Ｂへの制御
信号により、第１のシャッタ１８１１Ａを開状態にし、
第２のシャッタ１８１１Ｂを閉状態にして、対象物体１
８０６からの反射光１８０４ｂを透過させ、参照光１８
０４ｃを遮光し、また、平面センサ１８０９への制御信
号により、平面センサ１８０９の光検出モードを強度変
調光の振幅を検出する振幅検出モードに設定する。この
状態で撮像することにより、後述する式（７）で表され
るような反射光１８０４ｂの振幅情報が濃淡情報（画像
データＢｎ）として２次元的に画像メモリ１８１２に記
録される。

【００５７】（３）参照光１８０４ｃのみによる撮像 次に、ＣＰＵ１８１４は、半導体レーザモニタ出力線１
８１４ａを監視し（Ｓ２３０３）、レーザ出力の変動が
設定された閾値より大きい場合は、以下の撮像を行う
（Ｓ２３０４）。レーザ出力の変動が設定された閾値よ
り小さい場合は、撮像を終了する。但し、本装置１８０
１の起動時に１回だけ以下の撮像を行って得られた濃淡
情報（画像データＣｎ）を画像メモリ１８１２に格納し
ておき、後述する距離データの算出に用いる。ここで
は、図２２（ｃ）に示すように、対象物体１８０６から
の反射光１８０４ｂを遮光し、参照光１８０４ｃのみを
撮像する。すなわち、ＣＰＵ１８１４は、変調信号発生
器１８０２への制御信号により、半導体レーザ１８０３
から強度変調された照明光１８０４ａを発生させる。ま
た、ＣＰＵ１８１４は、第１および第２のシャッタ１８
１１Ａ，１８１１Ｂへの制御信号により、第１のシャッ
タ１８１１Ａを閉状態にし、第２のシャッタ１８１１Ｂ
を開状態にして、対象物体１８０６からの反射光１８０
４ｂを遮光し、参照光１８０４ｃを透過させる。また、
平面センサ１８０９への制御信号により、平面センサ１
８０９の光検出モードを強度変調光の振幅を検出する振
幅検出モードに設定する。この状態で撮像することによ
り、後述する式（８) で表されるような参照光１８０４
ｃによる振幅情報が濃淡情報（画像データＣｎ）として
２次元的に画像メモリ１８１２に記録される。

【００５８】（４）距離データを２次元的に算出 距離演算部１８１３では、このように撮像された２〜３
枚の画像データＡｎ，Ｂｎ，Ｃｎを基に後述する式（１
２）により距離データを２次元的に算出する（Ｓ２３０
５）。

【００５９】以下、この算出ついて詳細に説明する。変
調の角周波数をω、振幅を２Ｅとすると、半導体レーザ
１８０３から放射される強度変調光からなる照明光１８
０４ａは、次のように表される。 Ｉ₀＝Ｅ（ｓｉｎωｔ＋１）…（１）

【００６０】対象物体１８０６までの距離が０〜２．５
ｍとすると、必要とされる変調周波数は３０ＭＨｚとな
る。ハーフミラー１８１０の光透過率をａ、対象物体１
８０６上のある点での反射係数をＣn とすると、その点
が平面センサ１８０９上に結像された地点ｎに入射する
反射光１８０４ｂの強度は、外光１８０４ｄの強度をｅ
とすると、次の式（２）のように表される。 Ｉn＝ｄ1Ｃn・ａＥ｛ｓｉｎ（ωｔ＋φn）＋１｝＋ｅ…（２）

【００６１】ここで、ｄ1は本装置１の光学系（投影系
および結像系）で決まる定数、φnは平面センサ１８０
９上に入射する光の光源からの飛行距離に起因する位相
遅れである。（半導体レーザ１８０３〜対象物体１８０
６）＋（対象物体１８０６〜平面センサ１８０９）間の
距離をＬとすると、 φn＝ωＬ／Ｃ ただし、Ｃは光速

【００６２】一方、ハーフミラー１８１０の反射率をｂ
とし、半導体レーザ１８０３から平面センサ１８０９ま
での光路長、および平面センサ１８０９の大きさが変調
波の波長と比較して十分に小さいとすると、平面センサ
１８０９上での参照光１８０４ｃの強度は一様となり、
平面センサ１８０９上の地点ｎでは、次の式（３）のよ
うに表される。 Ｒn＝ｄ2ｂＥ（ｓｉｎωｔ＋１）…（３）ここで、ｄ2
は本装置１８０１の光学系（結像系）で決まる定数であ
る。

【００６３】平面センサ１８０９上の地点ｎでの光の強
度Ｐnは、反射光１８０４ｂと参照光１８０４ｃの合成
光となり、式（２）と式（３）の加算により次の式
（４）のように表される。

【００６４】

【数１】 ただし、

【００６５】

【数２】

【００６６】図２１（ａ）では、対象物体１８０６まで
の距離が比較的小さい場合、つまり位相遅れが小さい場
合（π／４遅れ）であり、合成光の振幅は大きくなる。
図１９（ｂ）では、対象物体１８０６までの距離が比較
的大きい場合、つまり位相遅れが大きい場合（７π／８
遅れ）であり、合成光の振幅は小さくなる。合成光は、
上記式（４）で表されるように、ＤＣ成分 （ｄ1Ｃnａ＋ｄ2ｂ）Ｅ＋ｅ および、高周波成分

【００６７】

【数３】

【００６８】の和となる。振幅項の中に現れるｄ1・Ｃn
・ａＥおよびｄ2・ｂＥは、強度変調しないした光を照
射したときの反射光（物体１８０６の表面反射率を含
む）１８０４ｂおよび参照光１８０４ｃの振幅成分であ
るので、予め次のように測定しておくことが可能であ
る。

【００６９】図２２（ａ）の撮像状態のとき、平面セン
サ１８０９に入射する強度変調光の振幅を２Ａnとする
と、Ａnは次の式（６）のように表される。

【００７０】

【数４】

【００７１】図２２（ｂ）の撮像状態のとき、平面セン
サ１８０９に入射する光の強度は次のように表される。
強度変調光の振幅を２Ｂnとすると、Ｂnは次のように表
わされる。 Ｂn＝ｄ1ＣnａＥ …（７）

【００７２】図２２（ｃ）の撮像状態のとき、平面セン
サ１８０９に入射する光の強度は次のように表される。 Ｃn＝ｄ2ｂＥ …（８）

【００７３】式（６），（７），（８）より、合成波の
振幅は、次の式（９）のように表される。

【００７４】

【数５】

【００７５】光源である半導体レーザ３と対象物体６と
の距離、および対象物体６と平面センサ９との間の距離
をＬ、光速をＣとすると、位相遅れφnは、次の式（１
１）ように表される。 φn＝ωＬ／Ｃ…（１１）

【００７６】上記式（９），（１１）より距離Ｌは、先
に述べた３種類の画像データＡｎ，Ｂｎ，Ｃｎにより次
のように表される。

【００７７】

【数６】

【００７８】従って、対象物体１８０６までの距離を算
出するには、３種類の画像データＡｎ，Ｂｎ，Ｃｎを検
出すればよいことになる。式（１２）には対象物体１８
０６の反射係数Ｃn、光学系に起因する定数ｄ1，ｄ2、
および外光強度ｅが含まれないので、どのような反射率
分布を持った物体をどのような外光４ｄ下で撮像しても
距離情報を取得することができる。

【００７９】以上が、強度変調光を用いた３次元形状測
定手法である。上述の手法によって得られる輝度情報と
距離情報を用いて特定の画像、例えば遊技者（歌唱者）
を切り出す手法については、前述の（１−１）再コード
化による３次元形状測定手法の後半部分における説明、
すなわち、図１３〜図１７を用いた説明と同様の手法が
適用できる。この強度変調光を用いた３次元形状測定処
理によっても、遊技者である人物と、背景を分離して表
示する構成、すなわち、人物データのみの表示が可能と
なる。

【００８０】（１−３）反射光強度計測による画像切り
出し方法 次に、反射光強度計測による画像切り出し方法について
説明する。本方法の構成を適用した画像読取装置は、撮
像対象物の透過光や反射光に対して、異なる感度波長領
域での出力データが得られるように構成するもので、異
なる感度波長領域での各出力データを得て各出力データ
を画素毎に対応させることにより、切り出し等の画像処
理を容易に行うものである。異なる感度波長領域とは、
可視光領域と赤外線領域、可視光領域と紫外線領域、可
視光領域とＸ線領域等、撮像対象物に適したものを選択
する。例えば、自然風景及びこれを背景とした人物を撮
像対象とする場合には、可視光領域と赤外線領域に対応
する各出力データを得ることが適している。すなわち、
撮像対象物を人物、動物、植物、建造物、自然風景
（山：樹木等を除く、川、海、空)等とし、例えば、自
然風景を背景とする人物を撮像対象とした場合、可視光
領域での反射光から輝度画像（可視光線イメージ）を検
出する画像読取装置では、切り出そうとする人物像と背
景像とが同色の場合、人物像のエッジが検出できないと
いう場合がある。これは、可視光領域の反射スペクトル
が人物像と背景像とで類似していることに他ならない。
したがって、このような撮像対象物の画像を読み取る場
合、可視光以外のスペクトル帯域、例えば赤外域の反射
スペクトルを何等かのセンシングデバイスで画像データ
（赤外線イメージ）として検出すれば、人物と自然風景
での反射強度が異なるため、可視光線イメージでは区別
できない部分についても赤外線イメージでは分離するこ
とが可能になる。

【００８１】さらに、人物や動物、植物などの生命体
は、建造物や自然風景などの無機物とは違い自ら温度を
発するため、これらの温度を例えば中から遠赤外領域に
感度があるセンシングデバイス（赤外線イメージセン
サ）により検出すれば、物体からの輻射熱の差により両
者の違いをさらに明確に分離することが可能となる。こ
の場合に使用されるセンシングデバイスとしての赤外線
イメージセンサは、赤外線の波長領域である略７８０ｎ
ｍ〜１ｍｍにおいて感度を有するものであれば何でもよ
いが、特に非接触なものが適している。

【００８２】具体的には、ＣＣＤ等の撮像素子で可視光
領域から近赤外領域まで感度を持たせたものや、内部光
電効果型検出器や各種熱効果型検出器を使用する。内部
光電効果型検出器は、液体窒素や液体ヘリウム温度に保
った冷却型が主流を占め、高感度かつ時間応答性に優れ
ており、４０〜５０μｍ以下の波長域で広く実用化され
ている。各種熱効果型検出器は、波長２００μｍ以上の
遠赤外からミリ波の帯域に感度を有するものであり、ボ
ロメータ（Ｃ、Ｇｅ、Ｓｉ）や自由電子光電セル（ｎ型
インジウムアンチモン）、ジョセフソン検出器等があ
る。

【００８３】これら赤外線イメージセンサから得られた
赤外線イメージと、可視光領域において固体撮像素子で
あるＣＣＤや真空管を用いた撮像管などの撮像素子で得
られた輝度画像（可視光線イメージ）とを画素毎に対応
させるようにすれば、撮像素子で得られた二次元の画像
中で、背景となる建造物や自然風景などから手前側にあ
る人物や動物あるいは植物などを切り出すことは、可視
光線イメージに対応した赤外線イメージを用いた画像処
理により容易に行うことができる。

【００８４】また、固体撮像素子を利用した赤外線イメ
ージセンサから得られる赤外線イメージは、可視光線領
域に感度がある通常の固体撮像素子から得られる可視光
線イメージと同様に簡単に得られるので、データ取得の
際の時間の制約やシステムの大型化からくるコストアッ
プ等の問題も生じない。

【００８５】赤外線イメージセンサから得られる赤外線
イメージは、測定対象に温度差があればデータとして区
別できるので、同質の物体の一方が加熱あるいは冷却さ
れた場合においてもその違いの検出が可能である。

【００８６】さらに個体認証の分野において人物認識す
る際に、二次元の画像情報（輝度情報）のみで識別する
際の認識率の低下を防止することにも有効である。すな
わち、赤外線イメージセンサを使用すれば、人物像の顔
等からの赤外線イメージが取得できるため、赤外線イメ
ージからの人物の特徴抽出も可能となり、可視光線イメ
ージからの特徴化と併用することにより、認識率の向上
に貢献できる。また、外見を似せたマスク（お面）等で
人物認識に誤認識が発生する場合でも、赤外線イメージ
センサを使用することにより、赤外線イメージでの顔部
分における比較が可能であるため、マスク使用の有無を
判断でき誤認識を防止できる。

【００８７】反射光強度計測による画像切り出し方法を
適用した画像読取装置について、図面を参照しながら説
明する。図２４は、画像読取装置のブロック結線図及び
この画像読取装置により読み取られる測定対象（撮像対
象物）を示す説明図である。測定対象物には、一般的な
対象として手前側に人物や動物、樹木などの植物、これ
らの背景として建造物及び山を想定している。画像読取
装置は、撮像対象物からの自然光による反射光をその強
度に応じた複数画素の出力データとして検出する可視光
線イメージセンサ２４０１と、撮像対象物からの自然光
による反射光をその強度に応じた複数画素の出力データ
として検出する赤外線イメージセンサ２４０２と、可視
光線イメージセンサ２４０１及び赤外線イメージセンサ
２４０２より得られた各出力データを画素毎に相互に対
応させる画像処理装置（出力データ対応手段）２４０３
と、前記画像読取装置で得た画像情報を外部に出力する
外部出力装置２４０４と、から構成されている。

【００８８】可視光線イメージセンサ２４０１は、可視
光線に対して感度波長領域を有する撮像装置であり、例
えば、固体撮像素子である二次元のＣＣＤを用いる。モ
ノクロのＣＣＤでは、測定対象からの可視光線の反射光
量に応じて、対象物を濃淡画像として現すことができ、
一画素ごとの輝度値としてのデータを可視光線イメージ
（出力データ）として得ることができる。また、カラー
読み取り対応のＣＣＤを用いてもよく、その場合はＲＧ
Ｂの３色のフィルターを用いて可視光線領域を３分割
し、ＲＧＢの色調ごとの輝度画像（可視光線イメージ）
を得る。

【００８９】赤外線イメージセンサ２４０２は、赤外線
領域に感度波長領域を有する撮像装置であり、例えば、
ＣＣＤと同様な固体撮像素子を用いている。使用したＣ
ＣＤは、分光感度が３２０ｎｍ〜１１００ｎｍである
が、可視光線領域である７８０ｎｍ未満の領域をフィル
タにより遮断し、７８０ｎｍ以上の赤外線領域のみに感
度を持たせたものである。この赤外線イメージセンサ
（固体撮像素子）によれば、ＣＣＤと同様に一画素ごと
に赤外線イメージ（出力データ）が高速に得られ、また
小型化も可能である。また、対象物を室内で撮像する場
合は、赤外線を発する光源を用いればさらに効果的に赤
外線イメージを取得できる。

【００９０】画像処理装置（出力データ対応手段）２４
０３は、可視光線イメージセンサ２４０１で取り込んで
可視光線イメージと、赤外線イメージセンサ２４０２で
取り込んで赤外線イメージとをそれぞれ一時的にデータ
バッファ（図示せず）で格納した後、各出力データ（イ
メージデータ）を一画素毎に相互に対応させて新たな画
像データとして記憶するものである。画像処理装置２４
０３により一画素単位で対応づけられた可視光線イメー
ジと赤外線イメージとから成る画像データは、外部出力
装置２４０４からコンピュータ等の外部装置へ出力さ
れ、この画像データにより切り出し処理等の画像処理が
行われる。

【００９１】画像処理装置２４０３において画素毎の対
応付けを行うに際しては、あらかじめ既知の大きさと輝
度値を持ちかつ既知の赤外線反射スペクトル特性や温度
分布を持つ基準物体について、可視光線イメージセンサ
２４０１及び赤外線イメージセンサ２４０２にて撮像を
行うことにより、どの画素同士が対応しているのかの校
正をとっておく必要がある。あるいは、別の方法として
は、固体撮像素子の画素数や配置が同じ可視光線イメー
ジセンサ及び赤外線イメージセンサを使用し、かつ、両
者の光軸を一致させて光路長及び画角を一致する光学系
（図示せず）を介在させ、可視光線イメージセンサ及び
赤外線イメージセンサで読み取る撮像対象物の位置がセ
ンサの画像上で同一位置となるように設定すれば、前記
したような校正をとる必要はない。

【００９２】上記画像読取装置によれば、可視光線イメ
ージセンサ２４０１で得られた可視光線イメージ２５１
０は図２５（ａ）に示すようになり、赤外線イメージセ
ンサ２４０２で得られた赤外線イメージ２５２０は図２
５（ｂ）に示すようになる。図２５（ａ）の可視光線イ
メージ２５１０は、背景画像から人物画像（切り出し対
象物）を切り出そうとする場合、右端の人物像２５１１
と背景の建造物２５１２の輝度画像が類似し、対象物の
エッジが検出できない場合を示している。すなわち、可
視光線イメージ２５１０では、右端の人物像２５１１の
頭部と背景の建造物２５１２との輝度値がほぼ同じ値で
あり、両者を分離できない。

【００９３】一方、赤外線イメージ２５２０では、人物
および動物、植物は、無機物の建造物に対して反射スペ
クトル強度が違い、また高い温度を保有しているため、
図２５（ｂ）に示すような像を得ることができる。これ
によれば、可視光線イメージ２５１０では背景との境が
明確でなかった右端の人物像２５２１についても、形状
の認識が可能となり、エッジを容易に検出することがで
きる。

【００９４】上記構造の画像読取装置によれば、外部出
力装置２４０４で出力された画像データは、可視光線イ
メージと赤外線イメージとの両方を保有しているため、
上述したような可視光線データでは背景画像と区別が困
難な人物や動物、植物の画像について、これを分離して
切り出し処理を行いたい場合、赤外線イメージでのデー
タを使用して前記人物画像等のエッジを抽出することに
より、背景画像から容易に切り出し処理を行うことが可
能となる。また、可視光線イメージセンサ２４０１と赤
外線イメージセンサ２４０２で画像を取り込むだけで、
可視光線イメージと赤外線イメージから成り画素毎に対
応付けられた画像データを得ることができるので、リア
ルタイム処理で背景画像から対象画像を容易に分離する
ことが可能となる。

【００９５】図２６は、本発明に係る画像読取装置の実
施の形態の他の例を示すブロック結線図である。図２４
と同様の構成をとる部分については同一符号を付して詳
細な説明を省略する。この画像読取装置では、可視光線
イメージセンサ及び赤外線イメージセンサの代りに一つ
の撮像装置２４０５（光検出手段）を設け、この撮像装
置２４０５の測定対象物からの反射光入射側に光学フィ
ルタ変換部２４０６を設けている。

【００９６】撮像装置２４０５にはＣＣＤを用いてい
る。ＣＣＤの分光感度は、先に述べたように３２０ｎｍ
〜１１００ｎｍであるため、可視光線領域と赤外線領域
をカバーできる。そこで、撮像装置５の測定対象側方向
手前（反射光入射側）に光学フィルタ変換部２４０６を
配置している。光学フィルタ変換部６は、赤外線領域を
遮断するフィルタ（赤外線フィルタ）と可視光線領域を
遮断するフィルタ（可視光線フィルタ）とが備えられ、
所定のタイミングでフィルタが切り替わるように駆動さ
れる。

【００９７】この画像読取装置によれば、光学フィルタ
変換部２４０６の動作により、一つの撮像装置２４０５
で可視光線イメージと赤外線イメージを得ることができ
小型化が可能になる。また、撮像装置２４０５で得られ
る可視光線イメージ及び赤外線イメージは、光軸を共通
として撮像対象物の同じ位置を読み取っているので、画
素毎の対応付けを行った読み取りを常に行うことがで
き、先の例で行ったような校正は必要なくなる。また、
光軸の合わせ込み等の光学系の調整や光を分岐させる装
置も不要となるので、更なる小型化を図ることができ
る。

【００９８】この画像読取装置では、画像を得る手順と
して、例えば赤外線フィルタを選択して撮像装置２４０
５において可視光線領域の可視光線イメージを得、次に
可視光線フィルタを選択して赤外線イメージを得た後、
画像処理装置２４０３により両者を一画素単位で対応づ
け、可視光線イメージと赤外線イメージを合わせ持った
画像データとして記憶し、外部出力装置２４０４に出力
する。当然ながら、先に可視光線フィルタを選択して赤
外線イメージを得て、その後に、可視光線イメージを得
るように撮像装置２４０５を動作させてもよい。赤外線
フィルタと可視光線フィルタの切り替えのタイミング
は、全画素取り込みを終了した後に切り替えてもよい
し、一フレームごとに切り替えてもよい。

【００９９】上記各例では、赤外線イメージセンサとし
てＣＣＤを用いたが、代りに赤外線感光フィルムを用い
てもよい。この場合、通常のアナログカメラを用い、可
視光線をカットするフィルタあるいは可視光の青領域の
みをカットするフィルタを装着して撮像を行う。また、
フィルム上の赤外線イメージは、ＣＤ−ＲＯＭに落とす
ことでデジタル化できる。これらのデジタル画像を用い
て、可視光線イメージ及び赤外線イメージの統合を行
う。

【０１００】上述した画像読取装置は、撮像対象物の反
射光（検出光）に対して、異なる感度波長領域で各出力
データが得られるように構成したが、一方又は両方の検
出光を撮像対象物の透過光とし、透過光に対して感度波
長領域を有する光検出装置を使用するものであってもよ
い。例えば、検出光を可視光（赤外線）の反射光と、Ｘ
線の透過光とし、可視領域（赤外線領域）とＸ線領域に
それぞれ感度波長領域を有する光検出装置を使用して得
られた各出力データを画素毎に対応させることにより、
可視光線（赤外線）イメージを使用することによりＸ線
で得られた画像データの認識誤差を少なくし、撮像対象
物の画像解析をより確実なものとすることができる。

【０１０１】本構成によれば、撮像対象物の透過光や反
射光に対して、異なる感度波長領域での出力データを取
り込むことにより、これらの出力データを画素毎に対応
させた画像を得ることができるので、データ取得の際の
時間の制約やシステムの大型化から生じるコストアップ
等の問題を生じさせることなく、リアルタイム処理で切
り出し等の画像処理を容易に行うことができる。すなわ
ち、可視光線領域と赤外線領域において感度を有する光
検出装置を設け、これらの出力データを対応させた画像
データを得ることにより、赤外線イメージを基に対応す
る可視光線イメージの輝度画像を抽出することにより、
所望の対象の輝度画像を容易に背景画像から切り出し処
理することが可能となる。

【０１０２】従って、前述の（１−１）再コード化によ
る３次元形状測定手法、（１−２）強度変調光を用いた
３次元形状測定手法に、本構成の（１−３）反射光強度
計測による画像切り出し方法を組み合わせて使用するこ
とにより、特定画像、例えば人物のみを取り出して、そ
の取り出した人物についての３次元画像を生成すること
が可能となる。

【０１０３】（２）画像表示処理手段 次に、上述の（１）３次元形状計測および画像切り出し
構成によって得られる画像データの表示手段の構成例に
ついて説明する。

【０１０４】図２７に示されるように、画像表示処理手
段は第１の画像源、第２の画像源を有する。第１の画像
源であるＣＲＴ１は、第１の画像１ａを発生する装置で
ある。第２の画像源であるＣＲＴ２０は、第１の画像源
であるＣＲＴ１に対向して配置され、第２の画像を発生
する装置である。図２９は、図２７の構成の原理を説明
する図である。

【０１０５】凹面鏡２は、第１の画像源であるＣＲＴ１
および第２の画像源であるＣＲＴ２０の対向軸３０に直
交する中心軸３１を有し、凹面の反射面２ａを有する。
ビームスプリッタ４は、中心軸３１に対して、ほぼ４５
度傾斜して、かつ、第１の画像源であるＣＲＴ１および
第２の画像源であるＣＲＴ２０に挟まれて配置され、入
射された光線を２つに分ける装置である。

【０１０６】直線偏光板５は、中心軸３１に対して直交
して、かつ、ビームスプリッタ５および観察者３２の眼
との間に配置され、入射された光線を偏光させる装置で
ある。１／４波長板３は、中心軸３１に対して直交し
て、かつ、凹面鏡２およびビームスプリッタ４との間に
配置され、入射された光線の振動方向に位相差を生じさ
せる装置である。

【０１０７】ここで、図２８に示されるように、ＣＲＴ
１の画像１ａからの光線（１００％）は、ビームスプリ
ッタ４により、光線７（５０％）として１／４波長板３
の方に反射される。光線７の残りの５０％は、ビームス
プリッタ４を通過する。反射した偏光しない光線７は、
１／４波長板３を通過し、光線８（５０％）となる。こ
こで、光線７は偏光していないため、１／４波長板３
は、光線７に振動方向に位相差を発生させて、回転させ
ることはない。光線８は、凹面鏡２により光線９（４
２．５％）として反射され、一点に集中し始める。偏光
しない光線９は、１／４波長板３を通過し、光線１０
（４２．５％）となる。次に、光線１０（４２．５％）
は、ビームスプリッタ４を、半分の２１．２５％が通過
し、光線１１となる。偏光しない光線１１は、直線偏光
板５を通過し、元の画像１ａの約１０．６％となり偏光
した光線１２（１０．６２５％）となる。光線１２は、
焦点の一点に集中し、像６（１０．６２％）が外部空間
に形成され、観察者３２は、像６を立体的に見る。

【０１０８】ここで、第１の画像源及び前記第２の画像
源は、ＣＲＴ１，ＣＲＴ２０のみならず、図示されない
液晶表示装置、プラズマディスプレイ装置、装飾ライ
ト、その他一切のディスプレイ装置を含み、あるいは、
実物の場合も有る。さらに、直線偏光板５の表面には、
光線の反射を減少するコーティングが施され、あるい
は、光線の反射を減少するフィルムが貼られることが好
適である。さらに、１／４波長板３の表面には、光線の
反射を減少するコーティングが施され、あるいは、前記
光線の反射を減少するフィルムが貼られることが好適で
ある。

【０１０９】また、図３０に示される本発明の他の実施
の形態のように、１／４波長板３は、凹面鏡２の反射面
２ａに貼られる場合も有る。

【０１１０】また、図３１に示される本発明の他の実施
の形態のように、第１の画像源と、第２の画像源とを直
交した位置に配置する構成としてもよい。

【０１１１】すなわち、図３１に示す構成は、第1の画
像源１が、凹面鏡２に対向して、凹面鏡２の焦点距離の
２倍の距離あるいは２倍の距離の近傍に配置され、ビー
ムスプリッタ４が、凹面鏡２と第１の画像源１との対向
軸３１に対して、ほぼ４５度傾斜して、凹面鏡２と第１
の画像源１との間に配置され、第２の画像源２０は、ビ
ームスプリッタ４を介して観察者３２に対向して、対向
軸３１の垂直方向に配置された構成を有する。本構成に
おいて、第1の画像源１から発生する第１の画像は、ビ
ームスプリッタ４を通過して凹面鏡２においてビームス
プリッタに４向かって反射し、さらに、ビームスプリッ
タ４により観察者３２に向かって反射して空中に浮かん
だ立体画像として表示され、第２の画像源２０から発生
する第２の画像は観察者３２に向かってビームスプリッ
タ４を通過し、平面画像として表示される。

【０１１２】上記各種構成を持つ画像表示装置により、
撮影された遊技者のみの画像を第1の画像源であるＣＲ
Ｔなどに表示することによって、観察者３２が遊技者が
空中に浮いて歌っているように見ることができる。

【０１１３】前述の（１）３次元形状計測および画像切
り出し構成によって得られる画像データと、（２）画像
表示処理手段で説明した図２７、あるいは図３０に示す
画像表示手段構成を併せて構成したカラオケシステムの
構成を図３２に示す。

【０１１４】図３２において、遊戯者３１００の画像を
撮影し、画像切り出しを実行するのが前述の（１）３次
元形状計測および画像切り出し構成において説明した遊
戯者画像抽出処理手段３１０１であり、遊戯者画像抽出
処理手段３１０１の出力する遊戯者画像を第1画像源と
し、様々な背景画像のデータベースである背景画像アー
カイブ３１０３から画像を指定する画像指定手段３１０
５によって選択された画像を出力する背景画像出力手段
３１０４から出力される画像を第2画像源に供給する

【０１１５】第1画像源と、第2画像源とから合成画像を
生成して表示する構成は、前述の（２）画像表示処理手
段で説明した図２７、あるいは図３０と同様の画像表示
手段３１０２である。例えば従来のカラオケシステムを
併せて適用する場合は、通常のカラオケで使っている画
像を図３２の背景画像出力手段から第2の画像源に出力
し、撮影された遊技者のみの画像を第1の画像源から出
力する。このように構成することにより、通常のカラオ
ケで使っている画像の前面に遊技者が空中に浮いて歌っ
ている立体表示を行なうことができる。仮に立体表示を
使用しない場合は、第1の画像源を表示しなければ従来
通りのカラオケシステムを利用できる。ユーザが人物を
表示したいときのみ第1の画像源に切り出した人物像を
表示すればよい。

【０１１６】従来のカラオケシステムの表示画像をデジ
タル画像にして、カラオケの歌詞画像データと背景映像
データを分離可能とした場合は、背景映像データを第2
の画像源から表示し、カラオケの歌詞を第２の画像源か
ら出力することを停止し、第1の画像源から表示する構
成とする。このように構成することにより、カラオケの
歌詞画像のみが背景画像から浮き出たように表示するこ
とが可能となる。図３３に、歌詞画像のみを取り出して
第1画像源に出力する構成を示す。図３２の構成との差
異はデータ選択手段３１０６を有する点である。データ
選択手段３１０６は、歌詞画像データのみを分離し、画
像表示手段３１０２の第1画像源に出力している点であ
る。図３３の構成では、カラオケの歌詞画像のみなら
ず、撮影した遊戯者の画像を併せて第１の画像源から表
示して、歌詞画像と遊戯者画像が背景映像から浮き出た
画像として表示する構成である。第１の画像からの出力
画像は、遊戯者のみ、歌詞のみ、遊戯者と歌詞の両画像
データ等、出力データに関する切り換えスイッチ構成を
設置することにより、ユーザの好みによって選択可能と
することができる。

【０１１７】また、第2の画像からの出力画像として
は、例えばコンサート会場の映像を表示することによ
り、第1の画像現から出力される歌っている人間の画像
が、第2の画像源から表示されるコンサート会場で歌っ
ているような表示が可能になる。また、夏をイメージし
た曲の場合は、南の島のイメージを第2の画像源からの
出力画像として用い、また、スキーなどをテーマにした
曲の場合は、スキー場のイメージなどを第2の画像源か
らの出力画像として選ぶことによって、イメージに応じ
た画像表示が可能になり、歌っている人間が、より気分
を高揚することが可能になると考えられる。

【０１１８】図３４に画像イメージの例を示す。（ａ）
は、第1の画像として遊戯者画像を用い、第2の画像とな
る背景画像として砂浜のイメージを併せて構成したもの
である。遊戯者（歌唱者）の画像は砂浜を背景として浮
き出したように観察することが可能となる。（ｂ）は、
第1の画像として遊戯者画像を用い、第2の画像となる背
景画像として劇場のランドスケープイメージを併せて構
成したものである。遊戯者（歌唱者）の画像は劇場を背
景として浮き出したように観察することが可能となる。

【０１１９】（ｃ）は、第1の画像として遊戯者画像と
歌詞画像を用い、第2の画像となる背景画像として砂浜
のイメージを併せて構成したものである。遊戯者（歌唱
者）の画像と歌詞画像が砂浜を背景として浮き出したよ
うに観察することが可能となる。（ｄ）は、第1の画像
として遊戯者画像と歌詞画像を用い、第2の画像となる
背景画像として劇場のランドスケープイメージを併せて
構成したものである。遊戯者（歌唱者）の画像と歌詞画
像が劇場を背景として浮き出したように観察することが
可能となる。

【０１２０】図３５にカラオケスタジオに本発明のシス
テムを導入したイメージ図を示す。遊戯者３４０１の画
像は、カメラ３４０２によって撮像され、前述した
（１）３次元形状計測および画像切り出し構成に基づい
て、遊戯者の画像のみが切り出して前述した画像表示処
理手段の第1画像として供給する。また、カラオケ用の
画像から歌詞画像データのみを取り出して第1画像源に
供給する。背景画像は第2画像として供給する。この構
成により、遊戯者画像３４０３と、歌詞画像３４０４が
背景画像に対して浮き出した表示を行なうことが可能と
なる。

【０１２１】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。

【０１２２】

【発明の効果】以上述べたように、本発明のカラオケ用
立体画像表示装置およびカラオケ用立体画像表示方法に
よれば、投影したパターンを同じ光軸で撮影したパター
ンを用いて再コード化する再コード化法、あるいは強度
変調光を用いた３次元形状計測装置によって被写体とし
ての例えば遊戯者（歌唱者）を含む画像の３次元データ
を取得するとともに、距離データに基づく特定領域画
像、すなわち歌唱者である人物画像の取り出し、あるい
は赤外データによる人物画像の取り出しを実行して、遊
戯者（歌唱者）のみの３次元画像を表示手段により表示
することにより、遊戯者（歌唱者）が空中に浮遊したよ
うな立体画像を表示することが可能となる。すなわち、
遊技者が歌っている姿をリアルタイムに取り込み、なお
かつ遊技者とその背景を自動的に分離し、遊技者を立体
画像として表示が可能になり、また、その遊技者が実際
に歌っているカラオケボックスやカラオケバーの様な場
所ではなくコンサート会場や屋外の曲のイメージや個人
の嗜好にあったイメージの場所を背景とする事によって
臨場感あふれる魅力あるカラオケ用立体画像表示装置が
実現される。また、遊技者がその映像を見ることによっ
て歌を歌う際の感情移入が容易になり、魅力あふれるカ
ラオケシステムが実現される。

【図面の簡単な説明】

【図１】本発明のカラオケ用立体画像表示装置において
使用可能な再コード化法を用いた３次元形状計測装置の
構成例を示すブロック図である。

【図２】本発明のカラオケ用立体画像表示装置において
使用可能な再コード化法を用いた３次元形状計測装置の
カメラ構成例を示すブロック図である。

【図３】本発明のカラオケ用立体画像表示装置において
使用可能な再コード化法を用いた３次元形状計測装置の
撮像構成を説明する図である。

【図４】本発明のカラオケ用立体画像表示装置において
使用可能な再コード化法を用いた３次元形状計測装置の
処理フローを示す図である。

【図５】本発明のカラオケ用立体画像表示装置において
使用可能な再コード化法を用いた３次元形状計測装置の
投影パターンのコード化の例を示す図である。

【図６】本発明のカラオケ用立体画像表示装置において
使用可能な再コード化法を用いた３次元形状計測装置の
撮影構成例を示す図である。

【図７】本発明のカラオケ用立体画像表示装置において
使用可能な再コード化法を用いた３次元形状計測装置の
投影パターン例を示す図である。

【図８】本発明のカラオケ用立体画像表示装置において
使用可能な再コード化法を用いた３次元形状計測装置の
カメラ１で撮影されるスリットパターンの例を示す図で
ある。

【図９】本発明のカラオケ用立体画像表示装置において
使用可能な再コード化法を用いた３次元形状計測装置の
カメラ２で撮影されるスリットパターンの例を示す図で
ある。

【図１０】本発明のカラオケ用立体画像表示装置におい
て使用可能な再コード化法を用いた３次元形状計測装置
において新たにコード化されたスリットパターンの例を
示す図である。

【図１１】本発明のカラオケ用立体画像表示装置におい
て使用可能な再コード化法を用いた３次元形状計測装置
の空間コード化法による距離算出法を示す図である。

【図１２】本発明のカラオケ用立体画像表示装置におい
て使用可能な再コード化法を用いた３次元形状計測装置
のカメラ３で撮影されるスリットパターンの例を示す図
である。

【図１３】本発明のカラオケ用立体画像表示装置におい
て使用可能な画像切り出し手法における輝度画像の例を
示す図である。

【図１４】本発明のカラオケ用立体画像表示装置におい
て使用可能な画像切り出し手法における距離画像の例を
示す図である。

【図１５】本発明のカラオケ用立体画像表示装置におい
て使用可能な画像切り出し手法を適用した人物と背景の
分離画像の例を示す図である。

【図１６】本発明のカラオケ用立体画像表示装置におい
て使用可能な画像切り出し手法を適用した人物と背景の
分離画像の補間処理画像例を示す図である。

【図１７】本発明のカラオケ用立体画像表示装置におい
て使用可能な画像切り出し手法を適用した人物の抽出画
像例を示す図である。

【図１８】本発明のカラオケ用立体画像表示装置におい
て使用可能な強度変調光を用いた３次元形状計測装置の
構成を示す図である。

【図１９】図１８に示す平面センサを構成する画素回路
を示すブロック図である。

【図２０】（ａ）〜（ｄ）は図１８に示す平面センサの
動作を説明するための波形図である。

【図２１】（ａ），（ｂ）は、反射光の位相遅れにより
合成光の振幅が変化することを計算機シミュレーション
により表した図である。

【図２２】（ａ），（ｂ），（ｃ）は図１８の形態に係
る３次元形状計測装置の動作を説明するための図であ
る。

【図２３】本発明のカラオケ用立体画像表示装置におい
て図１８の実施例に係る３次元形状計測装置の動作を説
明するためのフローチャートである。

【図２４】本発明のカラオケ用立体画像表示装置におい
て使用可能な反射光強度計測による画像切り出しを実行
する画像読み取り装置（例１）のブロック図である。

【図２５】図２４で示す画像読み取り装置で得られる可
視光イメージと、赤外線イメージとを示す図である。

【図２６】本発明のカラオケ用立体画像表示装置におい
て使用可能な反射光強度計測による画像切り出しを実行
する画像読み取り装置（例２）のブロック図である。

【図２７】本発明のカラオケ用立体画像表示装置におい
て使用可能な画像表示装置（例１）の構成図である。

【図２８】本発明のカラオケ用立体画像表示装置におい
て使用可能な画像表示装置の原理を説明する図である。

【図２９】本発明のカラオケ用立体画像表示装置におい
て使用可能な画像表示装置の原理を説明する図である。

【図３０】本発明のカラオケ用立体画像表示装置におい
て使用可能な画像表示装置（例２）の構成図である。

【図３１】本発明のカラオケ用立体画像表示装置におい
て使用可能な画像表示装置（例３）の構成図である。

【図３２】本発明のカラオケ用立体画像表示装置のシス
テム構成例（例１）を示す図である。

【図３３】本発明のカラオケ用立体画像表示装置のシス
テム構成例（例２）を示す図である。

【図３４】本発明のカラオケ用立体画像表示装置のシス
テムにより表示される画像イメージを説明する図であ
る。

【図３５】本発明のカラオケ用立体画像表示装置をカラ
オケスタジオに導入したイメージを示す図である。

【符号の説明】

１０１ カメラ１ １０２ カメラ２ １０３ カメラ３ １０４ 投光器 １０５ ハーフミラー １０６ 光源 １０７ マスクパターン １０８ 強度パターン １０９ プリズム １２１，１２３，１２５ 輝度値メモリ １２２，１２４，１２６ パターン画像メモリ １２７ フレームメモリ １２８ 領域分割部 １２９ 再コード化部 １３０，１３１ コード復号部 １３３ 距離情報の統合部 １３４ ３次元メモリ ３０１ プリズム ３０２，３０４ 透過フィルタ ３０３，３０５ 撮像装置 ６０１，６０２，６０３ カメラ ６０４ 投光器 ６０５ 壁 ６０６ 板 ８０１，９０１ 影領域 １４０１〜１４０４ 背景領域 １５０１ 背景領域 １５０２ ドット １７０１ 背景 １８０１ 三次元形状計測装置 １８０２ 変調信号発生器 １８０３ 半導体レーザ １８０４ａ 照明光 １８０４ｂ 反射光 １８０４ｃ 参照光 １８０５ 投影レンズ １８０６ 対象物体 １８０７ 結像レンズ １８０８ 光学フィルタ １８０９ 平面センサ １８１０ ハーフミラー １８１１Ａ，１８１１Ｂ シャッタ １８１２ 画像メモリ １８１３ 距離演算部 １８１４ ＣＰＵ １８１４ａ 半導体レーザモニタ出力線 １８１５ 反射ミラー １９００ フォトダイオード １９０１Ａ 第１のバイパス回路切り替え部 １９０１Ｂ 第２のバイパス回路切り替え部 １９０２ ハイパスフィルタ（ＨＰＦ) １９０３ ピークホールド回路 １９０３ａ 比較器 １９０３ｂ ダイオード １９０３ｃ コンデンサ １９０４ 電流変換回路 １９０５ バイパス配線 １９０６ スイッチ １９０７ 電荷蓄積回路 ２４０１ 可視光線イメージセンサ ２４０２ 赤外線イメージセンサ ２４０３ 画像処理装置 ２４０４ 外部出力装置 ２４０５ 撮像装置 ２４０６ 光学フィルタ変換部 ２５１０ 可視光線イメージ ２５１１ 人物像 ２５１２ 建造物 ２５２０ 赤外線イメージ ２５２１ 人物像 １ ＣＲＴ ２ 凹面鏡 ３ １／４波長板 ４ ビームスプリッタ ５ ビームスプリッタ ２０ ＣＲＴ ３１０１ 遊戯者画像抽出処理手段 ３１０２ 画像表示手段 ３１０３ 背景画像アーカイブ ３１０４ 背景画像出力手段 ３１０５ 画像指定手段 ３１０６ データ選択手段 ３４０１ 遊戯者 ３４０２ カメラ ３４０３ 遊戯者画像 ３４０４ 歌詞画像

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｖ (72)発明者 伊與田 哲男 神奈川県足柄上郡中井町境430 グリーン テクなかい 富士ゼロックス株式会社内 (72)発明者 西川 修 神奈川県足柄上郡中井町境430 グリーン テクなかい 富士ゼロックス株式会社内 (72)発明者 出塩 晴康 東京都豊島区東池袋２丁目23番２号 サミ ー株式会社内 (72)発明者 ダグラス エル． ロビンソン アメリカ合衆国 ニューヨーク州 14901 エルマイラ、 イースト センター ス トリート 301 (72)発明者 ケネス エス． ウェストート アメリカ合衆国 ニューヨーク州 14901 エルマイラ、 イースト センター ス トリート 301 Ｆターム(参考） 5B050 AA08 BA09 BA12 DA07 EA06 EA07 EA19 FA02 FA06 5B057 BA01 BA02 CA08 CA12 CA16 CB08 CB13 CB16 CD14 CE08 DA08 DB03 DB09 DC02 5C054 AA01 CA04 CC02 CH01 EA01 EA05 FA01 FC12 FD02 FE12 HA00 5C061 AA06 AB04 AB08 AB12 AB14 AB18 5D108 BE10

Claims (17)

【特許請求の範囲】
1. 【請求項１】遊戯者の画像を撮り込む撮像手段と、 前記撮像手段によって撮り込まれた画像から背景画像と
   遊戯者画像とを判別し遊戯者画像のみの画像を抽出する
   画像切り出し手段と、 前記画像切り出し手段によって分離された遊戯者画像を
   立体画像として表示する画像表示手段と、 を有することを特徴とするカラオケ用立体画像表示装
   置。
2. 【請求項２】前記撮像手段は、 パターンを測定対象に投影する投光手段と、前記投光手
   段の光軸方向から投影パターンを撮影する第１の撮像手
   段と、前記投光手段光軸方向と異なる方向から前記投影
   パターンを撮影する第２の撮像手段とを備え、 前記カラオケ用立体画像表示装置は、さらに、 前記第１の撮像手段の撮影した投影パターン画像と、前
   記投光手段による投影パターンとの比較により、前記第
   １の撮像手段の撮影した投影パターン画像に新たなエッ
   ジが検出された場合に、該検出エッジに基づく新規コー
   ドを割り付け、前記新規コードに基づいて第２の撮像手
   段による撮影パターンから距離情報を生成する構成を有
   する３次元データ取得手段を有し、 前記画像切り出し手段は、 前記３次元データ取得手段によって取得された距離情報
   に基づいて、前記撮像手段によって撮像された画像か
   ら、背景画像と遊戯者画像とを判別し遊戯者画像のみの
   画像を抽出する処理を実行する構成であることを特徴と
   する請求項１に記載のカラオケ用立体画像表示装置。
3. 【請求項３】前記カラオケ用立体画像表示装置における
   前記撮像手段は、 所定の周波数で強度変調された前記出射光を前記物体に
   向けて出射する光出射手段と、 前記光出射手段から出射された前記出射光を所定の方向
   に反射する反射部材と、 前記物体からの前記反射光と前記反射部材からの前記出
   射光とを受光し、それらの合成により前記位相差が反映
   された合成検出信号、前記出射光の出射によって前記物
   体で反射した前記反射光を受光して反射光検出信号、お
   よび前記反射部材からの前記出射光を受光して参照光検
   出信号を出力する検出手段と、 前記合成検出信号、前記反射光検出信号および前記参照
   光検出信号に基づいて、前記物体表面の反射率の違い等
   の外的成分を除去する補正を行って前記距離を演算する
   演算部と、を有し、 前記画像切り出し手段は、 前記距離分布演算部によって取得される距離情報に基づ
   いて、前記撮像手段によって撮像された画像から、背景
   画像と遊戯者画像とを判別し遊戯者画像のみの画像を抽
   出する処理を実行する構成であることを特徴とする請求
   項１に記載のカラオケ用立体画像表示装置。
4. 【請求項４】前記カラオケ用立体画像表示装置における
   画像切り出し手段は、 異なる感度波長領域を有する複数の光検出装置で構成さ
   れ、物体からの透過／反射光をその強度に応じた複数画
   素の出力データとして検出する光検出手段と、 前記複数の光検出装置より得られた各出力データを画素
   毎に相互に対応させる出力データ対応手段と、 を有する構成であることを特徴とする請求項１に記載の
   カラオケ用立体画像表示装置。
5. 【請求項５】前記複数の光検出装置は、可視光線に対し
   て感度波長領域を有する撮像装置と、可視光線以外の赤
   外線から短波長側に対して感度波長領域を有する撮像装
   置とから構成されることを特徴とする請求項４に記載の
   カラオケ用立体画像表示装置。
6. 【請求項６】前記画像表示手段は、 第1の画像を発生する第1の画像源と、 前記第1の画像源と異なる方向に対して画像を発生する
   第２の画像源と、 前記第1の画像源および第2の画像源のいずれかの画像を
   反射する位置に設置された凹面鏡と、 前記凹面鏡に対して、ほぼ４５度傾斜して、かつ、前記
   第1の画像源および前記第2の画像源の発する画像の出力
   方向位置に配置され、入射された光線を２つに分けるビ
   ームスプリッタと、 前記凹面鏡および観察者の眼との間を結ぶ光軸上に配置
   され、入射された光線を偏光させる直線偏光板と、 前記凹面鏡および観察者の眼との間を結ぶ光軸上に配置
   され、入射された光線の振動方向に位相差を生じさせる
   １／４波長板と、から成ることを特徴とする請求項１に
   記載のカラオケ用立体画像表示装置。
7. 【請求項７】前記第２の画像源は、前記第1の画像源に
   対向して配置され、 前記凹面鏡は、第1の画像源および第2の画像源の対向軸
   に直行する位置に中心軸を形成する位置に配置され、 前記ビームスプリッタは、前記中心軸に対して、ほぼ４
   ５度傾斜して、かつ、前記第1の画像源および前記第2の
   画像源に挟まれて配置され、 前記直線偏光板は、前記中心軸に対して直交して、か
   つ、前記凹面鏡および観察者の眼との間に配置され、 前記１／４波長板は、前記中心軸に対して直交して、か
   つ、前記凹面鏡および観察者の眼との間に配置された構
   成を有することを特徴とする請求項６に記載のカラオケ
   用立体画像表示装置。
8. 【請求項８】前記第1の画像源は、前記凹面鏡に対向し
   て、前記凹面鏡の焦点距離の２倍の距離あるいは前記２
   倍の距離の近傍に配置され、 前記ビームスプリッタは、前記凹面鏡と前記第１の画像
   源との対向軸に対して、ほぼ４５度傾斜して、前記凹面
   鏡と前記第１の画像源との間に配置され、 前記第２の画像源は、前記ビームスプリッタを介して前
   記観察者に対向して、前記対向軸の垂直方向に配置され
   た構成を有し、 前記第１の画像は、前記ビームスプリッタを通過して前
   記凹面鏡において前記ビームスプリッタに向かって反射
   し、さらに、前記ビームスプリッタにより観察者に向か
   って反射して空中に浮かんだ立体画像として表示され、
   前記第２の画像は前記観察者に向かって前記ビームスプ
   リッタを通過し、平面画像として表示される構成を有す
   ることを特徴とする請求項６に記載のカラオケ用立体画
   像表示装置。
9. 【請求項９】前記直線偏光板は、前記ビームスプリッタ
   および観察者の眼との間に配置され、 前記１／４波長板は、前記凹面鏡および前記ビームスプ
   リッタとの間に配置された構成であることを特徴とする
   請求項６に記載のカラオケ用立体画像表示装置。
10. 【請求項１０】前記第1の画像源および前記第2の画像源
    は、ＣＲＴ、液晶表示装置、プラズマディスプレイ装
    置、装飾ライト、あるいは実物のいずれかであることを
    特徴とする請求項６に記載のカラオケ用立体画像表示装
    置。
11. 【請求項１１】前記１／４波長板は、前記凹面鏡の前記
    反射面に貼り付けた構成であることを特徴とする請求項
    ６に記載のカラオケ用立体画像表示装置。
12. 【請求項１２】前記直線偏光板の表面には、前記光線の
    反射を減少するコーティングが施された構成、あるい
    は、前記光線の反射を減少するフィルムを貼り付けた構
    成であることを特徴とする請求項６に記載のカラオケ用
    立体画像表示装置。
13. 【請求項１３】前記１／４波長板の表面には、前記光線
    の反射を減少するコーティングが施された構成、あるい
    は、前記光線の反射を減少するフィルムを貼り付けた構
    成であることを特徴とする請求項６に記載のカラオケ用
    立体画像表示装置。
14. 【請求項１４】カラオケ用立体画像表示方法であり、 遊戯者の画像を撮像手段によって撮り込む撮像ステップ
    と、 前記撮像手段によって撮り込まれた画像から背景画像と
    遊戯者画像とを判別し遊戯者画像のみの画像を抽出する
    画像切り出しステップと、 前記画像切り出しステップによって分離された遊戯者画
    像を立体画像として表示する画像表示ステップと、 を有することを特徴とするカラオケ用立体画像表示方
    法。
15. 【請求項１５】前記撮像ステップは、 投光手段を用いてパターンを測定対象に投影する投光ス
    テップと、前記投光手段の光軸方向から第１の撮像手段
    により投影パターンを撮影する第１の撮像ステップと、
    前記投光手段光軸方向と異なる方向から第２の撮像手段
    により前記投影パターンを撮影する第２の撮像ステップ
    とを含み、 前記カラオケ用立体画像表示方法は、さらに、 前記第１の撮像手段の撮影した投影パターン画像と、前
    記投光手段による投影パターンとの比較により、前記第
    １の撮像手段の撮影した投影パターン画像に新たなエッ
    ジが検出された場合に、該検出エッジに基づく新規コー
    ドを割り付け、前記新規コードに基づいて第２の撮像手
    段による撮影パターンから距離情報を生成する３次元デ
    ータ取得ステップを有し、 前記画像切り出しステップは、 前記３次元データ取得ステップによって取得された距離
    情報に基づいて、前記撮像手段によって撮像された画像
    から、背景画像と遊戯者画像とを判別し遊戯者画像のみ
    の画像を抽出する処理を実行することを特徴とする請求
    項１４に記載のカラオケ用立体画像表示方法。
16. 【請求項１６】前記撮像ステップは、 強度変調光を被測定体に照射するステップと、 被測定体からの反射光と前記強度変調光とを受光し、そ
    れらの合成により位相差が反映された合成光信号を検出
    するステップと、 前記反射光を受光し、反射光信号を検出するステップ
    と、 前記強度変調光を受光し、参照光信号を検出するステッ
    プと、 前記合成光信号、前記反射光信号および前記参照光信号
    に基づいて、被測定体の反射率の違い等の外的成分を除
    去する補正を行って被測定体各部までの距離分布を求め
    る距離分布演算ステップとを有し、 前記画像切り出しステップは、 前記距離分布演算ステップによって取得される距離情報
    に基づいて、前記撮像手段によって撮像された画像か
    ら、背景画像と遊技者画像とを判別し遊技者画像のみの
    画像を抽出処理を実行することを特徴とする請求項１４
    に記載のカラオケ用立体画像表示方法．
17. 【請求項１７】前記画像切り出しステップは、 物体からの透過／反射光を異なる感度波長領域を有する
    複数の光検出装置の強度に応じた複数画素の出力データ
    として検出するステップと、 前記複数の光検出装置より得られた各出力データを画素
    毎に相互に対応させる出力データ対応ステップと、 を含むことを特徴とする請求項１４に記載のカラオケ用
    立体画像表示方法。