JP2003296721A - 画像抽出装置 - Google Patents

Abstract

(57)【要約】 【課題】外光のみの画像と照明光照射時の画像の差分画
像を得るに当たり、外光の変動を排除する。 【解決手段】対象物体１０６に照明光を照射する発光手
段１０１と、対象物体の画像を得る受光手段１０２とを
有し、発光手段による照明光の非照射時及び照射時にお
ける対象物体の画像をそれぞれ同一検出時間を以て得る
と共に、得られた両画像の差成分を求めることにより対
象物体の画像を抽出する装置において、外光変動を検出
する手段２０３と、検出された外光変動の値に応じて、
差成分から求めた対象物体の画像の採否を決定する手段
２０４とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は注目すべき対象物体
を発光手段により照明して得た像と、照明しない像とを
撮影し、両画像の差の画像を求めてこれより当該対象物
体を抽出する画像抽出装置に関するものである。

【０００２】

【従来の技術】コンピュータへの入力デバイスとしては
種々のものがあるが、その中でもマウスはキーボードと
並んで最もポピュラーな入力デバイスの一つとして広く
使用されている。しかしながら、マウスで操作できるこ
とは、カーソルの移動と、メニューの選択などであり、
あくまでも２次元のポインティングデバイスとしての役
目を担うに過ぎない。つまり、マウスで扱えるのは、せ
いぜい２次元の情報であり、３次元空間のなかの物体な
ど奥行きがあるものを選択することは難しい。そして、
例えば、コンピュータでアニメーションを作成する場合
を考えてみると、キャラクタの動きをつけるのに、マウ
スのような入力デバイスによる操作情報の入力操作で
は、自然な動きをつけることが難しい。

【０００３】また、マルチモーダルの分野で、ゼスチャ
ー、すなわち、手の仕草や体の動き、そして、姿勢など
を操作情報として入力することで、音声やキーボード、
そして、マウスやトラックボールなどの入力情報と相補
い合って人間の自然なコミュニケーションに近い形で装
置を扱えるようにしたいという要望もある。

【０００４】そこで、近年、３次元空間でのポインティ
ングの難点を補い、また、マルチモーダル分野などにお
いて多様な入力操作を可能にする技術の一つとして、人
間の自然なゼスチャーを認識できるようにする３次元ポ
インティングデバイスが開発されている。

【０００５】例えば、図２５のような提案である。この
デバイスは、本体中央にボール状操作部があり、また、
周辺部にテンキーを備えて構成したものであって、ボー
ル状操作部部分の“前方を押す”、“中央を押す”、
“後方を押す”、ボール状操作部部分の“全体を持ち上
げる”、“全体を右に回す”、“左に回す”というよう
に、６通りの操作が可能であり、６自由度ある。

【０００６】そして、この６自由度を割り振ることで、
３次元空間内のカーソルの位置（ｘ．ｙ，ｚ）と向き
（ｘ軸，ｙ軸，ｚ軸）制御したり、あるいは、３次元空
間に対する視点位置（ｘ，ｙ，ｚ）と向き（ｘ軸，ｙ
軸，ｚ軸）を制御できる。

【０００７】しかし、この３次元ポイティングデバイス
はかなりの熟練が必要であって、実際に操作してみる
と、カーソルや視点の制御が思うようにはできないとい
う問題がある。例えば、左右に回そうとすると、前方あ
るいは後方を押してしまい、思わぬ方向にカーソルが動
いたり、視点が動いたりしてしまうといった具合であ
る。

【０００８】このような３次元ポインティングデバイス
に対して、手振りや身ぶりを使って入力するデバイスも
開発されている。データグローブやデータスーツ、サイ
バーグローブと呼ばれるものである。これらのうち、例
えば、データグローブは手袋状のデバイスであって、表
面に光ファイバが走つている。この光ファイバは、指の
関節まで通っており、指を曲げることにより、光の導通
が変わることを利用している。そして、この光の導通量
を計測することで、各指の関節がどの程度曲がっている
かを知るようにするものである。

【０００９】手自体の３次元空間内の位置は、手の甲に
設けた磁気センサによって計測するようになっている。
そのため、人差し指をたてれば、「前進する」といった
具合に、身ぶりとそれに対応する指示を決めておけば、
データグローブを使って、３次元空間内を種々に視点を
変えて、ちょうど、歩き回るかのように（ウォークスル
ーという）操作することができる。

【００１０】しかし、このような３次元ポインティング
デバイスにも問題点がいくつかある。第１には、価格が
高価であり、家庭用などに使用することは難しいという
点である。

【００１１】また、第２には、指の関節の角度を計測し
ているので、誤認識が避けられないという点である。例
えば、人差し指だけ伸ばし、他の指は曲げた状態を前進
指示と定義したとする。実際に指を伸ばすといっても、
人差し指の第２関節の角度が１８０度に完全になってい
ることは少ないので、遊び分を設定しておかないと、指
を伸ばしきったとき以外は、「伸ばしている」と認識す
ることができない。

【００１２】また、操作者にはデータグローブを装着す
ることになるので、自然な操作が阻害され、装着するた
びに、手の開いた状態と閉じた状態において、光の導通
状態を校正せねばならないので、手軽に使用することが
できない。また、光ファイバを使っているため、継続的
に使用していると、ファイバが断絶するなど消耗品に近
いという問題がある。

【００１３】また、このように、高価で、手間がかかる
デバイスである割には、手袋の大きさが、ぴったり合っ
ていないと、使っているうちにずれたりして校正した値
からずれるために、細かな手振りを認識することは難し
いという問題もある。

【００１４】このように、種々の問題を抱えているため
に、データグローブは、ＶＲ（バーチャルリアリティ）
技術のトリガーとなったデバイスであったにもかかわら
ず、当初の期待ほど、普及しておらず、また、低価格化
もなされておらず、使い勝手の点で問題が多い。

【００１５】そこで、このデータグローブのような特殊
な装置を装着することなく、手振りや身ぶりを入力しよ
うとする試みが、いくつかなされている。例えば、ビデ
オ映像などの動画像を解析して、手の形を認識するとい
った技術である。しかし、これは背景画像から目的とす
る画像を切り出す技術が必要であり、従って、手振りの
認識の場合には、手のみを切り出すことが必要であっ
て、これが技術的にかなり難しいという問題がある。

【００１６】例えば、画像中の手の部分を、色情報を条
件に切り出す場合を考えてみる。手の色は肌色であるの
で、肌色の画像情報を持つ画素部分のみを切り出すよう
な方式が考えられるが、背景にベージュ色の洋服や、壁
があったりすると、手の部分に相当する肌色の画素のみ
を識別することはできない。また、調整を行って、ベー
ジュと肌色を区別できるようにしても、照明が変われ
ば、色調が変化してしまうために、定常的に切り出すこ
とは困難である。

【００１７】このような問題を回避するために、背景に
ブルーマットをおくというように、背景画像に制限を置
き、切り出しを容易にする方策も採られている。あるい
は、指先に背景からの切り出しが容易になるような色を
つける、あるいは色のついた指輪をはめるというような
方策も採られている。しかし、このような制限は現実的
でなく、実験的には利用されているものの、実用化には
至っていない。

【００１８】ところで、手の仕草を認識するに利用可能
な別の技術として、レンジファインダと呼ばれる、距離
画像を入力する装置の応用が考えられる。このレジンジ
ファインダの代表的な原理は、スポット光あるいはスリ
ット光を対象物体に照射し、その反射光の受光位置から
三角測量の原理で求めるといったものである。

【００１９】そして、２次元的な距離情報を求めるため
に、スポット光あるいはスリット光を機械的に走査して
いる。この装置は非常に高精度な距離画像を生成するこ
とができるが、その反面、装置の構成が大掛かりにな
り、高コストになる。また入力に時間がかかり、実時間
で処埋を行わせるのは困難である。また、手や身体の一
部に色マーカーや発光部を取り付け、画像によりそれら
を検出し、手・身体の形、動きなどを捉える装置もあ
り、一部実用化されている。しかし使用者の利便性を考
えると、操作の度に装置を装着しなくてはならないとい
うのは大きなデメリットであり、応用範囲を非常に制約
する。また、データグローブの例に見られるように、装
置を手などの可動部に装着して使用する装置は耐久性が
問題になりやすい。

【００２０】次に、以上のような入力デバイスとは別
に、カメラ技術の従来技術についての問題点を述べる。
従来のカメラ技術では、背景に対して、キャラクタの合
成（クロマキー）を行うには、予め、ブルーバックでキ
ャラクタを撮影して、キャラクタの切り出しを容易にす
る必要があった。

【００２１】このため、ブルーバックで撮影ができるス
タジオなど、撮影場所に制限があった。または、ブルー
バックでない状態で撮影した映像から、キャラクタを切
り出すには、コマ毎にキャラクタの切り出し範囲を人手
で編集せねばならないので、非常な手間がかかってい
た。同様に、キャラクタを３次元空間の中に生成するに
は、予め３次元のモデルをつくっておき、そこにキャラ
クタの写真を貼り付ける（テクスチャマッピング）を行
うような方式をとっている。しかし、３次元モデルの生
成、および、テクスチャマッピングには手間がかかり、
映画制作など経費がかかってもよい用途以外では、事実
上ほとんど使えなかった。

【００２２】

【発明が解決しようとする課題】このように従来では、
特殊な装置を装着することなく、簡易にジェスチャや動
きを入力できる直接指示型の入カデバイスが存在しなか
った。特に、３次元空間でのポインティングや視点の変
更を容易に行える簡易なデバイスは存在しなかった。ま
た、ユーザのジェスチャや動きをそのまま使って、アニ
メーションのキャラクタなどに自然な動きをつけたりす
ることができなかった。さらに、従来のカメラでは、特
定のキャラクタだけを切り出したり、キャラクタの奥行
き情報を容易に入力できなかった。

【００２３】このような背景から、本発明者等は所定時
間だけ照明光を対象物体に照射して得た画像と、外光の
みの光があたる環境下で得た対象物体の画像との差の成
分の画像を得、この差の成分の画像から対象物体のみの
画像を抽出する技術を開発し、更に、この抽出した対象
物体のみの画像を元に、その形状、動き、距離情報など
を算出し、これらを情報として利用することで仕草や、
３次元操作情報などを簡易に与えることができるように
した技術を開発し、特許出願した（特願平８−２７５９
４９号参照）。

【００２４】この技術の考え方は、照明光を対象物体に
照射して得た画像と、外光のみの光があたる環境下で得
た対象物体の画像との差の成分の画像を得ると、背景な
どが遠い場合、それは対象物体のみの画像成分となるこ
とに着目して、対象物体部分の画像切り出しを簡易に行
えるようにしたこと、つまり、物体が存在している場所
からの反射光はある程度の値を持ち、遠い背景からの反
射光はほとんど無いため、反射光の画像をしきい値で分
けることにより、物体の形状を抽出することが出来るこ
と、また、その形状から様々な特徴量を抽出することが
出来ること、そして、このような形状の時間的連なりを
解析することで、物体の動きや変形などを捉えることが
出来ること、さらには物体の凹凸を反射光量の違いとし
て捉えられるため、対象物体の立体構造を得ることも出
来るなどのことから、対象物体の切り出しが容易にでき
れば、その対象物体の様々な情報を演算で求めることが
できる。そのため、仕草を操作指令情報として与えた
り、３次元操作情報を身振り手振りで入力するなどのこ
とが容易に実現できるようになる。

【００２５】しかしながら、ここで解決しておかなけれ
ばならない問題が一つある。それは、外光の変動による
対象物体の切り出し精度への影響である。外光は自然光
であったり、室内照明光であったり、環境により様々で
ある。しかも、これらは、安定したものであれば問題が
ないが、緩やかな変化を伴う場合、あるいは細かく短い
周期で変化する場合などが普通であり、このような変化
を伴う外光を利用しなければならない場合に、外光によ
る画像と、照明光照射をした画像とを、漠然と一定の時
間ずつ撮像するのでは、抽出された画像は誤差の多い画
像となってしまう。従って、外光の変動があっても、抽
出対象（切り出し対象）の物体の画像を容易に高精度で
抽出可能な技術の確立が強く嘱望される。

【００２６】また、光は距離の２乗に反比例して減衰す
る。そのため、対象物体の像を受光して得る受光手段と
対象物体との距離が定まっていないと、その遠近により
対象物体からの反射光量が変わり、最適状態での画像の
抽出ができない。この問題も解決する必要がある。

【００２７】そこで、この発明の第１の目的とするとこ
ろは、外光の変動のある環境において、特定の対象物体
を容易に高精度に抽出することができるようにした画像
抽出装置を提供することにある。

【００２８】また、第２の目的は、対象物体と受光手段
との距離が変わっても、最適状態の画像抽出が可能な画
像抽出装置を提供することにある。

【００２９】

【課題を解決するための手段】上記目的を達成するた
め、本発明は次のように構成する。すなわち、対象物体
に照明光を照射する発光手段と、前記対象物体の画像を
得る受光手段とを有し、発光手段による照明光の非照射
時での前記対象物体の画像と、発光手段による照明光の
照射時での前記対象物体の画像を前記受光手段によりそ
れぞれ所定の同一検出時間を以て得ると共に、得られた
両画像の差成分を求めることにより、前記対象物体の画
像を抽出する装置において、第１には、前記照明光の発
生する波長成分の光を除去する除去手段と、前記対象物
体の置かれる環境下での光量を前記除去手段を介して検
出する検出手段と、この検出手段による検出出力から前
記対象物体のおかれる環境の明るさの状態を判断して前
記受光手段により得た前記差成分の画像の採否を決める
手段とを備える。

【００３０】第２には、前記照明光の発生する波長成分
の光を除去する除去手段と、前記対象物体のおかれる環
境下での光量を前記除去手段を介して検出する検出手段
と、この検出手段による検出出力から前記対象物体のお
かれる環境の明るさの状態を検出し、変動の周期情報を
出力する手段と、この変動の周期情報に基づく変動周期
に同期して前記発光手段と前記受光手段を駆動制御する
手段とを備える。

【００３１】第３には、前記対象物体のおかれる環境を
常時、照明する照明手段と、この照明手段の光量を制御
する手段とを備える。

【００３２】第４には、前記発光手段の発光量を異なら
せた複数種の発光モードを持ち、決定された発光モード
で前記発光手段の発光を実施させるべく制御する手段
と、前記発光手段を前記いずれかの発光モードで予備発
光させる手段と、前記受光手段より前記予備発光時の前
記対象物体の画像情報を得て、この画像情報から、最適
となる発光モードを決定し、前記制御手段に与える決定
手段とを備える。

【００３３】第５には、前記発光手段の発光量を異なら
せた複数種の発光モードを持ち、これらの発光モードを
順次選択して、その発光モードで前記発光手段の発光を
実施させるべく制御する手段と、前記各種の発光モード
での発光動作時にそれぞれ前記受光手段から得た差成分
の画像を合成する手段とを備える。

【００３４】本発明は、対象物体に照明光を照射する発
光手段と、前記対象物体の画像を得る受光手段とを有
し、発光手段による照明光の非照射時での前記対象物体
の画像と、発光手段による照明光の照射時での前記対象
物体の画像を前記受光手段によりそれぞれ所定の同一検
出時間を以て得ると共に、得られた両画像の差成分を求
めることにより、前記対象物体の画像を抽出する場合
に、第１の目的を達成すべく、上記第１乃至第３の構成
を採用した。

【００３５】そして、第１の構成の場合、照明光の発生
する波長成分の光を除去する除去手段を介して検出手段
は前記対象物体の置かれる環境下での光量を検出する。
これにより環境下での光量の監視が可能になる。検出手
段のこの検出出力から前記対象物体のおかれる環境の明
るさの状態を判断して前記受光手段により得た前記差成
分の画像の採否を決める。

【００３６】その結果、環境下の光変動の大きさが画質
に影響を及ぼす程度のものとなっている状態で取得され
た差成分の画像は採用しないようにし、画質に支障のな
い範囲の光変動のときの画像のみを取捨選択して利用で
きるようになる。

【００３７】また、第２の構成の場合、照明光の発生す
る波長成分の光を除去する除去手段を介して、検出手段
により前記対象物体のおかれる環境下での光量を検出す
る。この検出出力から前記対象物体のおかれる環境の明
るさの状態を検出し、変動の周期情報を得る。そして、
この変動の周期情報に基づく変動周期に同期して前記発
光手段と前記受光手段を駆動制御する。

【００３８】この結果、環境下の光に周期的変動があっ
た場合に、その変動周期に同期した発光手段の発光と、
受光手段による画像取得ができ、従って、発光手段によ
る対象物体からの反射光成分による画像を精度良く取得
できるようになる。

【００３９】また、第３の構成の場合、対象物体のおか
れる環境を常時、照明する照明手段を光量制御する手段
を設けたことで、安定した光量の環境下での画像取得が
でき、従って、発光手段による対象物体からの反射光成
分による画像を精度良く取得できるようになる。

【００４０】差成分（差分画像）を取得するにあたり、
外光のみの環境下での対象物体の画像と、照明光を照射
させて得た対象物体の画像とを得るが、これらの画像は
それぞれ同じ所定の期間、撮像装置である受光手段の検
出出力（画像信号を電荷として蓄積したもの）を得る。
そして、外光の状況に変動があると外光のみの環境下で
の取得画像と、照明光を当てて得た段階での取得画像中
それぞれでの外光成分が異なったものとなってしまう。
これは雑音成分となり、対象物体のみの画像の抽出精度
に影響を与える。本発明によれば、これを解消できる。

【００４１】また、本発明は、対象物体に照明光を照射
する発光手段と、前記対象物体の画像を得る受光手段と
を有し、発光手段による照明光の非照射時での前記対象
物体の画像と、発光手段による照明光の照射時での前記
対象物体の画像を前記受光手段によりそれぞれ所定の同
一検出時間を以て得ると共に、得られた両画像の差成分
を求めることにより、前記対象物体の画像を抽出する場
合に、第２の目的を達成すべく、上記第４及び第５の構
成を採用した。

【００４２】そして、第４の構成の場合、発光手段の発
光量を異ならせた複数種の発光モードを用意する。そし
て、最初に発光手段に予備発光をさせ、このときの対象
物体の画像を取得して、その画像の状態から、上記複数
種の発光モードのうちから、現状で最適の状態の画像が
取得し得る最適発光モードを決定し、この決定された発
光モードで前記発光手段の発光を実施させるべく制御す
る。

【００４３】予備発光で画像の状態を調べ、最適な画像
が取得可能な発光モードを決定してそのモードで本番で
の発光手段の発光を行い、得られた画像から差分の画像
の取得をするようにしたので、対象物体と受光手段との
距離が変わっても、最適状態の画像抽出が可能な画像抽
出装置を提供できる。

【００４４】また、第５の構成の場合、発光手段の発光
量を異ならせた複数種の発光モードを用意する。そし
て、これらの発光モードを順次選択して、その発光モー
ドで前記発光手段の発光を実施させる。そして、これら
各種の発光モードでの発光動作時にそれぞれ前記受光手
段から得た差成分の画像を合成し、対象物体の差成分の
画像として用いるようにする。その結果、対象物体と受
光手段との距離が変わっても、最適状態の画像抽出がで
きる画像抽出装置を提供できる。

【００４５】差成分（差分画像）を取得するにあたり、
外光のみの環境下での対象物体の画像と、照明光を照射
させて得た対象物体の画像とを得るが、これらの画像は
それぞれ同じ所定の期間、撮像装置である受光手段の検
出出力（画像信号を電荷として蓄積したもの）を得る。
そして、光の強さは距離の２乗に反比例するので、対象
物体の距離の変動は得た差分画像の品質に影響を与え
る。本発明によれば、これを解消できる。

【００４６】

【発明の実施の形態】本発明は、光源より発光して対象
物体に光をあて、この対象物体による反射光を画像とし
て捉えることにより、その形状、動き、距離などの情報
を得ることができるようにした装置において、この発明
では発光と電荷蓄積の動作パターンを複数種、用意して
おき、外光の状況に応じて使い分けることにより、どの
ような外光状態にあっても精度良く反射光画像が得られ
るようにしたもので、以下、詳細を説明する。

【００４７】はじめに本発明を適用する装置の基本構成
を説明する。＜情報入力生成装置の構成例＞図１は、本
発明を適用する対象の一つとしての情報入力生成装置の
構成例である。図１に示すように本装置は、発光手段１
０１、反射光抽出手段１０２、特徴情報生成手段１０
３、タイミング信号生成手段１０４、とからなる。

【００４８】これらのうち、発光手段１０１はタイミン
グ信号生成手段１０４によって生成されるタイミング信
号に従って時間的に強度変動する光を発光する。この光
は発光手段１０１の前方にある対象物体に照射される。
また、反射光抽出手段１０２は、この発光手段１０１が
発した光の対象物体による反射光を抽出する。これはさ
らに好適には、反射光の空間的な強度分布を抽出する。
この反射光の空間的な強度分布は画像として捉えること
が出来るので、以下では反射光画像と呼ぶ。

【００４９】反射光抽出手段１０２は、対象物体からの
反射光を抽出するものであり、光の量を検出する受光部
を持つが、当該受光部は一般的に、発光手段１０１の光
の前記対象物体による反射光だけでなく、照明光や太陽
光などの外光も同時に受光する。そこで反射光抽出手段
１０２は、発光手段１０１が発光しているときに受光し
た光の量と、発光手段１０１が発光していないときに受
光した光の量の差をとることによって、発光手段１０１
からの光の前記対象物体による反射光の成分だけを取り
出す。このことは言い換えれば、発光手段１０１を制御
する信号を生成するタイミング信号生成手段１０４によ
って、反射光抽出手段１０２もまた制御されることを示
す。

【００５０】特徴情報生成手段１０３は、反射光画像よ
り様々な特徴情報を抽出するものである。この特徴情報
あるいは特徴情報の抽出方法は様々考えられる。これに
より例えば、対象物体が手であったとして、当該手の反
射光画像の特徴情報から、ジェスチャーやポインティン
グなどの情報を得ることができることになって、この得
られた情報によりコンピュータなどの操作を行うことが
できる。また対象物体の立体情報を抽出し、利用するこ
ともできる。なお、当該特徴情報生成手段１０３は、必
ずしも必要ではなく、例えば反射光抽出手段１０２で得
られた反射光画像そのものを入力したり利用したりする
こともできる。

【００５１】本発明の目的を明確にするために、本発明
が改善しようとした技術対象としての情報入力生成装置
について詳しく述べる。図２は、情報入力生成装置のよ
り具体的な構成例である。図２を参照して説明すると、
発光手段１０１より発光された光は、対象物体１０６に
反射して、受光光学系１０７により、反射光抽出手段１
０２の受光面上に結像する。反射光抽出手段１０２は、
この反射光の強度分布、すなわち反射光画像を検出す
る。反射光抽出手段１０２は、第１の受光手段１０９、
第２の受光手段１１０および差分演算部１１１からな
る。

【００５２】第１の受光手段１０９と第２の受光手段１
１０は、それぞれ上記受光面に結像された光学像を検出
して受光量対応の画像信号に変換するものであり、それ
ぞれ異なるタイミングで受光動作を行う。そして第１の
受光手段１０９が受光状態にあるときに発光手段１０１
を発光させ、第２の受光手段１１０が受光しているとき
には発光手段１０１を発光させないように、タイミング
制御手段１１２がこれらの動作タイミングを制御する。
これにより第１の受光手段１０９は発光手段１０１から
の光の物体による反射光と、それ以外の太陽光、照明光
などの外光とを受光してその受光量を検出する。

【００５３】一方、第２の受光手段１１０は外光のみを
受光する。両者が受光するタイミングは異なっているが
近いので、この間における外光の変動は無視できる。従
って、第１の受光手段１０９で受光した像と第２の受光
手段１１０で受光した像の差分をとれば、これは発光手
段１０１の光の物体による反射光の成分に対応するもの
であり、これによって発光手段１０１の出力光の、物体
による反射光成分対応画像が抽出されることになる。

【００５４】そして、この差分を得るのが差分演算部１
１１であり、この差分演算部１１１が第１の受光手段１
０９と第２の受光手段１１０で受光した像の差分を計算
して出力する。反射光抽出手段１０２については、さら
に詳細な構成について後述する。

【００５５】反射光抽出手段１０２は反射光画像の各画
素の反射光量をシーケンシャルに出力する。反射光抽出
手段１０２からの出力はアンプ１１３によって増幅さ
れ、アナログ信号をディジタルデータに変換するＡ／Ｄ
変換器ｌｌ４によってデジタルデータに変換された後、
メモリ１１５に蓄えられる。そして、しかるべきタイミ
ングでこのメモリ１１５より当該蓄えられたデータが読
み出され、特徴情報生成手段１０３において処理され
る。これら全体の制御はタイミング制御手段１１２が行
う。

【００５６】検出の対象物体が人間の手である場合、発
光手段１０１としては人間の目に見えない、近赤外光を
分光する発光装置を用いるようにすると良い。この場
合、人間には発光手段１０１からの光が見えないため、
眩しさを感じずに済む。また、発光手段１０１を近赤外
光発光の装置とした場合、受光光学系１０７には図示し
ない近赤外光通過フィルタを設ける。このフィルタは、
発光波長である近赤外光を通過し、可視光、遠赤外光を
遮断する。従つて、外光の多くをカットしている。

【００５７】ところで物体からの反射光は、物体の距離
が大きくなるにつれ大幅に減少する。物体の表面が一様
に光を散乱する場合、受光側でみた場合、反射光画像１
画素あたりの光量は、物体までの距離の２乗に反比例し
て小さくなる。従って、本発明の多次元情報入力生成装
置の前に対象物体１０６を置いたとき、背景からの反射
光はほぼ無視できるくらいに小さくなり、物体のみから
の反射光画像を得ることが出来る。例えば、多次元情報
入力装置の前に対象物体１０６である手を持ってきた場
合、その手からの反射光画像のみが得られることにな
る。

【００５８】この時、反射光画像の各画素値は、その画
素に対応する単位受光部で受光した反射光の量を表す。
反射光量は、物体の性質（光を鏡面反射する、散乱す
る、吸収する、など）、物体面の向き、物体の距離、な
どに影響されるが、物体全体が一様に光を散乱する物体
である場合、その反射光量は物体までの距離と密接な関
係を持つ。

【００５９】手などはこのような性質を持つため、手を
差し出した場合の反射光画像は、手の距離、手の傾き
（部分的に距離が異なる）、などを反映する。従ってこ
れらの特徴情報を抽出することによって、様々な情報の
入力・生成が可能になる。

【００６０】立体形状を抽出したい場合には、距離情報
が高い分解能で求められる方が良い。このような場合、
アンプ１１３としては対数アンプを用いると良い。受光
部の受光量は物体までの距離の２乗に反比例するが、対
数アンプを用いると、その出力は、距離に反比例するよ
うになる。このようにすることで、ダイナミックレンジ
を有効に使うことができる。

【００６１】＜反射光抽出手段１０２の詳細な説明＞図
３は、反射光抽出手段１０２の構成の一例をさらに詳細
に表したものである。図３に示す反射光抽出手段１０２
はＣＭＯＳセンサと呼ばれる受光素子を示しており、こ
の反射光抽出手段１０２は反射光の強度分布を捉えるこ
とができるようにするために、複数の単位受光部ＰＤを
備えていて、ひとつの単位受光部ＰＤと反射光画像の一
画素が対応している。この図では簡単のため２×２画素
の構成で示す。点線で囲まれた部分１１７が一画素分の
単位受光部ＰＤであり、一画素分の単位受光部ＰＤの概
略構成を図４に示す。

【００６２】先の例との対応を取ると、第１の受光手段
１０９の一画素分と第２の受光手段１１０の一画素分
で、１つの単位受光部ＰＤを構成している。１つの単位
受光部ＰＤは１つの光電変換部１１８と、２つの電荷蓄
積部１１９、１２０を持っている。光電変換部１１８と
電荷蓄積部１１９、１２０の間にはいくつかのゲート
（この例では１２２，１２３）があり、これらのゲート
の制御によつて光電変換部１１８で発生した電荷を、二
つの電荷蓄積部１１９，１２０のうちのいずれの電荷蓄
積部に導くかを選択できるようになっている。このゲー
トの制御信号と発光部の発光制御信号を同期させる。

【００６３】発光制御パルス１２８は発光手段を制御す
る信号である。ここではパルス発光を行う。発光制御パ
ルスのレベルが“HIGH”のとき発光手段１０１が発光
し、“LOW”のときは発光しない。

【００６４】この発光制御信号に対し、実際の光は発光
手段１０１の発光源として用いられている発光素子の時
間応答によってなまり、図５に符号１２９を付して示す
波形のように変化する。受光部には、SAMPLE1（符号１
３１を付して示す波形）、SAMPLE2（符号１３２を付し
て示す波形）、TRANSFER,RESET（符号１３０を付して示
す波形）の制御信号が与えられる。

【００６５】TRANSFERは、光電変換部１１８で発生した
電荷を次段に転送するためのゲートを制御する信号であ
り、この信号が“HIGH”のとき、光電変換部１１８に蓄
積された電荷が転送される。電荷蓄積後、出力部へ電荷
転送するときは、このゲートが閉じ、光電変換部１１８
で発生した電荷が出力ゲートへ流れないようにする。RE
SET１３０はリセット制御信号である。

【００６６】TRANSFERが“HIGH”の時、RESETが“HIG
H”になると、リセットゲート１２４が開き、光電変換
部１１８にたまっていた電荷は、トランスファー・ゲー
ト１２１、リセット・ゲート１２４を経て、排出され
る。SAMPLE1、SAMPLE2の２つの制御信号は、２つの電荷
蓄積部１１９、１２０に、光電変換部１１８からの電荷
を導くためのゲート１２２，１２３を制御する信号であ
る。

【００６７】これらの制御信号の変化と、単位受光部Ｐ
Ｄの動作を次に説明する。単位受光部ＰＤでは、電荷蓄
積期間においては、トランスファー・ゲート１２１は開
き続けている。まず、リセット・ゲート１２４を開くこ
とにより、光電変換部１１８とサンプル・ゲート１２
２、１２３の間にたまった不要電荷を排出する。リセッ
ト・ゲート１２４を閉じることで、光電変換部１１８と
サンプル・ゲートの間に、光電変換されてできた電荷が
蓄積されはじめる。

【００６８】一定時間の後、第１のサンプル・ゲート１
２２が開くと、蓄積されていた電荷が、第１の電荷蓄積
部１１９に転送される。従って、RESET１３０が“LOW”
になってから、SAMPLE1１３１が“LOW”になるまでの蓄
積期間である図５上の“蓄積期間１”の間に光電変換さ
れた電荷が、第１の電荷蓄積部１１９に蓄積される。第
１のサンプル・ゲート１２２が閉じた後、再びリセット
・ゲート１２４を開いて不要電荷を排出した後、リセッ
ト・ゲートを閉じ、一定時間の後に今度は第２のサンプ
ル・ゲート１２３を開き、第２の電荷蓄積部１２０に、
光電変換で生成された電荷を転送する。この時も同様
に、RESETが“LOW”になってからSAMPLE2が“LOW”にな
るまでの蓄積期間である図５上の“蓄積期間２”の間に
光電変換された電荷が第２の電荷蓄積部１２０に蓄積さ
れる。このとき“蓄積期間１”と“蓄積期間２”は同じ
長さの時間である。

【００６９】ここで、“蓄積期間１”なる電荷蓄積期間
においては、発光手段１０５が発光しており、“蓄積期
間２”なる電荷蓄積期間においては、発光手段１０５は
発光しない。このことにより、第１の電荷蓄積部１１９
には、発光手段１０１からの光が物体に反射した光と、
照明光、太陽光などの外光の両方によって生成された電
荷が蓄積され、一方、第２の電荷蓄積部１２０には、外
光のみによって生成された電荷が蓄積される。

【００７０】“蓄積期間１”なる電荷蓄積期間と“蓄積
期間２”なる電荷蓄積期間は時間的に近いので、この間
での外光の大きさの変動は十分に小さいと考えてよい。
従って、第１の電荷蓄積部１１９と第２の電荷蓄積部１
２０の、電荷量の差が、発光手段１０１からの光が対象
物体１０６に反射した光で発生した電荷量であるとみな
してよい。

【００７１】上記SAMPLE1,SAMPLE2,RESET,TRANSFERは、
すべての単位受光部ＰＤに同じ信号が与えられるため、
すべての単位受光部ＰＤにおいて、同期的に電荷の蓄積
が行われる。このことは、1フレーム分の反射光画像を得るた
めに1度の発光だけで済むことを示している。従って、
発光のための電力を小さくすることができる。また、発
光手段として用いることのできるＬＥＤは、発光パルス
のＤＵＴＹ比が小さいほど（１つのパルス幅に比べて、
パルスとパルスの間隔が長いほど）、瞬間的には強く発
光できる性質を持つため発光電力を効率的に利用するこ
とができる。

【００７２】電荷蓄積後、電荷の取り出しを行う。まず
Ｖ系選択回路１３５で１行を選択する。各行の単位受光
部ＰＤから、第１の電荷蓄積部１１９と第２の電荷蓄積
部１２０に蓄積された電荷が順に取り出され、差分回路
１３３の中でその差分が収り出される。Ｈ系シフトレジ
スタで列を選択することで、取り出す。

【００７３】なお、この例においては、電荷取り出し時
には、シフトレジスタで取り出しセルのアドレスを指定
するため、出力の順番が決まっている（シーケンシャル
な出力）が、任意のアドレスを生成できるようにすれば
ランダムアクセスが可能になる。このようにすると、受
光部全体のうち、一部分だけを取り出すことができ、セ
ンサの動庁周波数を低下させる、あるいは、反射光画像
のフレームレートを上げることができるなど゛の効果が
ある。例えば画像の一部しか占めないような小さな物体
を検出して、その動きを追跡させるような場合は、ある
フレームでの位置の周辺だけで探索すればよいため、画
像の一部だけを取り出すだけで良い。

【００７４】また、発光源として、近赤外光を用いた例
を示したが、必ずしもこれに限定しない。人の目に眩し
くない条件でなら（例えば、発光量がそれほど大きくな
い、人の目に直接入らない向きを向いている、など）、
可視光であっても良い。あるいは、光に限らず、電磁
波、超音波などを用いることも可能である。近赤外光通
過フィルタも、外光の影響を考えなくてよいなどの条件
下であれば省くこともできる。

【００７５】ところで、受光手段としてＣＭＯＳセンサ
ではなく、通常の撮像用のＣＣＤイメージセンサを用い
ても、これに類することを実現することもできるが、そ
の性能、あるいはコストパフォーマンスにおいて本構成
の方が優れている。

【００７６】例えば、ＣＣＤイメージセンサと光源を用
いることもできる。しかし、ＣＣＤはｌ／６０秒毎に１
回の撮像しかできない（フィールド単位）。従って、は
じめの１／６０秒で、発光部を発光させ、次のｌ／６０
秒で発光部を消灯させ、その差分をとっても、１／６０
秒の時間差かあると、外光の大きさが変動してしまい、
差分＝反射光量とならなくなってしまう。蛍光灯などは
ｌ／１００秒の周期でその強さが変動しているので、こ
のようなことが起こってしまう。ＣＣＤイメージセンサ
を使った通常の撮像においても、撮像周期と、外光の変
動周期のすれに起因して、画面の明るさがちらつく現象
がおきることがあり、これはフリッカと呼ばれている。

【００７７】ＣＭＯＳセンサを受光手段として採用した
本装置においては、ＣＭＯＳセンサの構成上の特徴とし
て、画素単位で任意に受光（電荷蓄積）と読み出しの制
御ができ、それは１／１００００秒程度、あるいはそれ
以下まで時間を小さくしたり、あるいは十分長い時間に
設定して使用することができるので、外光の変動に応じ
て最適値を選べば、外光変動の影響を受けなくて済む。
ＣＣＤイメージセンサによる撮像の場合、フリッカを防
ぐために、電荷蓄積時間をｌ／１００秒と蛍光灯の周期
と一致させる方法が取られることがあるが、発光部と同
期させる場合においても、電荷蓄積時間をｌ／１００秒
にする、あるいはＣＣＤの駆動信号を変えてしまい、１
フィールドをｌ／１００秒にしてしまう、というような
方法により、外光の影響を抑えることもできる。この場
合は別の問題が発生する。対象物体である手が動いてい
る場合、発光時の撮像と消灯時の撮像において手の位置
が微妙にずれてしまう。

【００７８】この状態で差分を取ってしまうと、特に物
体（手）のエッジ部分において、反射光画像が大きく乱
れてしまう。また、構成のコンパクトさでも大きく異な
る。ＣＣＤを用いる場合、少なくとも、Ａ／Ｄ変換器
と、１フレーム分のデータを蓄えるメモリ、差分画像を
求める演算回路が必要である。またＣＣＤを用いる場合
には、ドライバ−ＩＣを別に用意する必要がある。

【００７９】一方、単位受光部ＰＤを複数個二次元配列
した構成の本装置（すなわち、受光素子としてＣＭＯＳ
センサを用いた本装置）においては、ＣＭＯＳセンサの
べース（ＣＭＯＳセンサの形成基板上）に各種回路を作
り込むことができるので、ドライバーを同一チップ内に
収めてしまうことができる。また、センサ内で発光時、
非発光時の差をとれるので、差分演算回路は不要であ
る。また、Ａ／Ｄ変換部やメモリ、制御部まで１チップ
内に収めてしまうこともできるので、非常に低コスト化
できる。

【００８０】ここまでの説明では、対象物体のみの像
（反射光画像）を抽出するところまでの構成を述べた。
ここまでの構成でも十分製品として利用価値がある。し
かし、実際の利用形態としては、得られた反射光画像に
何らかの加工を施して、使用者の目的に合った使い方を
することが多い。例えば、手の反射光画像を入力するこ
とにより、ポインティングやジェスチャー入力を行うこ
とが出来る。このために反射光画像から有用な情報を抽
出するのが、特徴情報生成手段である。ここで、特徴量
を抽出したり、加工したり、そこから別の情報を生成し
たりしている。

【００８１】反射光画像の加工の仕方の代表例は、距離
情報の抽出と、領域抽出である。先にも述べたように、
物体が一様で均質な散乱面を持つ物体であれば、反射光
画像は距離画像と見なすことができる。従って、物体の
立体形状を抽出することができる。物体が手であれば、
手のひらの傾きなどが検出できる。手のひらの傾きは部
分的な距離の違いとして現れる。また、手を移動させた
ときに画素値が変われば、距離が移動したと見ることが
できる。また、背景のように遠い物体からの反射光はほ
とんどないため、反射光画像からあるしきい値以上の領
域を切り出すという処埋で、物体の形状を簡単に切り出
すことができる。例えば、物体が手であれば、そのシル
エット像を切り出すのは極めて容易である。距離情報を
用いる場合でも、一度しきい値によって領域抽出をして
おいてから、その領域内の距離情報を用いる、という場
合が多い。このようにして、対象物体の像を簡易に抽出
できるようになったことにより、その対象物体の像を用
いて様々な情報入力操作、指示操作などを行う途が拓け
ることになる。

【００８２】ところで、本発明はＣＭＯＳセンサを受光
手段として採用しており、上述したように、ＣＭＯＳセ
ンサの構成上の特徴として、画素単位で任意に受光（電
荷蓄積）と読み出しの制御ができ、それは１／１０００
０秒程度、あるいはそれ以下まで時間を小さくしたり、
あるいは十分長い時間に設定して使用することができる
ので、外光の変動に応じて最適値を選べば、外光変動の
影響を受けなくて済む。しかし、これを外光の変動状況
に応じてどのようにして最適に設定するかが課題であ
る。そこで、次にこのことについてその具体例を説明す
る。

【００８３】上述の情報入力生成装置は発光部（発光手
段）と受光撮像系（反射光画像獲得手段）を有し、発光
部の発光した光の物体による反射光を画像化して出力す
ることにより、ジェスチャ認識などを可能にしており、
反射光画像獲得手段は発光部の発光時と非発光時に、前
記物体の像の受光による光電変換素子の発生電荷を蓄積
し、その差をとることで、外光成分による像を相殺し、
発光部の発光による前記物体の反射光のみによる像であ
る反射光画像を獲得する構成であることは詳しく述べ
た。

【００８４】そして、外光には太陽光のようなものの
他、蛍光灯のように安定動作状態であっても規則的（周
期的）に変動するものがあり、しかも、蛍光灯には通常
の蛍光灯やインバータ蛍光灯など、種々のものがあっ
て、その変動周期にも幅がある。

【００８５】そして、発光手段１０１の発光時での画像
取得（電荷蓄積）動作と、非発光時での画像取得（電荷
蓄積）動作にはそれぞれ同一時間幅分があてられている
が、それぞれでの外光に、変動があったときはその差の
大きさ如何によって差分像の品位の低下、すなわち、得
られた反射光画像の劣化の問題を残す。

【００８６】外光はその変動が不規則な場合と、規則的
な場合があり、それぞれの場合での対処法が異なる。不
規則な変動の場合は反射光画像を得てみないと劣化の度
合いがわからず、そして、規則的な変動のある場合では
その変動周期に対する上記２つの画像取得動作のタイミ
ングの影響が反射光画像の画質に関わりを持つことにな
る。

【００８７】反射光画像に外光の変動分の影響が残って
いると、この外光変動分の大きさによっては発光手段１
０１による光照射のもとでの対象物体１０６の反射光だ
けを精度良く取り出すという目的を達成できない。

【００８８】従って、これに対処する具体例を次に説明
する。最初に、外光が不規則な変動をする場合の対処手
法を説明する。 ＜外光の変動の影響を抑制する具体例１＞本具体例で
は、外光のみの大きさを検出し、この検出された外光の
レベルから外光の状態を判定し、反射光画像の採否を決
定するようにした例を説明する。

【００８９】図６に本装置の構成例を示す。図６におい
て、１０１は発光手段、１０２は反射光画像獲得手段、
２０１は外光光源、２０２はフィルタ、２０３は外光検
出手段、２０４は外光状態判定手段、２０５は受発光動
作制御手段であり、１０６は対象物体である。

【００９０】前述したように発光手段１０１は対象物体
１０６に照明をあてるための光源であり、反射光画像の
光源である。この発光手段１０１としては例えば、赤外
領域の波長の光を発生するＬＥＤが使用される。この発
光手段１０１は受発光動作制御手段２０５により制御さ
れる。外光光源２０１は屋内や屋外など対象物体１０６
の置かれる環境下の光源であり、対象物体１０６はこの
外光光源２０１の光を常に受ける。

【００９１】フィルタ２０２は発光手段１０１からの赤
外線領域の照明光を遮断するフィルタであり、外光成分
のみを抽出するためのフィルタである。外光検出手段２
０３はフィルタ２０２を介して取り込まれた外光のレベ
ルを検出するためのもので、入射する外光の強度対応の
検出出力を出す構成である。

【００９２】外光状態判定手段２０４は、この外光検出
手段２０３の検出出力を入力とし、外光の大きさや時間
的変動などを監視するものであって、反射光画像に大き
な影響を与える可能性のある状態を検出するものであ
る。

【００９３】受発光動作制御手段２０５は、外光状態判
定手段２０４の出力結果に応じた動作をするように、各
種タイミング信号の制御を行うものであって、タイミン
グ信号生成手段１０４に該当するものである。ここで
は、受発光動作制御手段２０５は、外光状態判定手段２
０４が反射光画像に大きな影響を与える可能性のある外
光変動があったと判断した場合に再度、外光のみの画像
の取得と発光手段１０１を発光させた場合の画像の取得
を実施し、その差成分である反射光画像を抽出する操作
を行うに必要なタイミング信号の生成を行うべくシステ
ムを制御する動作を行うが、一定時間経過時点ではこれ
を行わずに、反射光画像の品質が悪いことを示す信号
（外光状態の非許容信号）を発生して反射光画像獲得手
段１０２に与える機能を有する。

【００９４】反射光画像獲得手段１０２は、受発光動作
制御手段２０５のタイミング信号に応動して発光手段１
０１の発光に伴う照明を与えた際の画像と、発光させな
いで外光のみの環境下での受光による画像とを得て両者
の差成分を求め、反射光画像として得てこれを出力する
ものであり、外光状態判定手段２０４が非許容信号を発
生したときはリセットして再度、画像取得と差成分の抽
出処理をはじめから行い、反射光画像を得る処理を行う
機能を有する。

【００９５】このような構成の本装置において、反射光
画像獲得手段１０２は、発光手段１０１の発光による照
明をあてた対象物体１０６の画像と、当該照明をあてな
い外光のみによる当該対象物体１０６の画像とを受発光
動作制御手段２０５の制御の基に取得し、両者の差の成
分である反射光画像を得る。

【００９６】一方、反射光画像獲得手段１０２の画像取
得タイミングにおいて、外光検出手段２０３は環境下の
光のレベルをそれぞれ検出する。この外光検出手段２０
３の前部には発光手段１０１が発する光の対象物体１０
６による反射光を遮断するフィルタ２０２が設けられて
おり、外光のみが外光検出手段２０３によって検出され
る。そして、この検出出力は外光状態判定手段２０４に
与えられる。

【００９７】外光状態判定手段２０４は、この検出出力
を基に、外光の大きさや時間的変動などを監視してお
り、反射光画像に大きな影響を与える可能性のある状態
を検出する。例えば、反射光画像に大きな影響を与える
可能性のある状態を検出したときは非許容信号を発生
し、それ以外の状態の時は非許容信号は発生しない。

【００９８】この受発光動作制御手段２０５からの当該
非許容信号を含め、タイミング信号に基づいて受発光動
作制御手段２０５は、画像の取得とその取得画像の差成
分である反射光画像を取得するが、外光状態判定手段２
０４の出力結果（非許容信号の有無）があるときは再
度、外光のみの画像の取得と、照明光をあてた画像をの
取得を行い、差成分を求めて反射光画像を得るといった
動作をする。

【００９９】図６には図示していないが、反射光画像獲
得手段１０２の後段には反射光画像処理手段を設けて外
光状態判定手段２０４の出力を基に、反射光画像の扱い
を決めるようにしてもよい。

【０１００】本発明は，ＣＭＯＳセンサを反射光画像獲
得手段１０２の受光部に採用し、対象物体１０６の画像
をリアルタイムで取得するが、この取得した画像の差成
分、すなわち、反射光画像は動画像の画像信号として出
力される。そして、ＣＭＯＳセンサの１ フレームの動
作は、大きく分けて受光・電荷の蓄積と、それらの出力
の繰り返しである。

【０１０１】図７はその動作の様子を説明するための図
であり、（ａ）は光パルス（発光手段１０１の発光、つ
まり、照明光の照射）、（ｂ）はＣＭＯＳセンサの動作
を示している。“Ｒ”、“１”、“２”はそれぞれ、
“蓄積電荷をリセット”、“第１の電荷蓄積部へ蓄積”
（図１の１１０、図４の１２０への蓄積に該当）、“第
２の電荷蓄積部へ蓄積”（図１の１０９、図４の１１９
への蓄積に該当）、を表す。

【０１０２】図７に沿って動作を説明する。１フレーム
の期間内において“Ｒ”のタイミングで受光部及び第１
及び第２の電荷蓄積部の電荷をリセットし、次に“１”
のタイミングで第１ の電荷蓄積部へ所定期間蓄積（対
象物体画像の受光実施）する。このとき同時に同期間に
わたり、発光部（発光手段１０１）が発光する。

【０１０３】そして、再び登場する次の“Ｒ”のタイミ
ングで受光部の電荷の電荷をリセットし、次に“２”の
タイミングで第２の電荷蓄積部へ所定期間蓄積（対象物
体画像の受光実施）する。このときは、発光部（発光手
段１０１）は発光させない。このようして得た２枚の画
像の差成分を求めて反射光画像とし、１フレーム期間の
後半にこの反射光画像を後段に出力する。反射光画像出
力時には、これのように２枚の画像、正確には，ＣＭＯ
Ｓセンサの場合、単位画素の２つの電荷蓄積部の蓄積電
荷の差を出力することにより、発光部からの光の物体に
よる反射光成分のみを出力する。

【０１０４】第１、第２の電荷蓄積１回で無事反射光画
像を取得できる図７の如きタイミングで動作している場
合、電荷蓄積に使用している時間はわずかであり、デー
タ出力までには余裕がある。しかし、反射光画像に雑音
成分が多く含まれて信頼性が問題になる状況、つまり、
外光の変動の大きい状態の時はこのようにはいない。

【０１０５】すなわち、本システムでは反射光画像獲得
手段１０２による反射光画像獲得動作と並行して、別の
外光検出手段、つまり外光検出手段２０３が外光レベル
（図８の（ａ））を検出する。このとき、発光手段１０
１の発光源に例えば近赤外ＬＥＤを用いたとすると、こ
の場合は、外光検出手段２０３の前方（検出側の入り
口）に近赤外光遮断フィルタ２０２を取り付けておくこ
とにより、外光検出手段２０３には発光源からの光の反
射光は入らないことになる。

【０１０６】外光状態判定手段２０４は、外光検出手段
２０３の検出出力をもとに、外光レベルを監視してい
て、外光レベルの変動が大きく、その結果、反射光画像
に影響を与えそうである場合にそれを検出する。図８の
（ｂ）がその検出結果を知らせる信号であり、この信号
が論理レベル“Ｈ（HIGH）”になっている領域は外光の
状態が悪い（反射光画像に悪影響を与える可能性があ
る）と判断される。この判断は例えば、外光の変動が急
である場合（前半の“Ｈ”）、外光のレベルが非常に高
い場合（後半の“Ｈ”）などである。

【０１０７】外光の変動が急であると、反射光画像獲得
手段（反射光抽出手段）１０２の構成要素である第１
の電荷蓄積部（図１の１１０、図４の１２０に該当）と
第２の電荷蓄積部（図１の１０９、図４の１１９に該
当）に蓄積される外光分の光の量の差が大きく、両者の
差を取ったときに、反射光成分だけでなく、外光の変動
分が大きく含まれてしまう。つまり、外光のレベルが非
常に大きい環境下であったときは、外光に対する反射光
の割合が非常に小さくなり、Ｓ／Ｎ（信号対雑音比）が
悪くなる。故に、この場合に外光の変動があると、雑音
成分が大きく、精度良く対象物体１０６の抽出をするこ
とができない。

【０１０８】図８の例の場合、１フレーム期間内におい
て上述のように第１回目の発光動作と蓄積動作が行われ
たが、この動作が終了した時点で、蓄積動作中に外光状
態が悪かったことが分かった（図８（ｂ）ｔ１）。そこ
で、一旦、この動作をキャンセルし、再び、やり直す。

【０１０９】つまり、蓄積された電荷を再びリセットし
（“Ｒ”）、再度、第１ の電荷蓄積部への蓄積
（“１”）、第２ の電荷蓄積部への蓄積（“２”）を
やり直す。２回目の動作中には外光状態は正常であった
ので（（ｂ）の信号がＨではなく、Ｌの状態である）、
得られた差成分（反射光画像）は、このまま、データ出
力する。

【０１１０】反射光画像の抽出と、この抽出した反射光
画像の出力操作は所定の周期（１フレーム期間内）で行
うようにしているため、蓄積動作のやり直しをあまり何
回も行うと、データ出力タイミングと重なってしまう。
そこで、やり直しができる最大回数を、予め定めてお
き、それ以上はやり直せないようにする。

【０１１１】そして、最後まで正常な反射光画像が得ら
れなかった場合、すなわち、データ出力軒間の到来時点
までに正常な反射光画像が得られなかった場合は、最後
に得られた信頼性の低いデータをそのまま出力するが、
このとき別系統でこの反射光画像の信頼性が低いことを
示す信号を合わせて出力する。以上の処理をフローで示
すと、図９の如きとなる。

【０１１２】以上、図６に示した例では、外光状態判定
手段２０４の出力で、外光変動の状態対応に受発光動作
制御手段２０５を直接制御して画像取得と差分（反射光
画像）の取得のやり直しをするようにした。しかし、こ
のようなやり直しをせずに反射光画応獲得手段１０２か
ら出力されてくる反射光画像の取捨選択を外光状態判定
手段２０４の出力を基に後段で行うようにして信頼性の
ない反射光画像については利用しないようにしても良
い。

【０１１３】その例を次に図１０を参照して説明する。
図１０の例では１フレーム期間内毎に受発光動作制御手
段２０５に発光手段１０１による照明をあてた画像の取
得と、外光のみによる画像の取得をさせ、更に両画像の
差成分を得て、反射光画像を得るという処理を１回だけ
行わせ、この得た反射光画像は出力期間内に外部に出力
させる構成としている。

【０１１４】また、反射光画像獲得手段１０２の当該反
射光画像は反射光画像処理手段１０３にて受けるが、こ
の反射光画像処理手段１０３は外光状態判定手段２０４
の出力を得て、その状態に応じてその受けた反射光画像
を使用するか廃棄するかを決める機能を持たせてある。
その他、反射光画像処理手段１０３の機能は図１で説明
したものと同じである。

【０１１５】このように、外光状態判定手段２０４の出
力で反射光画像獲得手段１０２や発光手段１０１を制御
せず、反射光画像処理手段１０２には当該外光常置判定
手段２０４の出力で反射光画像の取捨選択を行わせる機
能を設けた構成とした。

【０１１６】反射光画像処理手段１０２は、出力された
反射光画像を扱う部分であるが、同時に外光状態判定手
段２０４の出力（これは２ 値とは限らない）を得て、
それによって反射光画像の扱いを変えるようにした。

【０１１７】例えば、外光状態が非常に悪いときは、そ
の反射光画像を捨てて利用しない、あるいは、前フレー
ムを利用して現フレームを予測するいった具合である。
予測する際には、外光状態の悪さを、現フレームの信頼
性の低さとしてパラメータにして、予測のし方をコント
ロールしたりすると一層良い。

【０１１８】以上、この例は発光手段による照明のもと
に得た対象物体の像と、外光のみによる対象物体の像を
それぞれ取得し、両者の差成分の画像である反射光画像
を得、また、外光のみを検出する検出手段を設けて外光
の変動を監視し、外光の変動が対象物体の反射光画像の
信頼性に影響を与える場合に、再度、画像の取得とそれ
に基づく反射光画像の再取得を行うなうようにしたもの
である。あるいは、発光手段による照明のもとに得た対
象物体の像と、外光のみによる対象物体の像をそれぞれ
取得し、両者の差成分の画像である反射光画像を得、ま
た、外光のみを検出する検出手段を設けて外光の変動を
監視し、外光の変動が対象物体の反射光画像の信頼性に
影響を与える場合に、これを知らせるようにしたもので
ある。

【０１１９】そのため、対象物体の反射光画像を得るに
当たり、外光変動の悪影響が大きい場合に、その状態で
の取得反射光画像を使用しないで済むようになり、対象
物体のみの高品質な画像を、容易に取得できるようにな
って、対象物体によるゼスチャー情報の取得や、３次元
操作情報の取得を高精度で行えるようになる。

【０１２０】以上は、外光のレベルを監視して、外光変
動の影響あるタイミングでの反射光画像は利用しないよ
うにした技術であった。しかし、この場合、外光変動が
いつまでも続く不安定な環境下であったときは利用でき
る反射光画像が得られないことになり、また、インバー
タ式の蛍光灯のように短い周期で常に光量が変動してい
る環境下では、場合によっては利用できる反射光画像が
いつまでも得られない心配が残る。また、テレビ画像の
ように１秒間に３０フレームもの速度で反射光画像を抽
出する必要のある場合、あるいはそれ以上の速度で反射
光画像を抽出する必要のある場合などでは、蛍光灯のち
らつきがまともに外光変動として影響し、反射光画像を
取得できない心配が残る。そこで、次にような周期性を
以て常に変動する外光が与えられるような環境下で利用
すると最適な具体例を説明する。

【０１２１】＜外光の変動の影響を抑制する具体例２＞
ここでは、周期性を持って常に変動する外光の影響を排
除して反射光画像をリアルタイムに得ることができるよ
うにした例を説明する。

【０１２２】ここでは外光のみの変動を監視する検出手
段を設け、これによって外光の変動周期を検出して、こ
の外光の変動周期をもとに、受発光動作制御を行う構成
とする。図１を参照して本システムの構成を説明する。
図において、１０１は発光手段、１０２は反射光画像獲
得手段、２０１は外光光源、２０２はフィルタ、２０３
は外光検出手段、３０１は外光変動周期検出手段、２０
５は受発光動作制御手段であり、１０６は対象物体であ
る。

【０１２３】前述したように発光手段１０１は対象物体
１０６に照明をあてるための光源であり、反射光画像の
光源である。この発光手段１０１としては例えば、赤外
領域の波長の光を発生するＬＥＤが使用される。この発
光手段１０１は受発光動作制御手段２０５により制御さ
れる。外光光源２０１は屋内や屋外など対象物体１０６
の置かれる環境下の光源であり、対象物体１０６はこの
外光光源２０１の光を常に受ける。

【０１２４】フィルタ２０２は発光手段１０１からの赤
外線領域の照明光を遮断するフィルタであり、外光成分
のみを抽出するためのフィルタである。外光検出手段２
０３はフィルタ２０２を介して取り込まれた外光のレベ
ルを検出するためのもので、入射する外光の強度対応の
検出出力を出す構成である。外光変動周期検出手段３０
１は、この外光検出手段２０３の検出出力を入力とし、
外光の大きさや時間的変動などを監視するものであっ
て、外光の変動周期を検出するものである。

【０１２５】受発光動作制御手段２０５は、外光変動周
期検出手段３０１の検出した変動周期情報をもとに、こ
の変動周期に同期するように各種タイミング信号の制御
を行うものであって、タイミング信号生成手段１０４に
該当するものである。ここでは、受発光動作制御手段２
０５は、外光の変動周期に同期して発光手段１０１の発
光制御と、反射光画像獲得手段１０２における第１の電
荷蓄積を行わせ、次に外光の変動周期に同期して外光の
みの画像を得るべく、発光手段１０１の発光は停止した
状態として反射光画像獲得手段１０２における第２の電
荷蓄積を行なわせるといった制御のためのタイミング信
号を発生させる。

【０１２６】反射光画像獲得手段１０２は、受発光動作
制御手段２０５のタイミング信号に応動して発光手段１
０１の発光に伴う照明を与えた際の画像（第１の電荷蓄
積による蓄積電荷）と、発光手段１０１を発光させない
で外光のみの環境下での受光による画像（第２の電荷蓄
積による蓄積電荷）とを得て両者の差成分を求め、反射
光画像として得てこれを出力するものである。

【０１２７】このような構成の本装置において、反射光
画像獲得手段１０２は、発光手段１０１の発光による照
明をあてた対象物体１０６の画像と、当該照明をあてな
い外光のみによる当該対象物体１０６の画像とを受発光
動作制御手段２０５の制御の基に取得し、両者の差の成
分である反射光画像を得る。

【０１２８】一方、外光の状態は外光検出手段２０３に
より監視されている。すなわち、外光検出手段２０３の
光検出側前部に発光手段１０１が発する光を受けた対象
物体１０６からの反射光についてはこれを遮断するフィ
ルタ２０２が設けてあり、これによって外光のみが外光
検出手段２０３によって検出される。フィルタ２０２と
しては発光手段１０１が赤外光を発光するものであった
とすれば、赤外線遮蔽フィルタを用いることで実現され
る。

【０１２９】外光検出手段２０２の検出出力は外光変動
周期検出手段３０１に与えられる。すると、この外光の
変動周期検出手段３０１は、当該検出信号から外光の時
間的変動周期を検出する。そして、この検出した変動周
期の情報を受発光動作制御手段２０５に与える。

【０１３０】受発光動作制御手段２０５は、外光変動周
期検出手段３０１で得られた外光周期に同期するよう
に、受発光動作の制御信号を生成する。

【０１３１】図１２に外光変動が規則的に生じる場合の
例を示す。図１２（ａ）にこのときの外光レベル（外光
検出手段２０３の出力）を、図１２（ｂ）に外光信号を
パルスに整形したもの（外光変動周期検出手段３０１の
出力）をそれそれ示す。また、図１２（ｃ）は発光手段
１０１を発光させるパルス信号であり、発光手段１０１
はこのパルスの期間、発光する。図１２の（ｄ）は蓄積
動作を制御する信号であり、図７で説明した如きのもの
である。

【０１３２】図１２（ｃ）のパルス信号と図１２の
（ｄ）の蓄積動作を制御する信号は、図１２の（ｂ）の
信号を基に作られる。つまり、反射光画像獲得手段１０
２の第１電荷蓄積部（図２の１１０、図４の１２０）に
電荷が蓄積されるタイミングと第２の電荷蓄積部（図２
の１０９、図４の１１９）に電荷が蓄積されるタイミン
グは、外光の変動周期に対し、同じ位相になっている。
従って、第１及び第２の電荷蓄積の計２回の蓄積動作に
よって蓄積される電荷にそれぞれ含まれる外光分の大き
さは等しくなる。従って、第１の電荷蓄積部と第２の電
荷蓄積部の蓄積電荷の差分に、外光の変動分はほとんど
ないことになり、規則的に変動する外光のもとで、精度
良く反射光画像が抽出できることがわかる。

【０１３３】次に電荷蓄積時間に対して外光の変動周期
が短く規則的である場合の例を図１３に示す。本システ
ムでは第１の電荷蓄積、第２の電荷蓄積の計２回の電荷
蓄積により得た画像からその差分の像を得るが、外光の
変動周期に同期してこれを実施すると共に、その蓄積時
間はそれぞれ外光の変動１周期分を単位に、そのｎ倍に
対応させる。すなわち、図１３ に示す例は、蓄積時間
に対し、外光の変動周期が短い場合において、常に外光
の変動周期２つ分の時間（ｎ＝２）で蓄積動作を行って
いることを示している。

【０１３４】そのため、先の例と同様、やはり、２回の
蓄積動作によって蓄積される電荷にそれぞれ含まれる外
光分の大きさは等しくなる。なお、図１３では蓄積時間
は外光の変動周期の整数倍になっているが、これに限ら
ない。例えば、１．５倍、２．７倍、３．３倍、といっ
た具合であっても良い。ただし、位相は正しく一致して
いることが必要である。

【０１３５】このように、外光変動を検出してそれに同
期させて所要の時間幅単位で、画像の取得を行うように
したので、外光が周期性を以て常に変動する環境下にお
いても、その影響を排除して反射光画像をリアルタイム
に得ることができるようになる。

【０１３６】以上は、外光の変動に対応して反射光画像
のもととなる画像の取得タイミングを制御するものであ
ったが、外光が室内灯のように人為的に制御可能である
場合も少なくない。その場合に最適な例を次に説明す
る。

【０１３７】＜外光の変動の影響を抑制する具体例３＞
この例は、外光の光源自体を制御して反射光画像に外光
の影響がでないようにしたものである。図１４に本シス
テムの具体例を示す。図中、１０１は発光手段、１０２
は反射光画像獲得手段、２０５は受発光動作制御手段、
２０１は外光光源で、例えば、室内の照明灯などであ
る。また、４０２はこの照明の駆動装置であり、４０１
は照明制御信号生成手段である。

【０１３８】発光手段１０１は対象物体１０６に照明を
あてるための光源であり、反射光画像の光源である。照
明２０１は外光光源であって、対象物体１０６の置かれ
る環境下の光源であり、対象物体１０６はこの外光光源
２０１の光を常に受ける。

【０１３９】照明駆動装置４０２はこの照明２０１の発
光駆動を行うものであって、与えられる制御信号対応に
照明２０１の光量を制御する機能を有する。受発光動作
制御手段２０５は、発光手段１０１および反射光画像獲
得手段１０２を制御する信号を生成する。照明制御信号
生成手段４０１は、反射光画像獲得手段１０２における
２回の電荷蓄積動作（発光手段１０１の発光下での画像
の取得と外光のみによる画像の取得）において、外光分
の受光量が等しくなるような、照明制御信号を生成す
る。これに従って、外部の照明（外光光源）２０１が動
作する。

【０１４０】反射光画像獲得手段１０２は、受発光動作
制御手段２０５のタイミング信号に応動して発光手段１
０１の発光に伴う照明を与えた際の画像と、発光させな
いで外光のみの環境下での受光による画像とを得て両者
の差成分を求め、反射光画像として得てこれを出力する
ものである。

【０１４１】このような構成の本装置は、受発光動作制
御手段２０５の制御のもとに発光手段１０１、反射光画
像獲得手段１０２、そして、照明制御信号生成手段４０
１が制御されて、所定タイミングでの発光手段１０１の
発光、反射光が像獲得手段１０２による画像の取得（第
１の電荷蓄積と第２の電荷蓄積）が行われ反射光画像の
抽出が行われる。

【０１４２】一方、照明制御信号生成手段４０１は、反
射光画像獲得手段１０２における２の電荷蓄積動作（発
光手段１０１の発光下での画像の取得と外光のみによる
画像の取得）において、外光分の受光量が等しくなるよ
うな、照明制御信号を生成する。これに従って、照明駆
動装置４０２は外部の照明（外光光源）２０１を点灯制
御するので、外光は上記２回の電荷蓄積動作の期間、そ
れぞれにおいて外光光量が等しくなるように点灯される
ことになる。

【０１４３】それ故、反射光画像獲得手段１０２が、受
発光動作制御手段２０５のタイミング信号に応動して発
光手段１０１の発光に伴う照明を与えた際の画像と、発
光させないで外光のみの環境下での受光による画像とを
得た際に、それぞれにおいて照明２０１から環境下に与
えられた光量は等しいから、両画像の差成分を求めるこ
とにより、得られた反射光画像は精度の良いものとな
る。

【０１４４】図１５に、この場合の一例としての反射光
画像獲得手段１０２の動作パターン（図１５（ｃ））、
発光手段１０１の制御信号（図１５（ｂ））、外部照明
を制御するための信号（図１５（ａ））を示す。

【０１４５】受発光動作制御手段２０５は、反射光画像
獲得手段１０２が図１５（ｃ）のような動作パターンで
動作するような制御信号を生成するとともに、図１５
（ｂ）のような発光パルスを発光手段１０１に与える。
一方、これと同時に、照明制御信号生成手段４０１は図
１５（ａ）の照明制御信号を生成し、照明はこれに従っ
て動作する。

【０１４６】例えば、照明制御信号のレベルが“Ｈ”の
時、照明が点灯し、レベルが“Ｌ”の時、消灯するよう
なパターンで点滅を繰り返す。この動作はもちろん高速
で繰り返されているので、人間の目には一定の明るさで
光っているようにみえる。

【０１４７】しかし、電荷蓄積を行っているときには瞬
間的に明るさが低くなるという変動であるから、反射光
画像を得るにあたって、外光の影響を受けることなく高
精度な反射光画像が得られるようになる。

【０１４８】この例では、発光量が周期的に強度変化す
る外部照明（例えば、蛍光灯）が反射光画像に影響しな
いよう、外部照明を直接コントロールしてしまうもので
あった。逆に、外部照明を光源として利用してしまう方
法もある。つまり、外部照明自体を光源（発光手段）と
してしまい、この外部照明からの照射光の対象物体によ
る反射光を受光手段で検出するのである。この場合、照
明と受光手段の位置関係によっては、反射光量が距離の
２乗に反比例するという関係が崩れるので、距離情報の
獲得は難しくなるが、対象物体の形状の切り出しなどは
問題なく行える。この構成はアミューズメントパークな
ど、部屋自体をコミュニケーションの空間として作るこ
とができるような場合に、効果的である。

【０１４９】以上は、環境下の光量変動に与える反射光
画像の劣化を抑制する手法であったが、環境下の光量が
たとえ安定していたとしても、対象物体１０６からの反
射光光量が、環境下の光量に比べてあまり高くない場
合、Ｓ／Ｎが悪いことから、得られる反射光画像の品質
が低くなることになる。

【０１５０】例えば、反射光画像獲得手段１０２のＣＭ
ＯＳセンサのダイナミックレンジが、その入射光学系の
前方所定距離範囲にある対象物体からの反射光量を検出
するに最適な状態に設定されている場合などでこのよう
なことが起こり易い。なぜなら、光の強度は距離の二乗
に反比例するからであり、本システムをパソコンなどに
搭載して、操作入力として利用うする際などで、ユーザ
自身の手を対象物とするようなとき、ユーザは自己本位
でこれを行おうとするのが普通であるから、手の位置は
設計者の意図した範囲内で操作してくれないからであ
る。

【０１５１】そこで、次にこのような状況下に対処でき
るようにした例を説明する。＜対象物体の距離に応じて
発光量を調整することにより反射光画像の劣化を抑制す
る技術＞反射物体があり、この反射物体からの反射光を
センサで検出する場合、その検出される反射光の量は対
象物体までの距離の２乗に反比例する。したがって、対
象物体がセンサから遠ざかると、対象物体からの反射光
量が急激に減少する。例えば、センサから１０ｃｍの距
離に対象物体があるときに比べ、３０ｃｍの距離に対象
物体があるときの検出される反射光量は１／９になる。

【０１５２】つまり、１０ｃｍの距離範囲の物体測定に
最適な状態に測定範囲（測定レンジ）を設定した場合に
は３０ｃｍ程度離れた位置にある物体の測定精度は、受
光量自体が１／９になるために急激に低くなる。測定レ
ンジを変更せずに、３０ｃｍ程度の距離にある対象物体
を高い精度で測定できようにするためには、発光手段の
発光強度を上げて、当該対象物体からの反射光の量を増
やすようにすれば良い。しかし、このようにすると、今
度は１０ｃｍ程度の距離の物体からの反射光は大きくな
り過ぎてしまい、測定レンジを超えてしまう。これは取
得する画像の画質劣化に、大きく影響する。

【０１５３】繰り返すが、本発明の前提となる技術は、
外光のみを受けた物体の像と、外光を受けた状態でしか
も発光手段からの光をあてた像をそれぞれ取得し、両画
像の差成分を求めてこれを発光手段による光の照射によ
る反射成分としての画像すなわち、外光成分を除外した
対象物体の反射光画像として得るというものである。

【０１５４】そして、この得られた反射光画像から種々
の情報を得るものであり、例えば、対象物体として手を
想定した場合、反射光画像として得られた手の像から、
その仕草、指の位置情報、といった情報を抽出して操作
入力などとして使用するなど、複雑な三次元操作入力を
可能にする。

【０１５５】そのため、対象物体はセンサの位置に対し
てその測定レンジに合わせて最適位置において撮像する
ことが難しい場合が多い。それは、対象物体が手であっ
た時に、手をいろいろな形に動かすことになるが、夢中
になればセンサ位置（反射光画像獲得手段の受光部位
置）との距離を予定の範囲に留めることを、人はつい忘
れてしまうからである。

【０１５６】そこで、このような場合にも対処できて、
距離位置が変動しても対象物体の反射光画像を精度良く
抽出することができるようにした装置の具体例を次に説
明する。ここでは、センサ（反射光画像獲得手段の受光
部）と対象物体との距離に応じて発光手段の発光光量を
制御することで、対象物体の反射光画像を精度良く得る
ようにする。

【０１５７】すなわち、物体が存在している距離に応じ
て、反射光の量が適切になるように制御することで、物
体がどの距離に来ても、十分な精度で距離が測定できる
ようにする。また、発光量を変えて何度か反射光画像を
獲得し、合成することで、ダイナミックレンジの広い反
射光画像が得られるようにする。

【０１５８】以下で述べる具体例のシステムの基本構成
と、そのバリエーションを示す。 ＜基本構成＞次の３要素を備える。 （１）物体の距離に関する情報を検出する検出手段。 （２）検出手段の検出結果より、反射光の増減の程度を
決定する決定手段。 （３）決定手段の決定に基づき、反射光を増減させるた
めの制御（発光量の制御、アンプの制御、Ａ／Ｄの制
御）を行う手段。

【０１５９】＜具体例＞上記３要素の実現手段はそれぞ
れいくつか、考えられる。 （１）物体の距離（あるいはそれに類する情報）を検出
する手段。 [i]物体の距離はセルアレイの出力（アナログ信号）よ
り検出。最大値検出回路により、最大値を求める。 [ii]ＬＰＦを通過させることにより、平均的な信号量を
得る。 [iii]Ａ／Ｄ変換後のデジタルデータから検出。最大値
を検出する。 [iv]最大値は平均値と分散などから計算する。

【０１６０】（２）上記（１）の手段で得た結果より、
反射光の増減の程度を決定する手段。決定した内容に基
づき、発光手段の光量を制御する（リニアに制御／段階
的に制御）。 [i]段階的に制御する手法においては、標準の状態に比
べ、例えば２倍、３倍、４倍、というように段階的に反
射光量が変化するように制御。 [ii]リニアに制御する手法は、任意のｘ倍に制御する。

【０１６１】（３）決定する手段の決定に基づき、反射
光を増減させるための制御（発光量の制御、アンプの制
御、Ａ／Ｄ の制御）を行う手段。 [i]発光手段を構成するＬＥＤ（発光素子）の発光を制
御する。 [ii]発光手段を構成するＬＥＤの発光パワー（発光電
流）を制御する。 [iii]発光手段を構成するＬＥＤの発光パルスの数を制
御する。 [vi]発光手段を構成するＬＥＤの発光駆動用パルスのパ
ルス長を制御する。 [v]アンプのゲインを制御する。 [iv]Ａ／Ｄ変換器の入力電圧幅を制御する。

【０１６２】以上のようなバリエーションがあるが、そ
の詳細を以下、説明する。 ［対象物体の距離の変動による反射光画像の画質への影
響を抑制する例であって、対象物体の距離に応じて発光
量を調整することにより反射光画像の劣化を抑制する具
体例］この例は、（１）[iii]、（２）[i]、（３）[ii
i]に対応するもので、対象物体からの反射光量の検出値
に応じて数段階のレベルに分類し、その分類した段階対
応に、発光手段の駆動用のパルス数を変えるようにし
て、発光量を調整するものである。

【０１６３】具体的には、例えば、入力装置の前方２０
ｃｍの距離位置に対象物体としての手を配置したとし
て、この状態におけるＣＭＯＳセンサの受光出力電圧
（蓄積電荷電圧）１［Ｖ］を出力する状態を“状態
１”、その半分の電圧、１／４ の電圧を出力する状態
をそれぞれ“状態２”、“状態３”とする。

【０１６４】そして、この状態対応に発光手段の発光量
を切り替える。これは、発光手段を駆動する発光パルス
数で行う。“状態１”はパルスを４回繰り返す、“状態
２”はパルス２個、“状態３”はパルス１個である。

【０１６５】細かい調整制御は次のようにして行う。Ｃ
ＭＯＳセンサからの画像信号（反射光画像）をデジタル
化し、このデジタル化された反射光画像から、画素値の
最大値（もっとも反射光量が大きいところ、すなわち、
最も近いところ）を求める。デジタル出力は例えば、８
ｂｉｔ構成、２５６階調とする。

【０１６６】デジタル出力を監視し、最大値が“２５
０”を超えたとき、状態を１つ下げる（例えば、“状態
１”→“状態２”）。また、最大値が“１００”を下回
ったとき、状態を１つ上げる（例えば、“状態３”→
“状態２”）にするといった具合である。ただし、物体
らしきものがないときは、状態の遷移はしない。

【０１６７】ここでは、“状態１”、“状態２”、“状
態３”での反射光量はちょうど倍ずつ違うのように設定
したので、距離の換算が楽となる。

【０１６８】詳細を説明する。ここで、反射光量の性質
と発光量制御の必要性についてふれておく。本装置は、
対象物体に対して発光手段１０１から光を発して、その
物体からの反射光の大きさを測定（検出）する。そし
て、これにより得た反射光量の分布を画像、すなわち、
上記対象物体の反射光画像として獲得する。物体表面が
一様な散乱面であれば、反射光量（反射光画像の各画素
の値）は距離を反映している。各画素の値（反射光量）
は物体までの距離の２乗に反比例している。対象物体ま
での距離と反射光量の関係をグラフにあらわすと図１６
のようになる。この図から、距離が大きくなるほど反射
光量は小さくなり、また距離分解能が落ちることがわか
る。

【０１６９】遠い距離を十分に測定できるようにするに
は発光手段１０１の発光量を増やせば良い。しかし、発
光量を増大させれば、今度は逆に近くに物体がある場
合、反射光量が大き過ぎてしまい、測定可能範囲を超え
てしまう弊害が生じる。従って、物体の距離に応じて発
光手段１０１の発光量を制御し、反射光量の変化を抑制
することが、広い距離範囲にわたって精度よく距離測定
する解決方法となる。

【０１７０】この点を念頭におき、ここでは図１７のよ
うにシステムを構成する。すなわち、図において、１０
１は発光手段であり、１０２は反射光画像獲得手段、１
０３は反射光画像処理手段である。また、５００は最大
画素値検出手段、５０１は受光状態決定手段である。

【０１７１】発光手段１０１は、外光下にある対象物体
に対する照明をする装置であり、反射光画贈獲得手段１
０２は、発光手段１０１による照明をあてた状態での対
象物体からの反射光をＣＭＯＳセンサで検出してその第
１の電荷蓄積部に蓄積し、つぎにこの発光を行わない状
態で対象物体からの反射光をＣＭＯＳセンサで検出して
素の第２の電荷蓄積部に蓄積し、その後、両者の差を得
て反射光画像として出力するものである。

【０１７２】最大画素検出手段５００は、反射光画像の
データから、その最大値を検出するものである。また、
発光状態決定手段５０１は、発光手段１０１の発光状態
を適宜に設定するものであって、前記最大画素検出手段
５００によって得られた最大画素値に従って、発光手段
１０１の発光状態を変更するかどうか決定する機能もあ
る。発光手段１０１の発光状態は、“状態１”、“状態
２”、“状態３の３通りのいずれかを取り得る。これを
上記の最大画素値対応に、選択してその状態対応に定め
たパルス数での発光手段１０１の発光を行わせることが
できる。

【０１７３】反射光画像処理手段１０３は反射光画像獲
得手段１０２の得た反射光画像をもとに、仕草や状態を
解析して３次元操作情報などを得るもので、図１の特徴
情報生成手段に該当する。

【０１７４】このような構成の本装置は、発光手段１０
１は、外光下にある対象物体に対する照明をする。反射
光画贈獲得手段１０２は、発光手段１０１による照明を
あてた状態での対象物体からの反射光をＣＭＯＳセンサ
で検出してその第１の電荷蓄積部に蓄積し、つぎにこの
発光を行わない状態で対象物体からの反射光をＣＭＯＳ
センサで検出してその第２の電荷蓄積部に蓄積し、その
後、両者の差を得て反射光画像として出力する。

【０１７５】反射光画像獲得手段１０２は発光手段１０
１と同期して動作し、発光手段１０１からの光が前方に
ある物体に反射して帰ってきた光の量の分布、すなわ
ち、反射光画像を獲得する。

【０１７６】反射光画像獲得手段１０２は受光セルのア
レイ構造を持っている。各受光セルが、発光手段１０１
が発光しているときと、発光していないときに同じ時間
だけ受光して電荷蓄積し、その差として反射光量を検出
する。また反射光画像獲得手段１０２は、その反射光量
をデジタルデータに変換し、出力する手段を含む。つま
り、Ａ／Ｄ変換部を備える。

【０１７７】このＡ／Ｄ変換部は０〜１Ｖの入力電圧
を、“０”から“２５５”までの８ｂｂｉｔデジタルデ
ータに変換する。従って、反射光画像獲得手段１０２か
らは、反射光量の分布、すなわち、反射光画像の各画素
値がデジタルデータとして出力される。

【０１７８】最大画素検出手段５００は、この一連の反
射光画像データから、その最大値を検出する。そして、
発光状態決定手段５０１にその検出値を渡す。これを受
けた発光状態決定手段５０１はこの検出値をもとに、３
種の発光状態のいずれが最適かを判別し、“状態１”、
“状態２”、“状態３”の３通りの状態値のうち、最適
な状態値を決定する。

【０１７９】（３つの発光状態）最適な状態値は次のよ
うにして決定する。すなわち、発光状態決定手段５０１
は、得られた最大画素値に従って、発光状態を変更する
かどうか決定する。今、発光手段１０１の発光状態は、
“状態１”、“状態２”、“状態３”の３りを取り得
る。これらのうち、“状態１”は、最も多くの反射光が
得られるモードで、対象物体である手が距離２０ｃｍに
あるときに、Ａ／Ｄ変換部の入力電圧が約１［Ｖ］にな
るように設定される。ただし、反射光量の大きさから、
絶対的な距離値は求まらないので、これは目安である。

【０１８０】例えば、手の色や、表面の状態（乾いてい
る、湿っている）によってばらつきはある。

【０１８１】“状態２”は“状態１”に比べ、約半分の
反射光量が得られるモードである。“状態３”はさらに
半分、つまり“状態１”の１／４の反射光量が得られる
モードである。

【０１８２】ここで、反射光量が倍増える方向へ状態を
変えることを、「状態を１つ上げる」、反射光量が半分
に減る方向へ状態を変えることを「状態を１つ下げ
る」、と呼ぶことにする。つまり、“状態１”から“状
態２”へ下げる、“状態３”から“状態２”へ上げる、
といった具合に表現することとする。

【０１８３】（発光状態の決定）発光状態決定手段５０
１は、次のようにして、発光状態を制御する。最大画素
値が“２５０”のとき、発光状態を１つ下げる。つま
り、現在の状態に対し、手が近づきすぎたとき、発光量
を下げることによって、反射光量を下げ、Ａ／Ｄ変換機
の入力信号が飽和しないようにする。

【０１８４】逆に、最大画素値が“１００”以下になっ
たとき、発光状態を１つ上げる。つまり現在の状態に対
し、手の位置が遠すぎて、反射光量が小さい場合、発光
状態を上げて、反射光量を増やす。ただし、“状態１”
の時はそれ以上は上げられないし、“状態３”の時はそ
れ以上下げられない。この状態遷移の様子を図１８に示
す。

【０１８５】（状態を変化させるしきい値の設定につい
て）今、最大画素値が“２５０”以上で状態を下げ、最
大画素値が“１００”以下で状態を上げると述べたが、
値はこれに限らない。最もシンプルな場合は“２５５
（つまり最大値）”で状態を下げ、“１２７（最大値の
半分）”で上げることである。

【０１８６】しかし、この場合は、状態を下げる前に一
度Ａ／Ｄの入力信号が飽和することになる（飽和してか
ら状態が下がる）。また、最大画素値２５５の時、状態
を一つ下げると、出力は“１２８”（もしくは“１２
７”）になるが、ここで再びほんの少し反射光量が下が
り、“１２７”を割るとまた状態が上がる。

【０１８７】このように、状態を上げるしきい値を、状
態を下げるしきい値のちょうど半分程度に設定しておく
と、しきい値近傍に反射光量が留まっているとき、状態
が頻繁に変わることになる。

【０１８８】そこで、状態が上がるしきい値を状態が下
がるしきい値の半分よりやや少なく設定し、状態変移に
ヒステリシス特性を持たせるようにすることにより、状
態が頻繁に変わることを防ぐことができる。本例では、
状態を下げるしきい値を“２０”以上にし、飽和する直
前に状態を下げるようにしている。また“２５０”で状
態が下がると、値が“１２５”程度に下がるが、これよ
り低い“１００に、状態を上げるしきい値を設定してい
る。

【０１８９】（状態の数）本例では状態の数を３つにし
た。そして、状態を変えることによって、反射光量が倍
あるいは半分になるように制御している。しかし、状態
の数を増やすことによって、もう少し、きめの細かい制
御をすることもできる。

【０１９０】（発光パルスと蓄積制御）発光状態の違い
は、発光パルスの数で制御する。図１９（ａ）に示すよ
うに、“状態１”では４つの発光パルスを、図１９
（ｂ）に示すように“状態２”では２つの発光パルス、
図１９（ｃ）に示すように“状態３”では１つの発光パ
ルスを駆動する。

【０１９１】図１９に示すように、各発光パルスａ−
１，ｂ−１，ｃ−１の長さは等しいので、“状態２”は
“状態３”の倍の、“状態１”は“状態２”の倍の反射
光量が得られることが分かる。この発光パルスに対し、
電荷蓄積制御は次のようになっている。

【０１９２】各発光パルスａ−１，ｂ−１，ｃ−１の下
に示すのが蓄積制御の様子を示すチャートである。

【０１９３】「１」は図３，図４に示す構成のＣＭＯＳ
センサを利用した反射画像獲得手段１０２における当該
ＣＭＯＳセンサの第１の電荷蓄積部に電荷を蓄積してい
ることを示し、「２」は第２の電荷蓄積部に電荷を蓄積
していることを示し、「Ｒ」は発生電荷を電源に逃が
し、リセットしていることを示している。

【０１９４】すなわち、図３、図４で説明したようにＣ
ＭＯＳセンサは単位受光部ＰＤをｎ×ｎ画素配列した構
成であり、単位受光部ＰＤは１つの光電変換部１１８
と、２つの電荷蓄積部１１９、１２０を持っている。光
電変換部１１８と電荷蓄積部１１９、１２０の間にはい
くつかのゲート（この例では１２２，１２３）があり、
これらのゲートの制御によつて光電変換部１１８で発生
した電荷を、二つの電荷蓄積部１１９，１２０のうちの
いずれの電荷蓄積部に導くかを選択できるようになって
いる。そして、このゲートの制御信号と発光手段１０１
の発光制御信号を同期させる。そして、二つの電荷蓄積
部の蓄積電荷の差を得ることで、反射光画像の当該画素
での成分とする。

【０１９５】図１９（ｃ）に示す“状態３”の蓄積制御
の様子を見てみると、まず、リセットした後、発光パル
スと同期して、光電変換部１１８の発生電荷をＣＭＯＳ
センサの第１ の電荷蓄積部に蓄積する。

【０１９６】次にもう一度リセットした後、今度は発光
していないときに、光電変換部１１８の発生電荷を第２
の電荷蓄積部に蓄積する。第２の電荷蓄積部には照明
光や太陽光などの外光による発生電荷が蓄積されてお
り、第１の電荷蓄積部には外光に加えて発光部からの発
光が物体に反射して戻ってきた光、すなわち反射光によ
る発生電荷が蓄積されている。従って、第１の電荷蓄積
部と第２の電荷蓄積部に蓄積された電荷量の差を取るこ
とによって、反射光量が求められる。

【０１９７】“状態２”は電荷蓄積を各々２ 回ずつ行
っているので、反射光は約２倍になる。“状態３”は電
荷蓄積を４回繰り返す。

【０１９８】なお、本具体例ではパルスの数で発光量を
制御したが、これに限らない。例えば、図２０に示すよ
うに、状態対応に、発光パルスのパルス長を２倍、４
倍、にして、３つの状態を作り出すようにしてもよい。
この場合は“状態１”、“状態２”、“状態３”いずれ
の場合も電荷蓄積制御は、第１、第２の電荷蓄積部に各
１回ずつ蓄積し、その蓄積時間が異なるだけである。

【０１９９】発光手段１０１の状態別総発光時間は図１
９の場合と同じであるので、反射光量は前の例とほぼ同
じである。ただし、外光が変動している場合、長い光パ
ルスを１回出すよりは、短い光パルスを複数回出した方
が、外光の影響を受けにくい。

【０２００】（他の発光量制御のバリエーション）反射
光量を制御する方法は上述の例の他にもまだある。例え
ば、発光手段１０１の発光の強さそのものを変えてしま
う方法である。すなわち、発光電流を変えるのである。
また、発光手段１０１として、複数の光源を用いている
場合、発光させる光源の数を変えるようにする方法もあ
る。

【０２０１】また、反射光量を制御する方法ではない
が、Ａ／Ｄ変換された後のデジタルデータの大きさの変
動を押さえるためのいくつかの方法がある。例えば、Ａ
／Ｄ変換器の前段のアンプにおいて、その増幅率をダイ
ナミックに変化させる方法がある。また、Ａ／Ｄ変換器
には０レベルの出力とフルスケール出力に対応する入力
電圧をリファレンスとして与えるが、このリファレンス
電圧を変化させることによっても、デジタルデータが適
切な範囲に収まるように制御することができる。

【０２０２】（対数アンプ）Ａ／Ｄ変換器の前段に対数
アンプなどを挿入することによって、距離の変化に対す
る信号の変化を抑制することができることから、１つの
モードで測定できる範囲は広くなる。そのため、場合に
よっては上述の処理を省くこともできる。しかし、対数
アンプを用いる場合でも、上記処理を用いれば、対象物
体である手が、遠い距離にあるときでも、近いときと同
じ程度のＳ／Ｎで測定できるようになる。

【０２０３】（状態決定のバリエーション）上述の例で
は、反射光画像の画素値の最大値だけで発光状態を決定
したが、他の方法もある。例えば、“２５０”以上の画
素値を持つ画素が１０個以上となったならば状態を下げ
る、“１００”以下の画素値を持つ画素が１０個以上に
なったならば状態を上げる、という具合に、しきい値の
条件を満たす画素数で状態を決定するようにしても良
い。この場合、ノイズによって部分的に“２５０”以上
の画素ができたときに状態が変わってしまわないという
効果がある。

【０２０４】また、画素値の平均値を併用する方法もあ
る。この方法は、ある値以上の（すなわち背景でない）
画素の画素値平均を求め、最大値が“２５０”以上、か
つ画素値平均が“１５０”以上の時、状態を下げる、と
いった具合である。この方法によれば、最大値だけが突
出しているが、それ以外の値は割合小さくて、状態を下
げると大部分の分解能が落ちてしまうという場合に、そ
の不具合を防止できる効果がある。

【０２０５】また、反射光量をＡ／Ｄ変換する前のアナ
ログ信号レベルで状態決定してしまうこともできる。Ａ
／Ｄ変換前のアナログ信号をローパスフィルタに通過さ
せると、平均的な信号量が得られる。これを比較回路に
入れ、その出力で発光状態を決定する。あるいは、ロー
パスフィルタの替わりに最大値保持回路に入力すると、
入力信号の最大値が分かる。これを基に状態決定する。

【０２０６】（アナログ量での発光制御）これまでの例
では、発光状態を発光パルス数やパルス幅などによって
ステップ状に変化させるようにした。つまり、光量制御
に発光パルス数やパルス幅を変化させることで発光手段
１０１の発光光量を変えるようにしていた。この場合、
きめ細かい光量制御がしにくい面が残る。きめの細かい
制御をするにはやはりリニアに光量制御できるようにす
る必要がある。

【０２０７】従って、ここでは発光状態をリニアに変化
させる例を述べる。

【０２０８】ここでは、Ａ／Ｄ変換手段６０１によるデ
ィジタル変換の前のアナログ信号からアナログフィード
バック回路を構成し、発光電流、すなわち、発光パワー
そのものを制御する。

【０２０９】構成例を図２２に示す。反射光画像獲得手
段１０２はこの図においては、アナログ信号を出力す
る。これをローパスフィルタ（ＬＰＦ）６０２に通すこ
とにより、フレームのＤＣ成分（直流成分）を抽出す
る。このＤＣ成分がある値より大きいときは発光量を下
げ、小さいときは発光量を上げるようなフィードバック
ループを発光量決定手段６０３の中に構成しておく。

【０２１０】このことによって、反射光画像の平均が常
に一定になるように発光手段１０１の発光量が自動的に
調整される。

【０２１１】図２２ではアナログ信号からフレームのＤ
Ｃ成分を抽出するのに、ＬＰＦを用いるようにしたが、
これに限らず、例えば、最大値検出回路を使えば、常に
反射光画像の最大値が一定になるように制御できる。ま
た、発光電流を制御する替わりに、発光パルス長をリニ
アに制御するなどしてもよい。

【０２１２】この方法では、反射光画像の平均（または
最大値）が常に一定になるように自動的に発光量が制御
されてしまうため、手全体の距離が替わったときにそれ
を検出することができない。従って、自動的に発光量を
制御することを優先し、距離の絶対値は必要ないときに
用いると効果的である。また、距離の絶対値は求まらな
いが、相対距離情報は求まるので、形だけを検出したい
ときにも適する。また、発光量を何らかの形で反射光画
像処理手段１０３に渡すようにしておけば、得られた反
射光画像と発光量から距離画像を復元できる。

【０２１３】以上は、発光手段の発光量を制御すること
で、対象物体の位置する距離の遠近に伴う反射光画像の
画質に及ぼす影響を抑制するようにした例を説明した。

【０２１４】これに対して、発光手段の発光の強さを変
えながら、何枚か反射光画像を取り、これを合成するこ
とでもダイナミックレンジの広い反射光画像を生成取得
することが可能である。そして、これにより、良質の反
射光画像を得ることができ、近いところから遠いところ
まで、精度良く距離検出できる。この例を次に説明す
る。

【０２１５】［対象物体の距離変動による反射光画像の
画質への影響を抑制する具体例］図２３を参照して具体
例を説明する。この装置は発光手段１０１、反射光画像
獲得手段１０２、フレームバッファ７０１、反射光画像
合成手段７０２、制御手段７０３、発光状態制御手段７
０４にて構成される。

【０２１６】発光状態制御手段７０４は発光手段１０１
がいくつかの発光モードで発光するようにこれを制御す
る。具体的には例えば、発光状態制御手段７０４は、発
光手段１０１がそれにしたがって発光する発光パルスを
生成するものとし、何パターンかの発光パルスを順に生
成する。同時に、反射光画像獲得手段１０２に対し、蓄
積制御信号を与える。反射光画像獲得手段１０２におけ
る電荷蓄積動作は発光動作と同期している必要があるた
め、発光状態制御手段７０４がこれを同時に制御する。

【０２１７】反射光画像獲得手段１０２から出力された
反射光画像のデータは、フレームバッファ７０１に蓄積
される。規定のフレーム数のデータがフレームバッファ
７０１に蓄積されると、反射光画像合成手段７０２がこ
れを読み出し、合成処理を行う。制御手段７０３はこれ
ら全体のタイミング制御を行う。

【０２１８】（合成アルゴリズムの説明）反射光画像合
成手段７０２の処理をさらに詳細に説明する。今、発光
状態制御手段７０４は、図１７を参照して説明した具体
例１において述べた“状態１”、“状態２”、“状態
３”の各動作を順に行うものとする。つまり、最初にあ
る発光パワーで発光し、次にその半分の発光パワーで発
光し、最後にさらにその半分（最初の１／４）の発光パ
ワーで発光する。

【０２１９】その発光動作に同期して反射光画像獲得手
段１０２による反射光画像獲得処理が行われ、フレーム
バッファ７０１には３フレームの反射光画像が蓄積され
る。この３フレームの反射光画像を用いて反射光画像合
成手段７０２が処理を行う。

【０２２０】“状態１”、“状態２”、“状態３”に対
応する反射光画像をそれぞれ“反射光画像１”、“反射
光画像２”、“反射光画像３”と呼ぶことにする。“反
射光画像２”は“反射光画像３”の倍の画素値を、“反
射光画像１”は“反射光画像３”の４倍の画素値を持っ
ている。ただし、最大で２５５である。そこで、次のよ
うなアルゴリズムで反射光画像を合成する。各座標
（ｘ、ｙ）について、“反射光画像１”、“反射光画像
２”、“反射光画像３”の座標（ｘ，ｙ）の画素値を、
それぞれＰ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）、Ｐ３
（ｘ，）とし、合成画像の画素値をＰ（ｘ，ｙ）とす
る。

【０２２１】今、ある画素（ｘ，ｙ）について、Ｐ１
（ｘ，ｙ）が２５５未満であれば、Ｐ（ｘ，ｙ）＝Ｐ１
（ｘ，ｙ）、そして、Ｐ１（ｘ，ｙ）＝２５５かつＰ
（ｘ，ｙ）＜２５５であれば、Ｐ（ｘ，ｙ）＝Ｐ２
（ｘ，ｙ）×２、また、Ｐ１１（ｘ，ｙ）＝Ｐ２（ｘ，
ｙ）＝２５５であれば、Ｐ（ｘ，ｙ）＝Ｐ３（ｘ，ｙ×
４とする。

【０２２２】この処理の流れをまとめると図２４のフロ
ーチャートの如きとなる。 （合成アルゴリズムのバリエーション）上述のアルゴリ
ズムは“反射光画像１”、“反射光画像２”、“反射光
画像３”の画素値がきちんと倍々に増えていることを前
提としているが、実際には、回路の非線型性や電荷蓄積
容量の性質などによって、多少の誤差が生ずる。

【０２２３】次にこの誤差の補正方法を説明する。“反
射光画像２”が“反射光画像３”の何倍か（理想的には
２倍）、“反射光画像１”が“反射光画像２”の何倍か
（理想的には２倍）をきちんと求める。まず、“反射光
画像２”の中で、“２５５”未満の画素値を持つ画素を
すべて取り出し、対応する“反射光画像３”の画素値と
の比をとる。この比の平均α２３が、“反射光画像２”
の“反射光画像３”に対する倍率であるとみなしてよ
い。

【０２２４】前出のフローチャートのＰ（ｘ，ｙ）＝Ｐ
２（ｘ，ｙ）×２の２の替わりにα２３を用いる。“反
射光画像１”の“反射光画像２”に対する比α１２も同
様に求め、Ｐ（ｘ，ｙ）＝Ｐ３（ｘ，ｙ）×４の４の替
わりに、α１２×α２３を用いる。

【０２２５】今は“反射光画像２”において“２５５”
未満の画素値すべてについて、“反射光画像３”との比
を求めたが、あまり値が小さい場合は、比の計算誤差が
大きいので、“２５５”未満“１００”以上の画素値と
いうように、ある程度の大きさの画素だけを選択して、
演算の対象にしてもよい。

【０２２６】以上、種々の具体例を説明したが、要する
に本発明は、外光のみにより対象物体の画像を得（第１
の受光）、また、発光手段により光を発光して対象物に
あて、その対象物体による反射光を画像として捉える
（第２の受光）と共にその差成分を得て（反射光画
像）、これより前記対象物体の画像を抽出する装置にお
いて、第１には、前記照明光の発生する波長成分の光を
除去する除去手段と、前記対象物体の置かれる環境下で
の光量を前記除去手段を介して検出する検出手段と、こ
の検出手段による検出出力から前記対象物体のおかれる
環境の明るさの状態を判断して前記受光手段により得た
前記差成分の画像の採否を決める手段とを備えたもので
ある。

【０２２７】また、第２には、前記照明光の発生する波
長成分の光を除去する除去手段と、前記対象物体のおか
れる環境下での光量を前記除去手段を介して検出する検
出手段と、この検出手段による検出出力から前記対象物
体のおかれる環境の明るさの状態を検出し、変動の周期
情報を出力する手段と、この変動の周期情報に基づく変
動周期に同期して前記発光手段と前記受光手段を駆動制
御する手段とを備えたものである。

【０２２８】また、第３には、前記対象物体のおかれる
環境を常時、照明する照明手段と、この照明手段の光量
を制御する手段とを備えたものである。

【０２２９】また、第４には、前記発光手段の発光量を
異ならせた複数種の発光モードを持ち、決定された発光
モードで前記発光手段の発光を実施させるべく制御する
手段と、前記発光手段を前記いずれかの発光モードで予
備発光させる手段と、前記受光手段より前記予備発光時
の前記対象物体の画像情報を得て、この画像情報から、
最適となる発光モードを決定し、前記制御手段に与える
決定手段とを備えたものである。

【０２３０】そして、第５には、前記発光手段の発光量
を異ならせた複数種の発光モードを持ち、これらの発光
モードを順次選択して、その発光モードで前記発光手段
の発光を実施させるべく制御する手段と、前記各種の発
光モードでの発光動作時にそれぞれ前記受光手段から得
た差成分の画像を合成する手段とを備えたものである。

【０２３１】本発明は、対象物体に照明光を照射する発
光手段と、前記対象物体の画像を得る受光手段とを有
し、発光手段による照明光の非照射時での前記対象物体
の画像と、発光手段による照明光の照射時での前記対象
物体の画像を前記受光手段によりそれぞれ所定の同一検
出時間を以て得ると共に、得られた両画像の差成分を求
めることにより、前記対象物体の画像を抽出する場合
に、外光の変動のある環境において、特定の対象物体を
容易に高精度に抽出することができるようにするという
第１の目的を達成すべく、上記第１乃至第３の構成を採
用した。

【０２３２】そして、第１の構成の場合、照明光の発生
する波長成分の光を除去する除去手段を介して検出手段
は前記対象物体の置かれる環境下での光量を検出する。
これにより環境下での光量の監視が可能になる。検出手
段のこの検出出力から前記対象物体のおかれる環境の明
るさの状態を判断して前記受光手段により得た前記差成
分の画像の採否を決める。

【０２３３】その結果、環境下の光変動の大きさが画質
に影響を及ぼす程度のものとなっている状態で取得され
た差成分の画像は採用しないようにし、画質に支障のな
い範囲の光変動のときの画像のみを取捨選択して利用で
きるようになる。

【０２３４】また、第２の構成の場合、照明光の発生す
る波長成分の光を除去する除去手段を介して、検出手段
により前記対象物体のおかれる環境下での光量を検出す
る。この検出出力から前記対象物体のおかれる環境の明
るさの状態を検出し、変動の周期情報を得る。そして、
この変動の周期情報に基づく変動周期に同期して前記発
光手段と前記受光手段を駆動制御する。

【０２３５】この結果、環境下の光に周期的変動があっ
た場合に、その変動周期に同期した発光手段の発光と、
受光手段による画像取得ができ、従って、発光手段によ
る対象物体からの反射光成分による画像を精度良く取得
できるようになる。

【０２３６】また、第３の構成の場合、対象物体のおか
れる環境を常時、照明する照明手段を光量制御する手段
を設けたことで、安定した光量の環境下での画像取得が
でき、従って、発光手段による対象物体からの反射光成
分による画像を精度良く取得できるようになる。

【０２３７】差成分（差分画像）を取得するにあたり、
外光のみの環境下での対象物体の画像と、照明光を照射
させて得た対象物体の画像とを得るが、これらの画像は
それぞれ同じ所定の期間、撮像装置である受光手段の検
出出力（画像信号を電荷として蓄積したもの）を得る
が、外光の状況に変動があると外光のみの環境下での取
得画像と、照明光を当てて得た段階での取得画像中それ
ぞれでの外光成分が異なったものとなってしまい、これ
は雑音成分となり、対象物体のみの画像の抽出精度に影
響を与える。本発明によれば、これを解消できる。

【０２３８】また、本発明は、対象物体に照明光を照射
する発光手段と、前記対象物体の画像を得る受光手段と
を有し、発光手段による照明光の非照射時での前記対象
物体の画像と、発光手段による照明光の照射時での前記
対象物体の画像を前記受光手段によりそれぞれ所定の同
一検出時間を以て得ると共に、得られた両画像の差成分
を求めることにより、前記対象物体の画像を抽出する場
合に、対象物体と受光手段との距離が変わっても、最適
状態の画像抽出が可能な画像抽出装置とすることができ
るようにするという第２の目的を達成すべく、上記第４
及び第５の構成を採用した。

【０２３９】そして、第４の構成の場合、発光手段の発
光量を異ならせた複数種の発光モードを用意し、そし
て、最初に発光手段に予備発光をさせ、このときの対象
物体の画像を取得して、その画像の状態から、上記複数
種の発光モードのうちから、現状で最適の状態の画像が
取得し得る最適発光モードを決定し、この決定された発
光モードで前記発光手段の発光を実施させるべく制御す
るようにした。

【０２４０】予備発光で画像の状態を調べ、最適な画像
が取得可能な発光モードを決定してそのモードで本番で
の発光手段の発光を行い、得られた画像から差分の画像
の取得をするようにしたので、対象物体と受光手段との
距離が変わっても、最適状態の画像抽出が可能な画像抽
出装置を提供できる。

【０２４１】また、第５の構成の場合、発光手段の発光
量を異ならせた複数種の発光モードを用意する。そし
て、これらの発光モードを順次選択して、その発光モー
ドで前記発光手段の発光を実施させる。そして、これら
各種の発光モードでの発光動作時にそれぞれ前記受光手
段から得た差成分の画像を合成し、対象物体の差成分の
画像として用いるようにする。その結果、対象物体と受
光手段との距離が変わっても、最適状態の画像抽出がで
きる画像抽出装置を提供できる。

【０２４２】差成分（差分画像）を取得するにあたり、
外光のみの環境下での対象物体の画像と、照明光を照射
させて得た対象物体の画像とを得るが、これらの画像は
それぞれ同じ所定の期間、撮像装置である受光手段の検
出出力（画像信号を電荷として蓄積したもの）を得る。
そして、光の強さは距離の２乗に反比例するので、対象
物体の距離の変動は得た差分画像の品質に影響を与え
る。本発明によれば、これを解消できる。

【０２４３】なお、本発明は上述した具体例に限定され
ることなく、種々変形して実施し得る。

【０２４４】

【発明の効果】以上、詳述したように、本発明によれ
ば、外光の影響を抑制できて、特定の対象物体を容易に
高精度に抽出することができるようになり、また、対象
物体の位置が種々変わってもこれに影響されることなく
なって、、特定対象物体の形状、動き、距離情報などを
得るにあたり、その元となる特定の対象物体を画像中か
ら精度よく抽出するできるようなる画像抽出装置を提供
できる。

【図面の簡単な説明】

【図１】本発明を適用する対象の一具体例の全体構成を
示すブロック図。

【図２】図１の装置のより具体的な構成例を示す図。

【図３】図１の装置における反射光抽出手段１０２の構
成例の詳細図。

【図４】図３に示す反射光抽出手段の一画素分の単位受
光部ＰＤの概略構成を示す図。

【図５】図３，図４の回路中の受光部におけるゲートな
どの制御信号と発光制御信号、および光の強さの時間的
変化を示す図。

【図６】本発明の具体例を説明するためのブロック図。

【図７】図６の構成の本システムの動作例を説明するた
めの図。

【図８】図６の構成の本システムの動作例を説明するた
めの図。

【図９】図６の構成の本システムの動作例を説明するフ
ローチャート。

【図１０】本発明の別の具体例を説明するためのブロッ
ク図。

【図１１】本発明の別の具体例を説明するためのブロッ
ク図。

【図１２】図１１の構成の本システムの動作例を説明す
るための図。

【図１３】図１１の構成の本システムの別の動作例を説
明するための図。

【図１４】本発明の別の具体例を説明するためのブロッ
ク図。

【図１５】図１４の構成の本システムの別の動作例を説
明するための図。

【図１６】図距離をパラメータとしたときの対象物体と
その検出光量の関係を示す特性図。

【図１７】本発明の別の具体例を説明するためのブロッ
ク図。

【図１８】図１７の装置における各状態モードの遷移を
説明する図。

【図１９】図１７の構成の装置の動作例を説明するため
の図。

【図２０】図１７の構成の装置の別の動作例を説明する
ための図。

【図２１】線形アンプと対数アンプの特性例を示す図。
と

【図２２】対象物体の距離の変動による反射光画像の画
質への影響を抑制する本発明装置の別の具体例を説明す
るブロック図。

【図２３】対象物体の距離の変動による反射光画像の画
質への影響を抑制する本発明装置の別の具体例を説明す
るブロック図。

【図２４】図２３の装置の処理内容を説明するフローチ
ャート。

【図２５】従来例を説明するための図であって、従来の
３次元ポインティングデバイスの一例を示す図。

【符号の説明】

１０１…発光手段 １０２…反射光画像獲得手段（反射光抽出手段） １０３…特徴情報生成手段（反射光画像処理手段） １０４…受発光制御信号生成手段（タイミング信号生成
手段） １０６…対象物体 ２０１…外光光源 ２０２…フィルタ ２０３…外光検出手段 ２０４…外光状態判定手段 ２０５…受発光動制御手段 ４０１…照明制御信号生成手段 ５００…最大画素値検出手段 ５０１…発光状態決定手段 ６０１…Ａ／Ｄ変換器 ６０２…ローパスフィルタ（ＬＰＦ） ６０３…発光量決定手段 ６０４…反射光画像処理手段 ７０１…フレームバッファ ７０２…反射光画像合成手段 ７０３…制御手段 ７０４…発光状態制御手段

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１５年２月１７日（２００３．２．１
７）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００２９

【補正方法】変更

【補正内容】

【００２９】

【課題を解決するための手段】上記目的を達成するた
め、本発明に係る第１の画像抽出装置は、対象物体に照
明光を照射する発光手段と、前記照明光の照射時及び非
照射時における前記対象物体の画像の差分を求めること
により、前記照明光による前記対象物体からの反射光の
みを画像として獲得する反射光画像獲得手段と、前記照
明光の発生する波長成分の光を除去する除去手段と、前
記対象物体のおかれる環境下での光量を前記除去手段を
介して検出する検出手段と、前記検出手段による検出出
力から前記対象物体のおかれる環境の明るさの状態を判
断して前記反射光画像獲得手段が獲得した画像の採否を
決める手段とを具備する。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００３０

【補正方法】変更

【補正内容】

【００３０】本発明に係る第２の画像抽出装置は、対象
物体に照明光を照射する発光手段と、前記発光手段と同
期的に動作して前記照明光に基づく前記対象物体からの
反射光と外光とを受光する第１の受光手段と、前記発光
手段と同期的に動作して前記外光のみを受光する第２の
受光手段と、前記第１及び第２の受光手段の出力の差分
を求めることにより、前記照明光による前記対象物体か
らの反射光のみを画像として獲得する差分演算手段と、
前記照明光の発生する波長成分の光を除去する除去手段
と、前記対象物体のおかれる環境下での光量を前記除去
手段を介して検出する検出手段と、前記検出手段による
検出出力から前記対象物体のおかれる環境の明るさの状
態を検出し、該明るさの変動周期を示す周期情報を出力
する手段と、前記周期情報により示される変動周期に同
期して前記発光手段と前記第１及び第２の受光手段を駆
動制御する手段とを具備する。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００３１

【補正方法】変更

【補正内容】

【００３１】本発明に係る第３の画像抽出装置は、対象
物体に照明光を照射する発光手段と、前記照明光の照射
時及び非照射時における前記対象物体の画像の差分を求
めることにより、前記照明光による前記対象物体からの
反射光のみを画像として獲得する反射光画像獲得手段
と、前記対象物体のおかれる環境の外部照明の光量を制
御する手段とを具備する。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００３２

【補正方法】変更

【補正内容】

【００３２】本発明に係る第４の画像抽出装置は、対象
物体に照明光を照射する発光手段と、前記発光手段を発
光量の異なる複数種の発光モードから選択したいずれか
の発光モードで予備発光させる手段と、前記発光手段の
前記予備発光時の前記対象物体の画像情報から最適な発
光モードを決定する手段と、決定された最適な発光モー
ドで前記発光手段を発光させたときの前記照明光の照射
時及び非照射時における前記対象物体の画像の差分を求
めることにより、前記照明光による前記対象物体からの
反射光のみを画像として獲得する反射光画像獲得手段と
を具備する。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００３３

【補正方法】削除

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００３４

【補正方法】削除

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】００３５

【補正方法】変更

【補正内容】

【００３５】第１の画像抽出装置では、照明光の発生す
る波長成分の光を除去する除去手段を介して検出手段は
前記対象物体の置かれる環境下での光量を検出する。こ
れにより環境下での光量の監視が可能になる。検出手段
のこの検出出力から前記対象物体のおかれる環境の明る
さの状態を判断して前記受光手段により得た前記差成分
の画像の採否を決める。

【手続補正９】

【補正対象書類名】明細書

【補正対象項目名】００３７

【補正方法】変更

【補正内容】

【００３７】第２の画像抽出装置では、照明光の発生す
る波長成分の光を除去する除去手段を介して、検出手段
により前記対象物体のおかれる環境下での光量を検出す
る。この検出出力から前記対象物体のおかれる環境の明
るさの状態を検出し、変動の周期情報を得る。そして、
この変動の周期情報に基づく変動周期に同期して前記発
光手段と前記受光手段を駆動制御する。

【手続補正１０】

【補正対象書類名】明細書

【補正対象項目名】００３９

【補正方法】変更

【補正内容】

【００３９】第３の画像抽出装置では、対象物体のおか
れる環境を常時、照明する照明手段を光量制御する手段
を設けたことで、安定した光量の環境下での画像取得が
でき、従って、発光手段による対象物体からの反射光成
分による画像を精度良く取得できるようになる。

【手続補正１１】

【補正対象書類名】明細書

【補正対象項目名】００４０

【補正方法】変更

【補正内容】

【００４０】差成分（差分画像）を取得するにあたり、
外光のみの環境下での対象物体の画像と、照明光を照射
させて得た対象物体の画像とを得るが、これらの画像は
それぞれ同じ所定の期間、撮像装置である受光手段の検
出出力（画像信号を電荷として蓄積したもの）を得る。
そして、外光の状況に変動があると外光のみの環境下で
の取得画像と、照明光を当てて得た段階での取得画像中
それぞれでの外光成分が異なったものとなってしまう。
これは雑音成分となり、対象物体のみの画像の抽出精度
に影響を与える。第３の画像抽出装置によれば、これを
解消できる。

【手続補正１２】

【補正対象書類名】明細書

【補正対象項目名】００４１

【補正方法】削除

【手続補正１３】

【補正対象書類名】明細書

【補正対象項目名】００４２

【補正方法】変更

【補正内容】

【００４２】第４の画像抽出装置では、発光手段の発光
量を異ならせた複数種の発光モードを用意する。そし
て、最初に発光手段に予備発光をさせ、このときの対象
物体の画像を取得して、その画像の状態から、上記複数
種の発光モードのうちから、現状で最適の状態の画像が
取得し得る最適発光モードを決定し、この決定された発
光モードで前記発光手段の発光を実施させるべく制御す
る。

【手続補正１４】

【補正対象書類名】明細書

【補正対象項目名】００４４

【補正方法】削除

【手続補正１５】

【補正対象書類名】明細書

【補正対象項目名】００４５

【補正方法】削除

【手続補正１６】

【補正対象書類名】明細書

【補正対象項目名】０１７１

【補正方法】変更

【補正内容】

【０１７１】発光手段１０１は、外光下にある対象物体
に対する照明をする装置であり、反射光画像獲得手段１
０２は、発光手段１０１による照明をあてた状態での対
象物体からの反射光をＣＭＯＳセンサで検出してその第
１の電荷蓄積部に蓄積し、つぎにこの発光を行わない状
態で対象物体からの反射光をＣＭＯＳセンサで検出して
素の第２の電荷蓄積部に蓄積し、その後、両者の差を得
て反射光画像として出力するものである。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 森下 明 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 梅木 直子 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5B047 AA07 BB06 BC11 CA19 CB11 CB21

Claims (4)

【特許請求の範囲】
1. 【請求項１】対象物体に照明光を照射する発光手段と、
   前記対象物体の画像を得る受光手段とを有し、発光手段
   と受光手段が同期的に動作することにより、照明光の対
   象物体による反射光のみを画像として抽出する装置にお
   いて、 前記照明光の発生する波長成分の光を除去する除去手段
   と、 前記対象物体のおかれる環境下での光量を前記除去手段
   を介して検出する検出手段と、 この検出手段による検出出力から前記対象物体のおかれ
   る環境の明るさの状態を判断して前記受光手段により得
   た前記差成分の画像の採否を決める手段と、を備えるこ
   とを特徴とする画像抽出装置。
2. 【請求項２】対象物体に照明光を照射する発光手段と、
   前記対象物体の画像を得る受光手段とを有し、発光手段
   と受光手段が同期的に動作することにより、照明光の対
   象物体による反射光のみを画像として抽出する装置にお
   いて、 前記照明光の発生する波長成分の光を除去する除去手段
   と、 前記対象物体のおかれる環境下での光量を前記除去手段
   を介して検出する検出手段と、 この検出手段による検出出力から前記対象物体のおかれ
   る環境の明るさの状態を検出し、変動の周期情報を出力
   する手段と、 この変動の周期情報に基づく変動周期に同期して前記発
   光手段と前記受光手段を駆動制御する手段と、 を備えることを特徴とする画像抽出装置。
3. 【請求項３】対象物体に照明光を照射する発光手段と、
   前記対象物体の画像を得る受光手段とを有し、発光手段
   と受光手段が同期的に動作することにより、照明光の対
   象物体による反射光のみを画像として抽出する装置にお
   いて、 前記対象物体のおかれる環境の外部照明の光量を制御す
   る手段と、 を備えることを特徴とする画像抽出装置。
4. 【請求項４】対象物体に照明光を照射する発光手段と、
   前記対象物体の画像を得る受光手段とを有し、発光手段
   と受光手段が同期的に動作することにより、照明光の対
   象物体による反射光のみを画像として抽出する装置にお
   いて、 前記発光手段の発光量を異ならせた複数種の発光モード
   を持ち、決定された発光モードで前記発光手段の発光を
   実施させるべく制御する手段と、 前記発光手段を前記いずれかの発光モードで予備発光さ
   せる手段と、 前記受光手段より前記予備発光時の前記対象物体の画像
   情報を得て、この画像情報から、最適となる発光モード
   を決定し、前記制御手段に与える決定手段と、を備える
   ことを特徴とする画像抽出装置。