JP2003185412A

JP2003185412A - 画像取得装置および画像取得方法

Info

Publication number: JP2003185412A
Application number: JP2001383893A
Authority: JP
Inventors: Kunihisa Kishikawa; 晋久岸川; Shunichi Numazaki; 俊一沼崎; Takahiro Harashima; 高広原島; Norio Mihara; 功雄三原; Miwako Doi; 美和子土井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-12-18
Filing date: 2001-12-18
Publication date: 2003-07-03

Abstract

(57)【要約】【課題】反射光画像により距離情報を取得する装置およ
び方法において、対象の反射特性が一様でないため、正
確な距離情報を取得できないという問題があった。【解決手段】反射光画像と自然光画像の両方が取得でき
る画像取得装置を用いて、この画像取得装置が取得した
自然画像から、反射特性情報を抽出して参照し、反射光
画像を補正することで、正確な距離情報を取得する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本願発明は取得すべき画像情
報の自然光成分と反射光成分の両方を取得し、この成分
から取得する画像情報の精度を向上させるための画像取
得装置および画像取得方法に関する。

【０００２】

【従来の技術】コンピュータをはじめとする各種情報機
器において、情報の入力手段をどのようにして実現する
かは極めて重要な問題である。特に空間の３次元に関す
る情報は３次の自由度を持つ情報のため、効率良く正確
に入力できる手段を実現することは難しい。しかし、我
々人間が活動する実世界が３次元の空間であるため、情
報機器の普及，浸透に伴って、実世界と同じ３次元の情
報を直接情報機器に入力したり、情報機器に記録した
り、情報機器に認識させたりすることへの要求が高まっ
てくる。

【０００３】例えば、奥行き情報と一般の自然光画像の
両方を同時に毎秒１０〜３０枚のフレームレートで取得
する手段があれば、３次元情報を持つ動画（立体動画）
の撮影が可能になる。３次元情報を持つ動画が撮影可能
になると、単に立体画像として鑑賞可能な動画を撮影出
来るのみならず、奥行き情報を利用した画像の領域分割
や画像中からの物体切り出しがリアルタイムで実行可能
となる。その結果、物体認識やジェスチャー認識などの
画像処理による情報機器への情報入力が簡単に実現でき
るようになる。

【０００４】このような３次元情報を入力する手段の実
現の為には、画像情報と奥行き情報を統合的に取得，記
録編集する技術が必要であり、現状の技術でこれらに近
い内容を持つものは、恐らく画像認識、画像処理技術で
ある。そして、画像を利用して奥行き情報を求める技術
は、これまで画像処理，画像認識技術として研究されて
きたもので、１枚〜複数枚の画像を使用し、コンピュー
タ等で解析処理を行うことで画像の各部に対する奥行き
値を推定するものである。代表的なものにステレオ画像
処理や、パターン光投影法が挙げられる。

【０００５】このステレオ画像処理は、対象を複数の異
なる視点から撮影した画像を用い、その見え方の違いを
利用して三角測量の原理で奥行きを求める技術である。
三角測量を行うため、対応点を探索する処理に時間が掛
かるのが欠点である。また、パターン光投影法は、色や
濃淡のパターン光を対象に投影し、その投影パターンが
対象表面の凹凸によって歪むことを利用して、対象の断
面形状を推定する技術である。パターン光を投影する原
理上、明るい場所では使えないという欠点がある。

【０００６】いずれの技術を用いた場合でも、１つの静
止した物体もしくは静止した状況に関しては、自然光画
像と奥行き情報の両方の取得が可能であるが、毎秒１０
〜３０枚のフレームレートで奥行き情報を獲得しつづけ
ることは、現状ではほぼ不可能と考えられる。毎秒１０
〜３０枚のフレームレートで高速に奥行き情報を取得す
るためには、コンピュータ等の情報機器による演算によ
って奥行き値を探索するのではなく、直接、機械的な原
理で奥行きを計測するようなセンサーが必要である。

【０００７】この機械的な原理で奥行きを計測する手段
の一つにレンジファインダーカメラが挙げられる。この
レンジファインダーカメラはレーザー測距を行うため高
精度な奥行き情報を得ることができる。また、レンジフ
ァインダーカメラに通常のカメラが併載されているもの
もあり、自然光画像の同時撮影も可能である。しかし、
レーザー測距は基本的に一点毎の計測を繰り返してスキ
ャニングを行うため、毎秒１０〜３０枚のフレームレー
トでの処理には不向きである。

【０００８】次に、毎秒１０〜３０枚のフレームレート
で処理できることを優先した技術について述べる。本出
願人は特開平１０−１７７４４９号公報にあるように、
反射光が距離の２乗に反比例するという性質を利用し
て、反射光の強度を参照することで間接的に奥行き情報
を得る手段および方法を発明した。この発明において
は、距離情報を算出する根拠となる反射光画像は、依然
として画像の一種であるため、既存の動画撮影技術を適
用することが可能である。これにより、毎秒１０〜３０
枚以上のフレームレートで距離情報を取得することが可
能であるとしている。しかし、反射光画像における反射
光の強度は、対象との距離以外に例えば対象の表面の反
射係数などといった条件に左右され、必ずしも実際の奥
行きを反映していない場合がある。よって、反射光画像
が真の距離情報を反映したものに近づくように、何らか
の外部情報を参照して反射光強度を補正しなければ、奥
行き情報を取得する手段としては不充分である。

【０００９】例えば、反射光画像と共に一般の自然光画
像を取得することができれば、対象の表面の色情報から
対象の反射係数を推定することが出来るため、前記で述
べた反射光画像を補正する為に必要な外部情報の一部が
取得可能となる。

【００１０】また、本出願人は特開２０００−２２１０
０７号公報にあるように、主に赤外線を用いた不可視光
で反射光画像を撮像し、これとは別に可視光を撮像する
機構を設けて、両者を切り替える手段を付加すること
で、同一画像取得装置で反射光画像と自然光画像の両方
の取得を可能にする発明をした。しかし、この発明は切
り替え手段によって２つの撮像動作を切り替える方式で
あるため、同一対象における反射光画像と自然光画像の
両方を同時に取得することは出来ない。なお、対象が静
止している場合は撮像時の時間差はほぼ無視できるの
で、静止画に限定すれば、反射光画像と自然光画像の両
方を同時に取得した場合と等価であると言える。

【００１１】またこの発明では、反射光画像は主に赤外
線を用いた不可視光の反射光を撮影しているが、実際に
は反射光画像は不可視光のみならず可視光によっても取
得可能であり、撮像センサーの特性や対象の性質によっ
ては、可視光線による反射光画像を取得したほうが精度
が向上する場合もある。

【００１２】以上で述べたように、従来の技術では対象
に関する奥行き情報と自然光画像の両方を同時に取得可
能な手段は極めて限られており、しかも両者を毎秒１０
〜３０枚程度のフレームレートで取得可能な手段は皆無
である。

【００１３】

【発明が解決しようとする課題】以上述べたように、反
射光の強さが距離の２乗に反比例するという性質、Ｉ＝
ｋ／Ｄ^２（Ｉ：反射光の強さ、ｋ：物体の反射係数、
Ｄ：物体との距離）を利用すると、反射光によって構成
される反射光画像を参照して対象までの距離を測定する
ことが可能となる。

【００１４】しかし、反射光の強度は対象までの距離以
外に（１）対象の表面の色（反射係数）の違い、（２）
対象の材質（反射特性）の違い、などの要素に影響され
るため、単純に反射光画像の強度のみを参照して正確な
距離情報を得ることは難しい。よって本願発明では、反
射光画像だけでなく、自然光画像や対象の材質（反射特
性）情報などを同時に参照することで、反射光画像の反
射光強度分布を、実際の奥行き情報を反映したものに近
づくように補正し、最終的に取得される奥行き情報の精
度を改善することを目的としている。

【００１５】

【課題を解決するための手段】以上の課題を解決するた
めに、本願発明は、画像取得対象の物体に対して照射光
を照射するための発光手段と、この発光手段による前記
照射光によって前記物体が照らされた状態の画像成分の
電荷を蓄積するための第１の電荷蓄積手段と、前記物体
が自然光のみに照らされた状態の画像成分の電荷を蓄積
するための第２の電荷蓄積手段を有し、前記第１および
第２の電荷蓄積手段に蓄積された画像成分の電荷の差分
から反射光画像を取得するための反射光画像取得手段
と、前記物体が自然光のみに照らされた状態の画像を取
得するための自然光画像取得手段とを具備したことを特
徴とする。これにより、奥行き情報をもった自然光画像
を取得することができる。

【００１６】また、画像取得対象の物体に対して照射光
を照射するための発光手段と、この発光手段による前記
照射光によって前記物体が照らされた状態の画像成分の
電荷を蓄積するための第１の電荷蓄積手段と、前記物体
が自然光のみに照らされた状態の画像成分の電荷を蓄積
するための第２の電荷蓄積手段とを有する撮像手段と、
反射光画像を取り出す際には、前記第１および第２の電
荷蓄積手段に蓄積された画像成分の電荷の差分から反射
光画像を取得し、自然光画像を取り出す際には、前記第
２の電荷蓄積手段に蓄積された画像成分の電荷から自然
光画像を取得するよう制御するための制御手段とを具備
したことを特徴とする。これにより１つの撮像手段を制
御することで、奥行き情報をもった自然光画像を取得す
ることができる。

【００１７】前記発光手段は可視光を照射し、前記反射
光画像取得手段または前記撮像手段の受光セルは可視光
のＲ，Ｇ，Ｂ成分を受光するよう構成されていることを
特徴とする。また、前記発光手段は不可視光を照射し、
前記反射光画像取得手段または前記撮像手段の受光セル
は可視光のＲ，Ｇ，Ｂ成分を受光する部分と、不可視光
を受光する部分から構成されていることを特徴とする。
さらに、前記受光セルの可視光のＲ，Ｇ，Ｂ成分を受光
する部分は不可視光を除去するフィルタを付加し、前記
受光セルの不可視光を受光する部分には可視光を除去す
るフィルタを付加した構成からなることを特徴とする。
このように、照射する光の種類に応じて反射光画像取得
手段または撮像手段を構成することで、より正確な奥行
き情報をもった自然光画像を取得することができる。

【００１８】取得された前記自然光画像をもとに、前記
反射光画像の輝度を補正する反射光画像補正手段を有す
ることを特徴とする。また、取得された前記自然光画像
を色成分ごとに補正する自然光補正手段を有し、この自
然光補正手段によって補正された自然光画像をもとに、
前記反射光画像の輝度を補正する反射光画像補正手段を
有することを特徴とする。さらに、画像取得対象の物体
の表面の反射特性情報を記憶する反射特性記憶手段を有
し、この反射特性記憶手段に記憶されている前記物体の
反射特性情報をもとに、前記反射光画像の輝度を補正す
る反射光画像補正手段を有することを特徴とする。これ
により、より正確な奥行き情報を抽出できる。

【００１９】

【発明の実施の形態】［第１の実施例］図１は本願発
明の第１の実施例を示すブロック図である。第１の実施
例における、本願発明による画像取得装置１００は、反
射光による画像を取得する反射光画像取得部１１０と、
自然光による画像を取得する自然光画像取得部１２０
と、前記２つの画像取得部から得られた画像を画像情報
として処理するための情報処理部１３０と、情報処理部
１３０によって生成、保持される画像情報を外部システ
ム１５０に向かって出力したり、外部システム１５０か
らの制御情報や参照情報を入力するための外部入出力部
１４０から構成されている。

【００２０】ここで、反射光画像取得部１１０は、発光
部と、撮像センサーと、第１の電荷蓄積部と、第２の電
荷蓄積部と、差分回路からなる。発光部が発光している
間、撮像センサーで発生した電荷を第１の電荷蓄積部に
蓄積し、次に発光していない間に、撮像センサーで発生
した電荷を第２の電荷蓄積部に蓄積する。そして差分回
路にて第１の電荷蓄積部の蓄積量から第２の電荷蓄積部
の蓄積量を差し引くと反射光成分のみが取り出されるよ
うになっている。

【００２１】図２は、本願発明の第１の実施例における
反射光画像取得部１１０および自然光画像取得部１２０
の詳細を示すブロック図である。反射光画像取得部１１
０と自然光画像取得部１２０は図１のようにそれぞれ別
の画像取得部として構成してもよいが、ここでは、反射
光画像取得部１１０と自然光画像取得部１２０において
それぞれ共有できる部分は共有するような構成にした。
両部で異なる点は発光部１１８の有無である。つまり発
光部以外の部品は共有できることになる。

【００２２】発光部１１８は、制御部１１５からの制御
情報に従って、対象物１１Ａに対して照射光を照射す
る。対象物１１Ａは、撮像光学系１１１によって撮像セ
ンサー１１２上に結像する。この撮像センサーには、撮
像した電荷を蓄積する第１の電荷蓄積部および第２の電
荷蓄積部があるものとする。撮像センサー１１２の出力
する映像信号はアンプ１１３で増幅された後、Ａ／Ｄ変
換器１１４でデジタルデータに変換され、最終的にデジ
タル画像データとなってフレームメモリ１１６に蓄積さ
れる。フレームメモリ内のデジタル画像データは、情報
処理部１３０からの要求に応じて、Ｉ／Ｆ回路１１７を
経由して出力される。

【００２３】次に、図３をもとに反射光画像取得部１１
０および自然光画像取得部１２０の基本動作について説
明する。まず、発光部１１８が制御部１１５からの制御
情報に従って照射光をパルス発光する（Ｓ３１）。発光
している間に撮像センサー１１２内で発生した電荷は第
１の電荷蓄積部に蓄積される（Ｓ３２）。また、発光し
ていない間に撮像センサー１１２内で発生した電荷は第
２の電荷蓄積部に蓄積する（Ｓ３３）。

【００２４】これにより、第１の電荷蓄積部には発光部
１１８が発した照射光による反射光と、最初から対象を
照らしていた太陽光や照明光などの自然光の両方を受光
した電荷量が蓄積される。また、第２の電荷蓄積部には
自然光のみによる電荷量が蓄積されている。撮像センサ
ーの各セルから電荷を読み出す時に、２つの電荷蓄積部
を順番に読み出し、第１の電荷蓄積部の蓄積量から、第
２の電荷蓄積量を差し引くと反射光画像成分のみが取り
出せる（Ｓ３４）。また、単に第２の電荷蓄積部のみを
読み出せば、通常の自然光画像成分が取り出せる（Ｓ３
５）。

【００２５】図４は撮像センサーの構成を模式的に示し
たものである。撮像センサー１１２は光を電荷量に変換
するセルが格子上に並んだものである。反射光画像を取
得するために発光部１１８が照射する光線が可視光線で
ある場合、撮像センサー１１２の感知領域は通常の自然
光画像を撮像する場合と同じで良いため、撮像センサー
１１２の１セルは１１２ＡのようなＲＧＢ型で構成す
る。

【００２６】一方、発光部１１８が照射する光線が不可
視光線（例えば、近赤外線）の場合、撮像センサー１１
２の感知領域は近赤外線領域まで必要となる。しかし、
近赤外線領域まで感知領域を持つセンサーを使用して通
常の自然光画像を撮影すると、近赤外線の影響で通常の
可視光線の色の再現性が大きく低下することがある。こ
のような不具合を回避するため、発光部１１８が近赤外
線を照射する場合は、撮像センサー１１２の１セルを１
１２ＢのようなＲＧＢ＋ＩＲ型とする。ここでＲＧＢ＋
ＩＲ型とは、１１２Ｂのような１つの受光セルを通常の
可視光を受光する部分と、近赤外線のみを受光する部分
に分割し、可視光を受光するＲＧＢ部には近赤外線を除
去するフィルタを、近赤外線を受光するＩＲ部には可視
光を除去するフィルタをそれぞれ付加することで受光対
象外の光線からの干渉を回避する構造している。

【００２７】以上で述べた構成により、画像取得装置１
００は対象の反射光画像を取得することが出来る。反射
光画像の反射光強度が距離の二乗に反比例することを利
用すれば、最終的には対象の各部位までの距離情報を得
ることが出来る。

【００２８】なお、上記に挙げた反射光画像の取得方法
はあくまで一例であり、例えば撮像センサーの第１の電
荷蓄積部、第２の電荷蓄積部への電荷蓄積は１回づつと
は限らず、それぞれ複数回の読み出し分を蓄積しても良
い。また両者への蓄積回数が異なっていても良い。さら
に、電荷蓄積部も２つに限らず複数個存在しても良く、
この場合は複数の異なる発光条件に対応した複数の反射
光画像を得ることが可能となるなど、目的に応じて構成
を変更しても良い。

【００２９】例えば、発光部から複数種類（Ｘ種類）の
光を発するものと想定すると、撮像センサーは自然光成
分を蓄積する蓄積部と、Ｘ種類分の反射光成分を蓄積す
るＸ個の蓄積部の合計Ｘ＋１個の蓄積部を持つように構
成するとよい。

【００３０】［第２の実施例］図５は本願発明の第２
の実施例を示すブロック図である。第２の実施例におけ
る、本願発明による画像取得装置２００は、反射光によ
る画像を取得する反射光画像取得部２１０と、自然光に
よる画像を取得する自然光画像取得部２２０と、これら
２つの画像取得部から得られた画像成分を画像情報とし
て処理するための情報処理部２３０と、情報処理部２３
０によって生成、保持される画像情報を外部システム２
５０に向かって出力したり、外部システム２５０からの
制御情報や参照情報を入力するための外部入出力部２４
０から構成されている。

【００３１】また情報処理部２３０は、反射光画像取得
部２１０や自然光画像取得部２２０から得られた画像情
報を記憶保持しておくための画像情報記憶部２３１と、
反射光画像取得部から得られた反射光画像を補正するた
めの反射光画像補正部２３２とから構成されている。

【００３２】第２の実施例における画像取得装置２００
を構成する反射光画像取得部２１０および自然光画像取
得部２２０の構成，原理，動作は第１の実施例における
画像取得装置を構成する反射光画像取得部１１０および
自然光画像取得部１２０の構成，原理，動作と同じであ
る。

【００３３】第２の実施例が第１の実施例と異なる点
は、反射光画像取得部２２０から得られた反射光画像に
対して補正を行う反射光画像補正部２３２と、前記補正
処理を行う際に参照する画像情報を蓄積しておくための
画像情報記憶部２３１とを具備することである。

【００３４】また、反射光画像取得部２１０や自然光画
像取得部２２０に関しては、第１の実施例の図２のよう
に構成すると発光部以外の部品が共有できる。

【００３５】第２の実施例において、反射光画像に対す
る補正が必要となる状況と、実際の補正処理について以
下に述べる。図６における４００は、表面が３色に分か
れている一面状の物体を模式的に表現したものである。
左端が最も反射光輝度が高い色（Ｗ），中央が中間的な
反射光輝度の色（Ｇ１），右端が最も反射光輝度の低い
色（Ｇ２）であることを示している。これらの３色は、
単なる濃淡であっても良いし、赤、青、緑など色相を持
つものを濃淡に変換したものであっても良い。

【００３６】いずれにせよ、一面状の物体４００の表面
反射強度が一様でないために、この物体の反射光画像を
撮影すると、４１０のように濃淡の異なる３つの領域に
分かれる。この反射光画像４１０をそのまま距離情報と
して解釈すると、本来は一面状の物体である４００が、
４１０のような３段階の奥行きを持つ物体と解釈されて
しまう。この様な誤りを防ぐ為、第２の実施例における
画像取得装置では、自然光画像取得部２２０によって得
られた自然光画像の輝度値４２０を参照し、反射光画像
取得部２１０によって得られた反射光画像の輝度値４１
０を補正する。

【００３７】ここで、数式によって補正値を求める例と
して、例えばα＝(Rv-V)×Rt＋Bsという式を考える。α
は反射光画像の任意の注目点における補正値（求める
値）、Rvは自然光画像における補正値算出の基準輝度
（補正原点）、Ｖは自然光画像における前記注目点に対
応した点の輝度値、Rtはスケール変換係数（％）、Bsは
基準値補正用バイアス値である。

【００３８】ここで、補正原点の基準輝度Rv＝１２０、
スケール変換係数Rt＝８０（％）、基準値補正用バイア
ス値Bs＝±0.0 として補正値αを計算してみると、濃淡
Ｗの領域においては、α＝(120-160) ×0.8 ＝-32.0 、
濃淡G1の領域においては、α＝(120-90)×0.8 ＝+24.0
、濃淡G2の領域においては、α＝(120-60)×0.8 ＝+4
8.0 となる。

【００３９】この値をそれぞれ反射光画像の輝度値４１
０の対応する領域に適用した結果が４３０である。４３
０は、物体４００の奥行きが全て同じ位置にあることを
示しており、正しい内容に補正されていることが分か
る。

【００４０】また、補正値を求める別の例として、数値
テーブル（表）による方法を説明する。例えば、反射光
画像取得部２１０や自然光画像取得部２２０の撮像特性
に応じて、予め４４０のような数値対応表を作成してお
く。この表４４０において、αは反射光画像の任意の注
目点における補正値(求める値)、Rvは自然光画像におけ
る補正値算出の基準輝度(補正原点)、Ｖは自然光画像に
おける前記注目点に対応した点の輝度値である。

【００４１】補正値を求める場合には、自然光画像の輝
度値に対応する行から値を読み出す。濃淡Ｗの領域にお
いては、Ｖ＝160 →α＝-32.0 、濃淡G1の領域において
は、Ｖ＝90→α＝+24.0 、濃淡G2の領域においては、Ｖ
＝60→α＝+48.0 となる。

【００４２】この値をそれぞれ反射光画像の輝度値４１
０の対応する領域に適用した結果が４３０である。４３
０は、物体４００の奥行きが全て同じ位置にあることを
示しており、正しい内容に補正されていることが分か
る。数値テーブル（表）を使用する場合、補正の度に数
式計算を行わないので高速な処理が可能となる。また、
補正値の特性が計算式で表現することが困難な場合は、
実測値を元に校正を行って数値テーブル（表）を作成し
ておく方式が有効である。なお、上記に挙げた補正値や
補正式はあくまで一例であり、本願発明による画像取得
装置を構成する各部の特性に合わせて、様々な定理や手
段に則って反射光画像の補正値を計算しても良い。

【００４３】［第３の実施例］図７は本願発明の第３
の実施例を示すブロック図である。第３の実施例におけ
る、本願発明による画像取得装置３００は、反射光によ
る画像を取得する反射光画像取得部３１０と、自然光に
よる画像を取得する自然光画像取得部３２０と、前記２
つの画像取得部から得られた画像を画像情報として処理
するための情報処理部３３０と、情報処理部２３０によ
って生成、保持される画像情報を外部システム３５０に
向かって出力したり、外部システム３５０からの制御情
報や参照情報を入力するための外部入出力部３４０から
構成されている。

【００４４】また情報処理部３３０は、反射光画像取得
部３１０や自然光画像取得部３２０から得られた画像情
報を記憶保持しておくための画像情報記憶部３３１と、
自然光画像取得部３２０から得られた自然光画像を補正
するための自然光画像補正部３３２と、反射光画像取得
部３１０から得られた反射光画像を補正するための反射
光画像補正部３３３とから構成されている。

【００４５】第３の実施例における画像取得装置３００
を構成する反射光画像取得部３１０および自然光画像取
得部３２０の構成，原理，動作は第１の実施例における
画像取得装置を構成する反射光画像取得部１１０および
自然光画像取得部１２０の構成、原理、動作と同じであ
る。また、反射光画像取得部３１０や自然光画像取得部
３２０に関しては、第１の実施例の図２のように構成す
ると発光部以外の部品が共有できる。

【００４６】第３の実施例においては、第２の実施例と
は異なり、自然光画像の輝度値(濃淡)ではなくＲＧＢの
色成分情報に注目して反射光画像の補正を行う。図８，
図９は本願発明の第３の実施例における、反射光画像の
補正内容を模式的に示す図である。

【００４７】図８における物体８００は、表面が４色に
分かれている一面状の物体を模式的に表現したものであ
る。表面の色は、左端から順に白（Ｗ），赤（Ｒ），緑
（Ｇ），青（Ｂ）である。これらの４色は、照射光に対
する反射強度が異なる為、物体８００の反射光画像を撮
影すると、８１０のように濃淡の異なる４つの領域に分
かれる。上記反射光画像８１０をそのまま距離情報とし
て解釈すると、本来は一面状の物体である物体８００
が、例えば８１０そのままの４段階の奥行きを持つ物体
と解釈されてしまう。

【００４８】ここで、物体８００に対して均一な自然光
照明が与えられている場合を考える。この場合、自然光
画像は８２０の様になり、反射光画像８１０の濃淡の付
き方と自然光画像８２０の濃淡の付き方には相似性があ
る。よって、第２の実施例で説明した補正手段をもって
８１０を補正し、８４０の様な補正後反射光画像を得る
ことが可能である。

【００４９】次に、物体８００に対して均一な自然光照
明が与えられていない場合を考える。例えば、自然光画
像８３０は、物体８００の下端に影が落ちていて暗くな
っている状態を模式的に示している。この場合でも、反
射光画像は本願発明による画像取得装置が照射する照射
光の反射光のみを撮影したものなので、依然として８１
０と同じである。ところが、反射光画像８１０の濃淡の
付き方と自然光画像８３０の濃淡の付き方は相似ではな
いので、第２の実施例で説明した補正手段をもって８１
０を補正すると、８５０の様になり、やはり一面状の物
体を反映していない反射光画像を得てしまうことにな
る。

【００５０】ここで、第３の実施例では、前記のよう
に、対象物に均一な自然光照明が与えられていない場合
でも反射光画像を補正できる手段を提供している。図９
は、図８における自然光画像８３０を赤（Ｒ）、緑
（Ｇ）、青（Ｂ）の色成分別に分解した画像と、それぞ
れに対する処理の流れを模式的に示している。画像９１
０は自然光画像８３０から赤色成分を抽出したものであ
る。自然光画像８３０における白（Ｗ）、赤（Ｒ）の部
分には赤色成分が含まれるため、元の画像８３０に準じ
た輝度強度となるが、緑（Ｇ）、青（Ｂ）の部分には赤
色成分は含まれないため、輝度値は０である。

【００５１】ここで、輝度値が低い領域（０を含む）は
全て無視することとし、ある程度以上の輝度値を持つ領
域にのみ注目して、ヒストグラム(輝度分布)を調べる。
同じような輝度が数多く存在する場合は、それらの領域
をクラスタに分ける。画像９１０では、白（Ｗ）、赤
（Ｒ）のそれぞれ明／暗領域で合計４クラスタとなる。

【００５２】分布面積の大きいクラスタから順に注目
し、注目中のクラスタに近い輝度を持つ別のクラスタが
存在する場合には両クラスタを統合する。輝度が近いか
どうかは、例えば自クラスタの輝度の±２０％以内など
と閾値で制御する。統合後の輝度値は、両クラスタの単
純平均や荷重平均、中央値などに置き換える。このよう
な操作の結果、ある一定の輝度の範囲にある領域同士が
統合され、最終的に画像９１１のようになる。

【００５３】同様の操作を、緑色成分を抽出した画像９
２０や青色成分を抽出した画像９３０に適用し、最終的
に、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の成分別に領域の統
合を行った画像９１１、９２１、９３１を得ることとな
る。この色成分別補正後の３画像を再度統合すると、影
の影響による微妙な輝度差をキャンセルした補正後自然
光画像９４０が得られる。この補正後自然光画像９４０
を参照し、第２の実施例における反射光画像の補正と同
じ要領で反射光画像８１０を補正することにより、最終
的に色の違いによる濃淡と、影による濃淡の影響の両方
を取り除いた反射光画像８４０が得られることになる。

【００５４】なお、上記に挙げた色成分の分解方法やク
ラスタ統合の方法はあくまで一例であり、例えば、本例
にある赤，青，緑の領域のように、各領域の色相成分が
比較的独立している場合は、ＲＧＢではなくＹＵＶ（輝
度−色差）表現に変換して色差情報（ＵＶ）で領域分け
を行うと、輝度変化によるノイズを低減することが出来
て好都合である。他にも、画像取得装置を構成する各部
の特性や、撮影対象の性質に合わせ、様々な計算式や閾
値を用いて反射光画像の補正値を計算しても良い。

【００５５】［第４の実施例］図１０は本願発明の第
４の実施例を示すブロック図である。第４の実施例にお
ける、本願発明による画像取得装置４００は、自然光に
よる画像を取得する自然光画像取得部４１０と、反射光
による画像を取得する反射光画像取得部４２０と、前記
２つの画像取得部から得られた画像を画像情報として処
理するための情報処理部４３０と、情報処理部４３０に
よって生成、保持される画像情報を外部システム４５０
に向かって出力したり、外部システム３５０からの制御
情報や参照情報を入力するための外部入出力部４４０と
から構成されている。また情報処理部４３０は、反射光
画像取得部４１０や自然光画像取得部４２０から得られ
た画像情報を記憶保持しておくための画像情報記憶部４
３１と、撮影対象の表面反射特性を記憶保持しておくた
めの反射特性記憶部４３２と反射光画像取得部から得ら
れた反射光画像を補正するための反射光画像補正部４３
３とから構成されている。

【００５６】第４の実施例における画像取得装置を構成
する反射光画像取得部４１０および自然光画像取得部４
２０の構成，原理，動作は第１の実施例における画像取
得装置を構成する反射光画像取得部１１０および自然光
画像取得部１２０の構成，原理，動作と同じである。第
４の実施例が第１の実施例と異なる点は、反射光画像取
得部４２０から得られた反射光画像に対して補正を行う
反射光画像補正部４３３と、前記補正処理を行う際に参
照する対象の反射特性を記憶しておく反射特性記憶部４
３２とを具備することである。また、反射光画像取得部
４１０や自然光画像取得部４２０に関しては、第１の実
施例の図２のように構成すると発光部以外の部品が共有
できる。

【００５７】第４の実施例において、反射光画像に対す
る補正が必要となる状況と、実際の補正処理について以
下に述べる。本願発明における画像取得装置は、対象か
らの反射光の強度が距離の２乗に反比例するという性質
を利用して、反射光画像から距離情報を算出している。
ところが、対象の表面の反射特性が鏡面反射成分を多く
含む場合は、対象表面の法線方向に依存して、距離とは
無関係な反射光強度のピーク点が発生する。このような
反射光画像は、必ずしも対象の凹凸を反映しているとは
言えず、奥行き情報を算出する根拠としては採用出来な
い。一般的に、光の反射は入射角度＝反射角度であるか
ら、照射光を照射する発光部と照射光の反射光を撮影す
る反射光画像取得部の位置が近い時は、対象の表面が反
射光画像取得部の光学系に正対している場合に鏡面反射
の強度が最大となる。

【００５８】図１０は物体の反射光強度を物体表面の形
状（奥行き）に見立てた模式的に示したものである。グ
ラフ１０１０〜１０３０は画像取得の対象となっている
物体の表面形状の断面を模式的に示したものである。Ｖ
軸は画像取得装置の光学系の光軸と同軸であり、Ｖ軸方
向の値は反射光の強度を示している。Ｘ軸は画像平面Ｘ
−ＹのＸ軸を示している。また、図示されていないがＶ
軸と画像平面のＹ軸とで同様のグラフＶ軸−Ｙ軸を描く
ことが出来る。

【００５９】グラフ１０１０は、完全拡散反射の表面を
持つ対象における反射光の強度分布を示している。グラ
フ１０１０の形状は、すなわち物体の断面のＺ値(奥行
き)情報と相関している。グラフ１０２０は、グラフ１
０１０で示されている対象と同形状であって、かつ鏡面
反射成分を含む表面を持つ対象における反射光の強度分
布を示している。グラフ１０２０では、面の法線方向が
画像取得装置の光学系の光軸と一致する頂点１０１１付
近において鏡面反射光１０２１が発生し、元の形状とは
相関しない反射光強度分布となっている。

【００６０】グラフ１０３０は、グラフ１０２０から鏡
面反射光１０２１を取り除いた反射光強度分布を示して
いる。頂点１０３１付近の反射光強度分布は、グラフ１
０１０における反射光強度分布と厳密に同一とは言えな
いが、大局的には近似している。

【００６１】対象の表面が鏡面反射成分を含む場合、グ
ラフ１０２０で示される反射光強度をもって奥行き値を
算出するよりも、グラフ１０３０で示される反射光強度
をもって奥行き値を算出した方が誤差が少ないことは明
白である。ここで、どのようにして反射光成分の中から
鏡面反射光成分を分離するかが課題となる。以下に鏡面
反射光成分を分離する具体的な処理について述べる。

【００６２】まず、反射光画像において、反射光強度の
分布の変化を調べ、特定の法線を持つ部位を登録する。
特定の法線とは、反射光画像取得部４１０が照射する照
射光の反射方向が反射光画像取得部４１０の撮像光学系
の光軸と一致するような面に対する法線である。

【００６３】本願発明の第４の実施例においては、反射
光画像取得部４１０における照射光の照射軸と、撮像光
学系の光軸とはほぼ同じとみなせるので、照射光の反射
光の軸が撮像光学系の光軸と一致するような面は、撮像
光学系に対して垂直な面ということになる。以上によ
り、鏡面反射光が発生している可能性のある場所が特定
される。

【００６４】次に、鏡面反射光の強度や分布を推定す
る。物体表面の光に対する性質は（１）鏡面反射、
（２）拡散反射、（３）吸収の３つに分類される。これ
らの性質は物体の材質に依存するものであり、反射光画
像や自然光画像のみから推定することは極めて困難であ
る。

【００６５】本願発明の第４の実施例では、対象の表面
の反射特性に関する情報を知識として外部から与え、こ
れを反射特性記憶部４３２に保持している。よって、前
記反射特性記憶部４３２に保持している反射特性に関す
る情報を参照することで、対象表面の光に対する反射特
性の特定を行い、発生する鏡面反射の強度分布の推定が
可能となる。例えば鏡面反射成分の多い対象の場合は、
グラフ１０４０の様な急峻な立ち上がりの特性を持つ鏡
面反射光成分を想定し、鏡面反射成分と拡散反射成分が
双方含まれる対象の場合はグラフ１０５０の様な、なだ
らかに立ち上がり、ある一定の面積を持つ鏡面反射光成
分を想定することが出来る。

【００６６】最後に、反射光画像補正部４３３におい
て、前記特定部位における反射光強度から、前記想定鏡
面反射成分を引くことで、対象の鏡面反射特性を相殺し
た補正後反射光画像を得ることが出来る。前記補正後反
射光画像は、必ずしも対象の凹凸と厳密な相関を持った
反射光画像とは言えないが、前記グラフ１０２０とグラ
フ１０３０の比較の例と同様に、大局的には鏡面反射光
成分を含む反射光画像よりも誤差が低減され、その効果
は明白である。

【００６７】なお、上記に挙げた鏡面反射光の(強度、
分布の)推定や、鏡面反射発生部位の登録方法、対象の
反射特性に関する情報の与え方はあくまで一例であり、
本願発明による画像取得装置を構成する各部の特性に合
わせて、様々な定理や手段に則って反射光画像の補正値
を計算しても良い。

【００６８】また、本願発明の実施例における画像取得
処理または画像補正処理をコンピュータで実行可能なプ
ログラムで実現し、このプログラムをコンピュータで読
み取り可能な記憶媒体として実現することも可能であ
る。

【００６９】なお、本願発明における記憶媒体として
は、磁気ディスク、フロッピー（登録商標）ディスク、
ハードディスク、光ディスク（ＣＤ−ＲＯＭ，ＣＤ−
Ｒ，ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メ
モリ等、プログラムを記憶でき、かつコンピュータが読
み取り可能な記憶媒体であれば、その記憶形式は何れの
形態であってもよい。

【００７０】また、記憶媒体からコンピュータにインス
トールされたプログラムの指示に基づきコンピュータ上
で稼動しているＯＳ（オペレーションシステム）や、デ
ータベース管理ソフト、ネットワーク等のＭＷ（ミドル
ウェア）等が本実施形態を実現するための各処理の一部
を実行してもよい。

【００７１】さらに、本願発明における記憶媒体は、コ
ンピュータと独立した媒体に限らず、ＬＡＮやインター
ネット等により伝送されたプログラムをダウンロードし
て記憶または一時記憶した記憶媒体も含まれる。

【００７２】また、記憶媒体は１つに限らず、複数の媒
体から本実施形態における処理が実行される場合も、本
発明における記憶媒体に含まれ、媒体の構成は何れの構
成であってもよい。

【００７３】なお、本願発明におけるコンピュータは、
記憶媒体に記憶されたプログラムに基づき、本実施形態
における各処理を実行するものであって、パソコン等の
１つからなる装置、複数の装置がネットワーク接続され
たシステム等の何れの構成であってもよい。

【００７４】また、本願発明におけるコンピュータと
は、パソコンに限らず、情報処理機器に含まれる演算処
理装置、マイコン等も含み、プログラムによって本願発
明の機能を実現することが可能な機器、装置を総称して
いる。

【００７５】

【発明の効果】本願発明によれば、取得すべき対象物体
の奥行き情報と自然光画像の両方を高速に取得出来る。
また、物体の反射光成分の性質に起因する歪みや誤りを
補正することで、反射光成分から推定される奥行き情報
の精度を向上させることが可能となる。

【図面の簡単な説明】

【図１】本願発明の一実施形態である画像取得装置の第
１の実施例における全体構成図を示す図である。

【図２】本願発明の一実施形態である画像取得装置の第
１の実施例における反射光画像取得部１１０および自然
光画像取得部１２０の詳細な構成を示すブロック図であ
る。

【図３】本願発明の一実施形態である画像取得装置の第
１の実施例における反射光画像取得部１１０および自然
光画像取得部１２０の処理手順を示す図である。

【図４】本願発明の一実施形態である画像取得装置の第
１の実施例における撮像センサー１１２の構成を示す図
である。

【図５】本願発明の一実施形態である画像取得装置の第
２の実施例における全体構成図を示す図である。

【図６】本願発明の一実施形態である画像取得装置の第
２の実施例における反射光画像に対する補正処理を説明
するための図である。

【図７】本願発明の一実施形態である画像取得装置の第
３の実施例における全体構成図を示す図である。

【図８】本願発明の一実施形態である画像取得装置の第
３の実施例における反射光画像に対する補正処理を説明
するための図である。

【図９】本願発明の一実施形態である画像取得装置の第
３の実施例における反射光画像に対する補正処理を説明
するための図である。

【図１０】本願発明の一実施形態である画像取得装置の
第４の実施例における全体構成図を示す図である。

【図１１】本願発明の一実施形態である画像取得装置の
第４の実施例における物体の反射光強度を物体表面の形
状（奥行き）に見立てた図を示す図である。

【符号の説明】

１００…画像取得装置１１０…反射光画像取得部１２０…自然光画像取得部１３０…情報処理部１４０…外部入出力部１５０…外部システム１１Ａ…対象物１１１…撮像光学系１１２…撮像センサー１１３…アンプ１１４…Ａ／Ｄ変換器１１５…制御部１１６…フレームメモリ１１７…Ｉ／Ｆ回路１１８…発光部

───────────────────────────────────────────────────── フロントページの続き (72)発明者原島高広神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内 (72)発明者三原功雄神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内 (72)発明者土井美和子神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内Ｆターム(参考） 2F065 AA53 BB05 CC16 DD06 FF04 FF41 FF61 GG08 GG10 GG23 JJ03 JJ26 NN02 QQ14 QQ24 QQ25 QQ31 QQ42 QQ43 RR06 5B047 AA07 AB04 BB04 BC01 BC05 BC11 BC23 CA04 CA19 CB04 CB22 DC09

Claims

【特許請求の範囲】

【請求項１】画像取得対象の物体に対して照射光を照射
するための発光手段と、この発光手段による前記照射光によって前記物体が照ら
された状態の画像成分の電荷を蓄積するための第１の電
荷蓄積手段と、前記物体が自然光のみに照らされた状態
の画像成分の電荷を蓄積するための第２の電荷蓄積手段
を有し、前記第１および第２の電荷蓄積手段に蓄積され
た画像成分の電荷の差分から反射光画像を取得するため
の反射光画像取得手段と、前記物体が自然光のみに照らされた状態の画像を取得す
るための自然光画像取得手段とを具備したことを特徴と
する画像取得装置。
【請求項２】画像取得対象の物体に対して照射光を照射
するための発光手段と、この発光手段による前記照射光によって前記物体が照ら
された状態の画像成分の電荷を蓄積するための第１の電
荷蓄積手段と、前記物体が自然光のみに照らされた状態
の画像成分の電荷を蓄積するための第２の電荷蓄積手段
とを有する撮像手段と、反射光画像を取り出す際には、前記第１および第２の電
荷蓄積手段に蓄積された画像成分の電荷の差分から反射
光画像を取得し、自然光画像を取り出す際には、前記第
２の電荷蓄積手段に蓄積された画像成分の電荷から自然
光画像を取得するよう制御するための制御手段とを具備
したことを特徴とする画像取得装置。
【請求項３】前記発光手段は可視光を照射し、前記反射
光画像取得手段の受光セルは可視光のＲ，Ｇ，Ｂ成分を
受光するよう構成されていることを特徴とする請求項１
記載の画像取得装置。
【請求項４】前記発光手段は可視光を照射し、前記撮像
手段の受光セルは可視光のＲ，Ｇ，Ｂ成分を受光するよ
う構成されてなることを特徴とする請求項２記載の画像
取得装置。
【請求項５】前記発光手段は不可視光を照射し、前記反
射光画像取得手段の受光セルは可視光のＲ，Ｇ，Ｂ成分
を受光する部分と、不可視光を受光する部分から構成さ
れていることを特徴とする請求項１記載の画像取得装
置。
【請求項６】前記発光手段は不可視光を照射し、前記撮
像手段の受光セルは可視光のＲ，Ｇ，Ｂ成分を受光する
部分と、不可視光を受光する部分から構成されているこ
とを特徴とする請求項２記載の画像取得装置。
【請求項７】前記受光セルの可視光のＲ，Ｇ，Ｂ成分を
受光する部分は不可視光を除去するフィルタを付加し、
前記受光セルの不可視光を受光する部分には可視光を除
去するフィルタを付加した構成からなることを特徴とす
る請求項５または請求項６いずれか記載の画像取得装
置。
【請求項８】取得された前記自然光画像をもとに、前記
反射光画像の輝度を補正する反射光画像補正手段を有す
ることを特徴とする請求項１または請求項２いずれか記
載の画像取得装置。
【請求項９】取得された前記自然光画像を色成分ごとに
補正する自然光補正手段を有し、この自然光補正手段に
よって補正された自然光画像をもとに、前記反射光画像
の輝度を補正する反射光画像補正手段を有することを特
徴とする請求項８記載の画像取得装置。
【請求項１０】画像取得対象の物体の表面の反射特性情
報を記憶する反射特性記憶手段を有し、この反射特性記
憶手段に記憶されている前記物体の反射特性情報をもと
に、前記反射光画像の輝度を補正する反射光画像補正手
段を有することを特徴とする請求項１または請求項２い
ずれか画像取得装置。
【請求項１１】画像取得対象の物体に対して照射された
照射光によって前記物体が照らされた状態の画像成分の
電荷を第１の電荷蓄積手段に蓄積し、前記物体が自然光のみに照らされた状態の画像成分の電
荷を第２の電荷蓄積手段に蓄積し、反射光画像を取り出す際には、前記第１および第２の電
荷蓄積手段に蓄積された画像成分の電荷の差分から反射
光画像を取得し、自然光画像を取り出す際には、前記第２の電荷蓄積手段
に蓄積された画像成分の電荷から自然光画像を取得する
よう制御することを特徴とする画像取得方法。