JP2006105848A - 距離測定システムおよび距離測定方法 - Google Patents

Abstract

【課題】一般的なＣＣＤ撮像素子を用いて物体までの距離を測定する技術を提供することを課題とする。
【解決手段】予め想定された最大測定距離からの反射光を入射可能な時間をＴＤとすると、露光期間の終了から時間ＴＤ前の時点から照射装置による発光を開始する。これにより、発光待ち時間ｔＷＡＩＴにおいては自然光のみを露光し、発光期間ｔＰＬＳにおいては、発光を行いつつ露光を行う。このようにして撮像された画像と、全く発光を行わないで撮像された画像との差分信号を算出し、この差分信号から距離情報を取得する。
【選択図】図４

Description

本発明は、ＣＣＤ等の撮像素子を用いた距離の測定技術に関する。

赤外線光などの光を対象物に照射し、対象物からの反射光を解析することにより、対象物までの距離を測定する技術が存在する。このような方式は一般にＴＯＦ（Time of Flight）方式と呼ばれている。

下記特許文献１においては、ＣＣＤ撮像素子を用いて対象物までの距離を測定する技術が開示されている。具体的には、照射した光と反射した光の位相差を検出することにより、対象物までの距離を測定するようにしている。

特開２００４−４５３０４号公報

ＴＯＦ方式のシステムにおいては、距離測定用に専用に開発されたＣＣＤ撮像素子が用いられる。このため距離を測定することは可能であるが、解像度が低い、カラーデータを取得することができないといった特徴があった。あるいは、ＣＣＤ撮像素子に非常に高い性能が要求されるため、一般的なＣＣＤ撮像素子を用いて距離を測定することは困難であった。たとえば、上記特許文献１においても、オーバーフロードレイン信号の制御を高速化する手段が開示されているが、一般のＣＣＤ撮像素子は、自然光を露光することを前提としているため、オーバーフロードレイン信号のパルス幅は非常に長い。したがって、一般のＣＣＤ撮像素子を用いて実現することは困難である。

そこで、本発明は前記問題点に鑑み、一般的なＣＣＤ撮像素子を用いて物体までの距離を測定する技術を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、物体に光を照射する照射装置と、撮像装置と、前記照射装置に対する発光タイミング制御および前記撮像装置に対する露光期間制御を行う制御手段と、を備え、前記照射装置から照射された光が予め想定された測定最大距離の地点で反射して前記撮像装置に入射するまでの時間をＴとした場合、前記制御手段は、第１の露光期間においては露光期間の終了から時間Ｔ前の時点から前記照射装置が発光するように制御を行い、第２の露光期間においては前記照射装置が発光しないように制御し、前記第１の露光期間において取得された画像信号と前記第２の露光期間において取得された画像信号の差分信号を算出することにより、前記物体までの距離を測定することを特徴とする。

請求項２記載の発明は、請求項１に記載の距離測定システムにおいて、前記制御手段は、前記第１の露光期間においては、露光期間の終了時点まで前記照射装置が発光を継続するように制御することを特徴とする。

請求項３記載の発明は、請求項１または請求項２に記載の距離測定システムにおいて、さらに、画像信号と距離との関係を記憶したルックアップテーブル、を備え、前記ルックアップテーブルを参照することにより、前記差分信号を距離情報に変換することを特徴とする。

請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載の距離測定システムにおいて、前記制御手段は、前記第１の露光期間と前記第２の露光期間が交互に繰り返すように、前記照射装置および前記撮像装置を制御することを特徴とする。

請求項５記載の発明は、請求項１ないし請求項３のいずれかに記載の距離測定システムにおいて、前記制御手段は、前記第１の露光期間を連続してＮ（Ｎは整数）回繰り返した後、前記第２の露光期間が連続してＮ回繰り返すように、前記照射装置および前記撮像装置を制御することを特徴とする。

請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載の距離測定システムにおいて、さらに、前記差分信号からノイズ成分を除去する画像フィルタ、を備えることを特徴とする。

請求項７記載の発明は、請求項１ないし請求項６のいずれかに記載の距離測定システムにおいて、さらに、前記第２の露光期間において取得された画像を出力するインタフェース、を備えることを特徴とする。

請求項８記載の発明は、請求項１ないし請求項７のいずれかに記載の距離測定システムにおいて、前記第１の露光期間における発行タイミングの開始時間および発行タイミング期間は、カウンターロジック回路により制御されることを特徴とする。

請求項９記載の発明は、照射装置から物体に光を照射しつつ物体を撮像し、第１の画像信号を取得する第１の工程と、自然光のみを利用して物体を撮像し、第２の画像信号を取得する第２の工程と、前記第１の画像信号と前記第２の画像信号との差分信号を算出する第３の工程と、前記差分信号を距離情報に変換する第４の工程と、を備え、前記第１の工程は、前記照射装置から照射された光が予め想定された測定最大距離の地点で反射して撮像装置に入射するまでの時間をＴとした場合、露光期間の開始から始まり露光期間の終了から時間Ｔ前に終了する工程であって、前記照射装置が発光しない工程と、露光期間の終了から時間Ｔ前に開始し露光期間の終了まで継続する工程であって、前記照射装置が発光する工程と、を含むことを特徴とする。

本発明は、照射装置により物体に対する発光を行いつつ撮像した画像と、照射装置による発光を行わずに撮像した画像との差分を算出することにより距離を測定する。さらに、照射装置により発光を行うタイミングは、予め想定された測定最大距離からの光を受光可能な範囲で短く設定され、露光期間の全般に渡って発光されないように制御される。これにより、撮像装置において光が飽和することや、乱反射成分を多く露光することを防止することが可能であり、距離を正確に測定可能である。

以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本発明の実施の形態に係る距離測定システムの全体図である。距離測定システムは、距離測定装置１と距離測定装置１に接続された照射装置２とから構成される。図は、この距離測定システムを用いて物体３までの距離を測定する様子を示している。

距離測定装置１は、ＣＣＤ撮像素子１１、制御回路１２、第１，第２フレームメモリ１３，１４、引算器１５、距離変換テーブル１６を備えている。ＣＣＤ撮像素子１１は、デジタルカメラ等で一般に用いられる撮像素子である。したがって、ＣＣＤ撮像素子１１として高解像度のものを利用することが可能である。また、モノクロのみならずカラー画像を取得可能なＣＣＤ撮像素子を利用することが可能である。制御回路１２は、距離測定装置１の全体制御を行う。また、制御回路１２は、照射装置２に対して発光タイミング信号ＦＳを送出することにより、照射光の出力制御も行う。

照射装置２は、制御回路１２からの制御を受けて、物体３に光を照射する装置である。照射装置２は、赤外線を照射する装置であってもよいし、白色光を照射する装置であってもよい。ただし、照射装置２として赤外線照射装置を用いる場合には、ＣＣＤ撮像素子１１は、赤外線光領域に対して感度が良いものを選択することが好ましい。

図２は、ＣＣＤ撮像素子１１の入出力信号を示す図である。ＣＣＤ撮像素子１１は、制御回路１２から送信されたタイミング信号ＴＳとオーバーフロードレイン信号ＯＤＳを入力し、画像信号を出力する。タイミング信号ＴＳは、ＣＣＤ撮像素子１１が備える複数のフォトダイオードに蓄積された電荷を出力するタイミングを制御する信号である。オーバーフロードレイン信号ＯＤＳは、ＣＣＤ撮像素子１１が光電変換した電荷を廃棄するタイミングを制御する信号であり、初期リセット時や露光期間を調整する目的で使用される信号である。

図３は、オーバーフロードレイン信号ＯＤＳと照射装置２による発光タイミングを制御する発光タイミング信号ＦＳとの関係を示す図である。発光タイミング信号ＦＳは、上述したように制御回路１２から照射装置２に送信される信号である。図において、オーバーフロードレイン信号ＯＤＳがＨｉレベルにある状態で、ＣＣＤ撮像素子１１は露光を行い、オーバーフロードレイン信号ＯＤＳがＬｏｗレベルにある状態で、ＣＣＤ撮像素子１１は露光を停止する。また、照射装置２は、発光タイミング信号ＦＳのパルスを入力している期間に光を物体３に照射する。

図４は、図３で示した符号ＢＴ部分の拡大図である。この図で示すように、１つの露光期間の終わりに近いタイミングで、発光タイミング信号ＦＳのパルスが出力されている。図中、ｔＷＡＩＴは、露光が開始されてから発光が開始されるまでの発光待ち時間を示しており、ｔＰＬＳは、発光期間を示している。つまり、各露光期間において、露光の開始から発光待ち時間ｔＷＡＩＴの間は、物体３から反射される自然光がＣＣＤ撮像素子１１において露光される。言い換えると、発光待ち時間ｔＷＡＩＴの間は、自然光のみを利用して物体３の画像を撮像する期間である。そして、露光の開始から発光待ち時間ｔＷＡＩＴが経過した時点から発光期間ｔＰＬＳの間は、物体３から反射される自然光と、照射装置２が物体３に照射した光の反射光とがＣＣＤ撮像素子１１において露光される期間である。言い換えると、照射装置２から物体３に光を照射しつつ、物体３の画像を撮像する期間である。

ここで、発光待ち時間ｔＷＡＩＴおよび発光時間ｔＰＬＳは、それぞれカウンターロジック回路で構成することにより、自由に距離設定を行うことが可能である。図５は、制御回路１２が備えるカウンターロジック回路を示す図であり、発光待ち時間ｔＷＡＩＴを設定する第１カウンタ１７と発光期間ｔＰＬＳを設定する第２カウンタ１８を示す図である。第１カウンタ１７は、オーバーフロードレイン信号ＯＤＳを入力すると、その時点から発光待ち時間ｔＷＡＩＴをカウントする。第１カウンタ１７において発光待ち時間ｔＷＡＩＴのカウンタが終了すると、制御回路１２は、照射装置２に対して発光開始信号を送信する。つまり、図４で示したように、発光タイミング信号ＦＳがＨｉレベルに制御される。また、第１カウンタ１７は、発光待ち時間ｔＷＡＩＴのカウントを終了すると、第２カウンタ１８に対して発光開始信号を送出する。第２カウンタ１８は、この発光開始信号を入力すると、発光期間ｔＰＬＳのカウントを開始するのである。第２カウンタ１８において発光期間ｔＰＬＳのカウントが終了すると、制御回路１２は、照射装置１２に対して発光終了信号を送信する。つまり、図４で示したように、発光タイミング信号ＦＳがＨｉレベル状態からＬｏｗレベル状態に制御される。

このように、第１カウンタ１７および第２カウンタ１８の設定を変更することにより、自由に発光待ち時間ｔＷＡＩＴおよび発光期間ｔＰＬＳを制御することが可能である。なお、発光待ち時間ｔＷＡＩＴと発光期間ｔＰＬＳの決定方法については、後で詳しく説明する。

以上のように、オーバーフロードレイン信号ＯＤＳおよび発光タイミング信号ＦＳを制御することにより、ＣＣＤ撮像素子１１は、自然光あるいは自然光と反射光とを露光するが、本実施の形態においては、図３および図６に示すように、照射装置２により物体３に光を照射する露光期間と照射装置２による光の照射を行わない露光期間が交互になるように制御されている。

図６で示した例では、フレーム（ｎ−２）、フレームｎ、フレーム（ｎ＋２）の画像を取得する露光期間においては照射装置２より物体３に光が照射されているが、フレーム（ｎ−１）、フレーム（ｎ＋１）については、照射装置２より光は照射されない。したがって、フレーム（ｎ−２）、フレームｎ、フレーム（ｎ＋２）の画像は、自然光と反射光とが露光された画像であるが、フレーム（ｎ−１）、フレーム（ｎ＋１）の画像は、自然光のみが露光された画像である。図では、時間軸方向に継続して行われる処理の中で、５フレーム分の処理を示しているが、図で示したような照射装置２による光の照射を行う露光期間と光の照射を行わない露光期間が、フレーム（ｎ＋３）以降も交互に繰り返し実行される。

露光されたフレーム（ｎ−２）の画像は、制御回路１２から送信されたタイミング信号ＴＳに応答してＣＣＤ撮像素子１１から出力されて、第１フレームメモリ１３に格納される。続いて、露光されたフレーム（ｎ−１）の画像は、制御回路１２から送信されたタイミング信号ＴＳに応答してＣＣＤ撮像素子１１から出力されて、第２フレームメモリ１４に格納される。

次に、図１に示すように、第１フレームメモリ１３に格納されているフレーム（ｎ−２）の画像および第２フレームメモリ１４に格納されているフレーム（ｎ−１）の画像は、引算器１５に入力される。そして、引算器１５において、フレーム（ｎ−２）の画像とフレーム（ｎ−１）の画像との差分信号が算出される。

同様に、次のフレームｎの画像が第１フレームメモリ１３に格納され、フレーム（ｎ＋１）の画像が第２フレームメモリ１４に格納され、引算器１５において、フレームｎの画像とフレーム（ｎ＋１）の画像との差分信号が算出される。このように、第１フレームメモリ１３には自然光と反射光とが含まれるフレーム画像が順次格納され、第２フレームメモリ１４には自然光のみが含まれるフレーム画像が順次格納され、引算器１５において、これら２つのフレーム画像の差分信号が算出されるのである。

図７（ａ）は、第１フレームメモリ１３に格納される画像信号、図７（ｂ）は、第２フレームメモリ１４に格納される画像信号、図７（ｃ）は、引算器１５によって算出された差分信号を示す図である。ただし、各図は、図１で示した物体３の破線上の画像信号を示しており、図の横軸Ｘは破線に沿った座標を示し、図の縦軸Ｙは画像信号の強度を示している。なお、図７の各図は、図１に示すように、物体３が円柱である場合を例にしている。

図７（ａ）に示すように、自然光および反射光を露光した画像では、円柱形の画像部分の強度が強くなっていることを示している。これは、円柱の中央部分が最もＣＣＤ撮像素子１１からの距離が近くなっていることを示している。これに対して図７（ｂ）は、自然光を露光した画像であり、全体的に平坦な画像となっていることが分かる。そして、図７（ｃ）で示す差分信号では、自然光の成分が消去され、物体３の反射光のみからなる画像信号が得られていることが分かる。

なお、画像信号の強度としては、画像信号がＹＣｂＣｒ信号などの場合には、輝度信号Ｙを用いるようにすればよい。また、画像信号がＲＧＢ信号の場合には、Ｇ信号を用いるようにすればよい。ただし、輝度信号やＧ信号を用いるのは一例であり、他の色の強度を用いてもよい。

このようにして、引算器１５において物体３の反射光を表す差分信号が算出されると、図１に示すように、この差分信号が距離変換テーブル１６に入力される。距離変換テーブル１６は、画像信号の強度を距離情報に変換するルックアップテーブルで構成されており、引算器１５から入力した差分信号を距離情報に変換して出力するのである。たとえば、距離変換テーブル１６は、輝度信号と距離の対応関係を記憶している。このようにして、物体３までの距離を測定する。ここでは、距離変換手段としてルックアップテーブルを用いるようにしたが、画像信号の強度から距離情報を演算により求める方法でもよい。

次に、上述した発光待ち時間ｔＷＡＩＴと発光期間ｔＰＬＳの決定方法について説明する。図４に示したように、発光待ち時間ｔＷＡＩＴが長く設定され、照射装置２による発光期間は、露光時間の終わりに近い時間帯となっている。このような設定を行っている理由は、照射装置２による発光期間が長くなると、反射光の受光量が多くなり、画像信号が飽和するためである。つまり、一般のＣＣＤ撮像素子については、オーバーフロードレイン信号ＯＤＳのパルス幅が長いため、このような長い期間にわたって反射光を受光すると、物体３までの距離が正確に測定できないからである。また、露光期間の初期の時間帯から照射装置２により光を照射すると、露光期間内においてＣＣＤ撮像素子１１が様々な乱反射光を受光可能となるため、これによっても物体までの距離を正確に測定できなくなるからである。

そこで、本実施の形態については、測定したい物体までの最大の距離が想定されており、この距離に応じて露光待ち時間ｔＷＡＩＴを設定するようにしている。たとえば、測定したい物体までの最大距離がＤ（ｍ）と設定されており、光の速度をｃ（３×１０⁸ｍ）とすると、照射装置２から照射した光が距離Ｄの地点で反射してＣＣＤ撮像装置１１において受光されるまでの時間Ｔ_D（秒）は、数１式で表される。

そこで、本実施の形態においては、露光期間の終了時点から数１式で示すＴ_D（秒）遡った時間から照射装置２による発光を開始するようにしているのである。つまり、測定しようとする最大距離の地点からの反射光を露光期間中に受光可能となる範囲で、露光待ち時間ｔＷＡＩＴをできるだけ長く（発光期間ｔＰＬＳをできるだけ短く）設定するようにしているのである。これにより、測定しようとする最大距離の地点からの反射光を受光して距離を測定可能となるとともに、不必要に多くの乱反射光を受光することを避けて正確に距離を測定するようにしているのである。また、露光期間内においては光が飽和することも避けるようにしている。

具体的には、露光期間が数マイクロ秒以上であるのに対して、発光期間ｔＰＬＳは、数ナノ秒〜数十ナノ秒の範囲で制御される。そして、測定したい物体の距離に応じて前述したカウンターロジック回路の設定値を調整し、発光待ち時間ｔＷＡＩＴと発光期間ｔＰＬＳを調整するようにすればよい。

また、発光期間ｔＰＬＳの終了時間は、図４に示すように、露光期間の終了時間より少し長くなるように設定している。発光時間ｔＰＬＳの終了時間を、露光期間の終了時間より少し長くなるようにしているのは、多少のマージンをとっているという理由であり、本質的には、発光期間ｔＰＬＳの終了時間を、露光期間の終了時間より早くならないように設定すればよい。このように設定する理由は、露光期間の終了時間よりも早く発光期間を終了した場合には、測定したい物体からの直接の反射光よりも乱反射の影響が大きくなるためである。

＜変形例＞
上述したように、自然光および反射光を露光して得られた画像から自然光のみを露光して得られた画像の差分を算出することにより、反射光のみの画像を得るようにしているが、このような処理を行った場合であっても、ノイズ成分が含まれる。そこで、図８に示すように、引算器１５の出力する差分信号に対してフィルタリング処理を行う画像フィルタ１９を設けるようにしてもよい。画像フィルタとしては平均化処理を行う一般的なフィルタを用いればよい。

また、上述したように、本実施の形態においては、ＣＣＤ撮像素子１１として一般のＣＣＤ撮像素子を利用可能であるので、距離データ以外に輝度データやカラーデータを取得することが可能である。たとえば、図９に示すように、第２フレームメモリ１４の出力を分岐させ、一方は引算器１５に入力させるとともに、他方の信号を外部に出力するインタフェースを備えることにより、第２フレームメモリ１４の出力を利用することが可能である。これにより、本実施の形態における距離測定システムは、距離の測定と並行して、カラー画像データを出力することも可能である。

また、図５に示したように、本実施の形態においては、第１カウンタ１７および第２カウンタ１８の設定値を制御することで、発光タイミングおよび発光期間ｔＰＬＳを自由に制御することが可能である。これにより、蛍光灯など外光のフリッカに対しても、発光タイミングを同期させることで、大幅にノイズを低減させることが可能である。

また、本実施の形態においては、図３あるいは図６で示したように、照射装置２によって光を照射する露光期間と光を照射しない露光期間が交互に繰り替えるようにしたが、必ずしも交互である必要はない。照射装置２により光を照射する露光期間を２回以上連続させた後に、同じ回数だけ光を照射しない露光期間を設定するようにしてもよい。この場合にも、自然光と反射光を露光した画像と自然光のみを露光した画像との差分をとることで反射光のみの画像を得ることができる。

距離測定システムの全体図である。 ＣＣＤ撮像素子の入出力信号を示す図である。 露光期間と発光タイミングとの関係を示す図である。 露光期間と発光タイミングとの関係を示す図である。 カウンターロジック回路を示す図である。 露光期間および発光タイミングとフレームメモリに格納される画像との関係を示す図である。 フレームメモリに格納される画像および引算器からの出力画像を示す図である。 画像フィルタを設けた距離測定システムのブロック図である。 輝度データあるいはカラー画像データを出力可能な距離測定システムのブロック図である。

符号の説明

１ 距離測定装置
２ 照射装置
３ 物体
１１ ＣＣＤ撮像装置
１２ 制御回路
１３ 第１フレームメモリ
１４ 第２フレームメモリ
１５ 引算器
１６ 距離変換テーブル
ＦＳ 発光タイミング信号
ＯＤＳ オーバーフロードレイン信号
ＴＳ タイミング信号

Claims (9)

1. 物体に光を照射する照射装置と、
   撮像装置と、
   前記照射装置に対する発光タイミング制御および前記撮像装置に対する露光期間制御を行う制御手段と、
   を備え、
   前記照射装置から照射された光が予め想定された測定最大距離の地点で反射して前記撮像装置に入射するまでの時間をＴとした場合、前記制御手段は、第１の露光期間においては露光期間の終了から時間Ｔ前の時点から前記照射装置が発光するように制御を行い、第２の露光期間においては前記照射装置が発光しないように制御し、前記第１の露光期間において取得された画像信号と前記第２の露光期間において取得された画像信号の差分信号を算出することにより、前記物体までの距離を測定することを特徴とする距離測定システム。
2. 請求項１に記載の距離測定システムにおいて、
   前記制御手段は、前記第１の露光期間においては、露光期間の終了時点まで前記照射装置が発光を継続するように制御することを特徴とする距離測定システム。
3. 請求項１または請求項２に記載の距離測定システムにおいて、さらに、
   画像信号と距離との関係を記憶したルックアップテーブル、
   を備え、
   前記ルックアップテーブルを参照することにより、前記差分信号を距離情報に変換することを特徴とする距離測定システム。
4. 請求項１ないし請求項３のいずれかに記載の距離測定システムにおいて、
   前記制御手段は、前記第１の露光期間と前記第２の露光期間が交互に繰り返すように、前記照射装置および前記撮像装置を制御することを特徴とする距離測定システム。
5. 請求項１ないし請求項３のいずれかに記載の距離測定システムにおいて、
   前記制御手段は、前記第１の露光期間を連続してＮ（Ｎは整数）回繰り返した後、前記第２の露光期間が連続してＮ回繰り返すように、前記照射装置および前記撮像装置を制御することを特徴とする距離測定システム。
6. 請求項１ないし請求項５のいずれかに記載の距離測定システムにおいて、さらに、
   前記差分信号からノイズ成分を除去する画像フィルタ、
   を備えることを特徴とする距離測定システム。
7. 請求項１ないし請求項６のいずれかに記載の距離測定システムにおいて、さらに、
   前記第２の露光期間において取得された画像を出力するインタフェース、
   を備えることを特徴とする距離測定システム。
8. 請求項１ないし請求項７のいずれかに記載の距離測定システムにおいて、
   前記第１の露光期間における発行タイミングの開始時間および発行タイミング期間は、カウンターロジック回路により制御されることを特徴とする距離測定システム。
9. 照射装置から物体に光を照射しつつ物体を撮像し、第１の画像信号を取得する第１の工程と、
   自然光のみを利用して物体を撮像し、第２の画像信号を取得する第２の工程と、
   前記第１の画像信号と前記第２の画像信号との差分信号を算出する第３の工程と、
   前記差分信号を距離情報に変換する第４の工程と、
   を備え、
   前記第１の工程は、
   前記照射装置から照射された光が予め想定された測定最大距離の地点で反射して撮像装置に入射するまでの時間をＴとした場合、露光期間の開始から始まり露光期間の終了から時間Ｔ前に終了する工程であって、前記照射装置が発光しない工程と、
   露光期間の終了から時間Ｔ前に開始し露光期間の終了まで継続する工程であって、前記照射装置が発光する工程と、
   を含むことを特徴とする距離測定方法。
   

Images