JP2017133931A

JP2017133931A - 画像生成装置、ならびに距離画像およびカラー画像の生成方法

Info

Publication number: JP2017133931A
Application number: JP2016013838A
Authority: JP
Inventors: 佐藤　寛之; Hiroyuki Sato; 寛之佐藤; 昭夫黒澤; Akio Kurosawa
Original assignee: Kurabo Industries Ltd; Kurashiki Spinning Co Ltd
Current assignee: Kurabo Industries Ltd; Kurashiki Spinning Co Ltd
Priority date: 2016-01-27
Filing date: 2016-01-27
Publication date: 2017-08-03

Abstract

【課題】視差のない距離画像とカラー画像を、より高い解像度で生成可能な画像生成装置および方法を提供する。【解決手段】対象空間に変調光を照射する変調光源１１と、前記対象空間に赤色光、緑色光および青色光をそれぞれ照射するＲ光源１２、Ｇ光源１３およびＢ光源１４と、前記各光のすべてに感度を有する複数の感光部がマトリクス状に配置され、受光した光量に応じた電荷量を信号として出力する撮像素子１５と、前記各光源を順次発光させ、前記撮像素子の受光のタイミングを制御する制御部１７と、前記変調光の前記対象空間からの反射光に対する前記信号に基づいて距離画像を生成するとともに、前記赤色光、緑色光および青色光の前記対象空間からの反射光に対する前記信号に基づいてカラー画像を生成する画像生成部１６とを有する画像生成装置１０。【選択図】図１

Description

本発明は、光飛行時間（ＴｉｍｅＯｆＦｌｉｇｈｔ：ＴＯＦ）方式による距離画像生成装置に関する。

ロボットビジョン等の分野において、空間の３次元情報をリアルタイムで取得する距離画像センサの重要性が高まっている。そのようなセンサの一つにＴＯＦ方式による距離画像センサ（以下、単に「ＴＯＦセンサ」という）がある。このセンサは、対象空間に変調光を照射し、面状の撮像素子で受光した反射光の位相遅延を画素ごとに検出することによって距離画像を生成する。

位相遅延の検出方法は多く提案されている。公知の一例を図５に基づいて説明する。照射光の変調周期Ｔに対して、図５Ａに示すようにＴ／２期間ごとに受光した反射光の光量をＡ０、Ａ２、図５Ｂに示すように始点をＴ／４周期遅らせたＴ／２期間ごとに受光した反射光の光量をＡ１、Ａ３とすると、反射光の位相のずれφ_ｄは、
φ_ｄ＝ａｒｃｔａｎ｛（Ａ１−Ａ３）／（Ａ０−Ａ２）｝
で求められる。光を反射した反射面への往復に要した時間ｔは、ｔ＝Ｔφ_ｄ／２π、反射面までの距離ｚは、ｚ＝ｃｔ／２で求められる。ここで、ｃは光速である。

多くのＴＯＦセンサでは、光量に応じてフォトダイオード（ＰＤ）で発生した電荷をＰＤの脇に形成した複数の蓄積部に電子的に振り分け、複数回の受光で発生した電荷をまとめて、蓄積部ごとに信号として読み取る。これにより、センサ以外の構成要素を減らすことができるので装置を小型化できる。また、複数の信号の差と比を取るだけで位相遅延が計算できるので演算負荷が軽く、高速な測定が可能となる。

距離画像と同時にカラー画像を取得したい場合、ＴＯＦセンサと別にカラー画像用のセンサを設けるか、単一のイメージセンサの画素を距離画像用とカラー画像用に分けて利用することが行われている。例えば、特許文献１には、距離情報導出用と、赤色用、緑色用および青色用の色情報導出用の計４種の画素を並べた画素アレイを有する受光センシングユニットを用いて、被計測物に対する距離情報と被計測物の色情報を取得可能とする３次元撮像装置が記載されている。

特開２０１１−１２８０２４号公報

しかしながら、ＴＯＦセンサと別にカラー画像用のセンサを設けることはコストアップに繋がるし、距離画像とカラー画像の視差の補正が必要となる。また、特許文献１に記載されたようにセンサの画素を距離画像用とカラー画像用とに分けると、その分得られる画像の解像度が低下する。

本発明は上記を考慮してなされたものであり、視差のない距離画像とカラー画像を、より高い解像度で生成可能な画像生成装置および方法を提供することを目的とする。

上記目的のために、本発明では、単一の撮像素子を用いて、複数光源を切り替えながら、距離画像およびカラー画像を生成する。

本発明の画像生成装置は、対象空間に変調光を照射する変調光源と、前記対象空間に赤色光、緑色光および青色光をそれぞれ照射するＲ光源、Ｇ光源およびＢ光源と、前記各光のすべてに感度を有する複数の感光部がマトリクス状に配置され、受光した光量に応じた電荷量を信号として出力する撮像素子と、前記各光源を順次発光させ、前記撮像素子の受光のタイミングを制御する制御部と、前記変調光の前記対象空間からの反射光に対する前記信号に基づいて距離画像を生成するとともに、前記赤色光、緑色光および青色光の前記対象空間からの反射光に対する前記信号に基づいてカラー画像を生成する画像生成部とを有する。

好ましくは、前記画像生成部がさらに、前記距離画像と前記カラー画像を統合して、前記対象空間のカラー情報付三次元データを生成する。

本発明の距離画像およびカラー画像の生成方法は、対象空間に変調光を照射し、該変調光の反射光を複数の感光部がマトリクス状に配置された撮像素子で受光して、当該反射光の位相遅延を画素ごとに検出して距離画像を生成するステップと、前記対象空間に赤色光を照射し、該赤色光の反射光を前記撮像素子の前記複数の感光部で受光してＲ画像を生成するステップと、前記対象空間に緑色光を照射し、該緑色光の反射光を前記撮像素子の前記複数の感光部で受光してＧ画像を生成するステップと、前記対象空間に青色光を照射し、該青色光の反射光を前記撮像素子の前記複数の感光部で受光してＢ画像を生成するステップと、前記Ｒ画像、前記Ｇ画像および前記Ｂ画像を合成してカラー画像を生成するステップとを有する。

好ましくは、前記距離画像およびカラー画像の生成方法は、前記距離画像と前記カラー画像を統合して、前記対象空間にある対象物のカラー情報付三次元データを生成するステップをさらに有する。

本発明の画像生成装置または距離画像およびカラー画像の生成方法によれば、単一の撮像素子を用いて２つの画像を生成するので、両画像に視差がない。また、撮像素子の感光部を距離画像用とカラー画像用に分けることなく共用するので、より解像度の高い画像が得られる。

本発明の一実施形態である画像生成装置の構成を示す図である。本発明の一実施形態である画像生成方法の流れを示す図である。距離画像生成ステップ（ＳＤ）におけるタイミングチャートの例である。Ｒ画像生成ステップ（ＳＲ）におけるタイミングチャートの例である。ＴＯＦ方式による距離測定の公知の方法を説明するための図である。

本発明の画像生成装置の一実施形態を図１に基づいて説明する。

図１において、本実施形態の画像生成装置１０は、変調光源１１、Ｒ光源１２、Ｇ光源１３、Ｂ光源１４、撮像素子１５、画像生成部１６および制御部１７を有する。

変調光源１１は、測定しようとする対象空間全体に変調光を照射する。変調される光の波長は、後述する撮像素子１５が感知できる波長であれば特に限定されないが、照射光が目立たないように近赤外線が好適に用いられる。変調光は、高周波でパルス状や正弦波状に強度変調されている。変調周波数が高いほど距離解像度が上がるので好ましい。変調周波数は、製造技術等の制限から、典型的には数ＭＨｚ〜１０ＭＨｚ程度に抑えられている。変調される光は、このような高周波数での変調が可能なＬＥＤ光やレーザー光を用いる。

Ｒ光源１２、Ｇ光源１３およびＢ光源１４は、測定しようとする対象空間全体に、それぞれ赤色、緑色、青色の光を照射する。ＲＧＢの３つの光源は、混合によって色空間の広い範囲が再現可能な波長分布を有する、公知の光源を用いることができる。

撮像素子１５は、感光部であるフォトダイオード（ＰＤ）がマトリクス状に配置され、各ＰＤが距離画像またはカラー画像の各画素に対応している。ＰＤは上記いずれの光に対しても感応して電荷を発生する。好ましくは、撮像素子の前面に、変調光および上記赤色、緑色、青色の光を通すバンドパスフィルターを配置する。これにより環境光の影響を抑えることができる。対象空間からの光はレンズ等によって撮像素子に集光される。このとき、上記各光源から出射した光が対象空間にある物体表面で反射された反射光も撮像素子に入射する。ＰＤで発生した電荷は、ＰＤの脇に形成された複数の蓄積部に振り分けることが可能で、蓄積部には複数回の受光で発生した電荷が蓄積される。蓄積された電荷は、各ＰＤの各蓄積部ごとに、信号として画像生成部に転送される。

また、撮像素子１５として、環境光の影響を排除できる構造のものを好適に用いることができる。例えば、特開２００８−１３５８００号公報には、ＰＤで生成された電荷のうち時間経過に伴って変化しない成分を分離して、出力信号に反映させない撮像素子が開示されている。

画像生成部１６は、撮像素子から転送された信号を演算処理して、変調光源から出射した変調光と、撮像素子が受光したその反射光との位相差から、画素ごとに距離情報を持った距離画像を生成する。また、画像生成部は、Ｒ光源、Ｇ光源またはＢ光源それぞれの点灯時に撮像素子から転送された信号を処理して、画素ごとに輝度情報を持ったＲ画像、Ｇ画像またはＢ画像を生成し、それらを合成してカラー画像を生成する。好ましくは、画像生成部はさらに、距離画像とカラー画像を統合して、画素ごとに距離情報とＲＧＢ各色の輝度情報を持ったカラー情報付三次元データを生成する。得られた各画像は、適当なフォーマットで、イーサネット（登録商標）規格等に従って外部に出力される。

制御部１７は、画像生成装置１０全体を制御する。例えば、測定の開始と終了、変調光の変調・点灯・消灯、ＲＧＢ各光の点灯・消灯、ＰＤの電荷蓄積のタイミング、電荷の振り分け、蓄積部からの信号読み出しなどを制御する。

次に、本発明の距離画像およびカラー画像の生成方法の一実施形態を図２〜図４に基づいて説明する。なお、装置各部の名称と符号は図１に従う。

図２を参照して、本実施形態の画像生成方法は、距離画像を生成するステップＳＤ、Ｒ画像を生成するステップＳＲ、Ｇ画像を生成するステップＳＧ、Ｂ画像を生成するステップＳＢ、カラー画像を生成するステップＳＣ、カラー情報付三次元データを生成するステップＳＩからなる。

距離画像生成ステップＳＤでは、変調光源１１から照射した変調光の反射光を撮像素子１５で受光して、反射光の位相遅延を画素ごとに検出して距離画像を生成する。距離画像を生成する方法としては、公知のＴＯＦセンサと同じ方法を用いることができる。各ＰＤごとに２つの蓄積部を有する撮像素子を用いる例を、図３に基づいて説明する。制御部１７からの変調信号ＭＯＤに従って、変調光源１１が対象空間全体に変調光を照射する。撮像素子は、制御部に従って変調光と同期を取り、第１の蓄積部への転送ゲートＴＸ１と第２の蓄積部への転送ゲートＴＸ２を開閉して、ＰＤで発生した電荷を振り分ける。電荷の振り分けを複数回繰り返した後、第１および第２の蓄積部に蓄積された電荷が、それぞれ別の信号として画像生成部１６へ転送される。画像生成部は、２つの信号から変調光の反射光の位相遅延を検出して当該画素の距離情報を得る。画像生成部はすべての画素の距離情報をまとめて距離画像を生成する。

距離画像を生成するに当たり、使用環境によっては、環境光への対策を考慮する必要がある。かかる場合には、撮像素子１５として環境光の影響を排除できる構造のものを用いることができる。あるいは、画像生成部が、変調光照射時と非照射時の信号の差を取って距離画像を生成してもよい。

Ｒ画像生成ステップＳＲでは、Ｒ光源１２から照射された赤色光の反射光を撮像素子１５で受光して、画素ごとに輝度情報を持ったＲ画像を生成する。

Ｒ画像を生成するに当たり、使用環境によっては、環境光への対策を考慮する必要がある。その場合は、撮像素子１５として環境光の影響を排除できる構造のものを用いることができる。あるいは、赤色光照射時と非照射時の信号の差を取って、Ｒ画像を生成してもよい。これにより、環境光の影響を抑えて、より鮮明なＲ画像を得ることができる。例として、図４を参照して、その方法を説明する。制御部１７からのオンオフ信号ＲＥＤに従って、Ｒ光源１２が点灯・消灯を繰り返す。撮像素子１５は、制御部に従ってＲ光源の点灯・消灯と同期を取り、前述の転送ゲートＴＸ１とＴＸ２を開閉して、ＰＤで発生した電荷を振り分ける。これを所要回繰り返した後、第１および第２の蓄積部に蓄積された電荷が、それぞれ別の信号として画像生成部に１６転送される。図４では、第１の蓄積部からの信号がＲ光源点灯時の輝度情報を、第２の蓄積部からの信号がＲ光源消灯時の輝度情報を与えるので、画像生成部が両者の差を取ることによってより鮮明なＲ画像が得ることができる。Ｒ光源を点灯・消灯させる回数は特に限定されず、１回でもよいし、複数回でもよい。回数は、環境光によるＰＤの飽和現象の発生の有無や対象空間内での物体の動き等を考慮して決定することができる。

Ｇ画像生成ステップＳＧでは、Ｇ光源１３から照射された緑色光の反射光を撮像素子１５で受光して、画素ごとに輝度情報を持ったＧ画像を生成する。詳細はＲ画像生成ステップと同様である。

Ｂ画像生成ステップＳＢでは、Ｂ光源１４から照射された青色光の反射光を撮像素子１５で受光して、画素ごとに輝度情報を持ったＢ画像を生成する。詳細はＲ画像生成ステップと同様である。

カラー画像生成するステップＳＣでは、上記Ｒ画像、Ｇ画像、Ｂ画像を合成して、カラー画像を生成する。

カラー情報付三次元データを生成するステップＳＩでは、上記距離画像と、上記Ｒ画像、Ｇ画像、Ｂ画像を統合して、画素ごとに距離情報とＲＧＢ各色の輝度情報を持ったカラー情報付三次元データを生成する。

なお、上記各ステップの順番は、適宜入れ替えてもよい。例えば、ステップＳＲ、ステップＳＧ、ステップＳＢは互いに順番を入れ替えてもよいし、ステップＳＤとステップＳＣの順番を入れ替えてもよい。

本発明は上記の実施形態に限られるものではなく、その技術的思想の範囲内で種々の変形が可能である。

例えば、各光源の数は複数であってもよい。また、Ｒ光源、Ｇ光源、Ｂ光源は撮像素子と分離可能として、自由に移動・配置できるようにしてもよい。

１０画像生成装置
１１変調光源
１２Ｒ光源
１３Ｇ光源
１４Ｂ光源
１５撮像素子
１６画像生成部
１７制御部

Claims

対象空間に変調光を照射する変調光源と、
前記対象空間に赤色光、緑色光および青色光をそれぞれ照射するＲ光源、Ｇ光源およびＢ光源と、
前記各光のすべてに感度を有する複数の感光部がマトリクス状に配置され、受光した光量に応じた電荷量を信号として出力する撮像素子と、
前記各光源を順次発光させ、前記撮像素子の受光のタイミングを制御する制御部と、
前記変調光の前記対象空間からの反射光に対する前記信号に基づいて距離画像を生成するとともに、前記赤色光、緑色光および青色光の前記対象空間からの反射光に対する前記信号に基づいてカラー画像を生成する画像生成部と、
を有する画像生成装置。
前記画像生成部がさらに、前記距離画像と前記カラー画像を統合して、前記対象空間のカラー情報付三次元データを生成する、
請求項１に記載の画像生成装置。
対象空間に変調光を照射し、該変調光の反射光を複数の感光部がマトリクス状に配置された撮像素子で受光して、当該反射光の位相遅延を画素ごとに検出して距離画像を生成するステップと、
前記対象空間に赤色光を照射し、該赤色光の反射光を前記撮像素子の前記複数の感光部で受光してＲ画像を生成するステップと、
前記対象空間に緑色光を照射し、該緑色光の反射光を前記撮像素子の前記複数の感光部で受光してＧ画像を生成するステップと、
前記対象空間に青色光を照射し、該青色光の反射光を前記撮像素子の前記複数の感光部で受光してＢ画像を生成するステップと、
前記Ｒ画像、前記Ｇ画像および前記Ｂ画像を合成してカラー画像を生成するステップと、
を有する距離画像およびカラー画像の生成方法。
前記距離画像と前記カラー画像を統合して、前記対象空間にある対象物のカラー情報付三次元データを生成するステップをさらに有する、請求項３に記載の距離画像およびカラー画像の生成方法。