JP2020008399A

JP2020008399A - 距離計測装置、距離計測方法および距離計測プログラム

Info

Publication number: JP2020008399A
Application number: JP2018128890A
Authority: JP
Inventors: 由枝木村; Yoshie Kimura; 厚憲茂木; Atsunori Mogi; 吉武　敏幸; Toshiyuki Yoshitake; 敏幸吉武
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2018-07-06
Filing date: 2018-07-06
Publication date: 2020-01-16
Anticipated expiration: 2038-07-06
Also published as: JP7071633B2

Abstract

【課題】移動する対象物までの距離を高精度に計測する。【解決手段】記憶部１ａは、ＴＯＦセンサ２から取得された距離画像１１と、それぞれ異なる偏光方向の直線偏光を受光するカメラ３ａ〜３ｃから取得された画像４ａ〜４ｃに基づいて画素ごとに偏光度を算出することで生成された偏光画像１２とを記憶する。演算部１ｂは、距離画像１１に基づいて画素ごとに偏光度を算出することで生成された偏光画像１３と、偏光画像１２との比較結果に基づいて、距離画像１１を変形させ、変形によって得られた距離画像１４を出力する。【選択図】図１

Description

本発明は、距離計測装置、距離計測方法および距離計測プログラムに関する。

対象物までの距離を計測する測距技術の１つとして、ＴＯＦ（Time Of Flight）方式がある。ＴＯＦ方式は、対象物に対して測距用の光線を照射し、光線の照射から反射光が戻ってくるまでの時間に基づいて、対象物までの距離を計測する方式である。

また、他の測距技術として、偏光方向の異なる直線偏光をカメラが受光して得られた画像を基に、偏光度を算出し、その偏光度に基づいて対象物までの距離を計測する技術も提案されている。

さらに、他の測距技術として、距離（デプス）センサから取得した距離画像と、上記のようにカメラから得られた偏光度を含む偏光画像の両方を用いて、距離センサだけを用いた場合より高精度に距離を計測するための技術も提案されている。

特開２０１３−０４４５９７号公報米国特許出願公開第２０１６／０２６１８４４号明細書

Seungkyu Lee, "Time-of-Flight Depth Camera MotionBlur Detection and Deblurring", IEEE SIGNAL PROCESSING LETTERS, Vol. 21, No. 6, June 2014 宮崎大輔、池内克史、「偏光レイトレーシング法による透明物体の表面形状の推定手法」、電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８８−ＤＩＩ，Ｎｏ．８、２００５年８月、ｐ．１４３２−１４３９

ところで、ＴＯＦセンサとしては、ラインスキャン方式を用いて測距するものが多い。ラインスキャン方式のＴＯＦセンサは、測距用の光線を、所定の第１の方向に延びる照射パターンとして発光し、このような照射パターンを第１の方向に直交する第２の方向に順次移動させながら、光線の反射光を受光する。

このようなラインスキャン方式のＴＯＦセンサでは、対象物に対して照射パターンが発光される時刻が、第１の方向に対する位置によって異なる時刻となる。このため、移動する対象物を測距対称とした場合に、ＴＯＦセンサに写る対象物の像の形状が歪むことがある。このような像の形状の歪みが生じると、測距精度が悪化するという問題がある。

１つの側面では、本発明は、移動する対象物までの距離を高精度に計測可能な距離計測装置、距離計測方法および距離計測プログラムを提供することを目的とする。

１つの案では、次のような記憶部と演算部とを有する距離計測装置が提供される。記憶部は、ＴＯＦセンサから取得された第１の距離画像と、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された第１の偏光画像とを記憶する。演算部は、第１の距離画像に基づいて画素ごとに偏光度を算出することで生成された第２の偏光画像と、第１の偏光画像との比較結果に基づいて、第１の距離画像を変形させ、変形によって得られた第２の距離画像を出力する。

また、１つの案では、上記の距離計測装置と同様の処理をコンピュータが実行する距離計測方法が提供される。
さらに、１つの案では、上記の距離計測装置と同様の処理をコンピュータに実行させる距離計測プログラムが提供される。

１つの側面では、移動する対象物までの距離を高精度に計測できる。

第１の実施の形態に係る距離計測装置の構成例および処理例を示す図である。第２の実施の形態に係る形状計測システムの構成例を示す図である。形状計測装置およびセンサユニットのハードウェア構成例を示す図である。ＴＯＦセンサによるデプス計測の問題点を説明するための図である。形状計測装置が備える処理機能の構成例を示すブロック図である。デプス画像のデータ構造の一例を示す図である。カメラ偏光画像算出処理の概要を示す図である。詳細形状算出部の処理手順の概要を示す図である。形状計測装置の処理手順を示すフローチャートの例である。

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る距離計測装置の構成例および処理例を示す図である。図１に示す距離計測装置１は、ＴＯＦセンサ２による計測結果と、複数のカメラによる撮像画像とを用いて、ＴＯＦセンサ２と、距離の計測対象とする図示しない対象物との間の距離を、対象物が写った画像の画素ごとに計測する装置である。ＴＯＦセンサ２は、被写体に対して測距用の光線を発光し、光線の発光からその反射光を受光するまでの往復時間に基づいて、被写体の距離（デプス）を計測する。

距離計測装置１は、記憶部１ａと演算部１ｂを有する。記憶部１ａは、例えば、距離計測装置１が備える図示しない記憶装置の記憶領域として実現される。演算部１ｂは、例えば、距離計測装置１が備える図示しないプロセッサとして実現される。

記憶部１ａには、ＴＯＦセンサ２から取得された距離画像１１（第１の距離画像）と、複数のカメラからそれぞれ取得された複数の画像に基づいて生成される偏光画像１２（第１の偏光画像）とが記憶される。本実施の形態では、例として、偏光画像１２の生成のために３台のカメラ３ａ〜３ｃが用いられるものとするが、４台以上のカメラが用いられてもよい。

カメラ３ａ，３ｂ，３ｃは、それぞれ異なる偏光方向の直線偏光を受光することで、それぞれ画像４ａ，４ｂ，４ｃを出力する。例えば、カメラ３ａは０°の直線偏光を受光し、カメラ３ｂは４５°の直線偏光を受光し、カメラ３ｃは９０°の直線偏光を受光する。偏光画像１２は、画像４ａ〜４ｃに基づいて画素ごとに偏光度を算出することで生成される。

ここで、カメラ３ａ〜３ｃは、同一の撮影時刻に画像４ａ〜４ｃを撮像する。「同一の撮影時刻」とは、画像４ａ〜４ｃの全体において露光期間が同一であることを意味する。一方、ＴＯＦセンサ２は、距離画像１１の全体で測距用の光線の反射光を同一時刻に受光できない構造のため、距離画像１１においては距離の計測時刻が部分的に異なる。例えば、ラインスキャン方式が用いられる場合、ＴＯＦセンサ２は、測距用の光線を所定の第１方向（例えば、縦方向）に延びる照射パターンとして発光する。そして、ＴＯＦセンサ２は、このような照射パターンを第１方向に直交する第２方向（例えば、横方向）に順次移動させながら、光線の反射光を受光する。この場合、距離画像１１上の第２方向に対する位置によって反射光の受光時刻が異なる時刻となるので、第２方向に対する位置によって距離の計測時刻も異なる時刻となる。

このように、距離画像１１においては、距離の計測時刻が画素の位置によって異なる。このため、移動する対象物を測距対象とした場合、距離画像１１に写る対象物の像の形状が歪むことがある。このような像の形状の歪みが生じると、測距精度が悪化する。一方、上記のように、カメラ３ａ〜３ｃによる画像４ａ〜４ｃの撮影時刻は同一であり、画像４ａ〜４ｃの全体において露光期間が同一となっている。このため、画像４ａ〜４ｃから算出された偏光画像１２には、上記のような対象物の移動に伴う像の形状歪みの影響は生じない。

そこで、演算部１ｂは、次のような処理により、像の形状歪みの影響が生じない偏光画像１２を用いて、距離画像１１を補正する。演算部１ｂは、距離画像１１に基づいて画素ごとに偏光度を算出することにより、偏光画像１３（第２の偏光画像）を生成する。そして、演算部１ｂは、偏光画像１２と偏光画像１３とを比較し、その比較結果に基づいて距離画像１１を変形させる。演算部１ｂ、変形によって得られた距離画像１４（第２の距離画像）を、像の形状歪みが低減された距離画像として出力する。

このような処理により、演算部１ｂは、像の形状歪みの影響が生じない偏光画像１２を基準として、像の形状歪みが低減されるように距離画像１１を補正することができる。これにより、対象物が移動する場合に、その移動に伴う像の形状の歪みが距離の計測精度に与える影響を軽減でき、距離の計測精度を向上させることができる。

〔第２の実施の形態〕
図２は、第２の実施の形態に係る形状計測システムの構成例を示す図である。図２に示す形状計測システムは、形状計測装置１００とセンサユニット２００とを含む。

形状計測装置１００は、被写体を写した画像をセンサユニット２００から取得し、取得した画像に写る被写体とセンサユニット２００との間のデプス（距離）を、画像上の画素ごとに計測する。例えば、計測の対象となる対象物３００が画像に写っている場合、形状計測装置１００は、画像に写っている対象物３００の像について、画像の画素ごとにデプスを計測する。これによって、形状計測装置１００は、対象物３００の三次元形状を計測することができる。

センサユニット２００は、ＴＯＦセンサ２１０とカメラ部２２０とを含む。ＴＯＦセンサ２１０は、ＴＯＦ方式を用いて被写体のデプスを算出する。具体的には、ＴＯＦセンサ２１０は、被写体にレーザ光を発光し、その反射光が被写体から戻ってくるまでの往復時間に基づいて、被写体のデプスを算出する。ＴＯＦセンサ２１０は、画像上の画素ごとにデプスをプロットした「デプス画像」を、形状計測装置１００に出力する。

一方、カメラ部２２０は、被写体からの光のうち、それぞれ異なる偏光方向の直線偏光の成分を受光することで得られる複数のカメラ画像を同時に撮像し、それらのカメラ画像を形状計測装置１００に出力する。なお、形状計測装置１００は、各カメラ画像として輝度画像を取得できればよい。この目的のために、カメラ部２２０が輝度画像を撮像する構成としてもよく、あるいは、カメラ部２２０がカラー画像を撮像し、形状計測装置１００がカラー画像を輝度画像に変換する構成としてもよい。

形状計測装置１００は、ＴＯＦセンサ２１０から出力されたデプスに基づくデプス画像を取得し、デプス画像に基づいて偏光画像を算出する。また、形状計測装置１００は、カメラ部２２０から出力されたカメラ画像に基づいて偏光画像を算出する。後述するように、形状計測装置１００は、デプス画像に基づく偏光画像とカメラ画像に基づく偏光画像の両方を用いることで、前者の偏光画像に現れる、対象物３００の形状の歪みの影響を低減した、正確性の高いデプスを算出する。

図３は、形状計測装置およびセンサユニットのハードウェア構成例を示す図である。
まず、形状計測装置１００は、例えば、図３に示すようなコンピュータとして実現される。図３に示す形状計測装置１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５、読み取り装置１０６、ネットワークインタフェース１０７および通信インタフェース１０８を有する。

プロセッサ１０１は、形状計測装置１００全体を統括的に制御する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

ＲＡＭ１０２は、形状計測装置１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。

ＨＤＤ１０３は、形状計測装置１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。

グラフィック処理装置１０４には、表示装置１０４ａが接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令にしたがって、画像を表示装置１０４ａに表示させる。表示装置としては、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどがある。

入力インタフェース１０５には、入力装置１０５ａが接続されている。入力インタフェース１０５は、入力装置１０５ａから出力される信号をプロセッサ１０１に送信する。入力装置１０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

読み取り装置１０６には、可搬型記録媒体１０６ａが脱着される。読み取り装置１０６は、可搬型記録媒体１０６ａに記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１０６ａとしては、光ディスク、光磁気ディスク、半導体メモリなどがある。

ネットワークインタフェース１０７は、ネットワーク１０７ａを介して他の装置との間でデータの送受信を行う。
通信インタフェース１０８は、センサユニット２００との間でデータの送受信を行う。

以上のようなハードウェア構成によって、形状計測装置１００の処理機能を実現することができる。
一方、センサユニット２００のＴＯＦセンサ２１０は、赤外線発光部２１１と赤外線受光部２１２を有する。赤外線発光部２１１は、被写体に対して赤外線レーザを発光する。赤外線受光部２１２は、赤外線発光部２１１から発光された赤外線レーザの反射光を受光する。ＴＯＦセンサ２１０は、赤外線発光部２１１から発光された赤外線レーザの反射光が被写体から戻ってくるまでの往復時間を計測し、計測された往復時間に光速を乗算することによって、被写体のデプスを算出する。ＴＯＦセンサ２１０は、画像上の画素ごとにデプスをプロットしたデプス画像を形状計測装置１００に出力する。

また、センサユニットのカメラ部２２０は、カメラ２２１〜２２３と偏光フィルタ２２１ａ〜２２３ａを有する。カメラ２２１〜２２３のそれぞれは、例えば、ＲＧＢ（Red／Green／Blue）カラー画像を撮影する。偏光フィルタ２２１ａ〜２２３ａは、入射光のうち特定の偏光方向の直線偏光を透過させる直線偏光板である。

カメラ２２１の撮像面には、カメラ２２１の光軸を中心として０°の回転角で偏光フィルタ２２１ａが配置され、カメラ２２１は偏光フィルタ２２１ａを介して画像を撮像する。また、カメラ２２２の撮像面には、カメラ２２２の光軸を中心として４５°の回転角で偏光フィルタ２２２ａが配置され、カメラ２２２は偏光フィルタ２２２ａを介して画像を撮像する。さらに、カメラ２２３の撮像面には、カメラ２２３の光軸を中心として９０°の回転角で偏光フィルタ２２３ａが配置され、カメラ２２３は偏光フィルタ２２３ａを介して画像を撮像する。これにより、カメラ２２１は、０°の直線偏光を受光して得られたカメラ画像を出力し、カメラ２２２は、４５°の直線偏光を受光して得られたカメラ画像を出力し、カメラ２２３は、９０°の直線偏光を受光して得られたカメラ画像を出力する。

ここで、図示しないが、カメラ２２１〜２２３はそれぞれグローバルシャッタを備えている。そして、カメラ２２１〜２２３は、各グローバルシャッタを同期させて開閉することで、同一の撮影時刻に撮影された（すなわち、同一の露光期間に露光された）カメラ画像を出力することができるようになっている。

次に、図４は、ＴＯＦセンサによるデプス計測の問題点を説明するための図である。ＴＯＦセンサ２１０の赤外線発光部２１１は、赤外線レーザを直線状の照射パターンで照射し、その照射パターンを徐々にシフトすることで、デプス計測範囲の全体に赤外線レーザを照射する。図４の左側に示す例では、直線状の照射パターンを破線によって示している。この例では、照射パターンは上下方向に延びる直線形状をなしており、そのような照射パターンが右から左に対して徐々にシフトされて照射される。以下、照射パターンのシフト方向を「スキャン方向」と記載する。

このような方法で赤外線レーザが発光されることから、ＴＯＦセンサ２１０から出力されるデプス画像においては、スキャン方向に対する位置によってスキャン時刻（赤外線レーザの反射光の受光時刻）が異なる時刻になってしまう。このことは、例えば、移動する対象物３００の三次元形状を計測する場合に、計測結果が不正確になる原因となる。

図４では、スキャン方向が右から左への方向であり、なおかつ、対象物３００が上から下に対して移動する場合を例示している。この場合、図４の右側に示すように、デプス画像に写る対象物３００の像３０１は、左側ほど位置が下側にずれた形状になってしまう。このように、対象物３００が移動する場合には、対象物３００の像３０１の形状に歪みが生じる可能性がある。このような像３０１の形状の歪みによって、計測されるデプスが不正確になるという問題がある。

また、ＴＯＦセンサ２１０のスキャン速度を高めることで、上記のような歪みの発生を軽減し、デプスの計測精度を改善できる。しかし、スキャン速度と１画像中のスキャン回数（スキャン方向に対する照射パターンの照射数）とはトレードオフの関係にあるため、スキャン速度を高めようとするとスキャン回数が少なくなる。その結果、デプス画像の解像度が低くなり、得られる三次元形状が粗い形状になってしまうという問題もある。

このような問題に対して、本実施の形態の形状計測装置１００は、カメラ部２２０から取得したカメラ画像に基づく偏光画像を用いて、デプス画像を補正する。より具体的には、形状計測装置１００は、デプス画像を基に偏光画像を生成し、この偏光画像とカメラ画像に基づく偏光画像との間の誤差が小さくなるように、デプス画像を変形させる。

上記のように、カメラ部２２０では、グローバルシャッタを用いることで、偏光方向が異なる直線偏光を受光して得られた複数のカメラ画像が、同一時刻に撮影される。このため、このようなカメラ画像から得られる偏光画像では、対象物３００の像３０１の形状には歪みが生じない。この性質を利用して、形状計測装置１００は、カメラ画像に基づく偏光画像を用いてデプス画像を補正することで、デプス画像に現れる像の形状の歪みの影響を低減した、正確性の高いデプスを算出する。

図５は、形状計測装置が備える処理機能の構成例を示すブロック図である。形状計測装置１００は、記憶部１１０、デプス取得部１２１、偏光画像算出部１２２、カメラ画像取得部１２３、偏光画像算出部１２４および詳細形状算出部１２５を有する。

記憶部１１０は、例えば、ＲＡＭ１０２やＨＤＤ１０３など、形状計測装置１００が備える記憶装置の記憶領域として実現される。記憶部１１０には、デプス画像１１１、法線画像１１２、デプス偏光画像１１３、カメラ画像１１４ａ〜１１４ｃおよびカメラ偏光画像１１５が記憶される。

デプス取得部１２１、偏光画像算出部１２２、カメラ画像取得部１２３、偏光画像算出部１２４および詳細形状算出部１２５の処理は、例えば、プロセッサ１０１が所定のプログラムを実行することで実現される。

デプス取得部１２１は、ＴＯＦセンサ２１０からデプス画像１１１を取得して、記憶部１１０に格納する。デプス画像１１１は、画像上の各画素に対してデプスの計測値がプロットされた構造を有している。デプス取得部１２１は、デプス画像１１１を偏光画像算出部１２２に入力する。その後、デプス取得部１２１は、偏光画像算出部１２２に入力したデプス画像１１１を詳細形状算出部１２５からの要求に応じて変形させ、変形後のデプス画像を偏光画像算出部１２２に再入力することができる。

偏光画像算出部１２２は、デプス取得部１２１から入力されたデプス画像に基づいて偏光画像を算出する。本明細書では、デプス画像に基づいて算出される偏光画像を「デプス偏光画像」と記載する。偏光画像算出部１２２は、まず、入力されたデプス画像上の画素ごとに法線の情報を算出し、画像上の各画素に対して法線の情報をプロットした法線画像１１２を生成して、記憶部１１０に格納する。そして、偏光画像算出部１２２は、生成された法線画像１１２上の画素ごとの偏光度を算出し、画像上の各画素に対して偏光度の情報をプロットしたデプス偏光画像１１３を算出し、記憶部１１０に格納する。なお、偏光度は、光がどれだけ偏光しているかを示す指標であり、０以上１以下の値となる。

カメラ画像取得部１２３は、カメラ部２２０のカメラ２２１，２２２，２２３によってそれぞれ撮影されたカメラ画像１１４ａ，１１４ｂ，１１４ｃを取得して、記憶部１１０に格納する。これらのカメラ画像１１４ａ〜１１４ｃは、同一時刻に撮影された画像である。

なお、カメラ画像１１４ａ〜１１４ｃは、輝度画像として記憶部１１０に格納される。カメラ２２１，２２２，２２３からカラー画像が出力される場合、カメラ画像取得部１２３は、カメラ２２１，２２２，２２３からそれぞれ出力されたカラー画像を輝度画像に変換し、それぞれカメラ画像１１４ａ，１１４ｂ，１１４ｃとして記憶部１１０に格納する。また、カメラ画像１１４ａ〜１１４ｃは、デプス画像１１１と同一の解像度の画像として記憶部１１０に格納されるものとする。

偏光画像算出部１２４は、カメラ画像１１４ａ〜１１４ｃに基づいて偏光画像を算出する。本明細書では、カメラ画像１１４ａ〜１１４ｃに基づいて算出される偏光画像を「カメラ偏光画像」と記載する。偏光画像算出部１２４は、カメラ画像１１４ａ〜１１４ｃに基づいてカメラ偏光画像１１５を算出し、記憶部１１０に格納する。カメラ偏光画像１１５は、画像上の各画素に対して偏光度がプロットされた構造を有している。

詳細形状算出部１２５は、デプス偏光画像１１３とカメラ偏光画像１１５との間の二乗誤差を算出し、二乗誤差が最小になるように、デプス取得部１２１から偏光画像算出部１２２に入力されるデプス画像を変形させる。詳細形状算出部１２５は、二乗誤差が最小と判定されたとき（例えば、二乗誤差が所定の閾値以下になったとき）にデプス取得部１２１から偏光画像算出部１２２に入力されたデプス画像を、像の形状の歪みが補正されたデプス画像として出力する。

以下、形状計測装置１００の処理についてさらに詳しく説明する。
＜第１デプス画像とカメラ画像の取得＞
デプス取得部１２１は、ＴＯＦセンサ２１０からデプス画像１１１を取得して、記憶部１１０に格納する。また、カメラ画像取得部１２３は、カメラ部２２０のカメラ２２１，２２２，２２３によってそれぞれ撮影されたカメラ画像１１４ａ，１１４ｂ，１１４ｃを取得して、記憶部１１０に格納する。

前述のように、カメラ２２１，２２２，２２３は、グローバルシャッタを用いることにより、カメラ画像１１４ａ，１１４ｂ，１１４ｃをそれぞれ同一時刻に撮影して出力する。また、デプス画像１１１の取得とカメラ画像１１４ａ〜１１４ｃの取得は、同期して実行される。具体的には、デプス画像１１１のスキャン期間（スキャン方向に対する一端の位置のスキャン時刻から他端の位置のスキャン時刻までの期間）に、カメラ画像１１４ａ〜１１４ｃの撮影時刻が包含されるように、デプス画像１１１とカメラ画像１１４ａ〜１１４ｃが取得される。

図６は、デプス画像のデータ構造の一例を示す図である。デプス画像１１１のデータは、画素ごとに、Ｘ軸方向（水平方向）の位置、Ｙ軸方向（垂直方向）の位置、Ｚ方向（奥行き方向）の位置が対応付けられた構造のデータとして記憶部１１０に格納される。これらのうち、Ｚ方向の位置がデプス（距離）を示す。デプス画像１１１のデータは、例えば、図６に示すようなデータテーブル１１１ａとして格納される。図６に示すデータテーブル１１１ａでは、各画素の画素番号に対してＸ方向、Ｙ方向、Ｚ方向の各位置が対応付けて登録されている。

＜カメラ偏光画像の算出＞
次に、偏光画像算出部１２４によるカメラ偏光画像１１５の算出処理について説明する。

図７は、カメラ偏光画像算出処理の概要を示す図である。偏光画像算出部１２４は、カメラ画像１１４ａ〜１１４ｃのそれぞれに対して、視点をデプス画像１１１の視点に合わせるための視点変換処理を施す。この視点変換処理のために、次のような事前準備が行われる。

ＴＯＦセンサ２１０およびカメラ２２１〜２２３の位置と向きとに基づいて、ＴＯＦセンサ２１０およびカメラ２２１〜２２３の外部パラメータが設定される。また、カメラ２２１〜２２３の内部パラメータが設定される。これらのパラメータは、キャリブレーションによって求められる。そして、これらのパラメータに基づいて、カメラ２２１〜２２３の視点をＴＯＦセンサ２１０の視点に変換するためのホモグラフィ行列が算出される。

偏光画像算出部１２４は、カメラ画像１１４ａ，１１４ｂ，１１４ｃをそれぞれホモグラフィ行列を用いて変換することで、カメラ画像１１４ａ１，１１４ｂ１，１１４ｃ１を算出する。カメラ画像１１４ａ１，１１４ｂ１，１１４ｃ１は、それぞれカメラ画像１１４ａ，１１４ｂ，１１４ｃをＴＯＦセンサ２１０と同じ位置から同じ向きで撮影した場合の画像を示す。

次に、偏光画像算出部１２４は、変換により得られたカメラ画像１１４ａ１〜１１４ｃ１を用いて、カメラ偏光画像１１５を算出する。この算出処理では、カメラ画像１１４ａ１〜１１４ｃ１の画素ごとに次のような処理が実行される。

偏光画像算出部１２４は、カメラ画像１１４ａ１〜１１４ｃ１におけるｍ番目の画素の輝度値を、下記の式（１）で表されるコサインカーブによって近似する。
ｙm＝ａmｃｏｓ（Θ＋ｂm）＋ｃm ・・・（１）
偏光画像算出部１２４は、得られたコサインカーブにおける最大値と最小値を求め、「（最大値／最小値）／（最大値＋最小値）」という式によって、ｍ番目の画素の偏光度を算出する。これにより、偏光度は０以上１以下の値として算出される。

偏光画像算出部１２４は、以上の処理手順により画素ごとに偏光度を算出する。偏光画像算出部１２４は、各画素に対して偏光度をプロットしたカメラ偏光画像１１５を生成して、記憶部１１０に格納する。

なお、偏光度は、３以上の異なる回転角の偏光フィルタを用いて得られたカメラ画像から算出可能である。本実施の形態では例として、３つの偏光フィルタ２２１ａ〜２２３ａを用いて得られた３つのカメラ画像１１４ａ〜１１４ｃに基づいて偏光度が算出されるが、４つ以上の偏光フィルタを用いて得られたカメラ画像に基づいて偏光度が算出されてもよい。

＜デプス偏光画像の算出＞
次に、偏光画像算出部１２２によるデプス偏光画像１１３の算出処理について説明する。

まず、偏光画像算出部１２２は、次のような手順で、デプス取得部１２１から入力されたデプス画像に基づき、中間データとして法線画像１１２を算出する。デプス画像の座標（ｘ，ｙ）における法線ｎは、下記の式（２）によって表される。また、式（２）のｐ，ｑは、デプス画像の座標（ｘ，ｙ）におけるデプスＨに基づき、式（３）によって算出される。

また、法線ｎは、天頂角θ、方位角ψを用いて式（４）のように表される。

式（２）と式（４）の関係から、式（４）に示した法線ｎのｚ成分であるｃｏｓθを、ｐ，ｑによって表すことができる。法線画像１１２は、法線ｎのｚ成分であるｃｏｓθを画素ごとにプロットすることで算出される。偏光画像算出部１２２は、法線画像１１２から画素ごとの天頂角θを求め、下記の式（５）を用いて画素ごとの偏光度ρを算出する。なお、式（５）のＮは屈折率を表し、例えば１．５である。

偏光画像算出部１２２は、算出された偏光度ρを画素ごとにプロットすることで、デプス偏光画像１１３を算出する。
＜詳細形状の算出＞
次に、詳細形状算出部１２５の処理について説明する。

図８は、詳細形状算出部の処理手順の概要を示す図である。詳細形状算出部１２５は、偏光画像算出部１２２によって算出されたデプス偏光画像１１３と、偏光画像算出部１２４によって算出されたカメラ偏光画像１１５とを比較する。ここで、デプス偏光画像１１３では、ＴＯＦセンサ２１０から取得されたデプス画像１１１に基づいて算出されたものなので、撮影対象物の像に歪みが生じている可能性がある。一方、カメラ画像１１４ａ〜１１４ｃに基づいて算出されたカメラ偏光画像１１５では、このような歪みが生じない。そこで、偏光画像算出部１２２は、算出されるデプス偏光画像１１３とカメラ偏光画像１１５との誤差が小さくなるように、デプス偏光画像１１３の算出元となるデプス画像１１１を、デプス取得部１２１に変形させる。

詳細形状算出部１２５は、最小二乗法を用いて次のような処理を実行する。デプス偏光画像１１３のｍ番目の画素における偏光度をＰｄ_mとし、カメラ偏光画像１１５のｍ番目の画素における偏光度をＰｃ_mとする。詳細形状算出部１２５は、次の式（６）で表される残差平方和ＲＳＳが最小となるように、偏光画像算出部１２２に入力されるデプス画像１１１を変形させる。

図４で説明したように、デプス画像１１１では、赤外線レーザの照射パターンのスキャン方向に対して垂直な方向（図４の例では上下方向）に対象物が移動したとき、像の形状が歪む。そこで、デプス画像１１１の変形は、画像上の上下方向に並列するある画素列に対して、左右方向に隣接する画素列が、上下方向にシフトするように行われる。

例えば、図４のようにスキャン方向が右から左の方向とすると、デプス画像１１１に写る対象物の像は、右側ほど位置が上側にずれた形状となる。そこで、デプス画像１１１の１回の変形では、ある画素列に対して右側に隣接する画素列を、所定シフト量だけ下方向にシフトさせる。シフト量は、画素の倍数単位で設定されてもよいし、画素ピッチより小さい量（例えば、０．５画素）に設定されてもよい。後者の場合、変形後のデプス画像におけるデプス値は補間演算によって求められる。

＜フローチャート＞
次に、形状計測装置１００の処理手順について、フローチャートを用いて説明する。
図９は、形状計測装置の処理手順を示すフローチャートの例である。

［ステップＳ１１］デプス取得部１２１は、ＴＯＦセンサ２１０からデプス画像１１１を取得して、記憶部１１０に格納する。また、カメラ画像取得部１２３は、カメラ部２２０のカメラ２２１，２２２，２２３によってそれぞれ撮影されたカメラ画像１１４ａ，１１４ｂ，１１４ｃを取得して、記憶部１１０に格納する。

［ステップＳ１２］偏光画像算出部１２４は、カメラ画像１１４ａ〜１１４ｃのそれぞれに対して、視点をデプス画像１１１の視点に合わせるための視点変換処理を施す。具体的には、偏光画像算出部１２４は、カメラ画像１１４ａ，１１４ｂ，１１４ｃをそれぞれ視点変換用のホモグラフィ行列を用いて変換することで、カメラ画像１１４ａ１，１１４ｂ１，１１４ｃ１を算出する。

［ステップＳ１３］偏光画像算出部１２４は、ステップＳ１２で変換されたカメラ画像１１４ａ１〜１１４ｃ１から、カメラ偏光画像１１５を算出する。具体的には、偏光画像算出部１２４は、カメラ画像１１４ａ１〜１１４ｃ１におけるｍ番目の画素の輝度値を、前述の式（１）で表されるコサインカーブによって近似する。偏光画像算出部１２４は、得られたコサインカーブにおける最大値と最小値を求め、「（最大値／最小値）／（最大値＋最小値）」という式によって、ｍ番目の画素の偏光度を算出する。偏光画像算出部１２４は、各画素に対して偏光度をプロットしたカメラ偏光画像１１５を生成して、記憶部１１０に格納する。

［ステップＳ１４］デプス取得部１２１は、デプス画像１１１を偏光画像算出部１２２に入力する。偏光画像算出部１２２は、入力されたデプス画像１１１に基づいて法線画像１１２を算出し、記憶部１１０に格納する。前述のように、偏光画像算出部１２２は、式（２）〜（４）に基づき、法線ｎのｚ成分であるｃｏｓθを画素ごとにプロットすることで、法線画像１１２を算出する。

［ステップＳ１５］偏光画像算出部１２２は、法線画像１１２に基づき、前述の式（５）を用いて画素ごとの偏光度ρを算出する。偏光画像算出部１２２は、算出された偏光度ρを画素ごとにプロットすることでデプス偏光画像１１３を算出し、記憶部１１０に格納する。

［ステップＳ１６］詳細形状算出部１２５は、ステップＳ１３で算出されたカメラ偏光画像１１５と、ステップＳ１５で算出されたデプス偏光画像１１３との間の二乗誤差を、前述の式（６）を用いて算出する。

［ステップＳ１７］詳細形状算出部１２５は、算出された二乗誤差が所定の閾値以下であるかを判定する。なお、ここでは例として、二乗誤差が閾値以下の場合に、二乗誤差が最小になったと判定する。詳細形状算出部１２５は、二乗誤差が閾値以下の場合、ステップＳ１９の処理を実行し、二乗誤差が閾値より大きい場合、ステップＳ１８の処理を実行する。

［ステップＳ１８］詳細形状算出部１２５は、デプス取得部１２１に対してデプス画像１１１の変形を要求する。デプス取得部１２１は、変形の要求に応じて、直近のステップＳ１４で偏光画像算出部１２２に入力したデプス画像１１１を、１段階変形させる。例えば、スキャン方向を右から左の方向とし、１段階分のシフト量をＳとすると、デプス取得部１２１は、変形前のデプス画像１１１において垂直方向に並列する画素列に対して、その右側に隣接する画素列を下方向にシフト量Ｓだけシフトする。この場合、第ｉ列（ただし、ｉ＝１，２，・・・）の画素列は、（ｉ−１）×Ｓだけ下方向にシフトされる。

この後、処理がステップＳ１４に戻る。ステップＳ１４において、デプス取得部１２１は、ステップＳ１８で変形されたデプス画像１１１を偏光画像算出部１２２に入力する。これにより、変形後のデプス画像１１１に基づいて法線画像１１２、デプス偏光画像１１３が算出される。

［ステップＳ１９］詳細形状算出部１２５は、二乗誤差が閾値以下になったときのデプス画像１１１、すなわち、直近のステップＳ１４で偏光画像算出部１２２に入力したデプス画像１１１を、像の歪みが補正された最終的なデプス画像として出力する。

以上の処理により、形状計測装置１００は、撮影の対象物が移動した場合でも、その移動に伴ってデプス画像に現れる像の形状の歪みの影響を低減した、正確性の高いデプスを算出できる。

なお、上記の各実施の形態に示した装置（例えば、距離計測装置１、形状計測装置１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

１距離計測装置
１ａ記憶部
１ｂ演算部
２ＴＯＦセンサ
３ａ〜３ｃカメラ
４ａ〜４ｃ画像
１１，１４距離画像
１２，１３偏光画像

Claims

ＴＯＦ（Time Of Flight）センサから取得された第１の距離画像と、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された第１の偏光画像とを記憶する記憶部と、
前記第１の距離画像に基づいて画素ごとに偏光度を算出することで生成された第２の偏光画像と、前記第１の偏光画像との比較結果に基づいて、前記第１の距離画像を変形させ、変形によって得られた第２の距離画像を出力する演算部と、
を有する距離計測装置。
前記変形では、前記第１の距離画像に基づいて前記第２の偏光画像を生成して前記第１の偏光画像と前記第２の偏光画像とを比較する比較処理を、前記第１の距離画像を変形させながら実行し、前記比較処理の結果に基づいて前記第２の距離画像を生成する、
請求項１記載の距離計測装置。
前記比較処理では、前記第１の偏光画像と前記第２の偏光画像との誤差が算出され、
前記第２の距離画像として、前記誤差が最小となるように前記第１の距離画像を変形させた距離画像が生成される、
請求項２記載の距離計測装置。
前記ＴＯＦセンサは、測距用の光線を所定の第１の方向に延びる照射パターンとして発光し、前記照射パターンを前記第１の方向に直交する第２の方向に順次移動させながら前記光線の反射光を受光することで、前記第１の距離画像を生成する、
請求項１乃至３のいずれか１項に記載の距離計測装置。
前記第１の距離画像は、前記第２の方向に隣接する画素を前記第１の方向に順次ずらすことで変形される、
請求項４記載の距離計測装置。
コンピュータが、
ＴＯＦセンサから第１の距離画像を取得するとともに、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された第１の偏光画像を取得し、
前記第１の距離画像に基づいて画素ごとに偏光度を算出することで生成された第２の偏光画像と、前記第１の偏光画像との比較結果に基づいて、前記第１の距離画像を変形させ、変形によって得られた第２の距離画像を出力する、
距離計測方法。
コンピュータに、
ＴＯＦセンサから第１の距離画像を取得するとともに、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された第１の偏光画像を取得し、
前記第１の距離画像に基づいて画素ごとに偏光度を算出することで生成された第２の偏光画像と、前記第１の偏光画像との比較結果に基づいて、前記第１の距離画像を変形させ、変形によって得られた第２の距離画像を出力する、
処理を実行させる距離計測プログラム。