JP2017191083A

JP2017191083A - 輝点画像取得装置および輝点画像取得方法

Info

Publication number: JP2017191083A
Application number: JP2016094127A
Authority: JP
Inventors: 西澤　眞人; Masato Nishizawa; 眞人西澤
Original assignee: Ideaquest Inc
Current assignee: Ideaquest Inc
Priority date: 2016-04-15
Filing date: 2016-04-15
Publication date: 2017-10-19

Abstract

【課題】被写体である被測定物の表面に反射率が異なる部分があっても、又、被測定物の表面の一部分にのみ強い光が入射するような場合でも、被測定物の輝点画像を全体に亘って比例的に取得可能とするものである。【解決手段】被測定物１３に輝点パターンを投光する輝点投光器２と、輝点投光器２とは異なるタイミングで一様光を被測定物１３に投光する背景光投光器４と、前記２個の投光器の投光タイミング、および前記２個の投光器いずれも投光しない外光のみのタイミングを制御する投光器制御部６を設け、輝点を撮像するカメラ５が取得・出力する輝点画像と背景画像および外光のみ画像を合成して、被測定物１３の反射率の違いによる輝点画像の明るさの違いを補正する画像処理部７を有する。【選択図】図１

Description

本発明は，対象物体の３次元計測を行う技術に関する。

本発明は、赤外線等の光線を複数に分割して被測定物に投光し、該被測定物から反射される輝点群を撮影した画像から被測定物の形状に関する３次元距離情報を取得する装置における、輝点画像取得装置および輝点画像取得方法に関する。このような装置としては日本特許第３７６４９４９号に示される状態解析装置がある。（特許文献１）

この装置では光源として赤外線レーザー光が使用され、ファイバーグレーティングを使用して、被測定物に複数の輝点アレイであるパターン光が投影される。このような輝点投光器からの光線は被測定物で反射され、その画像がカメラで撮像される。カメラで撮像された画像の輝点の情報を使って被測定物の３次元距離情報を取得する。

しかしながら、被写体や被測定物の表面が、投光する光線に対する反射率が一様ではなく、部分的に異なる場合には、輝点画像が上手く抽出できなかったり、輝点群を抽出するための処理が複雑になったりすることがある。これは反射率が極端に異なる生地が分布しているような洋服を着用している人物を撮像したような場合に生じる。

又、表面の一部分にのみ自然光や外部光が当たっているような被測定物を測定する場合にも同様な問題が生じる。

このような場合に、従来は、より正確に測定する為に、画像をブロックに分けて各ブロック毎の閾値を計算する方法が使われていた。（特許文献２）。しかし、この場合には、輝点画像の演算処理が重くなり、結果として被対象物を継続して監視するような用途では、実時間で演算処理することが難しくなっていた。

日本特許第３７６４９４９号日本特許第３４６５２２６号

本発明の課題は、被写体である被測定物の表面に反射率が異なる部分があっても、輝点撮像装置が被測定物の画像を全体に亘って比例的に取得可能とするものである。即ち、反射率の異なる表面を有する被測定物であっても容易に個々の輝点を抽出することができる輝点画像取得装置および輝点画像取得方法を提供するものである。

又、被測定物の表面の一部分にのみ強い光が入射するような場合であっても、被測定物全体の輝点画像を取得可能にするものである。

本発明は、被測定物に輝点パターンを投光する輝点投光器と、該輝点投光器から離れた位置に配置され、前記被測定物からの輝点投光の反射光から輝点画像を取得・出力するカメラと該カメラの出力信号を演算処理して３次元距離情報を取得する装置において、更に、前記輝点投光器とは異なるタイミングで一様光を前記被測定物に投光する背景光投光器、および前記２個の投光器の投光タイミングおよび前記２個の投光器いずれも投光しない外光のみのタイミングを制御する制御器を設け、前記カメラが取得・出力する輝点画像と背景画像および外光のみ画像を合成して、前記被測定物の反射率の違いによる輝点画像の明るさの違いを補正する画像処理部を有する輝点画像取得装置である。

本発明は、一様光を被測定物に投光する背景光投光時に被測定物を撮影するカメラから取得した背景画像と、前記被測定物にドット状の輝点を投光した時にカメラから取得した輝点画像と、背景光投光時および輝点投光時を除く期間にカメラから取得した外光のみ画像を用い、前記背景画像および前記輝点画像から前記外光のみ画像を除去して、外光のみ画像を除去した背景画像の輝度の逆数を用いた補正係数マップ画像を作成し、該補正係数マップ画像の補正係数を正規化したうえで、外光のみ画像を除去した輝点画像に掛け算することにより輝点画像の輝度を補正する輝点画像取得方法を採用する。

本発明の画像処理部は前記外光のみ画像を除去した前記背景画像を導入し、前記カメラが出力する画像の各部の輝度をカメラの最大出力に合わせる補正係数の演算手段と、前記補正係数が最小値１となるように補正係数を合わせる補正係数正規化手段と、前記外光のみ画像を除去した輝度画像を前記補正係数正規化手段が生成する補正係数を使って正規化する正規化手段を含む。

本発明は被測定物全体を一様に照明する投光器を増設することで、反射率の異なる被測定物であっても容易に輝点を抽出することができる輝点画像取得装置および輝点画像取得方法である。

本発明は前記輝点投光器と前記背景光投光器を、異なるタイミングで投光するとともに、どちらの投光器も発光しない期間を設ける投光器制御部を有し、外光のみ画像を取得して、カメラから取得する輝点画像の輝度を補正する輝点画像取得装置である。

本発明によれば、被測定物の表面の一部分に強い外光を受けている状態で、且、被測定物の表面が部分的に反射率の異なるものであっても、輝点の画像を正確に抽出し、この輝点画像を演算処理して得られる３次元形状をより短い演算時間で取得することができる。

は本発明の実施例の構成を示すブロック図である。は被測定物の配置を示す平面図である。は実施例の制御信号の例を示す、タイミング波形図である。は実施例の輝点画像輝度補正手段１０の内部を更に詳細に図示したブロック図である。は実施例の構成の各部の信号波形を示す説明図である。

以下、本発明に係る一実施例の実施形態について、図面を参照して説明する。実施例は動作の説明が容易なようにハードウェアを並べたもので説明するが、制御部等はコンピュータのソフトウェア処理でも同様に実施できる。

図１は本発明の一実施例の構成を示すブロック図である。
本発明の輝点画像取得装置では、図１に示すように、被測定物１３に赤外線の輝点３１を投光する輝点投光器２および輝点投光器２を駆動する輝点投光器駆動回路１に加え、同じ被測定物１３に別に、パターン光とは異なる一様な赤外線３２を投光する背景光投光器４および背景光投光器４を駆動する背景光投光器駆動回路３を有する。光源は赤外線レーザーでも赤外線ＬＥＤでも良い。

輝点投光器駆動回路１および背景光投光器駆動回路３は画像処理部７内の投光器制御部６に接続され、投光器制御部６の出力信号である輝点投光器制御信号１４および背景投光器制御信号１５により制御される。本実施例では輝点投光器駆動回路１、背景光投光器駆動回路３および投光器制御部６を独立した構成としたが、これらは全体又は一部を合体してより個数の少ない制御部とすることも可能であり、それぞれの制御信号を出力できるものであれば良い。投光器制御部は後述のカメラ５、輝点画像受信部８や背景画像受信部９の動作タイミングを制御する制御信号も供給する。

被測定物１３で反射された赤外線３１および赤外線３２はカメラ５で撮像される。カメラ５の出力である映像信号１６は輝点画像受信部８、背景画像受信部９および外光画像受信部３３に導入される。

輝点画像受信部８および外光画像受信部３３の出力信号は輝点画像外光除去手段２８に取り込まれ、外光有り輝点画像の各画素の輝度値から、外光のみ画像の各画素の輝度値を引くことで、外光の影響の除去された輝点画像を得る。外光の影響の除去された輝点画像は輝点画像輝度補正手段１０に取り込まれる。

背景画像受信部９および外光画像受信部３３の出力信号は背景画像外光除去手段２６に取り込まれ、外光有り背景画像の各画素の輝度値から、外光のみ画像の各画素の輝度値を引くことで、外光の影響の除去された背景画像を得る。外光の影響の除去された背景画像は輝点画像輝度補正手段１０に取り込まれる。

外光の影響の除去された輝点画像２５および外光の影響の除去された背景画像２４は輝点画像輝度補正手段１０に取り込まれ本発明による輝度補正処理が実行される。輝点補正手段１０の出力は従来例と同じく、距離計測手段１１に導出され、距離画像処理部１２で演算処理され、３次元距離情報が得られる。

まず、本発明の特徴である、輝度の補正について説明する。被測定物１３として、図２ａ〜図２ｃに示すような、布製の生地Ａ１０１の上に、生地Ａとは反射率が異なる生地Ｂ１０２および生地Ａおよび生地Ｂとも反射率が異なる生地Ｃ１０３が置かれているものとする。図２は被測定物の配置を示す平面図である。

図２ａは可視光が投光された場合の反射光による画像２０を示し、図２ｂは赤外線が投光された場合の反射光による画像２２を示す。図２ｃはカメラ５の出力である輝点画像２１を示す。いずれも外光が差し込まない状態を示す。表面の一部分に外光がある場合の説明は図５により後述する。

ここで被測定物の例として、１０１で示す生地Ａと１０２で示す生地Ｂおよび１０３で示す生地Ｃが比較の為に配置されている。投光される光線に依存する反射率の違いにより、画像図２ａと画像図２ｂに示されるような被測定物をカメラで撮像した場合には異なる画像が得られる。この反射率の相違による影響は、同じ被測定物に輝点赤外線を投光した場合のカメラの輝点画像でも同様に影響を受ける。このように生地の反射率の違いによる画像の違いは、人体そのものの姿勢や位置情報を得ようとする場合や、人体を着衣のまま測定して呼吸波形を測定する場合に現れて問題となる。

被写体・被測定物の部分によって反射率が異なるので、画面全体の輝点画像を得ようとすると、部分的に明るくなって輝点間の区別がつかない場合や、部分的に暗く沈んでしまって、やはり輝点の区別がつかなくなったり、輝点情報の取得に時間がかかってしまうという不都合が生じる。輝点を抽出するための閾値が異なる、輝点情報の演算時間が増えたり、輝点が上手く抽出できないことがある。

図３は投光器制御部６が出力する制御信号の例を示す、タイミング波形図である。図３ａで３５が輝度投光制御信号であり、図３ｂで３４が背景投光制御信号である。ここでは波形信号３４、３５いずれも投光ＯＦＦで、どちらの投光器も光っていない期間２９が存在する。この期間にカメラ５が外光画像を取得する期間となる。
図３ｃで、波形信号３４、３５の下部に、各タイミングにおけるカメラ５からの出力である、背景画像２２、輝度画像２１、外光画像２３の概略を示す。

輝点投光器２と背景光投光器４は、相互に異なるタイミング（図３ａ、ｂ）で被測定物１３を投光し、カメラ５にはそれぞれ、輝点画像２１、背景光画像２２、が取り込まれる。また、どちらの投光器も光っていない期間２９に外光画像２３がカメラ５に取り込まれる。

輝点投光器２が投光する赤外線３１の波長と、背景光投光器４が投光する赤外線３２の波長は同じ波長であるのが望ましいが、これらの波長が多少異なり、例えば、輝点投光器２の波長が８０８ｎｍで背景光投光器４の波長が８１０ｎｍまたは８５０ｎｍであっても、ほぼ問題なく実施可能である。

図４は第１図に示した輝点画像輝度補正手段１０の内部を更に詳細に図示したブロック図である。

背景画像外光除去手段２６は背景画像受信部９と外光画像受信部３３に接続され、外光有り背景画像２２の各画素の輝度値から、外光のみ画像２３の各画素の輝度値を減算することで、外光の影響が除去された背景画像２４を得る。

輝点画像外光除去手段２８は輝点画像受信部８と外光画像受信部３３に接続され、外光有り輝点画像２１の各画素の輝度値から、外光のみ画像２３の各画素の輝度値を減算することで、外光の影響が除去された輝点画像２５を得る。

輝点画像外光除去手段２８の出力信号である外光の影響が除去された輝点画像２５は正規化手段１９に導入される。背景画像外光除去手段２６の出力信号である外光の影響の除去された背景画像２４は補正係数演算手段１７に導入される。

外光の影響の除去された背景画像２４から被写体である被測定物表面のそれぞれの位置の輝度を求める。１００％の反射率の被写体が存在した時の輝度は未知だが、それぞれの位置の輝度はその位置の反射率に比例した輝度が求まる。

生地Ａ１０１の部分の反射率が８０％、生地Ｂ１０２の部分の反射率が２０％、生地Ｃ１０３の部分の反射率が４０％とした場合、８ビットの出力が得られるカメラ５で、反射率１００％の被写体の映像出力を２５５とした場合、生地Ａ１０１の部分では２０４、生地Ｂ１０２の部分では６１、生地Ｃ１０３の部分では１０２の出力値が得られる。

カメラ５のシャッター速度、背景光の照射強度が変わって、反射率１００％の被写体での出力が１００であるときには、生地Ａ１０１の部分は８０、生地Ｂ１０２の部分は２０、生地Ｃ１０３の部分は４０の出力となる。

いずれの場合も、生地Ｃ１０３の部分の出力は生地Ａ１０１の部分の半分であり、生地Ｂ１０２の部分の出力は生地Ａ１０１の部分の出力の１／４である。

補正係数演算手段１７では、例えばカメラの最大出力２５５に各生地の部分が正規化されるように、「２５５／各生地の部分の出力」を補正係数として求めることが出来る。

最初の例では、生地Ａ１０１の補正係数は２５５／２０４、生地Ｂ１０２の補正係数は２５５／６１、生地Ｃ１０３の補正係数は２５５／１０２となる。
２番目の例では、生地Ａ１０１の補正係数は２５５／８０、生地Ｂ１０２の補正係数は２５５／２０、生地Ｃ１０３の補正係数は２５５／４０となる。
このようにして、カメラ５の出力画像１画素毎に補正係数を求めたものが、補正係数マップ画像２３となる。このカメラ５では１画面が６４０×４８０の画素で構成されている。

更に一番小さい補正係数が１になるように、補正係数の最小値で各画素の補正係数を割った値を各画素の正規化補正係数とし求めたものが、正規化補正係数マップ画像２４として補正係数正規化手段１８から導出される。

カメラ５で得られた輝点投光器２からの信号は輝度画像受信部８で輝点画像信号２１として出力される。当然、各輝点の輝度は、どの生地の部分に当たって反射したかで、異なる。

正規化手段１９内で、外光の影響が除去された輝点画像２５の各画素に、補正係数正規化手段１８が導出する正規化補正係数マップ画像の各画素の正規化補正係数を掛けることにより、各生地の部分の輝点の輝度の最大値が一様となるように補正され、正規化輝点画像２５として導出される。

以上の補正により、反射率の異なる被写体であっても、輝点の最大値が一様となり、輝点を抽出する二値化閾値が画面全体で求められるので、演算処理が高速化できる。また、輝点の白飛びや輝点が暗く沈みことによる輝点の未抽出が減り、結果として画面全体に精度の高い３次元計測が出来る。

輝点画像補正手段１０の出力は距離計測手段１１に導入され、以後従来例と同様に処理され、被測定物の３次元距離情報が計測される。

次に、被測定物の一部分にのみ太陽光や室内光等の外光が入射して、被測定物の表面の明るさが極端に異なる場合の補正の例を図５に示す。図５は実施例の構成の各部の信号波形を示す説明図である。

カメラ５が導出する映像は、図５における輝点画像２１および背景画像２２のように被測定物の表面の一部に強い外光を受けている為、画像下部に外光の影響が表れている。図５ａおよび図５ｃ。このような状況では取得した画像の処理が難しくなるため、本発明による補正を行う。

背景画像外光除去手段２６は外光有り背景画像２２の各画素の輝度値から、外光のみ画像２３の各画素の輝度値を減算することで、外光の影響の除去された背景画像２４を導出する。図５ｄ。

輝点画像外光除去手段２８は外光有り輝点画像２１の各画素の輝度値から、外光のみ画像２３の各画素の輝度値を減算することで、外光の影響の除去された輝点画像２５を導出する。図５ｅ。

外光の影響の除去された背景画像２４は補正係数演算手段１７で演算処理され、補正係数マップ画像３６が導出される。図５ｆ。

補正係数マップ画像３６は補正係数正規化手段１８で図４で説明したような演算処理がされ、正規化補正マップ画像３７として導出される。図５ｇ。

外光の影響の除去された輝点画像２５は正規化手段１９で正規化補正マップ画像３７を使って正規化輝点画像３８が導出される。図５ｈ。ここで得られる輝点の位置情報より、距離計測手段１１で被測定物の形状に関する３次元距離情報が得られる。

以上の説明では３次元距離情報の取得にドット状のパターン光を使って説明したが、本発明はドット状に限定されるものでは無く、他のパターンを使用した場合にも適用が可能である。

以上説明したとおり、本発明によれば、被測定物の表面が、部分的に反射率の異なるものであっても、輝点の画像を正確に抽出し、この輝点画像を演算処理して得られる３次元形状をより短い演算時間で取得することができる。

本発明によれば，従来装置では計測困難だった，撮影光について極端に異なる反射率を有する被測定物の反射輝点画像を画面全体に亘って比例的に取得可能となり、距離画像測定の範囲の増大や、測定演算処理の時間短縮に有用であるため、従来はできなかった新たな分野での利用も促進するものである。

１輝点投光器駆動回路
２輝点投光器
３背景光投光器駆動回路
４背景光投光器
５カメラ
６投光器制御部
７画像処理部
８輝点画像受信部
９背景画像受信部
１０輝点画像補正手段
１１距離計測手段
１２距離画像処理部
１３被測定物
１４輝点投光器制御信号
１５背景投光器制御信号
１６映像信号
２１外光有り輝点画像
２２外光有り背景画像
２３外光のみ画像
２４外光除去背景画像
２５外光除去輝点画像
２６背景画像外光除去手段
２８輝点画像外光除去手段
３１赤外線の輝点投光
３２一様な赤外線
３４背景投光制御信号
３５輝点投光制御信号
３６補正係数マップ画像
３７正規化補正係数マップ画像
３８正規化輝点画像
１０１生地Ａ
１０２生地Ｂ
１０３生地Ｃ

Claims

被測定物に輝点パターンを投光する輝点投光器と、該輝点投光器から離れた位置に配置され、前記被測定物からの輝点投光の反射光から輝点画像を取得・出力するカメラと該カメラの出力信号を演算処理して３次元距離情報を取得する装置において、更に、前記輝点投光器とは異なるタイミングで一様光を前記被測定物に投光する背景光投光器、および前記２個の投光器の投光タイミングおよび前記２個の投光器いずれも投光しない外光のみタイミングを制御する制御器を設け、前記カメラが取得・出力する輝点画像と背景画像および外光のみ画像を合成して、前記被測定物の反射率の違いによる輝点画像の明るさの違いを補正する画像処理部を有することを特徴とする輝点画像取得装置。
一様光を被測定物に投光する背景光投光時に被測定物を撮影するカメラから取得した背景画像と、前記被測定物に輝点パターンを投光した時にカメラから取得した輝点画像と、背景光投光時および輝点投光時を除く期間にカメラから取得した外光のみ画像を用い、前記背景画像および前記輝点画像から前記外光のみ画像を除去して、外光のみ画像を除去した背景画像の輝度の逆数を用いた補正係数マップ画像を作成し、補正係数マップ画像の補正係数を正規化したうえで、外光のみ画像を除去した輝点画像に掛け算することにより輝点画像の輝度を補正することを特徴とする輝点画像取得方法。
前記画像処理部は前記外光のみ画像を除去した前記背景画像を導入し、前記カメラが出力する画像の各部の輝度をカメラの最大出力に合わせる補正係数の演算手段と、前記補正係数が最小値１となるように補正係数を合わせる補正係数正規化手段と、前記外光のみ画像を除去した輝度画像を前記補正係数正規化手段が生成する補正係数を使って正規化する正規化手段よりなる特許請求の範囲第１項記載の輝点画像取得装置。