JP2019066185A

JP2019066185A - 撮像装置及び撮像装置の距離算出方法

Info

Publication number: JP2019066185A
Application number: JP2017188177A
Authority: JP
Inventors: 知弘大林; Tomohiro Obayashi
Original assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Current assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Priority date: 2017-09-28
Filing date: 2017-09-28
Publication date: 2019-04-25
Anticipated expiration: 2037-09-28
Also published as: JP7042582B2

Abstract

【課題】被写体までの距離を高精度に測定できる撮像装置を提供する。【解決手段】撮像装置は、３つ以上の光源と、撮像部と、参照距離算出手段と、距離算出手段とを備える。３つ以上の光源は、光を被写体に照射する。撮像部は、光源が照射した光の被写体からの反射光を受光する。参照距離算出手段は、３つ以上の光源のうち、少なくとも１つの光源を除く光源が光を照射する点灯光源の組合せにより、光を照射してから撮像部が被写体からの反射光を受光するまでの時間に基づいて、それぞれの点灯光源の組合せにおいて画素ごとに被写体までの参照距離を算出し、参照距離画像を生成する。距離算出手段は、参照距離算出手段により生成した全ての参照距離画像に基づいて、画素ごとに被写体までの距離を算出し、距離画像を生成する。【選択図】図１

Description

本発明の実施形態は、被写体までの距離画像を取得する撮像装置及び撮像装置の距離算
出方法に関する。

一般に、被写体までの距離を測定できるＴＯＦ（Time Of Flight）カメラなどの３次元
カメラが知られている。ＴＯＦカメラは、照射光が被写体に当たって撮像部に戻ってくる
までの時間により、距離を測定する技術である。しかし、被写体が細い円柱など平面が少
ない形状の場合、照射光が被写体により拡散し、反射光の受光量が減少してしまうため、
十分な精度で距離の測定ができないという問題がある。また、被写体が局所的に鏡面反射
するような場合は、鏡面反射した箇所の反射光が撮像部に戻ってこなかったり、光源から
の照射光のほとんどが撮像部に戻り、撮像部が飽和して距離を算出できない、という問題
がある。このような例はビニールのような凹凸のある被写体や、アルミ箔で被写体を覆っ
たようなケースで発生する。

特開２０１０−１９０６７５号公報

本発明が解決しようとする課題は、被写体までの距離を高精度に測定できる撮像装置を
提供することである。

実施形態によれば、撮像装置は、３つ以上の光源と、撮像部と、参照距離算出手段と、
距離算出手段とを備える。３つ以上の光源は、光を被写体に照射する。撮像部は、前記光
源が照射した光の前記被写体からの反射光を受光する。参照距離算出手段は、前記３つ以
上の光源のうち、少なくとも１つの光源を除く光源が光を照射する点灯光源の組合せによ
り、光を照射してから前記撮像部が前記被写体からの反射光を受光するまでの時間に基づ
いて、それぞれの前記点灯光源の組合せにおいて画素ごとに前記被写体までの参照距離を
算出し、参照距離画像を生成する。距離算出手段は、前記参照距離算出手段により生成し
た全ての前記参照距離画像に基づいて、画素ごとに前記被写体までの距離を算出し、距離
画像を生成する。

実施形態に係る撮像装置の外観の一例を示す正面図および及び光源の点灯の組合せを示す図。実施形態に係る撮像装置が備える制御部の機能構成の一例を示すブロック図。実施形態に係る撮像装置を用いた撮像状況の一例を示す斜視図。実施形態に係る撮像装置が取得する参照距離画像の画素の一例を示す図。実施形態に係る撮像装置が備える制御部が、被写体までの距離を算出する流れの一例を示すフローチャート

以下、実施形態に係る撮像装置１を、図面を用いて説明する。
図１（Ａ）は、実施形態に係る撮像装置１としてのＴＯＦカメラの外観の一例を示す正面
図である。撮像装置１は、被写体に光を照射する複数の光源２ａ乃至２ｆ、撮像部３を備
える。なお、光源については、図１に示した６個の光源２ａ乃至２ｆを個々に区別する必
要がないときは、光源２と略記する。

撮像装置１は、光源２からの照射光が被写体に当たって、撮像部３で受光するまでの時
間に基づいて、被写体までの距離を画素ごとに測定することが可能に構成されている。ま
た、撮像装置１は、測定した距離の情報を画素ごとに表わした距離画像を生成することが
可能である。

光源２は、撮像部３の周囲に３つ以上設置され、図１（Ａ）では６つの光源２から光を
被写体に向けて照射する。光源２が照射する光は、赤外線でも良いし、可視光でも良く、
撮像部３が受光することが可能な波長帯の光であれば良い。また、光源２は、被写体に照
射する光量、もしくは照射強度を高めるために、複数のＬＥＤ光源を有しても良い。

光源２は６つの光源２のうち、全ての光源２及び少なくとも１つの光源２を除く光源２
が光を照射する点灯光源の組合せにより光源２を点灯させる。図１（Ｂ）は光源２の点灯
の組合せを示す図であり、光源２ａ乃至２ｆのうち少なくとも１つを除く光源２を順次点
灯させる組合せを示している。

なお、光源２の設置位置、個数は図１に限定されるものではない。例えば、図１におい
て光源２は、撮像部３を中心に対称に設置されているが、非対称に設置されても良い。ま
た、光量を増加したいときはそれぞれの光源２ａ乃至２ｆに複数のＬＥＤを配置してもよ
い。

撮像部３は、光源２が照射した光の被写体からの反射光を受光し、２次元画像を撮像す
る。例えば、撮像部３は、被写体からの反射光を図示しない、開口部、レンズ、受光部を
介して受光する。

開口部は、レンズに入射する光量を調節するための絞りである。また、レンズは、被写
体からの光を受光部に集光する。なお、レンズは、１枚に限らず、例えば、複数枚を組み
合わせることで、フォーカスレンズや、ズームレンズを構成しても良い。受光部は、イメ
ージセンサなどの受光素子である。

次に、図２を用いて、撮像装置１が備える制御部について説明する。図２は実施形態に
係る撮像装置１が備える制御部４の機能構成の一例を示すブロック図である。

制御部４は、図示しないＣＰＵや記憶部を備え、撮像装置１が有する各構成部の動作を
統括的に制御する。また、制御部４は、参照距離算出部５、２次元画像生成部６、発光制
御部７を備える。

参照距離算出部５は、撮像部３が受光した結果に基づいて、被写体までの距離である参
照距離を算出する処理を行う。つまり、参照距離算出部５は、光源２が光を照射してから
撮像部３が被写体からの反射光を受光するまでの時間に基づいて、撮像部３が撮像する２
次元画像の画素ごとに被写体までの参照距離を算出する。

２次元画像生成部６は、撮像部３が受光した光に基づいて、２次元画像を生成する。な
お、参照距離算出部５が算出する被写体までの参照距離、参照距離画像は、２次元画像生
成部６が生成する２次元画像の画素に基づいて算出される。

２次元画像は、光源２が照射した光の被写体からの反射光に基づいて２次元画像処理部
６によって生成されるため、グレースケール画像や、赤外画像など、光源に依存した種類
の画像である。

発光制御部７は、６つの光源２に対し、図１（Ｂ）に示すようにそれぞれ独立に点灯と
消灯を制御する。被写体を撮像する際には、６つの光源２のうち、全ての光源又は少なく
とも１つの光源２を除く光源２が光を照射する点灯光源の組合せに従って、光源２を点灯
させる。

また、制御部４は、被写体までの参照距離を測定する際には、全ての点灯光源の組合せ
に対して撮像を行うように各部を制御する。つまり、制御部４は、６つの光源２のうち、
少なくとも１つの光源２を除く光源２が光を照射する点灯光源の組合せにより、光を照射
してから撮像部３が被写体からの反射光を受光するまでの時間に基づいて、それぞれの点
灯光源の組合せにおいて画素ごとに被写体までの参照距離を算出し、参照距離画像を生成
する参照距離算出手段を備える。この場合、被写体によって鏡面反射した光が全て撮像部
に到達した画素については、撮像部の光量が飽和して参照距離が得られなかったり、逆に
鏡面反射した光が撮像部以外の方向に反射して撮像部の光量が不足して参照距離が得られ
ない画素も存在することとなる。

さらに、制御部４は、全ての参照距離から、被写体までの距離を算出する。つまり、制
御部４は、参照距離算出部５により生成した全ての参照距離画像に基づいて、画素ごとに
被写体までの距離を算出し、距離画像を生成する距離算出手段を備える。

次に、図３乃至図５を用いて参照距離算出部５が画素ごとに参照距離を算出する方法を
説明する。まず、図３は、実施形態に係る撮像装置１を用いた撮像状況の一例を示す図で
ある。図３には、撮像装置１の正面に直方体の物体１０と、撮像装置１と物体１０との間
に柵１１がある状況を示す。なお、物体１０は、撮像装置１から見ると物体１０の一面の
みが見える角度で位置しているとする。

図４は、実施形態に係る撮像装置１が取得する参照距離画像の画素の一例を示す図であ
る。また、図４に示す画素は、図３の撮像状況において、撮像した画素の一例である。な
お、図４の画素は、光源２ｂ、２ｅを点灯させた点灯光源の組合せにおいて撮像されたも
のとする。また、説明を簡易にするために、図４に示す画素の行と列にはそれぞれアルフ
ァベットと数字を振っている。例えば、一番左上に位置する画素はＡ行１列と呼称する。

また、各画素に記載されている数値は、被写体までの距離を意味しており、数字が大き
いほど被写体までの距離が遠いこととしている。ただし、数値０の画素は距離を算出する
ことができなかったことを意味している。数値０の画素が意味する、距離を算出すること
ができないとは、例えば被写体までの距離が遠すぎる場合や、受光する光量が少なすぎる
場合や、受光する光量が多すぎるため撮像部３が飽和してしまうなどである。

図４に示す画素には、５列と８列を除く、Ｂ行４列とＢ行９列とＦ行４列とＦ行９列の
画素を頂点とする四角形の範囲に数値６が示されている。これは、物体１０の平面までの
距離が示されたもので、５列と８列は柵１１によって物体１０が遮られていることを示し
ている。ＴＯＦカメラは、一般的に、平面までの距離を測定するには有利であるが、エッ
ジである柵１１までの距離については照射光が拡散してしまうため、測定するには不利で
あることを例示した極端な例である。

ここで、図４では、光源２ｂ、２ｅを点灯させた点灯光源の組合せにより撮像したが、
光源２ｂ、２ｅに加え、例えば、光源２ａ、２ｄを点灯させた場合、位置、角度が違う光
源２からの光の照射が与えられるため、柵１１までの距離を算出できる場合がある。従っ
て、ある点灯光源の組合せでは、ある画素の被写体までの距離を算出できなかったとして
も、他の点灯光源の組合せを用いることで、その画素の被写体までの距離を算出でき、算
出結果を補完することが可能である。

図１では、６個の光源２を設置しているため、６つの光源２のうち、少なくとも１つの
光源２を除く光源２が光を照射する点灯光源の組合せは図１（Ｂ）に示すように６３通り
存在する。この場合、６３通り全てに対して距離を算出すると、組合せが多すぎるため、
かえって不便となることも考えられる。従って、参照距離を算出する点灯光源の組合せは
、事前に制限するよう設定しても良い。例えば、６つの光源２のうち、少なくとも１つの
光源２を除く光源２が点灯するのであれば、撮像部３との距離が短い光源２ｂ、２ｅは必
ず点灯させるとしても良い。また、光源２の数は６つに限らず３つ以上あればよい。

次に、図５を用いて、実施形態に係る撮像装置１が備える制御部４が、被写体までの距
離を算出する方法を説明する。図５は、実施形態に係る撮像装置１が備える制御部４が、
被写体までの距離を算出する流れの一例を示すフローチャートである。

まず、制御部４は、設定された全ての点灯光源の組合せにおいて参照距離を算出する（
ステップＳ００）。次に、制御部４は、任意の画素を一つ選択し（ステップＳ０１）、全
ての参照距離の選択した画素に対応する画素の参照距離のうち、数値が０でない有効な参
照距離が存在するか否かを判定する（ステップＳ０３）。制御部４は、有効な参照距離が
存在する場合（ステップＳ０３、Ｙｅｓ）、被写体までの距離が算出できた選択した画素
に対応する参照距離のうち、距離が算出できなかった数値０を除く最小値と最大値との差
が所定の範囲以内か否かを判定する（ステップＳ０５）。ここで、所定の範囲とは、許容
できる参照距離のばらつきを定義するための閾値である。例えば、所定の範囲を、最小値
と最大値との差が最小値の２０％と、定義しても良い。

制御部４は、最小値と最大値との差が所定の範囲以内の場合（ステップＳ０５、Ｙｅｓ
）、有効な参照距離の平均値を選択した画素に対応する被写体までの距離として算出する
（ステップＳ０７）。

次に、制御部４は、全ての画素に対して処理を行ったか否かを判定し（ステップＳ０９
）、全ての画素に対して処理を行っていない場合（ステップＳ０９、Ｎｏ）、処理をステ
ップＳ０１に戻し、全ての画素に対して処理を行った場合（ステップＳ０９、Ｙｅｓ）、
処理を終了する。

また、制御部４は、ステップＳ０５において、最小値と最大値との差が所定の範囲を超
える場合（ステップＳ０５、Ｎｏ）、参照距離を算出できた画素を最も多く有する点灯光
源の組合せにより得られた参照距離画像の選択した画素に対応する画素を、選択した画素
に対応する被写体までの距離として算出する（ステップＳ１１）。そして、制御部は４、
処理をステップＳ０９に進める。これは、点灯光源の組合せが、鏡面反射の影響が最も少
なく、被写体の参照距離が適切に得られた参照距離画像であることを意味している。

また、制御部４は、ステップＳ０３において、有効な参照距離が存在しないと判定した
場合（ステップＳ０３、Ｎｏ）、数値０を選択した画素に対応する被写体までの距離とし
て算出する（ステップＳ１３）。そして、制御部４は、処理をステップＳ０９に進める。

以上の流れで動作を実行することにより、実施形態に係る撮像装置１は、光源２から照
射される光が被写体によって拡散されてしまうことが少ない、かつ、受光量が多すぎて撮
像部３が飽和しない最適な点灯光源の組合せを選択することができる。その結果、被写体
までの距離をより高精度に測定することが可能である。
なお、上記の実施形態では６つの光源２を例に説明したが、光源２は３つ以上であれば
よく、その数は制限されるものではない。

また、上記した実施形態の撮像装置１における処理はいくつかのソフトウェアによって
実行することが可能である。このため、上記処理の手順を実行するいくつかのプログラム
を格納したコンピュータ読み取り可能な記憶媒体を通じてこれらプログラムを撮像装置１
へインストールして実行するだけで、上記処理を容易に実現することができる。例えば、
撮像装置１は、上記プログラムをネットワーク経由でダウンロードし、ダウンロードした
プログラムを記憶し、プログラムのインストールを完了することができる。或いは、撮像
装置１は、上記プログラムを情報記憶媒体から読み取り、読み取ったプログラムを記憶し
、プログラムのインストールを完了することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したも
のであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その
他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の
省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や
要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる
。

１撮像装置
２、２ａ、２ｂ、２ｄ、２ｅ、２ｆ光源
３撮像部
４制御部
５参照距離算出部
６次元画像生成部
７発光制御部
１０物体
１１柵

Claims

光を被写体に照射する３つ以上の光源と、
前記光源が照射した光の前記被写体からの反射光を受光する撮像部と、
前記３つ以上の光源のうち、少なくとも１つの光源を除く光源が光を照射する点灯光源
の組合せにより、光を照射してから前記撮像部が前記被写体からの反射光を受光するまで
の時間に基づいて、それぞれの前記点灯光源の組合せにおいて画素ごとに前記被写体まで
の参照距離を算出し、参照距離画像を生成する参照距離算出手段と、
前記参照距離算出手段により生成した全ての前記参照距離画像に基づいて、画素ごとに
前記被写体までの距離を算出し、距離画像を生成する距離算出手段と、
を備える撮像装置。
前記距離算出手段は、
前記被写体までの距離が算出できた任意の画素に対応する前記参照距離のうち、最小値
と最大値との差が所定の範囲以内の場合、前記被写体までの距離が算出できた前記任意の
画素に対応する前記参照距離の平均値を前記任意の画素に対応する前記被写体までの距離
として算出する、
請求項１に記載の撮像装置。
前記距離算出手段は、
前記被写体までの距離が算出できた前記任意の画素に対応する前記参照距離のうち、最
小値と最大値との差が前記所定の範囲を超える場合、前記被写体までの参照距離を算出で
きた画素を最も多く有する前記点灯光源の組合せにより得られた前記参照距離画像の前記
任意の画素に対応する参照距離を前記任意の画素に対応する前記被写体までの距離として
算出する、
請求項２に記載の撮像装置。
光を被写体に照射する３つ以上の光源が照射した光の前記被写体からの反射光を受光し
、
前記３つ以上の光源のうち、少なくとも１つの光源を除く光源が光を照射する点灯光源
の組合せにより、光を照射してから前記被写体からの反射光を受光するまでの時間に基づ
いて、それぞれの前記点灯光源の組合せにおいて画素ごとに前記被写体までの参照距離を
算出し、参照距離画像を生成し、
生成した全ての前記参照距離画像に基づいて、画素ごとに前記被写体までの距離を算出
して距離画像を生成する、
撮像装置の距離算出方法。