本開示の一態様に係る距離測定装置は、ローリングシャッター方式で撮像する撮像装置を用いた距離測定装置であって、前記撮像装置を等速移動させる移動部と、前記移動部によって第1速度で等速移動中の前記撮像装置で撮像されることにより得られる第1静止画と、前記第1速度よりも遅い第2速度で等速移動中または静止中の前記撮像装置で撮像されることにより得られる第2静止画とを取得する第1取得部と、前記撮像装置からの距離と、前記第1静止画および前記第2静止画の間の傾きの差との関係を示す関係情報であって、前記関係が、前記距離が大きいほど前記傾きの差が小さい関係にある関係情報を取得する第2取得部と、前記第1静止画および前記第2静止画を比較することにより前記第1静止画および前記第2静止画の間の一部の領域における傾きの差を示す傾き情報を特定する比較部と、前記比較部により特定された前記傾き情報を用いて、前記第2取得部に取得された前記関係情報に関係付けられている距離を特定し、特定した距離を示す距離情報を生成する距離生成部と、を備える。
これによれば、ローリングシャッター方式で撮像する撮像装置を移動させながら撮像したときに得られる第1静止画には、露光中に被写体が当該撮像装置の撮像対象空間中で移動している距離が大きいほど、垂直方向で隣接する画素にずれが生じることを利用している。一般的に、撮像装置からの距離が長い被写体ほど撮像装置を移動させてもブレが生じにくいことから、上記の画素のずれも小さくなる。これを利用して、第1速度で移動中に撮像した第1静止画と、第2速度で移動中または静止中に撮像した第2静止画とを比較することで、画素のずれの程度を特定することで、撮像装置から被写体までの距離を特定することが容易にできる。
このように、1つの撮像装置で撮像した画像を用いて被写体までの距離を特定できるため、ハードウェアにかかるコストを低減できる。また、2枚の静止画で画素ずれの違いを特定する処理で距離を特定できるため、画像処理にかかる処理負荷を低減できる。
また、前記第2取得部は、前記撮像装置からの大きさが互いに異なる複数の距離と、大きさが互いに異なる複数の前記傾きの差にそれぞれが対応する複数の線形変換と、を1対1で関係付けた情報である前記関係情報を取得し、前記比較部は、前記第1静止画および前記第2静止画の一方の画像を前記関係情報で関係付けられている前記複数の線形変換のそれぞれにより変換し、変換することにより得られた複数の変換結果と、前記第1静止画および前記第2静止画の他方の画像とを比較することで、前記一方の画像の少なくとも一部の領域と前記他方の画像の少なくとも一部の領域との間の傾きの差を示す前記傾き情報を特定し、前記距離生成部は、前記比較部により特定された前記傾き情報を用いて、前記関係情報に関係付けられている距離を特定し、前記一方の画像の少なくとも一部の領域での被写体までの距離として特定した距離を示す前記距離情報を生成してもよい。
このため、簡単な処理で被写体までの距離を効果的に特定することができる。
また、前記撮像装置は、イメージセンサのマトリックス状に配置された複数の画素の複数の行のそれぞれについて、当該行の露光開始タイミングから次の行の露光開始タイミングまでの行露光間隔を第1行露光間隔、または、前記第1行露光間隔よりも長い第2行露光間隔で撮像可能であり、前記第2取得部は、前記第1取得部により取得された前記第1静止画および前記第2静止画が前記第1行露光間隔で撮像された画像である場合、前記第1行露光間隔に対応する前記関係情報である第1関係情報を取得し、前記第1取得部により取得された前記第1静止画および前記第2静止画が前記第2行露光間隔で撮像された画像である場合、前記第2行露光間隔に対応する前記関係情報である第2関係情報を取得し、前記第2関係情報で関係付けられている複数の第2距離の分布範囲は、前記第1関係情報で関係付けられている複数の第1距離の分布範囲よりも前記撮像装置から遠い位置の分布範囲であり、前記複数の第2距離の分布密度は、前記複数の第1距離の分布密度よりも小さくしてもよい。
このため、被写体の移動によるブレを調整することで、撮像装置からの距離が大きい被写体であっても、撮像装置から当該被写体までの距離を効果的に特定することができる。
また、前記第1取得部は、静止中の前記撮像装置により前記第1行露光間隔で撮像されることにより得られる第3静止画と、静止中の前記撮像装置により前記第2行露光間隔で撮像されることにより得られる第4静止画とを前記第2静止画として取得し、前記比較部は、前記第3静止画および前記第4静止画を比較することにより前記第3静止画および前記第4静止画の間における画像の差分が一定以上生じた領域があるか否かを判定し、前記差分が一定以上生じた領域がある場合、当該領域での被写体が移動している物体であると判別してもよい。
このため、移動している被写体を特定することができる。
また、前記撮像装置は、第1焦点距離、または、前記第1焦点距離よりも長い第2焦点距離で撮像可能であり、前記第2取得部は、前記第1取得部により取得された前記第1静止画および前記第2静止画が前記第1焦点距離で撮像された画像である場合、前記第1焦点距離に対応する前記関係情報である第3関係情報を取得し、前記第1取得部により取得された前記第1静止画および前記第2静止画が前記第2焦点距離で撮像された画像である場合、前記第2焦点距離に対応する前記関係情報である第4関係情報を取得し、前記第4関係情報で関係付けられている複数の第4距離の分布範囲は、前記第3関係情報で関係付けられている複数の第3距離の分布範囲よりも前記撮像装置から遠い位置の分布範囲であり、前記複数の第4距離の分布密度は、前記複数の第3距離の分布密度よりも小さくしてもよい。
このため、撮像装置からの距離に応じて焦点距離を調節することで、距離を特定しようとしている物体までの距離を効果的に特定することができる。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る距離測定装置について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
以下、図1〜図8を用いて、実施の形態を説明する。
[1−1.構成]
図1は、実施の形態に係る距離測定システムの概略を説明するための図である。
距離測定システム1は、距離測定装置100および撮像装置200を備える。距離測定装置100は、撮像装置200が撮像することにより得られた静止画を取得して、当該静止画を用いて、撮像装置200から被写体である物体310、320までの距離x1、x2を測定する装置である。具体的には、距離測定装置100は、アクチュエータ105により撮像装置200をY軸方向に等速移動させながら撮像した第1静止画と、撮像装置200を静止した状態で撮像した第2静止画とを用いて物体310、320までの距離x1、x2を測定する。
撮像装置200は、ローリングシャッター方式で駆動するイメージセンサを有するカメラである。なお、撮像装置200は、デジタルカメラ、スマートフォンなどであってもよい。撮像装置200は、距離測定装置100からの制御信号を受信できるように通信可能に接続されている。
なお、図1では、撮像装置200の光軸が延びる方向をX軸方向とし、鉛直方向をZ軸方向とし、X軸方向およびZ軸方向に垂直な方向をY軸方向とする。
次に、距離測定装置100のハードウェア構成の具体例について図2を用いて説明する。
図2は、実施の形態に係る距離測定装置のハードウェア構成の一例を示すブロック図である。
図2に示すように、距離測定装置100は、ハードウェア構成として、CPU101(Central Processing Unit)と、メインメモリ102と、ストレージ103と、通信IF(Interface)104と、アクチュエータ105とを備える。距離測定装置100は、さらに、ディスプレイ106を備えていてもよい。
CPU101は、ストレージ103等に記憶された制御プログラムを実行するプロセッサである。
メインメモリ102は、CPU101が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
ストレージ103は、制御プログラム、コンテンツなどを保持する不揮発性の記憶領域である。
通信IF104は、通信ネットワークを介して撮像装置200と通信する通信インタフェースである。通信IF104は、例えば、有線LANインタフェースである。なお、通信IF104は、無線LANインタフェースであってもよい。また、通信IF104は、LANインタフェースに限らずに、通信ネットワークとの通信接続を確立できる通信インタフェースであれば、どのような通信インタフェースであってもよい。
アクチュエータ105は、例えば距離測定装置100の筐体の上部に配置され、撮像装置200が固定される台座105aをY軸方向に等速移動させる。アクチュエータ105は、例えば、台座105aをベルト駆動するモータにより構成されてもよいし、ガスシリンダー、油圧シリンダーなどにより構成されていてもよい。
ディスプレイ106は、画像を含む映像を表示する表示装置である。例えば、ディスプレイ106は、液晶ディスプレイ、有機ELディスプレイなどである。
次に、距離測定装置100の機能構成について図3を用いて説明する。
図3は、実施の形態に係る距離測定装置の機能構成の一例を示すブロック図である。
距離測定装置100は、機能構成として、移動部110と、第1取得部120と、第2取得部130と、比較部140と、距離生成部150とを備える。距離測定装置100は、さらに、出力部160を備えていてもよい。
移動部110は、撮像装置200を等速直線移動させる。移動部110は、具体的には、撮像装置200を撮像装置200が備えるローリングシャッター方式のイメージセンサの行方向(Y軸方向、水平方向)に等速直線移動させる。移動部110は、予め定められた固定の速度で撮像装置200を等速移動させる。移動部110は、例えば、当該固定の速度になるまで撮像装置200を加速した後に、固定の速度で撮像装置を等速移動させ、その後減速して停止する。移動部110は、例えば、アクチュエータ105などにより実現される。
第1取得部120は、移動部110によって第1速度で等速直線移動中の撮像装置200で撮像されることにより得られる第1静止画と、静止中の撮像装置200で撮像されることにより得られる第2静止画とを取得する。第1取得部120は、例えば、通信IF104などにより実現される。
第2取得部130は、撮像装置200からの距離と、第1静止画および第2静止画の間の傾きの差との関係を示す関係情報を取得する。関係情報は、距離と傾きの差との関係が、距離が大きいほど傾きの差が小さい関係にある。第2取得部130は、CPU101およびメインメモリ102などにより実現される。
なお、ここで撮像装置200からの距離とは、撮像装置200を距離測定装置100のアクチュエータ105の台座105aに配置したときの撮像装置200からの距離である。つまり、撮像装置200からの距離は、距離測定装置100のアクチュエータ105の所定の基準位置からの距離である。
本実施の形態では、関係情報は、例えば、ストレージ103に記憶されており、第2取得部130は、ストレージ103に記憶されている関係情報を読み出すことで、関係情報を取得する。なお、関係情報は、外部のサーバに格納されていてもよく、第2取得部130は、外部のサーバと通信接続することにより、関係情報を取得してもよい。この場合、第2取得部130は、CPU101、メインメモリ102、通信IF104などにより実現される。
ここで、関係情報について図4を用いて説明する。
図4は、実施の形態に係る関係情報を説明するための図である。
図4に示すように、関係情報は、大きさが互いに異なる複数の傾きの差のそれぞれが対応する複数の線形変換がと、撮像装置200からの長さが異なる複数の距離とが1対1で関係付けられた情報である。複数の線形変換である第1〜第n線形変換は、線形変換の傾きの程度が互いに異なる線形変換であり、例えば、長方形の画像の縦の2辺を傾斜させる変換を行うことにより平行四辺形に歪ませる変換である。つまり、複数の線形変換は、傾きの程度が大きいほど、縦の2辺の傾きが大きい平行四辺形の形状に変換される。図4では、第1〜第n線形変換は、第k線形変換の「k」の値が大きいほど傾きの程度が小さいことを示している。
第1〜第n距離は、1対1で、第1〜第n線形変換に対応付けられている。第1〜第n距離は、第k距離の「k」の値が大きいほど撮像装置200からの距離が大きい(長い)ことを示している。関係情報は、例えば、事前にキャリブレーションを行うことにより予め定められた情報である。関係情報は、等速移動させる速度に応じて最適な値が異なるため、キャリブレーションを行う場合には、移動部110が等速移動させる速度で撮像装置200を移動させた状態で行う。また、移動部110が等速移動させる速度を複数の段階で変更できる場合には、複数の段階の速度にそれぞれが対応した複数の関係情報がストレージ103または外部のサーバに記憶されていてもよい。
比較部140は、第1静止画および第2静止画を比較することにより第1静止画および第2静止画の間の一部の領域における傾きの差を示す傾き情報を特定する。具体的には、比較部140は、第2静止画を関係情報で関係付けられている複数の線形変換のそれぞれにより変換する。比較部140は、変換することにより得られた複数の変換結果と、第1静止画とを比較することで、第1静止画の一部の領域と第2静止画の一部の領域との間の傾きの差を示す傾き情報を特定する。
なお、ローリングシャッター方式で撮像する撮像装置200を移動させながら撮像したときに、露光中に被写体が当該撮像装置の撮像対象空間中で移動するために、得られた画像の垂直方向で隣接する画素に水平方向のずれが生じる。このため、第1静止画中の第1の被写体は、第2静止画中の第1の被写体よりも、斜めに傾いた状態となる。つまり、上記の傾きの差とは、第1静止画中の被写体が第2静止画中の被写体よりも傾いている度合いのことである。
なお、比較部140は、第2静止画を複数の線形変換のそれぞれにより変換するとしたが、第1静止画を複数の線形変換のそれぞれにより逆変換してもよい。この場合、比較部140は、逆変換することにより得られた複数の変換結果と、第2静止画とを比較することで、第1静止画の一部の領域と第2静止画の一部の領域との間の傾きの差を示す傾き情報を特定する。
比較部140は、例えば、CPU101、メインメモリ102、ストレージ103などにより実現される。
距離生成部150は、比較部140により特定された傾き情報を用いて、第2取得部130に取得された関係情報に関係付けられている距離を特定し、特定した距離を示す距離情報を生成する。具体的には、距離生成部150は、比較部140により特定された傾き情報を用いて、関係情報に関係付けられている距離を特定し、第1静止画の一部の領域での被写体までの距離として特定した距離を示す距離情報を生成する。距離生成部150は、例えば、CPU101、メインメモリ102、ストレージ103などにより実現される。
出力部160は、距離生成部150により生成された距離情報を出力する。具体的には、出力部160は、距離情報をディスプレイ106に表示することで出力してもよいし、通信IF104でスマートフォンなどの情報端末に距離情報を通知することで出力してもよい。出力部160は、例えば、通信IF104、ディスプレイ106などにより実現される。
[1−2.動作]
次に、実施の形態に係る距離測定システム1の動作について説明する。
図5は、実施の形態1に係る距離測定システムにおける距離測定方法の一例を示すシーケンス図である。図6は、第1静止画を撮像する場合を説明するための図である。図7は、第2静止画を撮像する場合を説明するための図である。
まず、距離測定装置100の第1取得部120が画像の撮像要求を含む制御信号を撮像装置200に送信する(S11)。なお、距離測定装置100は、当該制御信号を所定の周期で複数回繰り返し送信してもよい。この場合、図5のフローが繰り返し行われる。また、距離測定装置100は、当該制御信号を所定のタイミングで送信してもよい。また、距離測定装置100は、当該制御信号を撮像装置200に送信しなくてもよく、撮像装置200が所定の周期または所定のタイミングで次のステップS21の開始の判断を行ってもよい。
次に、撮像装置200は、静止中に撮像することにより第2静止画を得る(S21)。例えば、図7に示すように、撮像装置200は、静止中に物体310、320を撮像することにより第2静止画420を得る。
そして、撮像装置200は、得られた第2静止画420を距離測定装置100に送信する(S22)。
これにより、距離測定装置100では、第1取得部120は、第2静止画420を取得する(S12)。
そして、第2取得部130は、関係情報を取得する(S13)。
比較部140は、第2取得部130により取得された関係情報の複数の線形変換のそれぞれで第2静止画420を変換する(S14)。
なお、ステップS13は、ステップS14の前に行われればどのタイミングで行われてもよい。
距離測定装置100では、ステップS13およびS14を行っている間に、並行して移動部110は、撮像装置200を所定の速度で等速移動させる(S15)。撮像装置200は、同じタイミングで撮像することにより、等速移動中に撮像を行い、第1静止画を得る(S23)。例えば、図6に示すように、撮像装置200は、等速移動中に物体310、320を撮像することにより第1静止画410を得る。なお、撮像装置200は、距離測定のために第1静止画410および第2静止画420を撮像する場合、同じ被写体である物体310、320を撮像する。
撮像装置200は、所定のタイミングで移動部110を等速移動させる情報を距離測定装置100から受信し、当該情報が示す所定のタイミングで撮像を行うことにより第1静止画410を得てもよい。なお、当該所定のタイミングを示す情報は、距離測定装置100が移動部110を移動させる直前に撮像装置200に撮像させる制御信号として送信されてもよいし、ステップS11で送信される撮像要求を含む制御信号に含まれていてもよい。また、撮像装置200は、加速度センサが搭載されている場合、加速度センサで移動されたことを検出してから、第1静止画410の撮像を行ってもよい。これにより、ステップS15およびステップS23は同期して実行される。
このように、ステップS13およびステップS14の処理と、ステップS15およびステップS23の処理とを並列に実行できるため、処理時間を削減できる。
次に、撮像装置200は、第1静止画410を距離測定装置100に送信する(S24)。
これにより、距離測定装置100では、第1取得部120は、第1静止画410を取得する(S16)。
次に、比較部140は、複数の変換結果と第1静止画410とを比較する(S17)。
そして、比較部140は、第1静止画410の一部の領域と一致する変換結果を特定し、一致した変換結果に対応する線形変換を特定することで傾き情報を特定する(S18)。
次に、距離生成部150は、特定された傾き情報と関係情報とを用いて距離情報を生成する(S19)。
最後に、出力部160は、生成された距離情報を出力する(S20)。
図8は、比較処理を説明するための図である。
比較部140は、図8に示すように、第2静止画340に対して、関係情報において関係付けられている第1〜第n線形変換のそれぞれで線形変換を行うことで、第1〜第n変換結果を得る。そして、比較部140は、第1〜第n変換結果のそれぞれと、第1静止画350とを比較する。
これにより、比較部140は、第2静止画340の物体341に第9線形変換することで得られた第9変換結果と、第1静止画350の物体351とが一致していると特定できる。同様に、比較部140は、第2静止画340の物体342に第1線形変換することで得られた第1変換結果と、第1静止画350の物体352とが一致していると特定できる。同様に、比較部140は、第2静止画340の物体343に第5線形変換することで得られた第5変換結果と、第1静止画350の物体353とが一致していると特定できる。
このため、次の処理において距離生成部150は、第9線形変換に対応する第9距離を、撮像装置200からの物体341までの距離であると特定できる。同様に、距離生成部150は、第1線形変換に対応する第1距離を、撮像装置200からの物体342までの距離であると特定できる。同様に、距離生成部150は、第5線形変換に対応する第5距離を、撮像装置200からの物体343までの距離であると特定できる。
[1−3.効果]
本実施の形態に係る距離測定システム1によれば、ローリングシャッター方式で撮像する撮像装置を移動させながら撮像したときに得られる第1静止画には、露光中に被写体が当該撮像装置の撮像対象空間中で移動している距離が大きいほど、垂直方向で隣接する画素にずれが生じることを利用している。一般的に、撮像装置からの距離が長い被写体ほど撮像装置を移動させてもブレが生じにくいことから、上記の画素のずれも小さくなる。これを利用して、第1速度で移動中に撮像した第1静止画と、第2速度で移動中または静止中に撮像した第2静止画とを比較することで、画素のずれの程度を特定することで、撮像装置から被写体までの距離を特定することが容易にできる。
このように、1つの撮像装置で撮像した画像を用いて被写体までの距離を特定できるため、ハードウェアにかかるコストを低減できる。また、2枚の静止画で画素ずれの違いを特定する処理で距離を特定できるため、画像処理にかかる処理負荷を低減できる。
[1−4.変形例]
[1−4−1.変形例1]
変形例1について説明する。
上記実施の形態に係る距離測定システム1では、さらに、異なる撮像モードで撮像した結果を用いて、物体までの距離を測定してもよい。具体的には、撮像装置200は、第1撮像モードと、第2撮像モードとに、選択的に切り替えて撮像可能であるとする場合について説明する。
図9は、第1撮像モードおよび第2撮像モードを説明するための図である。図9は、撮像装置200が有するイメージセンサにおいて、マトリックス状に配置された複数の画素の複数の行L1〜Lv(vは自然数)のそれぞれについての露光タイミングを示す図である。
図9の(a)に示すように、第1撮像モードは、行Li(iは、1〜v−1までの自然数)の露光開始タイミングから次の行Li+1の露光開始タイミングまでの行露光間隔を第1行露光間隔Δt1で撮像するモードである。図9の(b)に示すように、第2撮像モードは、第1行露光間隔Δt1よりも長い第2行露光間隔Δt2で撮像するモードである。なお、図中の白抜きの四角形で示す期間は、当該行で露光している露光期間を示し、ドットのハッチングの四角形で示す期間は、露光によって得られた電気信号の読出期間を示す。
この場合、第2取得部130は、第1取得部120により取得された第1静止画および第2静止画が第1行露光間隔で撮像された画像である場合、第1行露光間隔に対応する関係情報である第1関係情報を取得する。つまり、第2取得部130は、第1撮像モードに対応する第1関係情報を取得する。
また、第2取得部130は、第1取得部120により取得された第1静止画および第2静止画が第2行露光間隔で撮像された画像である場合、第2行露光間隔に対応する関係情報である第2関係情報を取得する。つまり、第2取得部130は、第2撮像モードに対応する第2関係情報を取得する。
ここで、第1関係情報および第2関係情報について説明する。
図10は、変形例1に係る第1関係情報および第2関係情報を説明するための図である。
上述したように、第1関係情報は、第1撮像モードに対応する関係情報であり、第2関係情報は、第2撮像モードに対応する関係情報である。第1関係情報および第2関係情報は、図4で説明した関係情報と同様に、複数の線形変換と、複数の距離とが1対1で対応付けられた情報である。また、第11〜第1n線形変換および第21〜第2n線形変換は、第k線形変換の「k」の値が大きいほど傾きの程度が小さいことを示している。第11〜第1n距離および第21〜第2n距離は、第k距離の「k」の値が大きいほど撮像装置200からの距離が大きい(長い)ことを示している。
また、第2関係情報で関係付けられている第21〜第2n距離の分布範囲は、第1関係情報で関係付けられている第11〜第1n距離の分布範囲よりも撮像装置200から遠い位置の分布範囲を含む。また、第21〜第2n距離の分布密度は、第11〜第1n距離の分布密度よりも小さい。つまり、第11距離から第1n距離までの差Δx11は、第21距離から第2n距離までの差Δx12よりも大きいと言える。
なお、第11〜第1n距離または第21〜第2n距離で表される複数の距離の分布範囲とは、当該複数の距離が分布しているX軸方向における距離範囲であり、複数の距離のうちの最小距離から最大距離までの間の距離範囲である。つまり、第11〜第1n距離の場合、第11距離で示されるX軸方向における位置から第1n距離で示されるX軸方向における位置までの範囲である。また、第21〜第2n距離の場合、第21距離で示されるX軸方向における位置から第2n距離で示されるX軸方向における位置までの範囲である。
また、第11〜第1n距離または第21〜第2n距離で表される複数の距離の分布密度とは、複数の距離のうちの最小距離から最大距離までの間の距離範囲を複数の距離の数で除した値である。つまり、第11〜第1n距離の分布密度は、差Δx11を第11〜第1n距離の数であるnで除した値であるためΔx11/nで表される。また、第21〜第2n距離の分布密度は、差Δx12を第12〜第2n距離の数であるnで除した値であるためΔx21/nで表される。
なお、上記のように第1関係情報に対して第2関係情報を定義できるのは、第2撮像モードが第1撮像モードよりも行露光間隔が長いため、露光中に撮像している画像中での移動量を第1撮像モードよりも大きくできるからである。このため、第2撮像モードでの撮像結果を用いることで、第1撮像モードでの撮像結果を用いた場合よりも、撮像装置200からの距離がより遠くの範囲までの距離を測定でき、かつ、距離測定の解像度をより高くすることができる。
図11は、変形例1に係る距離測定システムにおける距離測定方法の一例を示すシーケンス図である。
変形例1に係る距離測定方法では、実施の形態1に係る距離測定方法と比較して、ステップS12、S14〜S20、S22、S24以外の処理が異なるため、異なる処理について主に説明する。
まず、距離測定装置100の第1取得部120が撮像モードを第1撮像モードまたは第2撮像モードに決定する(S31)。具体的には、距離測定装置100は、最初に第1撮像モードに決定してもよい。そして、図11の処理が全て終了しても、被写体までの距離が得られない場合、第2撮像モードに決定して図11の処理を行うこととしてもよい。また、撮像モードの設定は、人による入力を受け付けて受け付けた設定に従って行ってもよい。この場合、距離測定装置100には人からの入力を受け付ける各種入力IFで実現される受付部を備えていてもよいし、スマートフォンなどの外部の情報端末から通信IFを介して人からの入力を受け付けてもよい。
次に、第1取得部120は、決定した撮像モードでの画像の撮像要求を含む制御信号を撮像装置200に送信する(S32)。なお、ステップS32は、撮像要求に撮像モードを示す情報が含まれていることのみが異なり、ステップS11と同様に距離測定装置100によって実行されなくてもよい。
次に、撮像装置200は、決定された撮像モードで静止中に撮像することにより第2静止画を得る(S41)。
次に、ステップS22、S12が行われ、その後、第2取得部130は、決定された撮像モードに応じた関係情報を取得する(S33)。つまり、第2取得部130は、第1撮像モードに決定していれば、第1関係情報を取得し、第2撮像モードに決定していれば、第2関係情報を取得する。
次に、距離測定装置100の移動部110は、撮像装置200を所定の速度で等速移動させる(S15)。撮像装置200は、同じタイミングかつ決定された撮像モードで撮像することにより、等速移動中に撮像を行い、第1静止画を得る(S42)。
そして、ステップS24、S16〜S20が行われ、処理を終了する。なお、距離生成部150は、ステップS19において、第2取得部130により取得された関係情報を用いて距離を生成する。
このように変形例1に係る距離測定システム1では、異なる撮像モードに応じて、対応する関係情報を用いて距離を測定する。このため、被写体の撮像装置200に対する相対的な移動によるブレ量をより大きく調整することができる。よって、撮像装置200からの距離が大きい被写体であっても、撮像装置200から当該被写体までの距離を効果的に特定することができる。
[1−4−2.変形例2]
変形例2について説明する。
上記実施の形態の変形例1に係る距離測定システム1では、行露光間隔が異なる撮像モードで撮像した場合を説明したが、異なる撮像モードは行露光間隔が異なる場合に限らない。例えば、焦点距離が異なる撮像モードで撮像する場合に適用してもよい。
この場合、撮像装置200は、第3撮像モードと、第4撮像モードとに、選択的に切り替えて撮像可能である。第3撮像モードは、第1焦点距離で撮像するモードである。第4撮像モードは、第1焦点距離よりも長い第2焦点距離で撮像するモードである。
この場合、第2取得部130は、第1取得部120により取得された第1静止画および第2静止画が第1焦点距離で撮像された画像である場合、第1焦点距離に対応する関係情報である第3関係情報を取得する。つまり、第2取得部130は、第3撮像モードに対応する第3関係情報を取得する。
また、第2取得部130は、第1取得部120により取得された第1静止画および第2静止画が第2焦点距離で撮像された画像である場合、第2焦点距離に対応する関係情報である第4関係情報を取得する。つまり、第2取得部130は、第4撮像モードに対応する第4関係情報を取得する。
ここで、第3関係情報および第4関係情報について説明する。
図12は、変形例2に係る第3関係情報および第4関係情報を説明するための図である。
上述したように、第3関係情報は、第3撮像モードに対応する関係情報であり、第4関係情報は、第4撮像モードに対応する関係情報である。第3関係情報および第4関係情報は、図4で説明した関係情報と同様に、複数の線形変換と、複数の距離とが1対1で対応付けられた情報である。また、第31〜第3n線形変換および第41〜第4n線形変換は、第k線形変換の「k」の値が大きいほど傾きの程度が小さいことを示している。第31〜第3n距離および第41〜第4n距離は、第k距離の「k」の値が大きいほど撮像装置200からの距離が大きい(長い)ことを示している。
また、第4関係情報で関係付けられている第41〜第4n距離の分布範囲は、第3関係情報で関係付けられている第31〜第3n距離の分布範囲よりも撮像装置200から遠い位置の分布範囲を含む。また、第41〜第4n距離の分布密度は、第31〜第3n距離の分布密度よりも小さい。つまり、第31距離から第3n距離までの差Δx21は、第41距離から第4n距離までの差Δx22よりも大きいと言える。なお、第3関係情報および第4関係情報は、第1関係情報および第2関係情報と同様の関係にあるため、説明を省略する。
変形例2に係る距離測定システム1の動作は、第1撮像モードを第3撮像モードに、第2撮像モードを第4撮像モードに、第1関係情報を第3関係情報に、第2関係情報を第4関係情報にそれぞれ読み替えることにより説明できるため、説明を省略する。
[1−4−3.変形例3]
変形例3について説明する。
変形例1に係る距離測定システム1において、第2静止画を撮像する場合に、第1撮像モードおよび第2撮像モードのそれぞれで撮像することで、得られる第3静止画および第4静止画を用いて被写体に移動物体があるか否かを判定してもよい。
この場合、第1取得部120は、静止中の撮像装置200により第1撮像モードで撮像されることにより得られる第3静止画と、静止中の撮像装置200により第2撮像モードで撮像されることにより得られる第4静止画とを第2静止画として取得する。
比較部140は、第3静止画および第4静止画を比較することにより第3静止画および第4静止画の間における画像の差分が一定以上生じた領域があるか否かを判定する。そして、比較部140は、画像の差分が一定以上生じた領域がある場合、当該領域での被写体が移動している物体であると判別する。
なお、距離生成部150は、被写体が移動していると判定した領域においては、距離測定の結果を生成しなくてもよい。
動作について説明する。
図13は、変形例3に係る距離測定システムにおける距離測定方法の一例を示すシーケンス図である。
変形例3に係る距離測定方法では、実施の形態1に係る距離測定方法と比較して、ステップS11、S15〜S20、S24以外の処理が異なるため、異なる処理について主に説明する。
まず、ステップS11の後、撮像装置200は、静止中かつ第1撮像モードで撮像することにより第3静止画を得る(S51)。次に、撮像装置200は、静止中かつ第2撮像モードで撮像することにより第4静止画を得る(S52)。ステップS51、S52により、撮像装置200では、2種類の第2静止画である第3静止画および第4静止画が得られる。そして、撮像装置200は、第3静止画および第4静止画を距離測定装置100に送信する(S53)。
これにより、距離測定装置100では、第1取得部120は、第3静止画および第4静止画を取得する(S41)。
比較部140は、第3静止画および第4静止画を比較することにより第3静止画および第4静止画の間における画像の差分が一定以上生じた領域があるか否かを判定する。そして、比較部140は、画像の差分が一定以上生じた領域がある場合、当該領域での被写体が移動している物体であると判別する(S42)。
第2取得部130は、第1関係情報を取得する(S43)。
比較部140は、第2取得部130により取得された第1関係情報の複数の線形変換のそれぞれで第3静止画を変換する(S44)。
その後、距離測定装置100の移動部110は、撮像装置200を所定の速度で等速移動させる(S15)。撮像装置200は、同じタイミングかつ第1撮像モードで撮像することにより、等速移動中に撮像を行い、第1静止画を得る(S54)。
そして、ステップS24、S16〜S20が行われ、処理を終了する。なお、距離生成部150は、ステップS19において、第2取得部130により取得された第1関係情報を用いて距離を生成する。
なお、変形例3では、ステップS51、S54において第1撮像モードで撮像し、ステップS52において第2撮像モードで撮像するとしたが、反対に、ステップS51、S54において第2撮像モードで撮像し、ステップS52において第1撮像モードで撮像してもよい。この場合、ステップS43では、第2関係情報が取得され、ステップS19において、第2取得部130により取得された第2関係情報を用いて距離が生成される。
[1−4−4.変形例4]
変形例4について説明する。
実施の形態1およびその変形例1〜3では、複数の線形変換のそれぞれで第2静止画または第3静止画を変換する処理と、撮像装置200を等速移動させながら第1静止画を撮像する処理とを並行に行うこととしたが、これらの処理を並行に行わなくてもよい。
変形例4に係る距離測定システム1では、距離測定装置100の比較部140により行われる処理が1つの傾き情報を特定する比較処理として行われる。
図14は、変形例4に係る距離測定システムにおける距離測定方法の一例を示すシーケンス図である。図15は、比較処理の詳細を示すフローチャートである。
まず、距離測定装置100の第1取得部120が画像の撮像要求を含む制御信号を撮像装置200に送信する(S111)。
次に、撮像装置200は、静止中に撮像することにより第2静止画を得る(S121)。
そして、撮像装置200は、得られた第2静止画420を距離測定装置100に送信する(S122)。
その後、距離測定装置100の移動部110は、撮像装置200を所定の速度で等速移動させる(S112)。撮像装置200は、同じタイミングで撮像することにより、等速移動中に撮像を行い、第1静止画を得る(S122)。なお、撮像装置200は、距離測定のために第1静止画410および第2静止画420を撮像する場合、同じ被写体である物体310、320を撮像する。
撮像装置200は、所定のタイミングで移動部110を等速移動させる情報を距離測定装置100から受信し、当該情報が示す所定のタイミングで撮像を行うことにより第1静止画410を得てもよい。なお、当該所定のタイミングを示す情報は、距離測定装置100が移動部110を移動させる直前に撮像装置200に撮像させる制御信号として送信されてもよいし、ステップS111で送信される撮像要求を含む制御信号に含まれていてもよい。また、撮像装置200は、加速度センサが搭載されている場合、加速度センサで移動されたことを検出してから、第1静止画410の撮像を行ってもよい。これにより、ステップS112およびステップS122は同期して実行される。
なお、ステップS121と、ステップS112およびステップS122とが行われる順番は反対であってもよい。
次に、撮像装置200は、第1静止画410および第2静止画420を距離測定装置100に送信する(S123)。
これにより、距離測定装置100では、第1取得部120は、第1静止画410および第2静止画420を取得する(S113)。
そして、第2取得部130は、関係情報を取得し(S114)、比較部140は、傾き情報を特定する(S115)。なお、比較部140による傾き情報を特定する比較処理の詳細は後述する。
次に、距離生成部150は、特定された傾き情報と関係情報とを用いて距離情報を生成する(S116)。
最後に、出力部160は、生成された距離情報を出力する(S117)。
なお、ステップS114は、ステップS116の前に行われればどのタイミングで行われてもよい。
次に、ステップS115の比較処理の詳細について説明する。
図15は、比較処理の詳細を示すフローチャートである。
比較部140は、比較処理が開始されると、複数の線形変換のそれぞれで第2静止画420を変換する(S131)。
次に、比較部140は、複数の変換結果と第1静止画410とを比較する(S132)。
そして、比較部140は、第1静止画410の一部の領域と一致する変換結果を特定し、一致した変換結果に対応する線形変換を特定することで傾き情報を特定する(S133)。
なお、上記の変形例4において、比較処理では、ステップS131において、複数の線形変換のそれぞれで第2静止画を変換するとしたが、これに限らない。例えば、第1静止画および第2静止画に対して画像処理を行うことにより、傾きの差が生じている領域および当該傾きの差を検出してもよい。
(その他)
上記実施の形態およびその変形例に係る距離測定装置100では、移動部110は、撮像装置200をY軸方向に等速直線移動させるとしたが、ローリングシャッター方式のイメージセンサの列方向(Z軸方向)に平行な軸を回転軸として等速回転移動させてもよい。この場合、等速回転移動させた場合にイメージセンサで撮像される画像の歪みに応じた変換を行う複数の変換が複数の距離と1対1で対応付けられている関係情報が用いられる。
上記実施の形態およびその変形例に係る距離測定装置100では、移動部110は、撮像装置200をY軸方向に等速直線移動させるとしたが、X軸方向に等速直線移動させてもよい。この場合、X軸方向に等速直線移動させた場合にイメージセンサで撮像される画像の歪みに応じた変換を行う複数の変換が複数の距離と1対1で対応付けられている関係情報が用いられる。
上記実施の形態およびその変形例に係る距離測定装置100では、第2静止画を静止中の撮像装置200により撮像することにより得られた画像としたが、これに限らない。例えば、第2静止画は、第1静止画の撮像中に移動部110により移動されている第1速度よりも遅い第2速度で等速移動中の撮像装置200により撮像することにより得られた画像としてもよい。なお、第1速度と第2速度とは固定された速度である。この場合であっても、第1静止画および第2静止画には傾きの差が生じるため、実施の形態と同様の方法を用いることで、撮像装置200から物体までの距離を測定することが可能である。
上記実施の形態およびその変形例に係る距離測定装置100における移動部110は、カメラスタビライザーであってもよい。カメラスタビライザーは、一般的にカメラのブレを抑えることを目的として、装着されているカメラを3軸駆動する駆動機構を有するが、この駆動機構を利用して撮像装置200の等速直線運動を実現することができる。その場合、カメラスタビライザーの駆動モードを、装着されているカメラのブレを抑えるブレ補正モードと、装着されているカメラによって距離測定を行う距離測定モードとで切り替え可能であってもよい。距離測定モードでは、カメラの動きによるブレを補正しながら等速直線運動を実現し距離計測を行う。また、カメラスタビライザーを使用して、距離測定を実施する場合は、駆動モードをブレ補正モードにして第2静止画を撮影し、第1静止画を撮影する場合は、駆動モードを距離測定モードにして撮影してもよい。
上記実施の形態に係る距離測定装置100は、撮像装置200を含まない構成としたが、撮像装置200が距離測定装置100に含まれる構成としてもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の距離測定装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、ローリングシャッター方式で撮像する撮像装置を用いた距離測定装置による距離測定方法であって、前記撮像装置を等速移動させ、第1速度で等速移動中の前記撮像装置で撮像されることにより得られる第1静止画と、前記第1速度よりも遅い第2速度で等速移動中または静止中の前記撮像装置で撮像されることにより得られる第2静止画とを取得し、前記撮像装置からの距離と、前記第1静止画および前記第2静止画の間の傾きの差との関係を示す関係情報であって、前記関係が、前記距離が大きいほど前記傾きの差が小さい関係にある関係情報を取得し、前記第1静止画および前記第2静止画を比較することにより前記第1静止画および前記第2静止画の間の一部の領域における傾きの差を示す傾き情報を特定し、特定した前記傾き情報を用いて、取得した前記関係情報に関係付けられている距離を特定し、特定した距離を示す距離情報を生成する距離測定方法を実行させる。
以上、本発明の一つまたは複数の態様に係る距離測定装置100および距離測定方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。