JP2016102697A

JP2016102697A - 距離画像生成装置、距離画像生成方法、及び距離画像生成プログラム

Info

Publication number: JP2016102697A
Application number: JP2014240483A
Authority: JP
Inventors: 利章篠原; Toshiaki Shinohara
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2014-11-27
Filing date: 2014-11-27
Publication date: 2016-06-02
Also published as: WO2016084323A1

Abstract

【課題】距離画像が示す撮像装置と撮像対象物との間の距離の精度を向上できる距離画像生成装置を提供する。
【解決手段】距離画像生成装置は、対象物へ光を発光する発光部と、前記発光部による発光量を制御する発光量制御部と、前記制御された発光量で発光された光に対する、前記対象物からの反射光を受光する受光部と、異なる発光量に対して得られる複数の受光量の積分値に基づいて、複数の距離画像を生成する距離画像生成部と、前記複数の距離画像を合成し、合成距離画像を生成する画像合成部と、を備える。
【選択図】図２

Description

本発明は、距離画像生成装置、距離画像生成方法、及び距離画像生成プログラムに関する。

従来、赤外線を用いて３次元対象物までの距離を非接触測定する３次元測定器の１つとして、距離画像カメラが知られている。距離画像カメラは、例えば赤外線ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）の光を対象物に照射し、この光が反射されて受光されるまでの時間を測定し、距離に換算する。

従来、距離画像カメラを用いて物体の寸法を測定する物体寸法測定装置が知られている（例えば、特許文献１参照）

特開２０１１−１９６８６０号公報

特許文献１に記載された物体寸法測定装置では、距離画像が示す撮像装置と対象物との間の距離の精度が不十分であった。

本発明は、上記事情に鑑みてなされたものであり、距離画像が示す撮像装置と対象物との間の距離の精度を向上できる距離画像生成装置、距離画像生成方法、及び距離画像生成プログラムを提供する。

本発明の距離画像生成装置は、対象物へ光を発光する発光部と、前記発光部による発光量を制御する発光量制御部と、前記制御された発光量で発光された光に対する、前記対象物からの反射光を受光する受光部と、異なる発光量に対して得られる複数の受光量の積分値に基づいて、複数の距離画像を生成する距離画像生成部と、前記複数の距離画像を合成し、合成距離画像を生成する画像合成部と、を備える。

本発明の距離画像生成方法は、距離画像生成装置における距離画像生成方法であって、対象物へ光を発光するための発光量を制御するステップと、前記制御された発光量で前記対象物へ光を発光するステップと、前記発光された光に対する、前記対象物からの反射光を受光するステップと、異なる発光量に対して得られる複数の受光量の積分値に基づいて、複数の距離画像を生成するステップと、前記複数の距離画像を合成し、合成距離画像を生成するステップと、を備える。

本発明の距離画像生成プログラムは、上記距離画像生成方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明によれば、距離画像が示す撮像装置と撮像対象物との間の距離の精度を向上できる。

実施形態における撮像装置と対象物との配置例、及び撮像装置周辺の装置例を示す模式図実施形態における撮像装置の構成例を示すブロック図実施形態における電子シャッタ制御を説明するためのタイミングチャート（Ａ）〜（Ｃ）実施形態における各距離範囲に応じた照射光と反射光との一例を示す模式図実施形態における撮像装置の動作例を示すフローチャート実施形態における撮像装置の動作例を示すフローチャート（図５の続き）（Ａ）〜（Ｃ）実施形態における各距離範囲に対応するパルスレートで発光した場合の距離画像の画像例を示す模式図実施形態における合成距離画像の画像例を示す模式図

以下、本発明の実施形態について、図面を用いて説明する。

（本発明の一形態を得るに至った経緯）
従来の物体寸法測定装置では、物体の寸法が小さい場合、例えば物体が２０ｃｍ〜３０ｃｍ程度の荷物である場合、受光される反射光の光量が適度となり、距離を測定できる。一方、物体の寸法が大きい場合、例えば３０ｃｍ程度以上の荷物である場合、物体において物体の一端側と他端側とで、受光される反射光の光量が異なる。そのため、物体の一体側での反射を優先した場合には、他端側での反射光の光量が不足となり、他端側での反射を優先した場合には、一旦側での反射光の光量が過大となり、距離画像が示す距離の精度が低下することがあった。

また、距離画像カメラと対象物との間の距離が短すぎる場合には、受光される反射光の光量が過大となり、距離画像が示す距離の精度が低下することがあった。また、距離画像カメラと対象物との間の距離が長すぎる場合には、受光される反射光の光量が不十分となり、距離画像が示す距離の精度が低下することがあった。

以下、距離画像が示す撮像装置と撮像対象物との間の距離の精度を向上できる距離画像生成装置、距離画像生成方法、及び距離画像生成プログラムについて説明する。

（第１の実施形態）
図１は、第１の実施形態における撮像装置１０と測定対象となる対象物２０との配置例を示す模式図である。また、図１では、撮像装置１０に接続される装置についても例示されている。

図１に示すように、撮像装置１０は、例えば、屋内の天井や床面から所定の高さに設置される。撮像装置１０は、対象物２０に対して照射光Ｌ１（例えばＩＲ（ＩｎｆｒａＲｅｄ）光）を照射し、対象物２０により反射された反射光Ｌ２（例えばＩＲ光）を受光し、所定期間の受光量を基に、距離画像を生成する。即ち、撮像装置１０は、撮像装置１０と対象物２０（対象物２０における各対象点）との間の距離を測定する。対象点は、対象物２０の一部の領域、点である。

対象物２０は、例えば、撮像装置１０に対向する所定の位置に配置される。対象物２０の距離測定が終了した後は、例えば、他の対象物２０が所定の位置に配置され、撮像装置１０との間の距離を測定される。この距離が測定されることで、対象物２０の寸法を計測できる。

対象物２０を測定するための撮像装置１０は、複数設けられてもよい。また、撮像装置１０は、屋外に設置されてもよい。尚、撮像装置１０と対象物２０が配置される所定の位置との距離は、予め定められている。

撮像装置１０は、ネットワーク７と接続されてもよい。ネットワーク７には、例えば、レコーダ９、情報処理装置８、モニタ１１が接続される。レコーダ９は、撮像装置１０から各種データ（例えば、撮像画像、距離画像（ｄｅｐｔｈｍａｐ）、後述する合成距離画像）を受信し、蓄積する。情報処理装置８は、レコーダ９に蓄積されたデータにアクセスし、各種の処理（例えば画像処理）、編集、集計、又は検索を行う。モニタ１１は、例えば、撮像画像、距離画像、合成距離画像を表示する。これにより、ユーザは、例えば、撮像画像、距離画像、合成距離画像を確認できる。尚、撮像装置１０が、レコーダ９、情報処理装置８、モニタ１１の機能を備えていてもよい。

ネットワーク７は、例えば、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、インターネット、公衆電話回線網、専用電話回線、携帯電話回線網のいずれかでもよいし、それらのうち複数種類の網の組み合わせでもよい。

対象物２０は、例えば、宅配便等で運搬される直方体形状の段ボールに収納された物品、他の形状（例えば図１のような円柱形状、角柱形状）の物品、ゴルフバック、スーツケース、ケーブルが巻かれたドラム、バケツ、鞄、木枠、人、車を含む。つまり、対象物２０には、様々な形状や大きさを有する物品が広く含まれる。

更に、撮像装置１０、レコーダ９、情報処理装置８、モニタ１１等を備える撮像システムと既存システム（例えば流通システム）とを組み合わせてもよい。これにより、流通過程においてスムーズに距離画像を取得できる。

図２は、撮像装置１０の構成例を示すブロック図である。撮像装置１０は、対象物の外観を確認するための画像（例えば可視画像、ＩＲ画像）と、撮像装置１０と対象物２０における各対象点との距離を測定するための画像（例えば距離画像）と、を撮像可能である。

距離画像は、例えば、ＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）方式で生成される。又は、撮像装置１０は、可視光により撮像する２つの光学系を備えたステレオタイプの撮像装置でもよい。

撮像装置１０は、発光素子部３１、発光／受光制御・駆動部３２、受光素子部３３、受光タイミング制御部３４、タイミング生成部３５、及びＡ／Ｄ変換部３６、分離部３７、距離画像信号処理部３８、可視・ＩＲ画像信号処理部３９、対応付け処理部４０、記憶部４１、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）４２、及び通信部４３を備える。

発光素子部３１は、距離画像の撮像範囲に向けて赤外光（ＩＲ光）を発光する。赤外光の発光のタイミング及び期間は、タイミング生成部３５が生成する発光駆動信号によって制御される。

発光／受光制御・駆動部３２は、タイミング生成部３５からの発光駆動信号に従って、発光素子部３１を駆動する。発光／受光制御・駆動部３２は、タイミング生成部３５からの電子シャッタウィンドウ信号に従って、受光タイミング制御部３４を駆動する。電子シャッタは、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）のグローバルシャッタ、光学シャッタなどであり、これらに限定されない。

受光素子部３３は、撮像光学系３３Ａを介して可視光を受光する赤色光（Ｒ）、緑色光（Ｇ）、及び青色光（Ｂ）の各受光素子と、赤外光を受光するＩＲ受光素子とを、各画素に備える。ＩＲ受光素子は、距離画像を生成するために設けられる。ＩＲ受光素子は、発光素子部３１から発光され、対象物２０（図１参照）によって反射された赤外光を受光する。

受光素子部３３が受光した赤色光、緑色光、青色光、及び赤外光の各光は、受光素子部３３が備える光電変換素子により、電気信号に変換され、出力される。光電変換素子は、例えば、ＣＣＤ、又は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）、を含む。

受光タイミング制御部３４は、距離画像を生成するための電子シャッタ制御を行う。距離画像は、発光素子部３１が出射した赤外光を反射する対象物２０の対象点までの距離を示す。電子シャッタ、即ち光電変換のタイミング及び期間は、タイミング生成部３５が生成する電子シャッタウィンドウ信号によって制御される。

タイミング生成部３５は、発光駆動信号及び電子シャッタウィンドウ信号を生成する。発光駆動信号及び電子シャッタウィンドウ信号のパルスレートは、変更可能である。このパルスレートは、距離範囲に対応して変化し、距離画像の生成に必要な光量に応じて変更される。距離範囲とは、撮像装置１０が距離画像を生成のための距離の範囲である。タイミング生成部３５は、距離範囲とパルスレートとの対応関係の情報を、パルス設定テーブル等により予め保持している。上記の距離範囲に対象点がある場合、受光量の積分値が過不足なく得られる。

例えば、パルスレートは、対象物２０の対象点から５％〜９５％の反射率の反射光を有効に測定可能な値に設定される。距離画像が生成される際には、例えば、各フレームにおいてパルスレートが変更される。尚、パルスレートが変更される場合、１つのパルス当たりの光量は変更されない。

Ａ／Ｄ変換部３６は、受光タイミング制御部３４から出力された赤色光、緑色光、青色光、赤外光、及び電子シャッタ制御による赤外光の積分値、の各電気信号（アナログ信号）を、デジタル信号に変換する。Ａ／Ｄ変換部３６によって変換されたデジタル信号は、分離部３７に出力される。

分離部３７は、Ａ／Ｄ変換部３６からのデジタル信号から、電子シャッタ制御による赤外光の積分値のデジタル信号を分離して、赤外光の積分値を距離画像信号処理部３８に出力する。一方、赤色光、緑色光、青色光、及び赤外光の各デジタル信号は、可視・ＩＲ画像信号処理部３９に出力される。

距離画像信号処理部３８は、電子シャッタ制御による赤外光の積分値を全画素について算出し、算出された積分値を基に、距離画像を生成する。この距離画像は、各画素が捉えている対象物２０の対象点までの距離が規定された情報に相当する。距離画像が生成される際には、距離の演算、その他の処理（例えば、各種のフィルタ処理、信号処理、距離又は傾きの補正）が行われる。

距離画像が表示部（例えばモニタ１１）に表示される際には、例えば、撮像装置１０から対象点までの距離が遠い画素ほど、濃度が低い濃淡画像として表示され、撮像装置１０から対象点までの距離が近い画素ほど、濃度が高い濃淡画像として表示されてもよい。

また、距離画像信号処理部３８は、異なる発光駆動信号のパルスレートを用いて、複数の距離画像を生成する。距離画像信号処理部３８は、合成距離画像を生成するか否かを示す合成フラグを有し、合成フラグに応じて、複数の距離画像を合成して、合成距離画像を生成する。

可視・ＩＲ画像信号処理部３９は、赤色光、緑色光、及び青色光の各デジタル信号から監視用の可視画像を生成し、赤外光のデジタル信号から監視用の赤外画像（以下「ＩＲ画像」）を生成する。ＩＲ画像は、例えば、室内の照明が行き届かないために生ずる暗がり部分を監視するのにも有効である。

対応付け処理部４０は、対応付け情報を用いて、距離画像信号処理部３８により生成された距離画像と、可視・ＩＲ画像信号処理部３９により生成された可視画像及びＩＲ画像と、の対応付けを行う。対応付け情報は、例えば、距離画像、可視画像、及びＩＲ画像の各々の撮像時刻、撮像位置、画角の情報を含む。

撮像装置１０は、対応付け処理部４０を備えることにより、例えば、距離画像、可視画像、及びＩＲ画像の画像処理を連携させ、同時刻に同一の撮像装置１０によって撮像され生成された、これらの画像を同時に表示させることを可能とする。

監視用の画像（例えば可視画像、ＩＲ画像）及び距離画像は、例えば一つの受光素子部３３（センサ）によって生成されるが、異なる受光素子部３３（複眼）によって、それぞれ生成されてもよい。例えば、赤色光、緑色光、青色光の受光素子部３３と、赤外光の受光素子部３３とは、異なってもよい。また、赤色光、緑色光、青色光の受光素子部３３と、赤外光の受光素子部３３に光を導入する光学系が、それぞれ独立に設けられてもよい。この場合、例えば、対応付け処理部４０は、異なる位置に配置される複数の受光素子部３３により得られた画像の中心位置とそれぞれの受光素子部３３が撮像する範囲を画像補正する。

いずれの場合でも、対応付け処理部４０は、特徴の異なる可視画像、ＩＲ画像、及び距離画像（それぞれ静止画又は動画を含む）のいずれか、又は、可視画像、ＩＲ画像、及び距離画像の複数を組み合わせて、例えば、対象物２０の検知、各種測定、追跡の精度を向上させることができる。

記憶部４１は、例えば、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、各種メモリ、ＳＤカードにより構成される。記憶部４１は、撮像装置１０とは別に設けられる外部の記憶装置でもよい。

記憶部４１は、例えば、距離画像信号処理部３８により生成された距離画像、可視・ＩＲ画像信号処理部３９により生成された可視画像及びＩＲ画像、を記憶し、蓄積する。例えば、同時刻に同一の撮像装置１０によって撮像され生成された距離画像、可視画像、及びＩＲ画像は、対応付け処理部４０により生成される対応付け情報によって対応付けられた後、記憶部４１に記憶され、蓄積される。

記憶部４１に上記画像が蓄積される場合、ＣＰＵ４２によって生成される距離メタ情報が、対応付けられる距離画像、可視画像、及びＩＲ画像と併せて記憶部４１に記憶されてもよい。距離メタ情報は、例えば、撮像された対象物２０の大きさ、形状、の情報を含む。

記憶部４１が距離画像、可視画像、及びＩＲ画像とともに対象物２０の距離メタ情報を保持することで、例えば撮像システムの情報処理装置８は、特定の荷物の検索、変形の有無の判定、追跡等が容易となる。

ＣＰＵ４２（中央演算装置）は、例えばＳＯＣ（Ｓｙｓｔｅｍｏｎａｃｈｉｐ）により形成される。ＣＰＵ４２は、映像撮像部３０Ａ又は距離画像生成部３０Ｂを構成する各ブロックと、距離画像信号処理部３８、対応付け処理部４０、記憶部４１、及び通信部４３の各ブロックの制御部として動作する。ＣＰＵ４２が各ブロックを制御するためのソフトウェア・プログラムは、先の記憶部４１に格納されてもよいし、図示しない別の記憶部に格納されてもよい。ＣＰＵ４２は、例えば記憶部４１からソフトウェア・プログラムを読み出して、各ブロックを制御する。ＣＰＵ４２は、前述した距離メタ情報を生成してもよい。尚、ここでは、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）、撮像装置１０のＣＰＵ４２、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ）などのプロセッサも、プログラムを実行するコンピュータの対象に含まれる。

通信部４３は、ネットワーク７を介して、情報処理装置８やレコーダ９との間で通信する。通信部４３は、例えば、無線ＬＡＮ、広域無線通信網（例えば携帯電話回線網）を用いて通信する。

尚、受光素子部３３、受光タイミング制御部３４、Ａ／Ｄ変換部３６、分離部３７、及び可視・ＩＲ画像信号処理部３９を含む一点鎖線部分は、映像撮像部３０Ａである。発光素子部３１、発光／受光制御・駆動部３２、受光素子部３３、受光タイミング制御部３４、タイミング生成部３５、Ａ／Ｄ変換部３６、分離部３７、及び距離画像信号処理部３８を含む点線部分は、距離画像生成部３０Ｂである。距離画像生成部３０Ｂの各構成部のうち、発光素子部３１及び受光素子部３３を除く構成部が、距離画像センサに相当する。

発光素子部３１、発光／受光制御・駆動部３２、受光素子部３３、受光タイミング制御部３４、タイミング生成部３５、Ａ／Ｄ変換部３６、及び分離部３７は、映像撮像部３０Ａと距離画像生成部３０Ｂとの両方に用いられる。従って、撮像装置１０の構成（例えばハードウェア構成）は、上記の共通化により簡素化される。

映像撮像部３０Ａは、映像光学系である撮像光学系３３Ａを介して撮像する。距離画像生成部３０Ｂは、距離画像光学系である撮像光学系３３Ａを介して撮像し、距離画像を生成する。即ち、撮像装置１０の映像光学系と距離画像光学系とは、共通化されて、１つの撮像光学系３３Ａとなっている。尚、映像光学系と距離画像光学系とは別々に設けられてもよい。

尚、図２では、少なくとも距離画像の処理が実施されればよく、可視画像やＩＲ画像の処理に係る構成部、各画像の対応付けに係る構成部については、省略可能である。

図３は、電子シャッタ制御の一例を説明するためのタイミングチャートである。図３に示すように、発光駆動信号は、例えばパルス波であり、一定の周期で駆動（ＨＩＧＨ：発光）と停止（ＬＯＷ：消灯）とを繰り返す。発光素子部３１から発光される赤外光の発光光量は、発光駆動信号の通りに立ち上がり、かつ立ち下がるものではなく、立ち上がり及び立ち下がりは滑らかになる。

電子シャッタウィンドウ信号は、例えばパルス波であり、発光駆動信号と同一の周期で駆動（ＨＩＧＨ）と停止（ＬＯＷ）とを繰り返す。発光駆動信号と電子シャッタウィンドウ信号とは、位相が同じでも若干ずれていてもよい。例えば、電子シャッタウィンドウ信号が、発光駆動信号に若干遅れていてもよい。

発光駆動信号及び電子シャッタウィンドウ信号によって発光素子部３１及び受光タイミング制御部３４をそれぞれ駆動することにより、図３に示すような赤外光の受光光量が得られる。

発光素子部３１が赤外光を発光してから、赤外光に対する反射光が受光素子部３３の各画素において受光されるまでの時間が長い場合、電子シャッタウィンドウ信号のＨｉｇｈの期間に受光できる反射光の光量は、小さくなる。即ち、受光された画素が捉えている被写体部分（対象点）までの距離が撮像装置１０から遠い場合には、電子シャッタウィンドウ信号がＨｉｇｈの期間に受光される反射光の光量は、少なくなる。

一方、発光素子部３１が赤外光を発光してから、赤外光に対する反射光が受光素子部３３の各画素において受光されるまでの時間が短い場合、電子シャッタウィンドウ信号のＨｉｇｈの期間に受光される反射光の光量は、多くなる。即ち、受光された画素が捉えている対象点までの距離が撮像装置１０から近い場合には、電子シャッタウィンドウ信号のＨｉｇｈの期間に受光される反射光の光量は、多くなる。

従って、各画素が捉えている対象点までの距離は、各画素において電子シャッタウィンドウ信号がＨｉｇｈである期間に受光した赤外光の光量の積分値（即ち各画素の輝度値）の大小によって、つまり当該積分値に応じて計測される。光電変換素子は、受光された赤外光の光量の積分値を、電気信号に変換する。この電気信号は、各画素が捉えている対象点までの距離に対応する。即ち、各画素の赤外光の積分値は、各画素が捉えている対象点までの距離を示す距離情報と等価である。

図３に示すように、発光素子部３１による赤外光の発光及び受光タイミング制御部３４による赤外光の光電変換（受光光量の積分）は、１つの距離画像を生成するために複数回行われてよい。この場合、距離画像信号処理部３８が、例えば、複数回の発光及び受光によって得られた各赤外光の積分値を平均化し、かつ／又は、各赤外光の積分値の中間の値を採用することにより、距離画像を生成するための各画素の輝度値を求めてよい。

次に、距離範囲、発光駆動信号のパルスレート、並びに、照射光及び反射光の関係について説明する。

図４（Ａ）は、距離範囲が距離範囲Ｄ１である場合の照射光Ｌ１１及び反射光Ｌ１２を示す。図４（Ｂ）は、距離範囲が距離範囲Ｄ２である場合の照射光Ｌ２１及び反射光Ｌ２２を示す。図４（Ｃ）は、距離範囲が距離範囲Ｄ３である場合の照射光Ｌ３１及び反射光Ｌ３２を示す。図４（Ａ）〜（Ｃ）では、撮像装置１０及び対象物２０の設置環境を、撮像装置１０が上側、対象物２０が下側となるように視ている。尚、ここでは、距離範囲の数が３つであるが、２つでも、４つ以上でもよい。

距離範囲Ｄ１は、撮像装置１０から対象点２５までの距離が、例えば０．６ｍ〜１．２ｍであり、図４（Ａ）では、対象点２５が対象物２０の上部に含まれる。距離範囲Ｄ２は、撮像装置１０から対象点２５までの距離が、例えば１．２ｍ〜１．８ｍであり、図４（Ｂ）では、対象点２５が対象物２０の中部に含まれる。距離範囲Ｄ３は、撮像装置１０から対象点２５までの距離が、例えば１．８ｍ〜２．４ｍであり、図４（Ｃ）では、対象物２０の下部に含まれる。

距離範囲Ｄ１にある対象点２５からの反射光を必要十分に得ようとする場合、タイミング生成部３５は、比較的低いパルスレート（例えば１０００回／秒）の発光駆動信号を生成する。発光素子部３１は、このパルスレートに応じて、比較的少ない光量で照射光Ｌ１１を発光する。受光素子部３３は、照射光Ｌ１１に対して対象点２５により反射された反射光Ｌ１２を受光する。

これにより、受光素子部３３により受光される赤外光の光量（受光光量）の積分値が過大になることを抑制できる。従って、撮像装置１０は、撮像装置１０からの距離が比較的近距離にある距離範囲においても、各画素における距離を差別化でき、距離画像を高精度に生成できる。

距離範囲Ｄ２にある対象点２５からの反射光を必要十分に得ようとする場合、タイミング生成部３５は、中程度のパルスレート（例えば２０００回／秒）の発光駆動信号を生成する。発光素子部３１は、このパルスレートに応じて、中程度の光量で照射光Ｌ２１を発光する。受光素子部３３は、照射光Ｌ２１に対して対象点２５により反射された反射光Ｌ２２を受光する。

これにより、受光光量の積分値が過大及び過小になることを抑制できる。従って、撮像装置１０は、撮像装置１０からの距離が中距離にある距離範囲においても、各画素における距離を差別化でき、距離画像を高精度に生成できる。

距離範囲Ｄ３にある対象点２５からの反射光を必要十分に得ようとする場合、タイミング生成部３５は、比較的高いパルスレート（例えば４０００回／秒）の発光駆動信号を生成する。発光素子部３１は、このパルスレートに応じて、比較的多い光量で照射光Ｌ３１を発光する。受光素子部３３は、照射光Ｌ３１に対して対象点２５により反射された反射光Ｌ３２を受光する。

これにより、受光光量の積分値が過小になることを抑制できる。従って、撮像装置１０は、撮像装置１０からの距離が比較的遠距離にある距離範囲においても、各画素における距離を差別化でき、距離画像を高精度に生成できる。

次に、撮像装置１０の動作例について説明する。
図５及び図６は、撮像装置１０の動作例を示すフローチャートである。尚、ここでは、距離範囲の数、生成される画像フレーム数が「３」であることを例示するが、これに限られない。

距離画像信号処理部３８は、合成フラグがオンされているか否かを判定する（Ｓ１１）。合成フラグのオンオフは、例えば、情報処理装置８の操作部を介して設定される。例えば、情報処理装置８の操作部により合成フラグをオンにするための操作を受け付け、この操作情報がネットワーク７を介して撮像装置１０に送られる。距離画像信号処理部３８は、撮像装置１０から受信された設定情報を基に、合成フラグをオンに設定する。情報処理装置８の操作部は、例えば、ユーザにより画面上の合成フラグのオンオフを切り替えるアイコンをタッチする操作を受け付ける。

合成フラグがオンである場合、変数ｎに「３」を設定する（Ｓ１２）。変数ｎは、距離範囲の設定数を示し、導出される画像のフレーム数に相当する。尚、変数ｎは、「３」以外の数であってもよい。

距離画像信号処理部３８は、距離画像を生成するための距離範囲として、距離範囲Ｄ１を設定する（図４（Ａ）参照）。距離画像信号処理部３８は、パルス設定テーブル等を参照し、距離範囲Ｄ１に対応する発光駆動信号のパルスレートを設定する（Ｓ１３）。距離範囲は、例えば３０ｃｍ毎に異なる範囲として設定される。

パルスレートが設定されると、タイミング生成部３５は、パルスレートに応じて、電子シャッタウィンドウ信号のＨｉｇｈ期間とＬｏｗ期間とを設定し、電子シャッタウィンドウ信号を生成する。この場合でも、タイミング生成部３５は、設定されるパルスレートに関わらず、発光駆動信号と同一の周期で駆動（ＨＩＧＨ）と停止（ＬＯＷ）とを繰り返すよう、電子シャッタウィンドウ信号を生成する。また、発光駆動信号と電子シャッタウィンドウ信号とは、位相が同じでも若干ずれていてもよい。例えば、電子シャッタウィンドウ信号が、発光駆動信号に若干遅れていてもよい。

発光素子部３１は、発光駆動信号に従って、設定されたパルスレートに応じて、赤外光を対象物２０に対して発光する（Ｓ１４）。受光素子部３３は、対象物２０からの反射光としての赤外光を受光する（Ｓ１５）。

距離画像信号処理部３８は、画素毎に、受光された赤外光の積分値を算出し、算出された積分値を基に距離画像を生成する（Ｓ１６）。距離画像信号処理部３８は、生成された距離範囲Ｄ１を記憶部４１に記憶させる（Ｓ１７）。これにより、１フレーム分の距離画像が生成され、記憶される。

距離画像信号処理部３８は、変数ｎが「１」であるか否かを判定する（Ｓ１８）。変数ｎが「０」でない場合、変数ｎをデクリメントし（Ｓ１９）、Ｓ１３に進む。

再度Ｓ１３に進むと、距離画像信号処理部３８は、前述と同様に、距離範囲Ｄ２を設定し、距離範囲Ｄ２に対応する発光駆動信号のパルスレートを設定し、このパルスレートに応じた距離画像を生成する。距離画像信号処理部３８は、前述と同様に、距離範囲Ｄ３を設定し、距離範囲Ｄ３に対応する発光駆動信号のパルスレートを設定し、このパルスレートに応じた距離画像を生成する。

距離範囲Ｄ３に設定された場合、Ｓ１８においてｎが「１」であるので、距離画像信号処理部３８は、記憶部４１から距離範囲Ｄ１〜Ｄ３に対応する距離画像Ｐ１〜Ｐ３を取得し、距離画像Ｐ１〜Ｐ３を合成して合成距離画像Ｐ０を生成する（Ｓ２０）。

生成された合成距離画像Ｐ０は、任意の方法で出力される（Ｓ２１）。例えば、記憶部４１が合成距離画像Ｐ０を蓄積してもよいし、通信部４３が合成距離画像Ｐ０を外部装置へ送信してもよいし、モニタ１１が合成距離画像Ｐ０を表示してもよい。外部装置へ送信されることで、合成距離画像Ｐ０をクラウド上でも利用できる。

Ｓ１１において合成フラグがオフである場合、距離画像信号処理部３８は、例えば所定の操作に基づいて、距離範囲を設定する（Ｓ３１）。例えば、情報処理装置８の操作部により距離画像を生成する所望の距離範囲を受け付け、この操作情報がネットワーク７を介して撮像装置１０に送られる。距離画像信号処理部３８は、撮像装置１０から受信された操作情報を基に、距離範囲（例えば距離範囲Ｄ１〜Ｄ３）を設定する。情報処理装置８の操作部は、例えば、ユーザにより画面上のスライドバーをスライドする操作やボタンをタッチする操作を受け付ける（図７（Ａ）〜（Ｃ）参照）。このスライドバーやボタンは、距離範囲を設定するためのものである。

距離画像信号処理部３８は、パルス設定テーブル等を参照し、設定された距離範囲に対応する発光駆動信号のパルスレートを設定する（Ｓ３２）。

発光素子部３１は、発光駆動信号に従って、設定されたパルスレートに応じて、赤外光を対象物２０に対して発光する（Ｓ３３）。受光素子部３３は、対象物２０からの反射光としての赤外光を受光する（Ｓ３４）。

距離画像信号処理部３８は、画素毎に、受光された赤外光の積分値を算出し、算出された積分値を基に距離画像を生成する（Ｓ３５）。

生成された距離画像は、任意の方法で出力される（Ｓ３６）。例えば、記憶部４１が距離画像を蓄積してもよいし、通信部４３が距離画像を外部装置へ送信してもよいし、モニタ１１が距離画像を表示してもよい。外部装置へ送信されることで、距離画像をクラウド上でも利用できる。

次に、距離画像の画像例について説明する。

図７（Ａ）〜（Ｃ）は、距離範囲Ｄ１〜Ｄ３に対応するパルスレートで発光した場合に生成される距離画像Ｐ１〜Ｐ３の画像例を示す模式図である。図７（Ａ）〜（Ｃ）では、対象物２０として、図１と同様に、円錐形状の物体を想定する。

距離画像Ｐ１の生成時には、図４（Ａ）に示したように、距離範囲Ｄ１にある対象点２５からの反射光が距離画像の生成のために適量となるように、パルスレートが設定される。この結果、図７（Ａ）に示すように、円錐形状の物体の上部７１周辺について、好適に受光光量の積分値が得られる。

合成フラグがオンに設定されている場合には、距離範囲Ｄ１を設定するための操作を特に行わなくてもよい。例えば、距離範囲Ｄ１、Ｄ２、Ｄ３の順に、対応するパルスレートが設定されて、距離画像が生成されてもよい。合成フラグがオフに設定されている場合には、例えば、ユーザは、情報処理装置８の操作部を介して、画面上のスライドバー７５を操作して、近距離用の位置７５ａに合わせる。

距離画像Ｐ２の生成時には、図４（Ｂ）に示したように、距離範囲Ｄ２にある対象点２５からの反射光が距離画像の生成のために適量となるように、パルスレートが設定される。この結果、図７（Ｂ）に示すように、円錐形状の物体の中部７２周辺について、好適に受光光量の積分値が得られる。

合成フラグがオンに設定されている場合には、距離範囲Ｄ２を設定するための操作を特に行わなくてもよい。例えば、距離範囲Ｄ１、Ｄ２、Ｄ３の順に、対応するパルスレートが設定されて、距離画像が生成されてもよい。合成フラグがオフに設定されている場合には、例えば、ユーザは、情報処理装置８の操作部を介して、画面上のスライドバー７５を操作して、中距離用の位置７５ｂに合わせる。

距離画像Ｐ３の生成時には、図４（Ｃ）に示したように、距離範囲Ｄ３にある対象点２５からの反射光が距離画像の生成のために適量となるように、パルスレートが設定される。この結果、図７（Ｃ）に示すように、円錐形状の物体の下部７３周辺について、好適に受光光量の積分値が得られる。

合成フラグがオンに設定されている場合には、距離範囲Ｄ３を設定するための操作を特に行わなくてもよい。例えば、距離範囲Ｄ１、Ｄ２、Ｄ３の順に、対応するパルスレートが設定されて、距離画像が生成されてもよい。合成フラグがオフに設定されている場合には、例えば、ユーザは、情報処理装置８の操作部を介して、画面上のスライドバー７５を操作して、遠距離用の位置７５ｃに合わせる。

図８は、合成距離画像Ｐ０の画像例を示す模式図である。

距離画像信号処理部３８は、例えば、画素毎に距離画像Ｐ１〜Ｐ３の画素値を用いて統計処理して合成し、合成距離画像Ｐ０を生成する。統計処理では、例えば、距離画像Ｐ１〜Ｐ３の画素値の加算値、単純平均値、中央値、加重平均値、最大値、最小値が導出される。図８では、合成距離画像Ｐ０には、距離画像Ｐ１において距離情報が好適に示された対象物２０の上部７１、距離画像Ｐ２において距離情報が好適に示された対象物２０の中部７２、距離画像Ｐ３において距離情報が好適に示された対象物２０の下部７３、が含まれる。

尚、図７（Ａ）〜（Ｃ）及び図８では、各距離範囲Ｄ１〜Ｄ３において、各画素の距離情報が全て同じ模様で示されているが、当該模様は好適に距離情報が得られる範囲を示しており、実際には画素毎に距離情報は異なる。

このように、撮像装置１０によれば、撮像装置１０と対象物２０の対象点２５との距離が短い場合には、パルスレートを低くし、撮像装置１０と対象物２０の対象点２５との距離が短い場合には、パルスレートを高くする。つまり、撮像装置１０は、距離画像生成のための発光方法を変更する。これにより、発光に対する受光量の積分値が過不足することを抑制し、適切に調整できる。また、例えば、撮像装置１０と対象物２０との間の距離が過度に長い場合若しくは過度に短い場合、又は、対象物２０が大きい場合（例えば２ｍ〜３ｍ）、の双方に本実施形態を適用できる。

また、撮像装置１０は、発光のパルスレートを制御することで、受光量の積分値を適切に（有効）に測定可能な範囲を拡大できる。従って、受光量の積分値を有効に測定可能な撮像装置１０と対象物２０の対象点２５との間の距離（ダイナミックレンジ）を拡大できる。また、撮像装置１０は、単一のパルスレートである場合の距離画像生成に関する感度不足を補足できる。

また、各画素において撮像装置１０と対象物２０の対象点２５との間の距離を導出できるので、対象物２０の３Ｄ（三次元）形状を測定できる。従って、例えば３Ｄプリンタや３Ｄスキャナに適用できる。

更に、距離画像とともに、可視画像の画像解析結果を組み合わせることで、測定された距離の精度を一層向上できる。

尚、受光素子部３３の受光素子（例えばＣＣＤ）に相当する画素の表面積が大きい程、受光可能量が多くなり、電荷容量が大きくなる。電荷容量が上記ダイナミックレンジを決定する。一方、解像度を上げると、画素数が多くなるので、画素の表面積が小さくなり、受光可能量が少なくなり、電荷容量が小さくなる。今後、距離画像についても解像度を上げる要求が多くなり、ダイナミックレンジと解像度とのトレードオフの関係は顕在化していくと考えられる。この場合でも、撮像装置１０によれば、解像度を上げることによるダイナミックレンジの不足を好適に補償できる。

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

上記実施形態では、タイミング生成部３５は、パルスレートを変更することで、距離範囲Ｄ１〜Ｄ３に対応する発光量に可変することを例示したが、他の方法により発光量を可変してもよい。例えば、タイミング生成部３５は、発光駆動信号のパルス幅を制御することで、発光量を制御してもよい。この場合、パルス幅が大きい程、発光量が大きくなり、パルス幅が小さい程、発光量が小さくなる。

上記実施形態では、撮像装置１０は、屋内に設置されることを例示したが、屋内の壁等に設置されてもよい。また、撮像装置１０は、台座等を用いて所定の高さに設置されてもよい。例えば、撮像装置１０は、フォークリフトの置台に対象物２０が配置され、対象物２０から所定距離離間されて、フォークリフトのカメラ設置部が設けられてもよい。これにより、フォークリフトを用いて対象物２０としての物品を運搬中に、物品の３次元の大きさを把握できる。また、各種車両（例えば、フォークリフト、トラック、その他の車両）による物品の運搬中に物品の形状が変化していないかを確認でき、その結果を蓄積できる。これにより、例えば、情報処理装置８は、物品の配達元から配達先に至るまでを容易に追跡できる。このように、撮像装置１０により、物品の運搬を高速化でき、トレーサビリティの容易性を向上できる。

また、対象物２０の距離の測定時に、撮像装置１０と対象物２０の対象点２５との間の距離が所定の距離となるようにすれば、撮像装置１０は固定されず、可搬型であってもよい。例えば、撮像装置１０は、可搬型の取引端末装置（例えば決済端末装置）に適用されてもよい。これにより、様々な場所で物品の大きさを高精度に計測できる。

上記実施形態では、撮像装置１０が備える一部の構成部が、撮像装置１０とは別体として設けられてもよい。例えば、情報処理装置８が、撮像装置１０から複数の距離画像を取得し、合成距離画像を生成してもよい。

上記実施形態では、撮像装置１０が１台である場合を示したが、撮像装置１０が複数であってもよい。いずれかの撮像装置１０が、複数の撮像装置１０により生成された複数の距離画像又は複数の合成距離画像を合成し、新たな合成距離画像を生成してもよい。

上述したように、撮像装置１０は、対象物２０へ光を発光する発光素子部３１と、発光量を制御する発光／受光制御・駆動部３２と、制御された発光量で発光された光に対する対象物からの反射光を受光する受光素子部３３と、を備える。また、撮像装置１０は、異なる発光量に対して得られる複数の受光量の積分値に基づいて、複数の距離画像を生成し、複数の距離画像を合成して合成距離画像を生成する距離画像信号処理部３８を備える。

撮像装置１０は、距離画像生成装置の一例である。発光素子部３１は発光部の一例である。発光／受光制御・駆動部３２は、発光量制御部の一例である。受光素子部３３は受光部の一例である。距離画像信号処理部３８は、距離画像生成部及び画像合成部の一例である。

これにより、撮像装置１０と対象点２５との間の距離にあまり依存しない合成距離画像が示す距離の情報を得られるので、距離画像（合成距離画像）が示す撮像装置と撮像対象物との間の距離の精度を向上できる。

また、発光／受光制御・駆動部３２は、発光駆動信号のパルスレートを制御してもよい。これにより、合成距離画像を生成する基となる、様々な距離範囲に対応した複数の距離画像を生成できる。

また、発光／受光制御・駆動部３２は、発光駆動信号のパルス幅を制御してもよい。これにより、これにより、合成距離画像を生成する基となる、様々な距離範囲に対応した複数の距離画像を生成できる。

また、撮像装置１０は、操作入力を受け付ける情報処理装置８から操作情報を取得する通信部４３を備え、距離画像信号処理部３８は、操作情報が取得された場合、合成距離画像を生成してもよい。これにより、合成距離画像を生成するか否かをユーザの操作により選択できる。尚、情報処理装置８は、操作装置の一例である。通信部４３は、操作情報取得部の一例である。

また、発光素子部３１は、非可視光を発光してもよい。これにより、可視光を用いて距離画像を生成する場合と比較すると、対象物２０のエッジが強調され、合成距離画像が示す距離の精度を向上できる。非可視光は、例えば赤外線、紫外線である。

また、撮像装置１０における距離画像生成方法は、対象物２０へ光を発光するための発光量を制御するステップと、制御された発光量で対象物２０へ光を発光するステップと、発光された光に対する、対象物２０からの反射光を受光するステップと、異なる発光量に対して得られる複数の受光量の積分値に基づいて、複数の距離画像を生成するステップと、複数の距離画像を合成し、合成距離画像を生成するステップと、を備える。

また、上記実施形態の距離画像生成プログラムは、撮像装置１０における距離画像生成方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明は、距離画像が示す撮像装置と撮像対象物との間の距離の精度を向上できる距離画像生成装置及、距離画像生成方法、及び距離画像生成プログラム等に有用である。

７ネットワーク
８情報処理装置
９レコーダ
１０撮像装置
１１モニタ
３０Ａ映像撮像部
３０Ｂ距離画像生成部
３１発光素子部
３２発光／受光制御・駆動部
３３受光素子部
３３Ａ撮像光学系
３４受光タイミング制御部
３５タイミング生成部
３６Ａ／Ｄ変換部
３７分離部
３８距離画像信号処理部
３９可視・ＩＲ画像信号処理部
４０対応付け処理部
４１記憶部
４２ＣＰＵ
４３通信部
４４通信路

Claims

対象物へ光を発光する発光部と、
前記発光部による発光量を制御する発光量制御部と、
前記制御された発光量で発光された光に対する、前記対象物からの反射光を受光する受光部と、
異なる発光量に対して得られる複数の受光量の積分値に基づいて、複数の距離画像を生成する距離画像生成部と、
前記複数の距離画像を合成し、合成距離画像を生成する画像合成部と、
を備える距離画像生成装置。
請求項１に記載の距離画像生成装置であって、
前記発光量制御部は、前記発光部による発光パルスのパルスレートを制御する、距離画像生成装置。
請求項１に記載の距離画像生成装置であって、
前記発光量制御部は、前記発光部による発光パルスのパルス幅を制御する、距離画像生成装置。
請求項１ないし３のいずれか１項に記載の距離画像生成装置であって、更に、
操作入力を受け付ける操作装置から操作情報を取得する操作情報取得部を備え、
前記画像合成部は、前記操作情報が取得された場合、前記合成距離画像を生成する、距離画像生成装置。
請求項１ないし４のいずれか１項に記載の距離画像生成装置であって、
前記発光部は、非可視光を発光する、距離画像生成装置。
距離画像生成装置における距離画像生成方法であって、
対象物へ光を発光するための発光量を制御するステップと、
前記制御された発光量で前記対象物へ光を発光するステップと、
前記発光された光に対する、前記対象物からの反射光を受光するステップと、
異なる発光量に対して得られる複数の受光量の積分値に基づいて、複数の距離画像を生成するステップと、
前記複数の距離画像を合成し、合成距離画像を生成するステップと、
を備える距離画像生成方法。
請求項６に記載の距離画像生成方法の各ステップをコンピュータに実行させるための距離画像生成プログラム。