JP2019045303A - 撮像制御装置、撮像制御方法、撮像制御プログラムおよび撮像制御プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】光飛行時間測距法による測距精度を向上させる。【解決手段】撮像制御装置が、撮像装置によって得られた赤外画像または距離画像に基づいて特徴点抽出された領域をクラスタ化するクラスタ化部と、前記クラスタ化部でクラスタ化された前記領域における各画素の情報に基づいて、光飛行時間測距法により前記領域に対応する物標までの距離を導出する測距部と、を備える。【選択図】図６

Description

本開示は、撮像制御装置、撮像制御方法、撮像制御プログラムおよび撮像制御プログラムを記録した記録媒体に関する。

従来、周辺監視システムとして、不可視光（赤外光や近赤外光）を光源から出射し、周囲の物標で反射されて戻ってきた不可視光（以下、「戻り光」という場合がある）を距離画像センサで受光し、光飛行時間測距法により物標までの距離を求めるものが知られている。

特開２０００−１４７３７０号公報

しかしながら、従来の周辺監視システムでは、周囲の物標で反射されて戻ってきた不可視光の光強度が小さい場合等に、測距精度が低下するという問題があった。

本開示の目的は、光飛行時間測距法による測距精度を向上させることである。

本開示の一形態は、撮像装置によって得られた赤外画像または距離画像に基づいて特徴点抽出された領域をクラスタ化するクラスタ化部と、前記クラスタ化部でクラスタ化された前記領域における各画素の情報に基づいて、光飛行時間測距法により前記領域に対応する物標までの距離を導出する測距部と、を備える撮像制御装置である。

なお、本開示の一形態は、撮像制御方法、撮像制御プログラムおよび撮像制御プログラムを記録した一時的でない有形の記録媒体のいずれかであってもよい。

本開示によれば、光飛行時間測距法による測距精度を向上させることができる。

本開示の一実施形態に係る撮像制御装置が搭載された周辺監視システムの垂直視野を示す図 本開示の一実施形態に係る撮像制御装置が搭載された周辺監視システムの水平視野を示す図 本開示の一実施形態に係る撮像制御装置が搭載された周辺監視システムの構成を示すブロック図 光飛行時間測距法の概要を示す模式図 出射光および戻り光の状態を示す模式図 クラスタ化部および測距部において行われる処理を示すフローチャート 黒い車両の可視画像を示す模式図 黒い車両の赤外画像を示す模式図 輪留めが設置された駐車スペースの可視画像を示す模式図 輪留めが設置された駐車スペースの赤外画像を示す模式図 クラスタ化部および測距部において行われる処理を示すフローチャート

以下、本開示の一実施形態に係る撮像制御装置１００が搭載された周辺監視システム１について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は一例であり、本開示はこの実施形態により限定されるものではない。

図１および図２には、互いに直交するｘ軸、ｙ軸およびｚ軸が示される。本開示では、ｘ軸は、車両Ｖの前部から後部に向かう方向（以下、「前後方向ｘ」という）を示す。ｙ軸は、車両Ｖの左側から右側に向かう方向（以下、「左右方向ｙ」という）を示す。ｚ軸は、車両Ｖの下部から上部に向かう方向（以下、「上下方向ｚ」という）を示す。また、本開示では、便宜上、ｘｙ平面は路面であり、ｚｘ平面は車両Ｖの縦中心面である。また、ｘ軸は、上下方向ｚからの平面視で縦中心線である。

図１および図２に示すように、周辺監視システム１は車両Ｖに搭載される。以下、周辺監視システム１は、車両Ｖの後方を監視するものとして説明を続けるが、車両Ｖの後方以外（側方、前方または全周囲方向）を監視してもよい。

周辺監視システム１は、図３に示すように、光源２１０および画像センサ２２０を一体化した撮像装置２００と、撮像制御装置１００とを備える。

撮像装置２００は、図１に示すように、車両Ｖの背面上で、路面から離れた場所Ｏに取り付けられる。

光源２１０は、撮像範囲に向けて、パルス状の不可視光（例えば、赤外光や近赤外光）を出射可能に取り付けられる。

画像センサ２２０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであって、光源２１０と概ね同じ場所に、自身の光軸Ａが概ね車両Ｖの後方へ延在するように取り付けられる。

撮像制御装置１００は、例えばＥＣＵ（Electronic Control Unit）であって、車両Ｖの後方監視を制御するために、制御基板上に実装された入力端子、出力端子、プロセッサ、プログラムメモリおよびメインメモリを含む。

プロセッサは、プログラムメモリに格納されたプログラムを、メインメモリを用いて実行して、入力端子を介して受け取った各種信号を処理するとともに、出力端子を介して光源２１０および画像センサ２２０に各種制御信号を送信する。

撮像制御装置１００は、プロセッサがプログラムを実行することで、図３に示すように、制御部１１０、クラスタ化部１２０、測距部１３０、輪郭抽出部１４０および物標抽出部１５０として機能する。

制御部１１０は、光源２１０からの出射光の諸条件（具体的には、パルス幅、パルス振幅、パルス間隔、パルス数等）を制御すべく、光源２１０に対して制御信号を出力する。

また、制御部１１０は、画像センサ２２０における戻り光の受光の諸条件（具体的には、露光時間、露光タイミング、露光回数等）を制御すべく、画像センサ２２０に含まれる周辺回路に対して制御信号を出力する。

上記露光制御等により、画像センサ２２０は、所定周期（所定フレームレート）で、撮像範囲に関する可視画像信号、赤外画像信号および距離画像信号を撮像制御装置１００に出力することになる。

また、本実施形態では、画像センサ２２０は、隣接する複数の画素の情報を加算して画像情報を生成する、いわゆる格子変換を行う。ただし、本開示において、隣接する複数の画素の情報を加算して画像情報を生成することは必須ではない。

クラスタ化部１２０は、画像センサ２２０から出力された赤外画像信号または距離画像信号に基づいて、物標Ｔに対応する画素のクラスタ化を行う。クラスタ化部１２０で行われる処理については、後述する。

測距部１３０は、画像センサ２２０から出力された距離画像信号に基づいて、光飛行時間測距法（以下、「ＴＯＦ（Time of Flight）方式」という）により、撮像範囲内の物標Ｔまでの距離ｄｔ（図４を参照）を導出する。測距部１３０で行われる処理については、後述する。

ここで、ＴＯＦ方式による測距について簡単に説明する。ＴＯＦ方式による物標Ｔまでの測距は、光源２１０、画像センサ２２０および測距部１３０の組み合わせにより実現される。測距部１３０は、光源２１０からの出射光の出射タイミングと、画像センサ２２０における戻り光の受光タイミングとの時間差または位相差に基づいて、図４に示す物標Ｔまでの距離ｄｔを導出する。

輪郭抽出部１４０は、例えば単位周期毎に、画像センサ２２０から可視画像信号を受け取り、受け取った可視画像信号に基づいて、物標の輪郭を抽出し、抽出した輪郭を定義する輪郭情報を生成する。

物標抽出部１５０は、例えば単位周期毎に、測距部１３０から距離画像情報を得るとともに、輪郭抽出部１４０から輪郭情報を得る。

物標抽出部１５０は、受け取った距離画像情報から、撮像範囲に存在する物標を表す部分を、第一物標情報として抽出する。物標抽出部１５０はさらに、輪郭抽出部１４０から今回得た輪郭情報と、過去に得た輪郭情報とから、例えばオプティカルフロー推定により、撮像範囲に存在する物標を表す部分を、第二物標情報として抽出する。

物標抽出部１５０は、抽出した第一物標情報および／または第二物標情報に、検出した物標を一意に特定可能な物標ＩＤ（Identifier）を付与する。

周辺監視システム１からは、上述の第一物標情報および物標ＩＤの組み合わせ、第二物標情報および物標ＩＤの組み合わせ、赤外画像信号、距離画像信号、可視画像信号等が出力される。このような情報は、例えばＡＤＡＳ（Advanced Driver Assistance System）のＥＣＵ３００に送信される。ＡＤＡＳ ＥＣＵ３００は、これらの情報を用いて、車両Ｖの自動運転を行う。

また、制御部１１０は、上述の第一物標情報および物標ＩＤの組み合わせ、第二物標情報および物標ＩＤの組み合わせ、赤外画像信号、距離画像信号、可視画像信号等に基づき、例えば不図示のディスプレイに、表示すべき画像情報を生成してもよい。

次に、ＴＯＦ方式による測距の一例について説明する。光源２１０からの出射光は、図５に示すように、単位周期において、第一パルスＰａと、第二パルスＰｂとを少なくとも一組含む。これらのパルス間隔（すなわち、第一パルスＰａの立ち下がりエッジから第二パルスＰｂの立ち上がりエッジまでの時間）は、Ｇａである。また、これらのパルス振幅は互いに等しくＳａとし、これらのパルス幅は互いに等しくＷａとする。

画像センサ２２０は、制御部１１０により、第一パルスＰａおよび第二パルスＰｂの出射タイミングに基づくタイミングで露光するように制御される。具体的には、画像センサ２２０は、図５に例示するように、光源２１０からの出射光が撮像範囲の物標Ｔで反射されて戻ってきた不可視光に対して、第一露光、第二露光および第三露光を行う。

第一露光は、第一パルスＰａの立ち上がりと同時に始まり、光源２１０からの出射光との関係で予め設定される露光時間Ｔｘ後に終了する。このような第一露光は、第一パルスＰａに対する戻り光成分を受光することを目的としている。

第一露光による画像センサ２２０の出力Ｏａは、斜格子状のハッチングを付した戻り光成分Ｓ_０と、ドットのハッチングを付した背景成分ＢＧとを含む。戻り光成分Ｓ_０の振幅は、第一パルスＰａの振幅よりも小さい。

ここで、第一パルスＰａおよびその戻り光成分Ｓ_０の各立ち上がりエッジの時間差をΔｔとする。Δｔは、撮像装置２００から物標Ｔまでの距離ｄｔを、不可視光が往復するのに要する時間である。

第二露光は、第二パルスＰｂの立ち下がりと同時に始まり、露光時間Ｔｘ後に終了する。このような第二露光は、第二パルスＰｂに対する戻り光成分を受光することを目的としている。

第二露光による画像センサ２２０の出力Ｏｂは、全ての戻り光成分ではなく部分的な戻り光成分Ｓ_１（斜格子状のハッチング部分を参照）と、ドットのハッチングを付した背景成分ＢＧとを含む。

なお、上記成分Ｓ_１は、次の式（１）で表せる。
Ｓ_１＝Ｓ_０×（Δｔ／Ｗａ） …（１）

第三露光は、第一パルスＰａおよび第二パルスＰｂの戻り光成分を含まないタイミングで始まり、露光時間Ｔｘ後に終了する。このような第三露光は、戻り光成分と無関係な不可視光成分である背景成分ＢＧのみを受光することを目的としている。

第三露光による画像センサ２２０の出力Ｏｃは、ドットのハッチングを付した背景成分ＢＧのみを含む。

上記のような出射光と戻り光との関係から、画像センサ２２０から物標Ｔまでの距離ｄｔは、次の式（２）〜（４）により導出することができる。
Ｓ_０＝Ｏａ−ＢＧ …（２）
Ｓ_１＝Ｏｂ−ＢＧ …（３）
ｄｔ＝ｃ×（Δｔ／２）＝｛（ｃ×Ｗａ）／２｝×（Δｔ／Ｗａ）＝｛（ｃ×Ｗａ）／２｝×（Ｓ_１／Ｓ_０） …（４）
ここで、ｃは光速である。

ところで、上記方法で距離ｄｔを導出する場合、第一パルスＰａおよび第二パルスＰｂのそれぞれに対する戻り光の光強度が小さいと、画像センサ２２０の出力Ｏａおよび出力ＯｂのＳＮ（Signal to Noise）比が小さくなり、導出した距離ｄｔの精度が低下する可能性がある。

そこで、本実施形態では、測距部１３０における測距処理に先立って、クラスタ化部１２０において物標Ｔに対応する画素のクラスタ化処理が行われる。クラスタ化部１２０および測距部１３０によって行われる処理の一例について、図６のフローチャートを参照して詳細に説明する。

まず、ステップＳ１で、クラスタ化部１２０は、画像センサ２２０から出力された赤外画像信号または距離画像信号に基づいて、特徴点抽出を行い、複数の画素をクラスタ化する。

例えば、赤外画像信号を用いる場合、クラスタ化部１２０は、特徴点として、撮像範囲において輝度が所定値より高く、かつ輝度が所定範囲内にある複数の画素を抽出し、これら複数の画素をクラスタ化する。

また、例えば、距離画像信号を用いる場合、クラスタ化部１２０は、特徴点として、撮像範囲において距離情報が所定範囲内にある複数の画素を抽出し、これら複数の画素をクラスタ化する。なお、クラスタ化は、隣接する画素に対してのみ行われるのではなく、分散した画素に対しても行われ得る。

続くステップＳ２で、測距部１３０は、距離画像信号を用いて、クラスタ化部１２０でクラスタ化された領域のそれぞれの画素における物標までの距離を導出する。それぞれの画素における物標までの距離の導出方法は、上記方法と同様である。

続くステップＳ３で、測距部１３０は、クラスタ化された領域のそれぞれの画素における物標までの距離を加算平均して、クラスタ化された領域までの代表距離を算出する。そして、算出された代表距離を、物標までの距離として出力する。

このようにすることで、複数の画素における物標までの距離情報を用いて、物標までの距離を算出することができ、測距精度を向上させることができる。

次に、本実施形態に係る撮像制御装置が搭載された周辺監視システムによって行われる物標の測距の第一具体例について、図７Ａおよび図７Ｂを参照して説明する。

第一具体例では、自車両ＶＭと、自車両ＶＭの後方を走行する黒い車両ＶＢとの距離を導出するものとする。図７Ａには、撮像範囲に含まれる車両ＶＢの可視画像が示されている。また、図７Ｂには、車両ＶＢの赤外画像が示されている。なお、図７Ｂに示す赤外画像は、上述の格子変換を用いて得られたものであるとする。

図７Ｂに示すように、赤外画像では、車両ＶＢのヘッドライト、ナンバープレートおよびフロントグリルの輝度が高く、その他の部分、例えば黒いボディーおよびタイヤの輝度が低い。なお、図７Ｂでは、理解を容易にするため、輝度が高いヘッドライト、ナンバープレートおよびフロントグリルのみを示している。

さらに、ヘッドライト、ナンバープレートおよびフロントグリルの前後方向位置は所定範囲内にあるため、赤外画像におけるヘッドライト、ナンバープレートおよびフロントグリルの輝度は、所定範囲内にある。そのため、撮像制御装置１００（具体的には、クラスタ化部１２０）は、ヘッドライト、ナンバープレートおよびフロントグリルをクラスタ化する。

続いて、測距部１３０は、クラスタ化された領域（すなわち、ヘッドライト、ナンバープレートおよびフロントグリルに相当する領域）のそれぞれの画素における物標までの距離を、ＴＯＦ方式によって導出する。

さらに、測距部１３０は、クラスタ化された領域のそれぞれの画素における物標までの距離を加算し、クラスタ化された領域における画素数で除算する。こうすることで、クラスタ化された領域における物標までの距離の平均値が算出される。

測距部１３０は、このようにして算出された、クラスタ化された領域における物標までの距離の平均値を、自車両ＶＭから黒い車両ＶＢまでの距離として出力する。

本実施形態に係る撮像制御装置が搭載された周辺監視システムによって行われる物標の測距の第二具体例について、図８Ａおよび図８Ｂを参照して説明する。

第二具体例では、自車両ＶＭを輪留めＰＲおよびＰＬが設けられた駐車スペースに後進にて駐車する際に、自車両ＶＭから輪留めＰＲおよびＰＬまでの距離を導出するものとする。図８Ａには、撮像範囲に含まれる輪留めＰＲおよびＰＬの可視画像が示されている。また、図８Ｂには、輪留めＰＲおよびＰＬの赤外画像が示されている。なお、図８Ｂに示す赤外画像は、上述の格子変換を用いて得られたものであるとする。

図８Ｂに示すように、赤外画像では、画像センサ２２０と正対する輪留めＰＲおよびＰＬの前側端面の輝度が高い。一方、その他の部分、例えば路面等の、撮像装置２００との角度が大きくて反射率の低い部分の輝度が低い。なお、図８Ｂでは、理解を容易にするため、輝度が高い輪留めＰＲおよびＰＬの前側端面のみを示している。

輪留めＰＲおよびＰＬの前側端面の前後方向位置は所定範囲内にあるため、赤外画像における輪留めＰＲおよびＰＬの前側端面の輝度は、所定範囲内にある。そのため、撮像制御装置１００（具体的には、クラスタ化部１２０）は、輪留めＰＲおよびＰＬの前側端面をクラスタ化する。

続いて、測距部１３０は、クラスタ化された領域（すなわち、輪留めＰＲおよびＰＬの前側端面に相当する領域）のそれぞれの画素における物標までの距離を、ＴＯＦ方式によって導出する。

さらに、測距部１３０は、クラスタ化された領域のそれぞれの画素における物標までの距離を加算し、クラスタ化された領域における画素数で除算する。こうすることで、クラスタ化された領域における物標までの距離の平均値が算出される。

測距部１３０は、このようにして導出された、クラスタ化された領域における物標までの距離の平均値を、自車両ＶＭから輪留めＰＲおよびＰＬまでの距離として出力する。

以上説明したように、本実施形態によれば、赤外画像または距離画像に基づいて、特徴点抽出を行い、特徴点抽出された領域をクラスタ化する。そして、クラスタ化された領域のそれぞれの画素における物標までの距離をＴＯＦ方式で導出し、導出された距離を加算平均することで、物標までの距離を算出する。

そのため、複数の画素における物標までの距離情報を用いて、物標までの距離を算出することができ、測距精度を向上させることができる。

（変形例）
上述の実施形態では、クラスタ化処理の後、クラスタ化された領域のそれぞれの画素における物標までの距離を加算平均して、物標までの距離を算出した。これに対して、変形例では、クラスタ化された領域における戻り光成分を積算し、積算した戻り光成分を用いて測距を行う。

変形例においてクラスタ化部１２０および測距部１３０によって行われる処理について、図９のフローチャートを参照して詳細に説明する。

まず、ステップＳ１１で、クラスタ化部１２０は、画像センサ２２０から出力された赤外画像信号または距離画像信号に基づいて、特徴点抽出を行い、複数の画素をクラスタ化する。クラスタ化の具体的な手法は、上述の実施形態と同様である。

続くステップＳ１２で、測距部１３０は、距離画像信号を用いて、クラスタ化された領域のそれぞれの画素における戻り光成分Ｓ_０およびＳ_１を上述の式（２）および（３）を用いて算出する。

続くステップＳ１３で、測距部１３０は、クラスタ化された領域のそれぞれの画素における戻り光成分Ｓ_０およびＳ_１を積算して、戻り光成分の積算値ΣＳ_０およびΣＳ_１を得る。

続くステップＳ１４で、測距部１３０は、次式（５）を用いて、クラスタ化された領域までの代表距離、すなわち物標までの距離ｄｔを導出する。
ｄｔ＝｛ｃ×Ｗａ｝／２｝×（ΣＳ_１／ΣＳ_０） …（５）

このようにすることで、複数の画素における戻り光成分の積算値を用いて物標までの距離ｄｔを導出することができ、測距精度を向上させることができる。

以上説明したように、変形例によれば、赤外画像または距離画像に基づいて、特徴点抽出を行い、特徴点抽出された領域をクラスタ化する。そして、クラスタ化された領域のそれぞれの画素における戻り光成分を積算し、戻り光成分の積算値を用いて物標までの距離をＴＯＦ方式で導出する。

そのため、複数の画素における戻り光成分の積算値を用いて物標までの距離ｄｔを導出することができ、測距精度を向上させることができる。

なお、本開示において、画像センサが可視画像信号、赤外画像信号および距離画像信号のすべてを出力することは必須ではない。距離画像信号に基づいてクラスタ化を行う場合、赤外画像信号は出力されなくてもよい。また、例えば輪郭情報を必要としない場合、可視画像信号は出力されなくてもよい。

本開示に係る撮像制御装置、撮像制御方法、撮像制御プログラムおよび撮像制御プログラムを記録した記録媒体によれば、光飛行時間測距法による測距精度を向上させることができ、車載用途に好適である。

１ 周辺監視システム
１００ 撮像制御装置
１１０ 制御部
１２０ クラスタ化部
１３０ 測距部
１４０ 輪郭抽出部
１５０ 物標抽出部
２００ 撮像装置
２１０ 光源
２２０ 画像センサ
３００ ＡＤＡＳ ＥＣＵ

Claims (6)

1. 撮像装置によって得られた赤外画像または距離画像に基づいて特徴点抽出された領域をクラスタ化するクラスタ化部と、
   前記クラスタ化部でクラスタ化された前記領域における各画素の情報に基づいて、光飛行時間測距法により前記領域に対応する物標までの距離を導出する測距部と、を備える
   撮像制御装置。
2. 前記測距部は、
   クラスタ化された前記領域の各画素に対応する物標までの距離を光飛行時間測距法によってそれぞれ導出し、
   導出された前記各画素に対応する物標までの距離を加算平均して前記領域に対応する物標までの距離を算出する、
   請求項１に記載の撮像制御装置。
3. 前記測距部は、
   クラスタ化された前記領域の各画素における戻り光成分を積算し、
   前記戻り光成分の積算値に基づいて光飛行時間測距法によって前記領域に対応する物標までの距離を導出する、
   請求項１に記載の撮像制御装置。
4. 撮像装置によって得られた赤外画像または距離画像に基づいて特徴点抽出された領域をクラスタ化するステップと、
   クラスタ化された前記領域における各画素の情報に基づいて、光飛行時間測距法により前記領域に対応する物標までの距離を導出するステップと、を備える
   撮像制御方法。
5. コンピュータに、
   撮像装置によって得られた赤外画像または距離画像に基づいて特徴点抽出された領域をクラスタ化するステップと、
   クラスタ化された前記領域における各画素の情報に基づいて、光飛行時間測距法により前記領域に対応する物標までの距離を導出するステップと、
   を実行させる撮像制御プログラム。
6. 請求項５に記載の撮像制御プログラムを記録した記録媒体。

Images