JP2019096027A

JP2019096027A - 物体検出装置および車両

Info

Publication number: JP2019096027A
Application number: JP2017224503A
Authority: JP
Inventors: 騰龍谷; Masatatsu Tani
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-11-22
Filing date: 2017-11-22
Publication date: 2019-06-20

Abstract

【課題】画像に含まれる物体の検出精度を向上する技術を提供する。【解決手段】取得部３００は、撮像された画像を取得する。線分抽出部３１２は、取得部３００において取得した画像内の複数の線分を抽出する。線分結合部３１４は、線分抽出部３１２において抽出した複数の線分のうち、所定の条件を満たす線分を結合する。特徴量算出部３１６は、線分結合部３１４において結合した線分の特徴量を算出する。導出部３１８は、特徴量算出部３１６において算出した線分の特徴量を複数の画像間で追跡することによって、当該線分の特徴量を有する物体の高さと、当該物体までの距離とを少なくとも導出する。【選択図】図１

Description

本開示は、物体検出技術、特に画像に含まれる物体を検出する物体検出装置および車両に関する。

駐車支援装置は、車両の駐車の際にカメラ画像を使用して、輪留め、縁石、高さが低いブロック、ロック板などの障害物の高さを検出して車両との接触を防止する。特に、駐車支援装置は、画像から水平エッジを抽出することによって輪留めを検出する。

特開２０１２−２０８５５９号公報

輪留めのような低い物体を検出する場合、地面のノイズの影響によって検出精度が低下する。一方、検出結果を駐車の支援に使用する場合、検出精度の向上が求められる。

本開示はこうした状況に鑑みなされたものであり、その目的は、画像に含まれる物体の検出精度を向上する技術を提供することにある。

上記課題を解決するために、本開示のある態様の物体検出装置は、撮像された画像を取得する取得部と、取得部において取得した画像内の複数の線分を抽出する線分抽出部と、線分抽出部において抽出した複数の線分のうち、所定の条件を満たす線分を結合する線分結合部と、線分結合部において結合した線分の特徴量を算出する特徴量算出部と、特徴量算出部において算出した線分の特徴量を複数の画像間で追跡することによって、当該線分の特徴量を有する物体の高さと、当該物体までの距離とを少なくとも導出する導出部と、を備える。

本開示の別の態様は、車両である。この車両は、自車両から外部に向かう画像を撮像する撮像装置と、撮像装置が撮像した画像をもとに物体を検出する物体検出装置とを備える。物体検出装置は、撮像装置が撮像した画像を取得する取得部と、取得部において取得した画像内の複数の線分を抽出する線分抽出部と、線分抽出部において抽出した複数の線分のうち、所定の条件を満たす線分を結合する線分結合部と、線分結合部において結合した線分の特徴量を算出する特徴量算出部と、特徴量算出部において算出した線分の特徴量を複数の画像間で追跡することによって、当該線分の特徴量を有する物体の高さと、当該物体と自車両との間の距離とを少なくとも導出する導出部と、を備える。

なお、以上の構成要素の任意の組合せ、本開示の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、画像に含まれる物体の検出精度を向上できる。

図１ａ−図１ｂは、本実施の形態に係る車両の構成を示す図である。図１ｂの取得部において取得された画像を示す図である。図１ｂの線分抽出部による処理がなされた画像を示す図である。図４ａ−図４ｃは、図１ｂの線分結合部における結合対象の選択処理の概要を示す図である。図５ａ−図５ｄは、図１ｂの線分結合部における結合処理の概要を示す図である。図１ｂの線分結合部による処理がなされた画像を示す図である。図１ｂの線分結合部における結合対象の選択手順を示すフローチャートである。

本実施形態を具体的に説明する前に、概要を述べる。本実施の形態は、撮像装置において撮像した画像から物体を検出するとともに、物体の高さと物体までの距離を算出する物体検出装置に関する。例えば、撮像装置と物体検出装置は車両に搭載され、撮像装置が車両の後方の画像を撮像し、物体検出装置は、輪留めのような高さの低い物体を検出して、輪留めの高さと輪留めまでの距離を駐車支援装置に出力する。駐車支援装置は、輪留めの高さと輪留めまでの距離を反映させながら、車両の自動駐車を実行する。輪留めのような高さの低い人工障害物を検出するためにソナーを使用することが可能である。しかしながら、ソナーを使用した場合、湿度影響や乱反射などの影響によって人工障害物を高精度に検出することが困難である。

一方、撮像装置によって撮像した画像に対してＳｔｒｕｃｔｕｒｅｆｒｏｍＭｏｔｉｏｎのような画像処理を実行して抽出した特徴点を使用することによって、人工障害物を検出することも可能である。しかしながら、駐車場に設置された縁石、輪留め、ポール、電柱、三角コーンなどの人工障害物は、物体表面に凹凸がなく均一な質感、いわゆる「テクスチャー」がないことが多く、その物体表面の質感が感じられないことにより特徴点情報の検出が困難である。また、地面は検出したい対象物ではないにも係わらず、例えばアスファルトの細かい凹凸は特徴点として情報が多数得られるノイズ点であるがこれらを除去するためにノイズ点として扱うための区別が困難である。これらにより、抽出したい物体の特徴の検出と三次元情報の計算が困難である。また、人工障害物のエッジ、線分情報を利用する場合、デジタル画像を得る際に生じるエイリアシング現象あるいは検出対象の表面の欠け等によって、検出したい線分が多数の線分に分裂してしまう。これにより、連続画像処理におけるフレーム間での線分のマッチングが困難になるため、その結果として検出対象の追跡が困難になる。

高さが低く、かつテクスチャーがない人工障害物の検出精度を向上するために、本実施の形態に係る物体検出装置は、元々一本であった線分が複数に分裂されている場合に、隣接した線分の情報を利用することによって、隣接した線分を結合させる。このような結合によって、連続処理の線分マッチング率や追跡率が向上する。その結果、地面に存在するノイズ点の影響が軽減されるとともに、特徴量の算出による処理負荷も軽減される。以下、本実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する各実施の形態は一例であり、本開示はこれらの実施の形態により限定されるものではない。

図１ａ−図１ｂは、車両２００の構成を示す。図１ａに示されるように車両２００には、物体検出装置１００、撮像装置１１０が搭載される。撮像装置１１０は、車両２００の後方の屋根付近に搭載され、車両２００の後方を撮像する。なお、車両２００には、複数の撮像装置１１０が搭載され、車両２００の前方、左側、右側、後方の何れに配置されてもよいが、ここでは後方に配置される撮像装置１１０を説明の対象とする。撮像装置１１０は、複数の画像を撮像し、これらを時系列に並べられた複数の画像である映像を物体検出装置１００に出力する。物体検出装置１００は、撮像装置１１０から映像を受けつけ、映像に含まれた複数の画像のそれぞれをもとにして物体を検出する。

図１ｂは、車両２００における物体検出装置１００を中心とした構成を示す。車両２００は、物体検出装置１００、撮像装置１１０、センサ１２０、駐車支援装置１３０、表示装置１４０を含む。物体検出装置１００は、取得部３００、投影変換部３０２、検出部３０４、処理部３０６を含む。また、処理部３０６は、エッジ抽出部３１０、線分抽出部３１２、線分結合部３１４、特徴量算出部３１６、導出部３１８、出力部３２０を含み、導出部３１８は、線分追跡部３３０、距離・高さ算出部３３２を含む。

撮像装置１１０は、車両２００から外部に向かう映像を撮像する。前述のごとく、ここでは、車両２００から後方に向かう映像が撮像される。撮像装置１１０は、映像を取得部３００に出力する。取得部３００は、撮像装置１１０から映像を受けつける。映像では、複数の画像が時系列に並べられているので、取得部３００は複数の画像を順次取得する。この画像は、車両２００から外部、特に後方に向かって撮像されている。

図２は、取得部３００において取得された画像を示す。図２中、下方部分には、第１白線２２０ａと第２白線２２０ｂが並んで配置される。第１白線２２０ａと第２白線２２０ｂとの間には駐車領域２２２が配置され、駐車領域２２２の上方では駐車領域終端部２２４が横方向に延びる。また、駐車領域終端部２２４の上方には縁石２２６が配置され、縁石２２６には角部２２８が含まれる。縁石２２６の上方には、植え込み２３０が配置される。図１ｂに戻る。取得部３００は、複数の画像のそれぞれを取得部３００に出力する。

投影変換部３０２は、取得部３００から複数の画像を受けつける。投影変換部３０２は、複数の画像の視点方向を変えるように投影変換を実行する。投影変換部３０２は、投影変換した画像（以下、これもまた「画像」という）を検出部３０４、処理部３０６に出力する。投影変換には公知の技術が使用されればよいが、投影変換がなされなくてもよい。投影変換がなされない場合、投影変換部３０２は省略され、取得部３００からの複数の画像は検出部３０４、処理部３０６に出力される。

センサ１２０は、車両２００の走行状態あるいは車外の状況を検出する。車両２００の走行状態を検出するためのセンサ１２０の一例は、速度センサである。なお、車両２００の状態を検出するためのセンサ１２０として例えば、加速度センサ、ジャイロセンサ、地磁気センサ、傾斜センサ、舵角センサ、シフトセンサ等が搭載されてもよい。また、車外の状況を検出するためのセンサ１２０として例えば、ミリ波レーダ、ＬＩＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ、ＬａｓｅｒＩｍａｇｉｎｇＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）、ソナー、気温センサ、気圧センサ、湿度センサ、照度センサ等が搭載されてもよい。センサ１２０は、検出した情報（以下、「検出情報」という）を検出部３０４に出力する。

検出部３０４は、投影変換部３０２に接続されるとともに、センサ１２０に接続される。なお、検出部３０４は、投影変換部３０２に接続される代わりに取得部３００に接続されてもよい。検出部３０４は、投影変換部３０２から受けつけた複数の画像と、センサ１２０から受けつけた検出情報、特に車外の状況を検出した情報の少なくとも１つを利用して、車両２００が駐車可能な駐車領域２２２を検出する。駐車領域２２２の検出には公知の技術が使用されればよいので、ここでは説明を省略する。なお、駐車領域２２２の代わりにフリースペースであってもよい。検出部３０４は、駐車領域２２２を検出した場合、処理部３０６に処理の開始を指示する。一方、検出部３０４は、駐車領域２２２を検出していない場合、処理部３０６に処理の開始を指示しない。

また、検出部３０４は、センサ１２０から受けつけた検出情報、特に車両２００の走行状態を検出した情報を利用して、車両２００の速度を検出してもよい。検出部３０４は、検出した速度がしきい値、例えば５ｋｍ／ｈよりも低い場合、処理部３０６に処理の開始を指示する。一方、検出部３０４は、検出した速度がしきい値以上である場合、処理部３０６に処理の開始を指示しない。

エッジ抽出部３１０は、処理部３０６により処理の開始が指示されると、投影変換部３０２からの複数の画像を受けつける。以下では、１つの画像に対する処理を説明するが、他の画像に対しても同様の処理が実行されればよい。エッジ抽出部３１０は、画像の中のある領域のエッジ（境界）を抽出する。領域のエッジでは画素の輝度値の変化が大きいことを利用して、エッジ抽出部３１０は、画素値の変化に対して差分演算を実行することによってエッジを抽出する。なお、差分演算によって、画面に含まれるノイズも検出されてしまうので、エッジ抽出部３１０は、ノイズを低減するために、ＳｏｂｅｌフィルタあるいはＰｒｅｗｉｔｔフィルタを利用する。エッジ抽出部３１０は、抽出したエッジに関する情報を線分抽出部３１２に出力する。

線分抽出部３１２は、エッジ抽出部３１０からエッジに関する情報を受けつける。線分抽出部３１２は、複数のエッジに対してＨｏｕｇｈ変換、ＥＤＬｉｎｅ、ＬＳＤ（ＬｉｎｅＳｅｇｍｅｎｔｓＤｅｔｅｃｔｏｒ）等の線分抽出を実行することによって、複数の線分を抽出する。つまり、線分抽出部３１２は、取得部３００において取得した画像内の複数の線分を抽出する。図３は、線分抽出部３１２による処理がなされた画像を示す。この画像は、図２と同様に示される。また、線分抽出部３１２において抽出された線分２４０も複数示される。ここでは、図面を明瞭にするために、複数の線分２４０のうちの一部だけに符号を付している。図２において、駐車領域２２２と駐車領域終端部２２４との境界、縁石２２６における角部２２８は、本来一本の線分で示されるべきであるが、複数の線分２４０に分裂されている。これは、前述の地面のノイズ点の影響を受けて、駐車領域２２２と駐車領域終端部２２４との境界、縁石２２６における角部２２８のような人工物の辺縁部が複数に分裂してしまうからである。図１ｂに戻る。

線分結合部３１４は、線分抽出部３１２において抽出した複数の線分２４０のうち、所定の条件を満たす線分を結合する。ここでは、線分結合部３１４における処理を（１）選択処理、（２）結合処理の順に説明する。
（１）選択処理
図４ａ−図４ｃは、線分結合部３１４における結合対象の選択処理の概要を示す。図４ａは、１つの線分２４０に対する定義を示す。線分２４０の左側の端点が線分始点２４２と定義され、線分２４０の右側の端点が線分終点２４４と定義される。また、線分２４０の傾きは、横方向に延びる軸に対する角度θとして定義される。さらに、線分２４０の法線方向に向かう線分法線２４６も定義される

図４ｂは、結合対象に選択するための所定の条件を示す。線分結合部３１４は、第１線分２４０ａと第２線分２４０ｂとを結合対象に選択すべきであるかを判定する。線分結合部３１４は、第１線分２４０ａの第１線分終点２４４ａを中心として、半径が第１しきい値である円形範囲２４８を設定する。円形範囲２４８の中に第２線分２４０ｂの第２線分始点２４２ｂが含まれる場合、線分結合部３１４は、次のステップに進む。これは、線分抽出部３１２において抽出した複数の線分２４０のうち、第１線分２４０ａの第１線分終点２４４ａと、第２線分２４０ｂにおいて第１線分終点２４４ａに最も近い第２線分始点２４２ｂとの距離が第１しきい値以内である場合に相当する。ここで、第１線分終点２４４ａを第１端点と呼ぶ場合、第２線分始点２４２ｂは第２端点と呼ばれる。一方、円形範囲２４８の中に第２線分２４０ｂの第２線分始点２４２ｂが含まれない場合、線分結合部３１４は、第１線分２４０ａに対して第２線分２４０ｂを結合対象として選択しない。

次のステップにおいて、線分結合部３１４は、第１線分２４０ａの傾きと第２線分２４０ｂの傾きの差異を計算する。傾きの差異は、例えば、第１線分２４０ａの傾きから第２線分２４０ｂを減算した結果の絶対値として示される。差異が第２しきい値以内である場合、線分結合部３１４は、第１線分２４０ａと第２線分２４０ｂとを結合対象として選択する。一方、差異が第２しきい値より大きい場合、線分結合部３１４は、第１線分２４０ａと第２線分２４０ｂとを結合対象として選択しない。

図４ｃは、結合対象に選択するための別の条件を示す。ここでも、図４ｂと同様に、第１線分終点２４４ａを中心とした円形範囲２４８の中に第２線分２４０ｂの第２線分始点２４２ｂが含まれることを前提とする。次のステップにおいて、線分結合部３１４は、第１線分法線２４６ａの傾きと第２線分法線２４６ｂの傾きの差異を計算する。傾きの差異は、例えば、第１線分法線２４６ａの傾きから第２線分法線２４６ｂを減算した結果の絶対値として示される。差異が第２しきい値以内である場合、線分結合部３１４は、第１線分２４０ａと第２線分２４０ｂとを結合対象として選択する。一方、差異が第２しきい値より大きい場合、線分結合部３１４は、第１線分２４０ａと第２線分２４０ｂとを結合対象として選択しない。

（２）結合処理
結合処理は、結合対象として選択された２つ以上の線分２４０に対して実行される。図５ａ−図５ｄは、線分結合部３１４における結合処理の概要を示す。これらでは、第１線分２４０ａ、第２線分２４０ｂ、第３線分２４０ｃが結合対象として選択されている。図５ａにおいて、線分結合部３１４は、結合対象とされる複数の線分２４０のそれぞれの傾きを導出するとともに、それらに対して、平均、最小二乗法等の統計処理を実行することによって、１つの傾きを決定する。この１つの傾きは、複数の線分２４０を結合した線分の傾きに相当する。

また、線分結合部３１４は、結合対象とされる複数の線分２４０のうち、一端側の線分２４０、つまり第１線分２４０ａの端点であって、かつ結合対象の判定に不関与の端点である第１線分始点２４２ａを起点に選択する。線分結合部３１４は、第１線分始点２４２ａを起点して、前述の１つの傾きを有するように、結合した線分である結合線分２５０を生成する。なお、結合線分２５０の長さは、結合対象の判定に不関与の２つの端点である第１線分始点２４２ａと第３線分終点２４４ｃの長さとすればよい。

図５ｂにおいても、図５ａと同様に１つの傾きが決定される。また、線分結合部３１４は、結合対象とされる複数の線分２４０のうち、一端側の線分、つまり第１線分２４０ａ第１線分中点２５２ａを起点に選択する。ここで、第１線分中点２５２ａは、第１線分２４０ａの端点である第１線分始点２４２ａと第１線分終点２４４ａとの中間に配置される点である。なお、中間からずれていてもよい。線分結合部３１４は、第１線分中点２５２ａを起点して、前述の１つの傾きを有するように、結合した線分である結合線分２５０を生成する。なお、結合線分２５０の長さは、第１線分中点２５２ａと第３線分中点２５２ｃの長さとすればよい。

図５ｃにおいて、線分結合部３１４は、結合対象とされる複数の線分２４０のうち、一端側の線分２４０、つまり第１線分２４０ａの端点であって、かつ結合対象の判定に不関与の端点である第１線分始点２４２ａを選択する。また、線分結合部３１４は、他端側の線分２４０、つまり第３線分２４０ｃの別の端点であって、かつ結合対象の判定に不関与の別の端点である第３線分終点２４４ｃを選択する。さらに、線分結合部３１４は、第１線分始点２４２ａと第３線分終点２４４ｃとを結ぶことによって結合線分２５０を生成する。

図５ｄにおいて、線分結合部３１４は、結合対象とされる複数の線分２４０のうち、一端側の線分２４０、つまり第１線分２４０ａの端点以外の第１線分中点２５２ａを選択する。また、線分結合部３１４は、他端側の線分２４０、つまり第３線分２４０ｃの端点以外の第３線分中点２５２ｃを選択する。さらに、線分結合部３１４は、第１線分中点２５２ａと第３線分中点２５２ｃとを結ぶことによって結合線分２５０を生成する。これらのいずれかの結合処理を実行した後、線分結合部３１４は、結合しなかった線分２４０を削除してもよい。また、線分結合部３１４は、予め定められた長さよりも短い線分２４０あるいは結合線分２５０を削除してもよい。

図６は、線分結合部３１４による処理がなされた画像を示す。この画像は、図２、図３と同様に示される。また、線分結合部３１４において生成された結合線分２５０も複数示される。ここでは、図面を明瞭にするために、複数の結合線分２５０のうちの一部だけに符号を付している。駐車領域２２２と駐車領域終端部２２４との境界、縁石２２６における角部２２８は、複数の線分２４０に分裂されていたが、それらを結合した結合線分２５０が示される。結合線分２５０によって、本来の一本の線分に近くなる。図１ｂに戻る。線分結合部３１４は、処理結果を特徴量算出部３１６に出力する。

特徴量算出部３１６は、画像に含まれた結合線分２５０の特徴量、例えばＬＢＤ（ＬｉｎｅＢｉｎａｒｙＤｅｓｃｒｉｐｔｏｒ）等の線分特徴量算出手法により長さを算出する。線分追跡部３３０は、特徴量算出部３１６において算出した結合線分２５０の特徴量を複数の画像間でマッチングさせることによって、結合線分２５０の特徴量を複数の画像間で追跡する。結合線分２５０の特徴量を利用することによって、より安定な線分マッチングや追跡が可能になる。距離・高さ算出部３３２は、線分追跡部３３０における追跡結果をもとに、結合線分２５０の特徴量を有する物体の高さと、物体と車両２００との間の距離とを少なくとも導出する。なお、特徴量算出部３１６、線分追跡部３３０、距離・高さ算出部３３２には公知の技術が使用されればよいので、ここでは説明を省略する。出力部３２０は、物体の高さと、物体と車両２００との間の距離とを駐車支援装置１３０、表示装置１４０に出力する。

駐車支援装置１３０は、物体の高さと、物体と車両２００との間の距離とを出力部３２０から受けつける。駐車支援装置１３０は、受けつけた情報も利用して車両２００の駐車支援を実行する。また、駐車支援装置１３０は、受けつけた情報を利用して障害物三次元情報の算出、自己位置推定を実行してもよい。表示装置１４０は、物体の高さと、物体と車両２００との間の距離とを出力部３２０から受けつける。表示装置１４０は、受けつけた情報を表示する。

以上の構成による物体検出装置１００の動作を説明する。図７は、線分結合部３１４における結合対象の選択手順を示すフローチャートである。線分結合部３１４は、２つの線分２４０から第１端点と第２端点とを選択する（Ｓ１０）。第１端点と第２端点との距離が第１しきい値以下であり（Ｓ１２のＹ）、第１線分２４０ａの傾きと第２線分２４０ｂの傾きとの差異が第２しきい値以下である場合（Ｓ１４のＹ）、線分結合部３１４は、第１線分２４０ａと第２線分２４０ｂとを結合対象に決定する（Ｓ１６）。第１端点と第２端点との距離が第１しきい値以下でない場合（Ｓ１２のＮ）、あるいは第１線分２４０ａの傾きと第２線分２４０ｂの傾きとの差異が第２しきい値以下でない場合（Ｓ１４のＮ）、処理は終了される。

本実施の形態によれば、所定の条件を満たす線分を結合するので、特徴量の追跡を正確に実行できる。また、特徴量の追跡が正確に実行されるので、画像に含まれる物体の検出精度を向上できる。また、所定の条件を満たす線分を結合するので、ノイズ点の影響を低減できる。また、線分を結合するので、検出し難いテクスチャーがない人工物の検出精度を向上できる。また、人工物から検出した辺縁部（分裂線分）を同一線分に連結するので、画像間での線分マッチング率や追跡率を向上できる。また、画像間での線分マッチング率や追跡率が向上するので、障害物の検出精度を向上できる。また、線分を結合するので、地面に存在するノイズ点の影響が低減され、人工障害物の特徴算出による処理負荷を軽減できる。

また、端点間距離と傾きの差異とをもとに結合対象を選択するので、分裂した可能性の高い線分を選択できる。また、複数の線分のそれぞれの傾きをもとに、結合した線分の傾きを決定するので、結合線分の傾きを、各線分の傾きに近くできる。また、一端側の線分の端点を起点とするので、もとの線分に近い位置に、結合した線分を配置できる。また、一端側の線分の端点と他端側の線分の別の端点とを結ぶだけなので、処理を簡易にできる。また、一端側の線分の端点以外の点と他端側の線分の端点以外の点とを結ぶだけなので、処理を簡易にできる。

また、物体検出装置が車両に搭載されるので、物体の高さと、当該物体と車両との間の距離とを車両の制御に利用できる。また、車両から後方に向かって撮像された画像を使用するので、車両を後進させるときに存在する物体を検出できる。また、駐車領域を検出した場合に導出を開始するので、処理の実行タイミングを限定できる。また、処理の実行タイミングが限定されるので、無駄な処理の実行を抑制できる。また、速度がしきい値よりも低い場合に導出を開始するので、処理の実行タイミングを限定できる。

以上、本開示に係る実施の形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現されうる。上述した機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ、ＲＡＭ、ハードディスク装置やＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）などの記憶装置、ＤＶＤ−ＲＯＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やＵＳＢメモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。また、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。また、ＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記各装置の機能が実現される。

本開示の一態様の概要は、次の通りである。本開示のある態様の物体検出装置は、撮像された画像を取得する取得部と、取得部において取得した画像内の複数の線分を抽出する線分抽出部と、線分抽出部において抽出した複数の線分のうち、所定の条件を満たす線分を結合する線分結合部と、線分結合部において結合した線分の特徴量を算出する特徴量算出部と、特徴量算出部において算出した線分の特徴量を複数の画像間で追跡することによって、当該線分の特徴量を有する物体の高さと、当該物体までの距離とを少なくとも導出する導出部と、を備える。

この態様によると、所定の条件を満たす線分を結合するので、画像に含まれる物体の検出精度を向上できる。

線分結合部は、線分抽出部において抽出した複数の線分のうち、第１の線分の第１端点と、第２の線分において第１端点に最も近い第２端点との距離が第１しきい値以内であり、かつ第１の線分の傾きと第２の線分の傾きとの差異が第２しきい値以内である場合、第１の線分と第２の線分とを結合対象としてもよい。この場合、端点間距離と傾きの差異とをもとに結合対象を選択するので、分裂した可能性の高い線分を選択できる。

線分結合部は、結合対象とされる複数の線分のそれぞれの傾きをもとに、結合した線分の傾きを決定してもよい。この場合、複数の線分のそれぞれの傾きをもとに、結合した線分の傾きを決定するので、結合した線分の傾きを、各線分の傾きに近くできる。

線分結合部は、結合対象とされる複数の線分のうち、一端側の線分の端点であって、かつ結合対象の判定に不関与の端点を起点として、結合した線分を生成してもよい。この場合、一端側の線分の端点を起点とするので、もとの線分に近い位置に、結合した線分を配置できる。

線分結合部は、結合対象とされる複数の線分のうち、一端側の線分の端点以外の点を起点として、結合した線分を生成してもよい。この場合、もとの線分に近い位置に、結合した線分を配置できる。

線分結合部は、結合対象とされる複数の線分のうち、一端側の線分の端点であって、かつ結合対象の判定に不関与の端点と、他端側の線分の別の端点であって、かつ結合対象の判定に不関与の別の端点とを結ぶことによって、複数の線分を結合してもよい。この場合、２つの端点を結ぶだけなので、処理を簡易にできる。

線分結合部は、結合対象とされる複数の線分のうち、一端側の線分の端点以外の点と、他端側の線分の端点以外の点とを結ぶことによって、複数の線分を結合してもよい。この場合、２つの端点を結ぶだけなので、処理を簡易にできる。

本物体検出装置は、車両に搭載されており、取得部は、車両から外部を撮像した画像を順次取得し、導出部は、取得部が異なったタイミングで取得した画像間において線分の特徴量を追跡することによって、当該線分の特徴量を有する物体の高さと、当該物体と車両との間の距離とを少なくとも導出してもよい。この場合、車両に搭載されるので、物体の高さと、当該物体と車両との間の距離とを車両の制御に利用できる。

取得部は、車両から後方に向かって撮像された画像を取得してもよい。この場合、車両から後方に向かって撮像された画像を使用するので、車両を後進させるときに存在する物体を検出できる。

車両が駐車可能な駐車領域を検出する検出部をさらに備えてもよい。導出部は、検出部が駐車領域を検出した場合に、導出を開始してもよい。この場合、駐車領域を検出した場合に導出を開始するので、処理の実行タイミングを限定できる。

車両の速度を検出する検出部をさらに備えてもよい。導出部は、検出部において検出した速度がしきい値よりも低い場合に、導出を開始してもよい。この場合、速度がしきい値よりも低い場合に導出を開始するので、処理の実行タイミングを限定できる。

以上、本開示を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

１００物体検出装置、１１０撮像装置、１２０センサ、１３０駐車支援装置、１４０表示装置、２００車両、３００取得部、３０２投影変換部、３０４検出部、３０６処理部、３１０エッジ抽出部、３１２線分抽出部、３１４線分結合部、３１６特徴量算出部、３１８導出部、３２０出力部、３３０線分追跡部、３３２距離・高さ算出部。

Claims

撮像された画像を取得する取得部と、
前記取得部において取得した画像内の複数の線分を抽出する線分抽出部と、
前記線分抽出部において抽出した複数の線分のうち、所定の条件を満たす線分を結合する線分結合部と、
前記線分結合部において結合した線分の特徴量を算出する特徴量算出部と、
前記特徴量算出部において算出した線分の特徴量を複数の画像間で追跡することによって、当該線分の特徴量を有する物体の高さと、当該物体までの距離とを少なくとも導出する導出部と、
を備える物体検出装置。
前記線分結合部は、前記線分抽出部において抽出した複数の線分のうち、第１の線分の第１端点と、第２の線分において前記第１端点に最も近い第２端点との距離が第１しきい値以内であり、かつ前記第１の線分の傾きと前記第２の線分の傾きとの差異が第２しきい値以内である場合、前記第１の線分と前記第２の線分とを結合対象とする請求項１に記載の物体検出装置。
前記線分結合部は、結合対象とされる複数の線分のそれぞれの傾きをもとに、結合した線分の傾きを決定する請求項２に記載の物体検出装置。
前記線分結合部は、結合対象とされる複数の線分のうち、一端側の線分の端点であって、かつ結合対象の判定に不関与の端点を起点として、結合した線分を生成する請求項３に記載の物体検出装置。
前記線分結合部は、結合対象とされる複数の線分のうち、一端側の線分の端点以外の点を起点として、結合した線分を生成する請求項３に記載の物体検出装置。
前記線分結合部は、結合対象とされる複数の線分のうち、一端側の線分の端点であって、かつ結合対象の判定に不関与の端点と、他端側の線分の別の端点であって、かつ結合対象の判定に不関与の別の端点とを結ぶことによって、複数の線分を結合する請求項２に記載の物体検出装置。
前記線分結合部は、結合対象とされる複数の線分のうち、一端側の線分の端点以外の点と、他端側の線分の端点以外の点とを結ぶことによって、複数の線分を結合する請求項２に記載の物体検出装置。
本物体検出装置は、車両に搭載されており、
前記取得部は、前記車両から外部を撮像した画像を順次取得し、
前記導出部は、前記取得部が異なったタイミングで取得した画像間において線分の特徴量を追跡することによって、当該線分の特徴量を有する物体の高さと、当該物体と前記車両との間の距離とを少なくとも導出する請求項１から７のいずれかに記載の物体検出装置。
前記取得部は、前記車両から後方に向かって撮像された画像を取得する請求項８に記載の物体検出装置。
前記車両が駐車可能な駐車領域を検出する検出部をさらに備え、
前記導出部は、前記検出部が駐車領域を検出した場合に、導出を開始する請求項８または９に記載の物体検出装置。
前記車両の速度を検出する検出部をさらに備え、
前記導出部は、前記検出部において検出した速度がしきい値よりも低い場合に、導出を開始する請求項８または９に記載の物体検出装置。
自車両から外部に向かう画像を撮像する撮像装置と、
前記撮像装置が撮像した画像をもとに物体を検出する物体検出装置とを備え、
前記物体検出装置は、
前記撮像装置が撮像した画像を取得する取得部と、
前記取得部において取得した画像内の複数の線分を抽出する線分抽出部と、
前記線分抽出部において抽出した複数の線分のうち、所定の条件を満たす線分を結合する線分結合部と、
前記線分結合部において結合した線分の特徴量を算出する特徴量算出部と、
前記特徴量算出部において算出した線分の特徴量を複数の画像間で追跡することによって、当該線分の特徴量を有する物体の高さと、当該物体と自車両との間の距離とを少なくとも導出する導出部と、
を備える車両。