JP2023116424A - 歩行者の位置を決定する方法及び装置 - Google Patents

Abstract

【課題】歩行者の位置を決定する方法及び装置を提供する。【解決手段】方法は、カメラから車両の外部を撮影した複数の画像を取得し、レーダーから車両の外部の複数のレーダー測定値を取得１１１０することができる。また、方法は、画像に含まれる歩行者オブジェクトを決定１１２０し、歩行者オブジェクトの複数のオブジェクトサイズ候補値を設定し、複数のオブジェクトサイズ候補値のそれぞれの縦方向位置候補値を決定１１３０することができる。さらに、方法は、縦方向位置候補値から所定距離内に位置するレーダー測定値を選択１１４０し、選択されたレーダー測定値に基づいて、歩行者オブジェクトの最終縦方向位置値を決定１１５０することができる。【選択図】図１１

Description

本発明は、歩行者の位置を決定する方法及び装置に関する。

情報通信技術と車両産業の融合により、車両のスマート化が急速に進んでいる。スマート化により、車両は単純な機械的装置からスマートカーに進化しており、特にスマートカーの中核技術として自律走行が注目されている。自律走行とは、運転者がハンドル、加速ペダル、ブレーキなどを操作しなくても、車両が自ら目的地まで走行する技術をいう。

自律走行過程で歩行者を認識し、車両と歩行者との間の距離を算出する方法に関する研究が求められている。

カメラによる歩行者の認識及び距離推定の場合、実際の世界のオブジェクトを２次元画像に投影するため、距離に関する情報の損失が大きい。特に、歩行者位置の計算に多く用いられる特徴（歩行者の身長や地面に接している点）の偏差が大きいため、誤差が大きい。

レーダーによる歩行者の認識及び距離推定の場合、レーダーは、オブジェクトを分類する能力が劣るため、歩行者であるか否かの判断が難しく、特に歩行者の場合、信号強度が弱いため、その判断がさらに難しい。

前述した背景技術は、発明者が本発明の導出のために保有していた又は本発明の導出過程で習得した技術情報であって、必ずしも本発明の出願前に一般公衆に公開された公知技術とはいえない。

本発明の課題は、歩行者の位置を決定する方法及び装置を提供することにある。本発明が解決しようとする課題は、以上で述べた課題に限定されず、述べられていない本発明の他の課題及び利点は、以下の説明により理解され、本発明の実施形態によりさらに明らかに理解されるであろう。また、本発明が解決しようとする課題及び利点は、特許請求の範囲に示される手段及びその組み合わせにより実現できることが理解されるであろう。

上述した技術的課題を解決するための技術的手段として、本開示の第１態様は、歩行者の位置を決定する方法において、カメラから車両の外部を撮影した複数の画像を取得し、レーダーから前記車両の外部の複数のレーダー測定値を取得するステップと、前記画像に含まれる歩行者オブジェクトを決定するステップと、前記歩行者オブジェクトの複数のオブジェクトサイズ候補値を設定し、前記複数のオブジェクトサイズ候補値のそれぞれの縦方向位置候補値を決定するステップと、前記縦方向位置候補値から所定距離内に位置するレーダー測定値を選択するステップと、前記選択されたレーダー測定値に基づいて、前記歩行者オブジェクトの最終縦方向位置値を決定するステップとを含む、方法を提供することができる。

本開示の第２態様は、歩行者の位置を決定するための装置において、少なくとも１つのプログラムが格納されたメモリと、前記少なくとも１つのプログラムを実行することにより演算を行うプロセッサとを含み、前記プロセッサは、カメラから車両の外部を撮影した複数の画像を取得し、レーダーから前記車両の外部の複数のレーダー測定値を取得し、前記画像に含まれる歩行者オブジェクトを決定し、前記歩行者オブジェクトの複数のオブジェクトサイズ候補値を設定し、前記複数のオブジェクトサイズ候補値のそれぞれの縦方向位置候補値を決定し、前記縦方向位置候補値から所定距離内に位置するレーダー測定値を選択し、前記選択されたレーダー測定値に基づいて、前記歩行者オブジェクトの最終縦方向位置値を決定するものである、装置を提供することができる。

本開示の第３態様は、第１態様による方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することができる。

それらに加えて、本発明を実現するための他の方法、他のシステム、及び前記方法を実行するためのコンピュータプログラムが格納されたコンピュータで読み取り可能な記録媒体をさらに提供することができる。

上記以外の他の態様、特徴、利点は、添付の図面、特許請求の範囲、及び以下の発明の詳細な説明から明らかになるであろう。

前述した本開示の課題解決手段によれば、本開示においては、レーダーとカメラのセンサフュージョンにより、レーダー測定値から確認しにくい歩行者オブジェクトを識別することができ、カメラ画像から算出しにくい車両と歩行者との間の距離をより正確に測定することができる。

それに加えて、本開示の課題解決手段によれば、カメラにより判断しにくい縦方向の移動／停止判断とレーダーにより判断しにくい横方向の移動／停止判断を改善することができる。

一実施形態による自律走行方式を説明するための図である。 一実施形態による自律走行方式を説明するための図である。 一実施形態による自律走行方式を説明するための図である。 一実施形態による車両の外部を撮影するカメラに関する図である。 一実施形態による車両の外部を撮影するカメラに関する図である。 一実施形態によるオブジェクト認識方法を説明するためのフローチャートである。 一実施形態によるオブジェクト追跡方法を説明するためのフローチャートである。 一実施形態によるオブジェクトの縦方向位置候補値を決定する方法を説明するための例示図である。 一実施形態による縦方向位置候補値を考慮したレーダー測定値を選択する方法を説明するための例示図である。 一実施形態によるアウトライアを除去する方法を説明するための例示図である。 一実施形態による歩行者オブジェクトの状態を決定する方法を説明するためのフローチャートである。 一実施形態による歩行者の位置を決定する方法を説明するためのフローチャートである。 一実施形態による歩行者位置決定装置のブロック図である。

本発明の利点及び特徴、並びにそれらを達成する方法は、添付の図面と共に詳細に説明される実施形態を参照することによって明らかになるであろう。しかし、本発明は、以下に提示される実施形態に限定されるものではなく、様々な形態で実現することができ、本発明の思想及び技術範囲に含まれる全ての変換、均等物乃至代替物を含むものと理解されるべきである。以下に提示される実施形態は、本発明の開示を完全にし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に理解させるために提供されるものである。本発明を説明するにあたり、関連する公知技術についての具体的な説明が本発明の要旨を不明にすると判断される場合、その詳細な説明を省略する。

本出願で用いられる用語は、単に特定の実施形態を説明するために用いられるものであり、本発明の限定を意図するものではない。単数の表現は、文脈上明らかに他の意味を表さない限り、複数の表現を含む。本出願において、「含む」や「有する」などの用語は、明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせが存在することを指定するものであり、１つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせの存在や追加の可能性を予め排除するものではないと理解されるべきである。

本開示の一部の実施形態は、機能ブロック構成及び様々な処理ステップで示すことができる。そのような機能ブロックの一部又は全部は、特定の機能を実行する様々な数のハードウェア及び／又はソフトウェア構成で実現することができる。例えば、本開示の機能ブロックは、１つ以上のマイクロプロセッサにより実現するか、又は所定の機能のための回路構成により実現することができる。また、例えば、本開示の機能ブロックは、様々なプログラミング又はスクリプト言語で実現することができる。機能ブロックは、１つ以上のプロセッサで実行されるアルゴリズムで実現することができる。さらに、本開示は、電子的な環境設定、信号処理及び／又はデータ処理などのために従来技術を採用することができる。「メカニズム」、「要素」、「手段」、「構成」などの用語は広く用いることができ、機械的及び物理的な構成に限定されるものではない。

なお、図面に示す構成要素間の連結線又は連結部材は、機能的連結及び／又は物理的連結もしくは回路接続を例示的に示すものに過ぎない。実際の装置では、代替可能又は追加の様々な機能的連結、物理的連結又は回路接続により構成要素間の連結を示すことができる。

以下、「車両」とは、自動車、バス、バイク、キックボード又はトラックのように、機関を有して人や物を移動させるために用いられるあらゆる種類の運送手段を意味し得る。

以下、添付図面を参照して本開示を詳細に説明する。

図１～図３は一実施形態による自律走行方式を説明するための図である。

図１を参照すると、本発明の一実施形態による自律走行装置は、車両に装着されて自律走行車両１０を実現することができる。自律走行車両１０に装着される自律走行装置は、周辺の状況情報を収集するための様々なセンサを含んでもよい。一例として、自律走行装置は、自律走行車両１０の前面に装着されたイメージセンサ及び／又はイベントセンサにより、前方を運行中の先行車両２０の動きを検知することができる。自律走行装置は、自律走行車両１０の前方はもとより、隣の車路を運行中の他の走行車両３０や、自律走行車両１０周辺の歩行者などを検知するためのセンサをさらに含んでもよい。

自律走行車両周辺の状況情報を収集するためのセンサの少なくとも１つは、図１に示すように、所定の画角（ＦｏＶ）を有してもよい。一例として、自律走行車両１０の前面に装着されたセンサが図１に示すような画角（ＦｏＶ）を有する場合、センサの中央で検出される情報が相対的に高い重要度を有することができる。これは、センサの中央で検出される情報に、先行車両２０の動きに対応する情報のほとんどが含まれているからである。

自律走行装置は、自律走行車両１０のセンサが収集した情報をリアルタイムで処理して自律走行車両１０の動きを制御する一方、センサが収集した情報の少なくとも一部はメモリ装置に保存することができる。

図２を参照すると、自律走行装置４０は、センサ部４１、プロセッサ４６、メモリシステム４７、車体制御モジュール４８などを含んでもよい。センサ部４１は、複数のセンサ４２～４５を含み、複数のセンサ４２～４５は、イメージセンサ、イベントセンサ、照度センサ、ＧＰＳ装置、加速度センサなどを含んでもよい。

センサ４２～４５が収集したデータは、プロセッサ４６に伝達され得る。プロセッサ４６は、センサ４２～４５が収集したデータをメモリシステム４７に保存し、センサ４２～４５が収集したデータに基づいて車体制御モジュール４８を制御して車両の動きを決定することができる。メモリシステム４７は、２つ以上のメモリ装置と、メモリ装置を制御するためのシステムコントローラとを含んでもよい。メモリ装置のそれぞれは、１つの半導体チップとして提供されてもよい。

メモリシステム４７のシステムコントローラの他に、メモリシステム４７に含まれるメモリ装置のそれぞれは、メモリコントローラを含んでもよく、メモリコントローラは、ニューラルネットワークなどの人工知能（ＡＩ）演算回路を含んでもよい。メモリコントローラは、センサ４２～４５又はプロセッサ４６から受信したデータに所定の重みを付けて演算データを生成し、演算データをメモリチップに保存することができる。

図３は自律走行装置が搭載された自律走行車両のセンサが取得した映像データの一例を示す図である。図３を参照すると、映像データ５０は、自律走行車両の前面に装着されたセンサが取得したデータであり得る。よって、映像データ５０には、自律走行車両の前面部５１、自律走行車両と同じ車路の先行車両５２、自律走行車両周辺の走行車両５３及び非関心領域５４などが含まれ得る。

図３に示す実施形態による映像データ５０において、自律走行車両の前面部５１と非関心領域５４が表示される領域のデータは、自律走行車両の運行に影響を及ぼす可能性がほとんどないデータであり得る。言い換えれば、自律走行車両の前面部５１と非関心領域５４は、相対的に低い重要度を有するデータとみなされ得る。

それに対して、先行車両５２との距離、走行車両５３の車路変更の動きなどは、自律走行車両の安全な運行において非常に重要な要素であり得る。よって、映像データ５０において、先行車両５２や走行車両５３などが含まれる領域のデータは、自律走行車両の運行において相対的に高い重要度を有することができる。

自律走行装置のメモリ装置は、センサから受信した映像データ５０の領域毎に異なる重みを付けて保存することができる。一例として、先行車両５２や走行車両５３などが含まれる領域のデータには高い重みを付け、自律走行車両の前面部５１と非関心領域５４が表示される領域のデータには低い重みを付けることができる。

図４ａ及び図４ｂは一実施形態による車両の外部を撮影するカメラに関する図である。

カメラは、車両に搭載され、車両の外部を撮影することができる。カメラは、車両の前方、側方、後方などを撮影することができる。歩行者の位置を決定する装置（以下、「歩行者位置決定装置」）は、カメラで撮影された複数の画像を取得することができる。カメラで撮影された複数の画像には、複数のオブジェクトが含まれ得る。

オブジェクトに関する情報は、オブジェクト種類情報及びオブジェクト属性情報を含む。ここで、オブジェクト種類情報は、オブジェクトの種類を示すインデックス情報であり、広い範囲であるグループと、細かい範囲であるクラスとから構成される。また、オブジェクト属性情報は、オブジェクトの現在の状態に関する属性情報を示すものであり、動き情報、回転情報、交通情報、色情報及び可視性情報を含む。

一実施形態において、オブジェクト種類情報に含まれるグループ及びクラスは、下記表１の通りであるが、これに限定されるものではない。

また、オブジェクト属性情報に含まれる情報には、Ａｃｔｉｏｎ情報、Ｒｏｔａｔｅ情報、Ｔｒａｆｆｉｃ情報、Ｃｏｌｏｒ情報及びＶｉｓｉｂｉｌｉｔｙ情報が含まれ得る。

Ａｃｔｉｏｎ情報は、オブジェクトの動き情報を示し、停車、駐車、移動などと定義することができる。車両の場合、停車、駐車、移動をオブジェクト属性情報として決定することができ、歩行者の場合、移動、停止、不明をオブジェクト属性情報として決定することができ、信号灯のように動きのないオブジェクトの場合、デフォルト値である停止をオブジェクト属性情報として決定することができる。

Ｒｏｔａｔｅ情報は、オブジェクトの回転情報を示し、正面、後面、水平（ｈｏｒｉｚｏｎｔａｌ）、垂直（ｖｅｒｔｉｃａｌ）、側面などと定義することができる。車両の場合、正面、後面、側面をオブジェクト属性情報として決定することができ、横方向又は縦方向の信号灯は、それぞれ水平又は垂直をオブジェクト属性情報として決定することができる。

Ｔｒａｆｆｉｃ情報は、オブジェクトの交通情報を意味し、交通標識の指示、注意、規制、補助標識などと定義することができる。Ｃｏｌｏｒ情報は、オブジェクトの色情報を意味し、オブジェクトの色、信号灯及び交通標識の色を示すことができる。

図４ａを参照すると、オブジェクト４１１は、歩行者であり得る。画像４１０は、所定のサイズを有することができる。複数の画像４１０には同じオブジェクト４１１が含まれ得るが、車両が道路を走行することによって、車両とオブジェクト４１１との相対的位置は変化し続け、また、オブジェクト４１１も時間に応じて移動することによって、同じオブジェクト４１１であっても各画像内での位置が変化する。

各画像において同じオブジェクトを決定するために画像全体を用いる場合、データ伝送量及び演算量が大幅に増加する。これにより、車両に搭載された装置でエッジコンピューティングにより処理されにくく、リアルタイム分析も困難である。

図４ｂを参照すると、画像４２０に含まれるバウンディングボックス４２１が示されている。バウンディングボックス４２１は、オブジェクト４１１に関するメタデータであり、バウンディングボックス情報には、オブジェクト種類情報（グループ、クラスなど）、画像４２０上の位置情報、サイズ情報などが含まれ得る。

図４ｂを参照すると、バウンディングボックス情報には、該当オブジェクト４１１が歩行者クラスに対応するという情報、オブジェクト４１１の左上の頂点が画像上の（ｘ，ｙ）に位置するという情報、オブジェクト４１１のサイズがｗ＊ｈであるという情報、及びオブジェクト４１１が移動中であるという現在状態情報（すなわち、Ａｃｔｉｏｎ情報）が含まれ得る。図４ｂには、上記情報を示すために（ｘ，ｙ，ｗｉｄｔｈ，ｈｅｉｇｈｔ，ｍｏｖｉｎｇ）と記載されている。

図５は一実施形態によるオブジェクト認識方法を説明するためのフローチャートである。

歩行者位置決定装置は、カメラから複数の画像を取得することができる。複数の画像には、前の画像５１０及び現在の画像５２０が含まれ得る。

歩行者位置決定装置は、前の画像５１０から第１歩行者オブジェクト５１１を認識することができる。

一実施形態において、歩行者位置決定装置は、画像を同じサイズのグリッドに分け、各グリッドに対してグリッドの中央を中心に所定の形状に指定された境界ボックスの数を予測し、境界ボックスに基づいて信頼度を計算することができる。歩行者位置決定装置は、画像にオブジェクトが含まれているか、又は背景だけ単独で存在するかを決定し、オブジェクトの信頼度が高い位置を選択してオブジェクトのカテゴリーを決定することにより、その結果としてオブジェクトを認識することができる。ただし、本開示におけるオブジェクトを認識する方法は、これに限定されるものではない。

歩行者位置決定装置は、前の画像５１０から認識された第１歩行者オブジェクト５１１の第１位置情報を取得することができる。図４ａ及び図４ｂにおいて上述したように、第１位置情報は、前の画像５１０上の第１歩行者オブジェクト５１１に対応するバウンディングボックスのいずれかの頂点（例えば、左上の頂点）座標情報と、横長さ及び縦長さ情報とを含んでもよい。

また、歩行者位置決定装置は、現在の画像５２０から認識された第２歩行者オブジェクト５２１の第２位置情報を取得することができる。

歩行者位置決定装置は、前の画像５１０から認識された第１歩行者オブジェクト５１１の第１位置情報と、現在の画像５２０から認識された第２歩行者オブジェクト５２１の第２位置情報との間の類似度を算出することができる。

図５を参照すると、歩行者位置決定装置は、第１位置情報及び第２位置情報を用いて、第１歩行者オブジェクト５１１と第２歩行者オブジェクト５２１の積集合及び和集合を算出することができる。歩行者位置決定装置は、和集合領域に対する積集合領域の値を算出し、算出された値が閾値以上である場合、第１歩行者オブジェクト５１１と第２歩行者オブジェクト５２１とが同じ歩行者オブジェクトであると決定することができる。

しかし、歩行者オブジェクト間の同一性を判別する方法は、上述した方法に限定されるものではない。

図６は一実施形態によるオブジェクト追跡方法を説明するためのフローチャートである。

オブジェクト追跡（Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ）とは、連続した時間に対して同じオブジェクトを認識することを意味する。オブジェクト追跡は、ＬＩＤＡＲ、カメラなどのセンサから情報が入力されてオブジェクト（例えば、相手車両、歩行者、障害物）の位置、速度、種類を取得する動作である。オブジェクト追跡のデータ処理は、検出データのフィルタリングと追跡に分類され得る。追跡は、クラスタリング（ｃｌｕｓｔｅｒｉｎｇ）、データ連携（ａｓｓｏｃｉａｔｉｏｎ）、オブジェクトの動き予測（ｐｒｅｄｉｃｔｉｏｎ）、選択的なトラックリスト（ｔｒａｃｋ ｌｉｓｔ）の更新（ｕｐｄａｔｅ）、及びオブジェクト追跡動作を含む。ここで、オブジェクト追跡動作は、マージ（ｍｅｒｇｅ）、追跡オブジェクト分類、及びオブジェクト追跡起動を含む。

ステップ６１０において、歩行者位置決定装置は、センサからＲＡＷデータを受信し、検出データをフィルタリングすることができる。

フィルタリングは、追跡を実行する前に、センサのＲＡＷデータを加工する過程である。歩行者位置決定装置は、関心領域の設定により、検出ポイントの数を減らし、グラウンドノイズ（ｇｒｏｕｎｄ ｎｏｉｓｅ）の除去により、追跡に必要なオブジェクトポイントのみを分類することができる。

ステップ６２０において、歩行者位置決定装置は、フィルタリングされた検出データをクラスタリングし、連携動作を行うことができる。

歩行者位置決定装置は、クラスタリングにより、１つのオブジェクトに生成された複数のポイントを群集化し、１つのポイントにすることができる。また、歩行者位置決定装置がオブジェクトを追跡するためには、クラスタリングにより生成されたポイントと既に追跡されたポイントとのデータ連携を行う動作が必要である。例えば、歩行者位置決定装置は、既に追跡されたオブジェクトを巡回し、センサにより、クラスタリングされたオブジェクトのポイントから、既に追跡されたオブジェクトのポイントとの距離が現在最も近いクラスタリングされたオブジェクトのポイントを選択し、両データを連携することができる。このようなデータ連携動作でオブジェクト追跡アルゴリズムの正確度を高めるために、歩行者位置決定装置は、距離が最も近いクラスタリングされたオブジェクトのポイントとして選択された場合であっても、クラスタリングされたオブジェクトの動きが不確実であるか、予測できない場合は、選択されたポイントを除去することができる。このために、確率ベースのアルゴリズムを用いることができる。

ステップ６３０において、歩行者位置決定装置は、オブジェクトの動きを予測することができる。より詳細には、歩行者位置決定装置は、ステップ６１０及びステップ６２０により、測定されたオブジェクトの動きに関する値を用いて、追跡するオブジェクトの位置を予測することができる。このために、確率ベースのアルゴリズムを用いることができる。測定されたオブジェクトの動きに関する値がない場合、予測されたオブジェクトの動きが測定されたオブジェクトの動きに関する値であり得る。それとは異なり、測定されたオブジェクトの動きに関する値がある場合、オブジェクトの動きを予測するステップにより、オブジェクトの動きに関する値が更新され得る。

ステップ６４０において、歩行者位置決定装置は、選択的にトラックリストを更新し、オブジェクト追跡動作を行うことができる。

歩行者位置決定装置は、前述したように、測定されたオブジェクトの動きに関する値がある場合、オブジェクト毎に管理されるトラックリストを更新することができる。このために、カルマンフィルター（Ｋａｌｍａｎ Ｆｉｌｔｅｒ）を用いることができる。また、歩行者位置決定装置は、オブジェクト追跡動作を行うために、追跡されるオブジェクトと所定の距離で同程度の速度で動くオブジェクトを１つのオブジェクトにマージする過程、及び追跡されるオブジェクトとマッチングされる検出データのポイントの数が閾値ポイント以下である場合、追跡を中止する追跡オブジェクト分類過程を行った後、オブジェクト追跡を開始することができる。ただし、その場合も、検出データのポイントがゴーストであるか否かを判断するために、データ連携が行われていない検出データのポイントは、検証後、オブジェクト追跡を開始することができる。

本開示におけるオブジェクト追跡方法は、上記動作に限定されるものではなく、それに類似した目的のオブジェクト追跡アルゴリズムも含み得る。

歩行者位置決定装置は、図６において上述した方法に基づいて、複数の画像に含まれるオブジェクトを認識し、オブジェクトの軌跡を追跡することができる。

図７は一実施形態によるオブジェクトの縦方向位置候補値を決定する方法を説明するための例示図である。

歩行者位置決定装置は、画像７１０に含まれる歩行者オブジェクト７１１を決定することができる。歩行者位置決定装置は、歩行者オブジェクト７１１の位置情報を取得することができる。位置情報は、歩行者オブジェクト７１１に対応するバウンディングボックスのいずれかの頂点座標情報と、横長さ及び縦長さ情報とを含んでもよい。

歩行者位置決定装置は、歩行者オブジェクト７１１の複数のオブジェクトサイズ候補値を設定することができる。一実施形態において、複数のオブジェクトサイズ候補値は、歩行者の身長可能範囲を所定の間隔で分割した値であり得る。図７を参照すると、複数のオブジェクトサイズ候補値は、１．５ｍ、１．６ｍ、１．７ｍ、１．８ｍ及び１．９ｍであり得る。

歩行者位置決定装置は、オブジェクトサイズ候補値、歩行者オブジェクトのピクセル値、及びカメラの焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）を用いて、縦方向位置候補値を決定することができる。具体的には、歩行者位置決定装置は、下記数式１により、縦方向位置候補値を決定することができる。数式１において、オブジェクトのピクセルの高さ（ｈｅｉｇｈｔ）とは、歩行者オブジェクト７１１に対応するバウンディングボックスのピクセルの高さを意味する。

図７を参照すると、カメラの焦点距離及びオブジェクトのピクセルの高さが予め設定された値である場合、オブジェクトサイズ候補値１．５ｍ、１．６ｍ、１．７ｍ、１．８ｍ及び１．９ｍのそれぞれに対応する縦方向位置候補値は、１４．６ｍ、１５．３ｍ、１６．０ｍ、１６．７ｍ及び１７．４ｍとなる。すなわち、画像内の歩行者オブジェクトに対応するバウンディングボックスの位置及びサイズが同じであっても、歩行者オブジェクトの実際の身長が高いほど、歩行者はカメラが搭載された車両からより遠くに位置する。なお、カメラの焦点距離及びオブジェクトのピクセルの高さの数値は例示に過ぎず、カメラの種類が変わると数値も変わる。

一方、歩行者位置決定装置は、カメラのポジションを考慮して決定された縦方向位置候補値を補正することができる。ここで、ポジションは、撮影方向、アングル、ショットなど、撮影される画像に変化を与える様々なファクタを含む値であり得る。

例えば、カメラのポジションは、所定の時間が経過することにより変化し得る。あるいは、カメラのポジションは、特定のイベントが発生したことに応答して変化し得る。あるいは、カメラのポジションは、外部入力に対応して変化し得る。

歩行者位置決定装置は、カメラのアングルが空方向もしくは地面方向を向いている状態であるか、又はカメラの撮影方向が正面方向もしくは側面方向を向いている状態であるかを考慮して、縦方向位置候補値を補正することができる。

図８は一実施形態による縦方向位置候補値を考慮したレーダー測定値を選択する方法を説明するための例示図である。

図８を参照すると、カメラから取得された現在の画像に対応する鳥瞰図座標面８００が示されている。鳥瞰図座標面８００における第１位置８１０は、カメラの位置を示す。あるいは、第１位置８１０は、カメラが搭載された車両の位置を示す。

鳥瞰図座標面８００における第３位置セット８３０は、歩行者オブジェクトの複数の縦方向位置候補値のそれぞれを示す。図７を参照して説明すると、歩行者オブジェクトのオブジェクトサイズ候補値が１．５ｍ、１．６ｍ、１．７ｍ、１．８ｍ及び１．９ｍに設定された場合、オブジェクトサイズ候補値のそれぞれに対応する縦方向位置候補値は、１４．６ｍ、１５．３ｍ、１６．０ｍ、１６．７ｍ及び１７．４ｍとなる。すなわち、歩行者位置決定装置は、鳥瞰図座標面８００において、第１位置８１０から最も近い第３位置セット８３０の値をオブジェクトサイズ候補値「１．５ｍ」に対応するものと決定し、第１位置８１０から最も遠い第３位置セット８３０の値をオブジェクトサイズ候補値「１．９ｍ」に対応するものと決定することができる。また、歩行者位置決定装置は、第３位置セット８３０の他の３つの値のそれぞれをオブジェクトサイズ候補値「１．６ｍ」、「１．７ｍ」及び「１．８ｍ」に対応するものと決定することができる。

一方、レーダーは、車両に搭載され、車両の外部の物体を検出することができる。レーダーは、車両の前方、側方、後方などを検出することができる。歩行者位置決定装置は、レーダーから車両の外部の複数のレーダー測定値を取得することができる。

鳥瞰図座標面８００には、複数のレーダー測定値が表示され得る。

歩行者位置決定装置は、複数のレーダー測定値から、縦方向位置候補値から所定距離内に位置するレーダー測定値を選択することができる。図８を参照すると、歩行者位置決定装置は、鳥瞰図座標面８００に示されている複数のレーダー測定値から、第３位置セット８３０の周辺である第２位置８２０に示されているレーダー測定値を選択することができる。

歩行者位置決定装置は、第２位置８２０に示されているレーダー測定値に基づいて、前記歩行者オブジェクトの最終縦方向位置値を決定することができる。

一実施形態において、歩行者位置決定装置は、第２位置８２０を歩行者オブジェクトの最終縦方向位置値として決定することができる。

他の実施形態において、歩行者位置決定装置は、第２位置８２０に示されているレーダー測定値をカルマンフィルターに適用し、カルマンフィルターから導出された値を最終縦方向位置値として決定することができる。

本開示においては、カメラから取得された画像を用いて歩行者オブジェクトを認識し、歩行者オブジェクトの縦方向位置候補値に基づいてマッチングされるレーダー測定値を決定することにより、車両と歩行者オブジェクトとの間の距離をより正確に測定することができる。

図９は一実施形態によるアウトライアを除去する方法を説明するための例示図である。

図９を参照すると、カメラから取得された現在の画像に対応する鳥瞰図座標面９００が示されている。鳥瞰図座標面９００における第１位置９１０は、カメラの位置を示す。あるいは、第１位置９１０は、カメラが搭載された車両の位置を示す。

鳥瞰図座標面９００における第２位置９２０に示されているレーダー測定値は、図８の第２位置８２０に示されているレーダー測定値に対応するものである。歩行者位置決定装置は、第２位置９２０に示されているレーダー測定値に基づいて、歩行者オブジェクトの最終縦方向位置値を決定することができる。

一方、歩行者位置決定装置は、所定の条件を満たす場合、レーダー測定値のアウトライアを除去することができる。

以下に説明する様々な実施形態に従ってアウトライアが除去されることにより、歩行者位置決定装置は、第２位置９２０に示されているレーダー測定値を第３位置９２１に補正することができる。

一実施形態において、歩行者位置決定装置は、前の画像に対して決定された歩行者オブジェクトの最終縦方向位置値を考慮して、現在の画像に対するレーダー測定値のアウトライアを除去することができる。

図５において上述した方法により、歩行者位置決定装置は、前の画像に含まれる第１歩行者オブジェクトと現在の画像に含まれる第２歩行者オブジェクトとが同じオブジェクトであると決定することができる。また、歩行者位置決定装置は、現在の画像に対するレーダー測定値のアウトライアを除去するために、前の画像に含まれる第１歩行者オブジェクトの最終縦方向位置値を用いることができる。

具体的には、歩行者位置決定装置は、前の画像に対する歩行者オブジェクトの第１最終縦方向位置値を取得することができる。また、歩行者位置決定装置は、現在の画像に対する選択されたレーダー測定値を取得することができる。

歩行者位置決定装置は、第１最終縦方向位置値と選択されたレーダー測定値とが所定距離内にある場合、選択されたレーダー測定値に基づいて、現在の画像に対する第２最終縦方向位置値を決定することができる。それに対して、歩行者位置決定装置は、第１最終縦方向位置値と選択されたレーダー測定値とが所定距離内にない場合、現在の画像に対する第２最終縦方向位置値の決定に選択されたレーダー測定値を用いないようにすることができる。

すなわち、現在の画像に対する選択されたレーダー測定値が、前の画像の第１最終縦方向位置値から所定距離内に位置しない場合、選択されたレーダー測定値が誤った値である可能性があるので、その場合、歩行者位置決定装置は、現在の画像に対する第２最終縦方向位置値の決定に選択されたレーダー測定値を用いないようにすることができる。

一方、所定距離は、現在の画像と前の画像との間の撮影時間間隔及び歩行者オブジェクトの移動速度などを考慮して決定することができる。

一実施形態において、縦方向位置候補値から所定距離内に位置するレーダー測定値の数が第１閾値以下又は第２閾値以上である場合、歩行者位置決定装置は、レーダー測定値を選択しないようにすることができる。前記第１閾値は、前記第２閾値より小さい値であり得る。

レーダー測定値の数はオブジェクトによって異なり、例えば、車両は歩行者より信号反射強度及び反射面積が大きいので、車両に対するレーダー測定値の数は歩行者に対するレーダー測定値の数より多くなる。

すなわち、歩行者位置決定装置が歩行者でないオブジェクト（例えば、車両）に対するレーダー測定値を選択することを防止するために、縦方向位置候補値から所定距離内に位置するレーダー測定値の数が第１閾値超過及び第２閾値未満の場合にのみ、歩行者位置決定装置は、レーダー測定値を選択することができる。

一実施形態において、歩行者位置決定装置は、選択されたレーダー測定値から歩行者オブジェクトのドップラー速度を算出することができる。具体的には、歩行者オブジェクトが動く際に、動きによるドップラー成分が発生し、歩行者オブジェクトのドップラー速度を算出することができる。

ドップラー速度が歩行者の速度可能範囲内である場合、歩行者位置決定装置は、選択されたレーダー測定値に基づいて、歩行者オブジェクトの最終縦方向位置値を決定することができる。それに対して、ドップラー速度が歩行者の速度可能範囲外である場合、歩行者位置決定装置は、選択されたレーダー測定値を用いないようにすることができる。

図１０は一実施形態による歩行者オブジェクトの状態を決定する方法を説明するためのフローチャートである。

図１０を参照すると、ステップ１０１０において、歩行者位置決定装置は、選択されたレーダー測定値から歩行者オブジェクトのドップラー速度を算出することができる。具体的には、歩行者オブジェクトが動く際に、動きによるドップラー成分が発生し、歩行者オブジェクトのドップラー速度を算出することができる。

ステップ１０２０において、歩行者位置決定装置は、画像内の歩行者オブジェクトの動きに基づいて、歩行者オブジェクトの中間状態を決定することができる。

具体的には、歩行者位置決定装置は、カメラから取得された複数の画像に含まれる歩行者オブジェクトの動きが確認されると、歩行者オブジェクトの中間状態を「移動」に決定し、歩行者オブジェクトの動きが確認されないと、歩行者オブジェクトの中間状態を「停止」に決定することができる。

ステップ１０３０において、ステップ１０１０で算出されたドップラー速度が所定値以上である場合、ステップ１０５０に進み、歩行者位置決定装置は、歩行者オブジェクトの最終状態を「移動」に決定することができる。それに対して、ステップ１０１０で算出されたドップラー速度が所定値未満である場合、ステップ１０４０に進むことができる。

ステップ１０４０において、ステップ１０２０で決定された歩行者オブジェクトの中間状態が「移動」である場合、ステップ１０５０に進み、歩行者位置決定装置は、歩行者オブジェクトの最終状態を「移動」に決定することができる。それに対して、ステップ１０２０で決定された歩行者オブジェクトの中間状態が「移動」でない場合、ステップ１０６０に進むことができる。

ステップ１０６０において、歩行者位置決定装置は、歩行者オブジェクトの最終状態を「停止」に決定することができる。すなわち、ステップ１０１０で算出されたドップラー速度が所定値未満であると共に、ステップ１０２０で決定された歩行者オブジェクトの中間状態が「停止」である場合、歩行者位置決定装置は、歩行者オブジェクトの最終状態を「停止」に決定することができる。

一方、歩行者が移動中である場合、動きが発生する。

カメラの場合、歩行者が横方向に移動する際に発生する動きは検知しやすいので、歩行者の横方向の移動／停止の有無を正確に判断することができる。それに対して、歩行者が縦方向に移動する際に発生する動きは検知しにくく、それにより、歩行者の縦方向の移動／停止の有無の判断は相対的に不正確であり得る。

レーダーの場合、歩行者が縦方向に移動する際には動きがレーダー方向に発生し、それによりドップラー成分が発生するので、歩行者の縦方向の移動／停止の有無を正確に判断することができる。それに対して、歩行者が横方向に移動する際には動きがレーダー方向に垂直であるから、ドップラー成分が発生しないので、歩行者の横方向の移動／停止の有無の判断は相対的に不正確であり得る。

一実施形態において、ドップラー速度が所定値以上であり、画像に基づいて決定された歩行者オブジェクトの中間状態が「移動」である場合、歩行者位置決定装置は、歩行者オブジェクトが縦方向及び横方向に移動中であると決定することができる。

あるいは、歩行者位置決定装置は、ドップラー速度が所定値以上であるが、画像に基づいて決定された歩行者オブジェクトの中間状態が「停止」である場合、歩行者位置決定装置は、歩行者オブジェクトが縦方向には移動中であるが、横方向に対しては停止であると決定することができる。

あるいは、歩行者位置決定装置は、ドップラー速度が所定値未満であるが、画像に基づいて決定された歩行者オブジェクトの中間状態が「移動」である場合、歩行者位置決定装置は、歩行者オブジェクトが横方向には移動中であるが、縦方向に対しては停止であると決定することができる。

本開示においては、レーダーとカメラのセンサフュージョンにより、レーダー測定値から確認しにくい歩行者オブジェクトを識別することができ、カメラ画像から算出しにくい車両と歩行者との間の距離をより正確に測定することができる。また、カメラにより判断しにくい縦方向の移動／停止判断とレーダーにより判断しにくい横方向の移動／停止判断を改善することができる。

図１１は一実施形態による歩行者の位置を決定する方法を説明するためのフローチャートである。

図１１に示す歩行者の位置を決定する方法は、前述の図において説明した実施形態に関連するものであるので、以下、省略された内容であっても、前述の図において説明した内容は図１１の方法にも適用することができる。

図１１を参照すると、ステップ１１１０において、プロセッサは、カメラから車両の外部を撮影した複数の画像を取得し、レーダーから車両の外部の複数のレーダー測定値を取得することができる。

カメラは、車両に搭載され、車両の外部を撮影することができる。カメラは、車両の前方、側方、後方などを撮影することができる。プロセッサは、カメラで撮影された複数の画像を取得することができる。カメラで撮影された複数の画像には、複数のオブジェクトが含まれ得る。

レーダーは、車両に搭載され、車両の外部の物体を検出することができる。レーダーは、車両の前方、側方、後方などを検出することができる。プロセッサは、レーダーから車両の外部の複数のレーダー測定値を取得することができる。

ステップ１１２０において、プロセッサは、画像に含まれる歩行者オブジェクトを決定することができる。

複数の画像は、前の画像及び現在の画像を含んでもよい。プロセッサは、前の画像から認識された第１歩行者オブジェクトの第１位置情報を取得し、現在の画像から認識された第２歩行者オブジェクトの第２位置情報を取得することができる。プロセッサは、第１位置情報と第２位置情報との間の類似度に基づいて、第１歩行者オブジェクトと第２歩行者オブジェクトとが同じ歩行者オブジェクトであるか否かを決定することができる。

プロセッサは、センサからＲＡＷデータを受信し、検出データをフィルタリングすることができる。また、プロセッサは、フィルタリングされた検出データをクラスタリングし、連携動作を行うことができる。さらに、プロセッサは、オブジェクトの動きを予測することができる。さらに、プロセッサは、選択的にトラックリストを更新し、オブジェクト追跡動作を行うことができる。

ステップ１１３０において、プロセッサは、歩行者オブジェクトの複数のオブジェクトサイズ候補値を設定し、複数のオブジェクトサイズ候補値のそれぞれの縦方向位置候補値を決定することができる。

複数のオブジェクトサイズ候補値は、歩行者の身長可能範囲を所定の間隔で分割した値であり得る。

プロセッサは、オブジェクトサイズ候補値、歩行者オブジェクトのピクセル値、及びカメラの焦点距離を用いて、縦方向位置候補値を決定することができる。

ステップ１１４０において、プロセッサは、縦方向位置候補値から所定距離内に位置するレーダー測定値を選択することができる。

プロセッサは、レーダー測定値のアウトライアを除去することができる。

一実施形態において、プロセッサは、前の画像に対する歩行者オブジェクトの第１最終縦方向位置値を取得することができる。プロセッサは、現在の画像に対する選択されたレーダー測定値を取得することができる。第１最終縦方向位置値と選択されたレーダー測定値とが所定距離内にある場合、プロセッサは、選択されたレーダー測定値に基づいて、現在の画像に対する第２最終縦方向位置値を決定することができる。

一実施形態において、縦方向位置候補値から所定距離内に位置するレーダー測定値の数が第１閾値以下又は第２閾値以上である場合、プロセッサは、レーダー測定値を選択しないようにすることができる。

一実施形態において、プロセッサは、選択されたレーダー測定値からドップラー速度を算出することができる。プロセッサは、ドップラー速度が歩行者の速度可能範囲内である場合、選択されたレーダー測定値に基づいて、歩行者オブジェクトの最終縦方向位置値を決定することができる。

ステップ１１５０において、プロセッサは、選択されたレーダー測定値に基づいて、歩行者オブジェクトの最終縦方向位置値を決定することができる。

プロセッサは、選択されたレーダー測定値をカルマンフィルターに適用することにより導出された値を前記最終縦方向位置値として決定することができる。

一実施形態において、プロセッサは、選択されたレーダー測定値からドップラー速度を算出し、画像内の前記歩行者オブジェクトの動きに基づいて、歩行者オブジェクトの中間状態を決定することができる。

ドップラー速度が所定値以上であるか、又は歩行者オブジェクトの中間状態が移動である場合、プロセッサは、歩行者オブジェクトの最終状態を移動に決定することができる。それに対して、ドップラー速度が所定値未満であると共に、歩行者オブジェクトの中間状態が停止である場合、プロセッサは、歩行者オブジェクトの最終状態を停止に決定することができる。

図１２は一実施形態による歩行者位置決定装置のブロック図である。

図１２を参照すると、歩行者位置決定装置１２００は、通信部１２１０、プロセッサ１２２０及びＤＢ１２３０を含んでもよい。図１２の歩行者位置決定装置１２００には、実施形態に関連する構成要素のみが示されている。よって、図１２に示す構成要素に加えて他の汎用の構成要素をさらに含み得ることは、当該技術分野における通常の知識を有する者であれば理解するであろう。

通信部１２１０は、外部サーバ又は外部装置との有線／無線通信を可能にする１つ以上の構成要素を含み得る。例えば、通信部１２１０は、近距離通信部（図示せず）、移動通信部（図示せず）及び放送受信部（図示せず）の少なくとも１つを含み得る。

ＤＢ１２３０は、歩行者位置決定装置１２００内で処理される各種データを保存するハードウェアであって、プロセッサ１２２０の処理及び制御のためのプログラムを保存することができる。

ＤＢ１２３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ブルーレイ又は他の光ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、又はフラッシュメモリを含み得る。

プロセッサ１２２０は、歩行者位置決定装置１２００の全般的な動作を制御する。例えば、プロセッサ１２２０は、ＤＢ１２３０に保存されたプログラムを実行することにより、入力部（図示せず）、ディスプレイ（図示せず）、通信部１２１０、ＤＢ１２３０などを全般的に制御することができる。プロセッサ１２２０は、ＤＢ１２３０に保存されたプログラムを実行することにより、歩行者位置決定装置１２００の動作を制御することができる。

プロセッサ１２２０は、図１～図１１において上述した歩行者位置決定装置１２００の動作の少なくとも一部を制御することができる。

また、プロセッサ１２２０は、図１～図１１において上述した方法により、歩行者の位置を決定し、それに基づいて車両の走行を制御することができる。

プロセッサ１２２０は、車両の速度、車両と歩行者オブジェクトとの間の距離、歩行者オブジェクトの最終状態、及び車両が走行している道路の幅の少なくともいずれか２つのファクタに基づいて、車両の走行を制御することができる。

一方、歩行者の位置を決定するプロセッサと、車両の走行を制御するプロセッサとは、ハードウェア的に分けられ、異なる装置に搭載されてもよいが、説明の便宜上、プロセッサ１２２０により行われるものとして説明する。

例えば、車両の速度が予め設定された速度（例えば３０ｋｍ／ｈ）以上であり、車両と歩行者オブジェクトとの間の距離が予め設定された距離（例えば５０ｍ）以下である場合、プロセッサ１２２０は、車両が停止するように制御することができる。

あるいは、車両の速度に関係なく、車両と歩行者オブジェクトとの間の距離が予め設定された距離（例えば５０ｍ）以下であり、道路の幅が予め設定された幅（例えば３ｍ）以下であり、歩行者オブジェクトが「移動」中である場合、プロセッサ１２２０は、車両が停止するように制御することができる。

プロセッサ１２２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能の実行のための電気ユニットの少なくとも１つを用いて実現することができる。

一実施形態において、歩行者位置決定装置１２００は、移動性を有する電子デバイスであり得る。例えば、歩行者位置決定装置１２００は、スマートフォン、タブレットＰＣ、ＰＣ、スマートテレビ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ラップトップ、メディアプレーヤ、ナビゲーション、カメラ付きデバイス、及びその他のモバイル電子デバイスで実現することができる。また、歩行者位置決定装置１２００は、通信機能及びデータ処理機能を備えた時計、メガネ、ヘッドバンド、指輪などのウェアラブルデバイスで実現することができる。

他の実施形態において、歩行者位置決定装置１２００は、車両に組み込まれる電子デバイスであり得る。例えば、歩行者位置決定装置１２００は、製造過程後にチューニング（ｔｕｎｉｎｇ）により車両に挿入される電子デバイスであり得る。

さらに他の実施形態において、歩行者位置決定装置１２００は、車両の外部に位置するサーバであり得る。サーバは、ネットワークを介して通信を行って命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置又は複数のコンピュータ装置で実現することができる。サーバは、車両に搭載された装置から車両の移動経路を決定するために必要なデータを受信し、受信したデータに基づいて車両の移動経路を決定することができる。

さらに他の実施形態において、歩行者位置決定装置１２００で実行されるプロセスは、移動性を有する電子デバイス、車両に組み込まれる電子デバイス、及び車両の外部に位置するサーバの少なくとも一部により実行することができる。

本発明による実施形態は、コンピュータ上で様々な構成要素により実行できるコンピュータプログラムの形態で実現することができ、このようなコンピュータプログラムは、コンピュータで読み取り可能な媒体に記録することができる。ここで、媒体には、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気光学媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を記憶して実行するように特別に構成されたハードウェア装置が含まれる。

一方、前記コンピュータプログラムは、本発明のために特別に設計及び構成されたものであってもよく、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピュータプログラムの例には、コンパイラにより生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータにより実行される高級言語コードも含まれる。

一実施形態によれば、本開示の様々な実施形態による方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含まれて提供されるようにしてもよい。コンピュータプログラム製品は、商品として販売者と購入者との間で取引されるようにしてもよい。コンピュータプログラム製品は、機器で読み取り可能な記憶媒体（例えば、ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ））の形態で配布されるか、又はアプリケーションストア（例えば、プレイストア^TM）を介して、もしくは２つのユーザ装置間で直接、オンラインで配布（例えば、ダウンロード又はアップロード）されるようにしてもよい。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、メーカーのサーバ、アプリケーションストアのサーバ、又は中継サーバのメモリなどの機器で読み取り可能な記憶媒体に少なくとも一時的に記憶されるか、一時的に生成されるようにしてもよい。

本発明による方法を構成するステップに関して、明白な順序の記載又はそれに反する記載がなければ、上記ステップは適切な順序で行うことができる。本発明は、必ずしも上記ステップの記載順序に限定されるものではない。本発明における全ての例又は例示的な用語（例えば、など）の使用は、単に本発明を詳細に説明するためのものであり、特許請求の範囲により限定されない限り、上記例又は例示的な用語により本発明の範囲が限定されるわけではない。また、当業者は、様々な修正、組み合わせ及び変更が加えられた特許請求の範囲又はその均等物の範疇内で設計条件及び要因に応じて構成できることを理解するであろう。

よって、本発明の思想は、上述した実施形態に限定されて定められてはならず、添付の特許請求の範囲だけでなく、その特許請求の範囲と均等な又はそれから等価的に変更された全ての範囲は、本発明の思想の範疇に属するといえる。

Claims (12)

1. 歩行者の位置を決定する方法において、
   カメラから車両の外部を撮影した複数の画像を取得し、レーダーから前記車両の外部の複数のレーダー測定値を取得するステップと、
   前記画像に含まれる歩行者オブジェクトを決定するステップと、
   前記歩行者オブジェクトの複数のオブジェクトサイズ候補値を設定し、前記複数のオブジェクトサイズ候補値のそれぞれの縦方向位置候補値を決定するステップと、
   前記縦方向位置候補値から所定距離内に位置するレーダー測定値を選択するステップと、
   前記選択されたレーダー測定値に基づいて、前記歩行者オブジェクトの最終縦方向位置値を決定するステップと
   を含む、方法。
2. 前記複数の画像は、前の画像及び現在の画像を含み、
   前記歩行者オブジェクトを決定するステップは、
   前記前の画像から認識された第１歩行者オブジェクトの第１位置情報を取得するステップと、
   前記現在の画像から認識された第２歩行者オブジェクトの第２位置情報を取得するステップと、
   前記第１位置情報と前記第２位置情報との間の類似度に基づいて、前記第１歩行者オブジェクトと前記第２歩行者オブジェクトとが同じ歩行者オブジェクトであるか否かを決定するステップと
   を含む、請求項１に記載の方法。
3. 前記複数のオブジェクトサイズ候補値は、歩行者の身長可能範囲を所定の間隔で分割した値である、請求項１に記載の方法。
4. 前記縦方向位置候補値を決定するステップは、
   前記オブジェクトサイズ候補値、前記歩行者オブジェクトのピクセル値、及び前記カメラの焦点距離を用いて、前記縦方向位置候補値を決定するステップ
   を含む、請求項３に記載の方法。
5. 前記前の画像に対する前記歩行者オブジェクトの第１最終縦方向位置値を取得するステップと、
   前記現在の画像に対する選択されたレーダー測定値を取得するステップと、
   前記第１最終縦方向位置値と前記選択されたレーダー測定値とが所定距離内にある場合、前記選択されたレーダー測定値に基づいて、前記現在の画像に対する第２最終縦方向位置値を決定するステップと
   を含む、請求項２に記載の方法。
6. 前記レーダー測定値を選択するステップは、
   前記縦方向位置候補値から所定距離内に位置するレーダー測定値の数が第１閾値以下又は第２閾値以上である場合、前記レーダー測定値を選択しないステップ
   を含み、
   前記第１閾値は、前記第２閾値より小さい値である、請求項１に記載の方法。
7. 前記最終縦方向位置値を決定するステップは、
   前記選択されたレーダー測定値からドップラー速度を算出するステップと、
   前記ドップラー速度が歩行者の速度可能範囲内である場合、前記選択されたレーダー測定値に基づいて、前記歩行者オブジェクトの最終縦方向位置値を決定するステップと
   を含む、請求項１に記載の方法。
8. 前記選択されたレーダー測定値からドップラー速度を算出するステップと、
   前記画像内の前記歩行者オブジェクトの手足の動きに基づいて、前記歩行者オブジェクトの中間状態を決定するステップと、
   前記ドップラー速度が所定値以上であるか、又は前記歩行者オブジェクトの中間状態が移動である場合、前記歩行者オブジェクトの最終状態を移動に決定するステップと
   をさらに含む、請求項１に記載の方法。
9. 前記最終状態を決定するステップは、
   前記ドップラー速度が所定値未満であると共に、前記歩行者オブジェクトの中間状態が停止である場合、前記歩行者オブジェクトの最終状態を停止に決定するステップ
   をさらに含む、請求項８に記載の方法。
10. 前記選択されたレーダー測定値をカルマンフィルターに適用することにより導出された値を前記最終縦方向位置値として決定するステップをさらに含む、請求項１に記載の方法。
11. 歩行者の位置を決定するための装置において、
    少なくとも１つのプログラムが格納されたメモリと、
    前記少なくとも１つのプログラムを実行することにより演算を行うプロセッサとを含み、
    前記プロセッサは、
    カメラから車両の外部を撮影した複数の画像を取得し、レーダーから前記車両の外部の複数のレーダー測定値を取得し、
    前記画像に含まれる歩行者オブジェクトを決定し、
    前記歩行者オブジェクトの複数のオブジェクトサイズ候補値を設定し、前記複数のオブジェクトサイズ候補値のそれぞれの縦方向位置候補値を決定し、
    前記縦方向位置候補値から所定距離内に位置するレーダー測定値を選択し、
    前記選択されたレーダー測定値に基づいて、前記歩行者オブジェクトの最終縦方向位置値を決定するものである、装置。
12. 請求項１に記載の方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images