JP2004272694A

JP2004272694A - Apparatus and method for object recognition

Info

Publication number: JP2004272694A
Application number: JP2003063909A
Authority: JP
Inventors: Mamoru Furuta; 守古田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2003-03-10
Filing date: 2003-03-10
Publication date: 2004-09-30

Abstract

<P>PROBLEM TO BE SOLVED: To derive a direction where a recognition object is oriented. <P>SOLUTION: An imaging part 11 acquires images of landscape developing in the vicinity of own vehicle front. An object detection part 12 detects images corresponding to signals and road signs from the landscape images. A three-dimensional image generation part 13 generates three-dimensional images corresponding to the signals and road signs. A normal vector deriving part 14 computes a plane normal vector composed of optional three points existing on the surfaces of the signals and road signs, and derives a representative normal vector indicating the direction where the signals and road signs are oriented on the basis of the computed normal vector. A recognition object selection part 15 computes a direction difference between a traveling direction vector and a representative normal vector, and selects the signals and road signs associated with the own vehicle passage on the basis of the representative normal vector in which the computed direction difference is fit within a predetermined range. An output part 16 displays the contents of the recognition object on a display. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像画像から認識対象物を認識する物体認識装置および物体認識方法に関する。
【０００２】
【従来の技術】
従来、自動車等の移動体にカメラを設置し、このカメラにより撮像された画像に基づいて信号機や交通標識等の認識対象物を認識する技術が提案されている。例えば、特許文献１には、撮像された画像から道路領域を認識し、認識した道路領域に対して予め定められた位置関係にある探索領域内から信号機や道路標識を認識する技術が開示されている。
【０００３】
【特許文献１】
特開平１−２６５４００号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１で開示された技術では、基本的には探索領域内から認識された全ての認識対象物を自車の通行に関係する信号機や道路標識であると判断している。したがって、例えば、２本の道路が鋭角に合流する交差点において、それぞれの道路に対する信号機や道路標識が両方の道路から見えるように設置されている場合には、それらの信号機や道路標識の全てが自車の通行に関係するものであると判断されてしまう。すなわち、信号機や道路標識であることが認識できても、その信号機や道路標識が向いている方向までは認識できないため、それらの信号機や道路標識が自車の通行に関係するものであるかどうかを判断することは困難であった。
【０００５】
そこで、本発明は、上述した課題を解決するために、認識対象物が向いている方向を導出することができる物体認識装置および物体認識方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の物体認識装置は、撮像画像に基づいて対象物の認識を行う物体認識装置であって、対象物を撮像する第１の撮像手段および第２の撮像手段と、第１の撮像手段および第２の撮像手段により撮像された画像に基づいて対象物の平面部の法線を算出する法線算出手段と、法線算出手段により算出された法線に基づいて対象物が向いている方向を導出する方向導出手段とを備えることを特徴とする。
【０００７】
また、本発明の物体認識方法は、撮像画像に基づいて対象物の認識を行う物体認識方法であって、第１の撮像手段および第２の撮像手段により対象物を撮像する撮像工程と、撮像工程において撮像された画像に基づいて対象物の平面部の法線を算出する法線算出工程と、法線算出工程において算出された法線に基づいて対象物が向いている方向を導出する方向導出工程とを備えることを特徴とする。
【０００８】
これらの発明によれば、第１の撮像手段および第２の撮像手段により撮像された画像に基づいて対象物の平面部の法線が算出されるとともに、この算出された法線に基づいて対象物が向いている方向が導出されるため、当該対象物が向いている方向を認識することができる。
【０００９】
本発明の物体認識装置は、撮像画像に基づいて対象物の認識を行う物体認識装置であって、対象物を撮像する撮像手段と、撮像手段により撮像された画像および対象物の特徴を示すデータに基づいて対象物が向いている方向を導出する方向導出手段とを備えることを特徴とする。
【００１０】
また、本発明の物体認識方法は、撮像画像に基づいて対象物の認識を行う物体認識方法であって、対象物を撮像する撮像工程と、撮像工程において撮像された画像および対象物の特徴を示すデータに基づいて前記対象物が向いている方向を導出する方向導出工程とを備えることを特徴とする。
【００１１】
これらの発明によれば、撮像手段により撮像された画像および対象物の特徴を示すデータ（例えば、扁平度、サンプルデータ）に基づいて対象物が向いている方向が導出されるため、当該対象物が向いている方向を認識することができる。
【００１２】
本発明の物体認識装置において、対象物は道路交通に関連する情報表示物体であり、撮像手段の撮像方向と方向導出手段により導出された方向に基づいて、対象物が当該物体認識装置を設置した移動体の通行に関係のある情報表示物体であるか否かを判断する判断手段をさらに備えることが好ましい。
【００１３】
このようにすれば、撮像手段の撮像方向と方向導出手段により導出された方向に基づいて、対象物が当該物体認識装置を設置した移動体の通行に関係のある情報表示物体であるか否かを判断させることができるため、複数の情報表示物体の中から移動体の通行に関係する情報表示物体のみを選択することが可能になる。
【００１４】
【発明の実施の形態】
以下、本発明に係る標識認識装置の各実施形態を図面に基づき説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。
【００１５】
［第１実施形態］
まず、図１を参照して、本発明の第１実施形態における標識認識装置１の機能構成を説明する。図１に示すように、標識認識装置１は、撮像部（撮像手段）１１、対象検出部１２、三次元画像生成部１３、法線ベクトル導出部（法線算出手段，方向導出手段）１４、認識対象物選択部（判断手段）１５および出力部１６を有する。なお、本実施形態における標識認識装置１は、例えば、自動車等の移動体に備え付け可能な装置である。また、標識認識装置１は、信号機や道路標識（道路交通に関連する情報表示物体）を認識した場合に、その信号機の信号灯色や道路標識の内容をディスプレイ上に文字表示する等して交通に関する注意を運転者に促す装置である。以下において、各構成要素について説明する。
【００１６】
撮像部１１は、例えば、ＣＣＤカメラ等の撮像装置を内蔵した装置であり、標識認識装置１が取り付けられた自動車の前方付近に展開する風景を撮像し、画像を取得する。対象検出部１２は、例えば、色抽出およびパターンマッチング等の公知の手法を用いて、撮像された画像から信号機や道路標識に対応する画像を認識対象として検出する。ここで、第１実施形態における標識認識装置１には２台の撮像装置が備えられており、上述した撮像部１１および対象検出部１２は、各撮像装置ごとに対応して備えられている機能である。
【００１７】
三次元画像生成部１３は、例えば、ステレオマッチング等の公知の手法を用いて、二つの対象検出部１２により検出されたそれぞれの信号機や道路標識に対応する画像に基づいて、信号機や道路標識に対応する三次元画像を生成する。
【００１８】
法線ベクトル導出部１４は、信号機や道路標識に対応する三次元画像に基づいて、信号機や道路標識等の認識対象物ごとに法線ベクトル（法線）を算出し、さらに当該認識対象物が向いている方向を導出する。ここで、図２および図３を参照して、認識対象物である道路標識の法線ベクトルを算出し、さらに当該認識対象物が向いている方向を導出する方法について説明する。まず、図２を参照して、道路標識の表面上にある任意の３点により構成される平面（平面部）の法線ベクトルＮ（法線）を算出する方法について説明する。法線ベクトル導出部１４は、図２に示す道路標識の表面上から任意に点Ｐ１，点Ｐ２，点Ｐ３の３点を選択する。なお、点Ｐ１の座標を（ｘ１，ｙ１，ｚ１）とし、点Ｐ２の座標を（ｘ２，ｙ２，ｚ２）とし、点Ｐ３の座標を（ｘ３，ｙ３，ｚ３）とする。法線ベクトル導出部１４は、この３点Ｐ１〜Ｐ３により構成される平面の法線ベクトルＮ（Ｎｘ，Ｎｙ，Ｎｚ）を、以下に記載する式１〜３を用いて算出する。
【００１９】
Ｎｘ＝（ｙ２−ｙ１）（ｚ３−ｚ２）−（ｚ２−ｚ１）（ｙ３−ｙ２）・・・式１
Ｎｙ＝（ｚ２−ｚ１）（ｘ３−ｘ２）−（ｘ２−ｘ１）（ｚ３−ｚ２）・・・式２
Ｎｚ＝（ｘ２−ｘ１）（ｙ３−ｙ２）−（ｙ２−ｙ１）（ｘ３−ｘ２）・・・式３
なお、任意に選択する３点Ｐ１〜Ｐ３は、例えば、各点間の間隔が１０画素以上離れている点を選択した方が好ましい。これは、選択する各点間の間隔が小さくなるほど各点における座標値の検出誤差の影響が大きくなるからである。
【００２０】
次に、図３を参照して、道路標識が向いている方向を示す代表法線ベクトルＮｒを導出する方法について説明する。まず、上述した法線ベクトルＮの算出方法により道路標識の表面上から複数の法線ベクトルＮが算出される。図３（ａ）には、上述した法線ベクトルＮの算出方法により求められた複数の法線ベクトルＮが表示されている。法線ベクトル導出部１４は、これら複数の法線ベクトルＮの平均を求める。これにより、図３（ｂ）に示される代表法線ベクトルＮｒが導出される。
【００２１】
認識対象物選択部１５は、信号機や道路標識等の認識対象物ごとに導出された代表法線ベクトルＮｒおよび標識認識装置１を備え付けた自動車（以下、自車と記載する）の進行方向ベクトルＶｃに基づいて、自車の通行に関係する認識対象物を選択する。なお、自車の進行方向ベクトルＶｃは、自車に備え付けられた標識認識装置１の撮像部１１の撮像方向を示すものであり、各標識認識装置１に固有の値として標識認識装置１のメモリ（不図示）に記憶される。
【００２２】
ここで、図４を参照して、認識対象物選択部１５が、認識対象物を選択する方法について具体的に説明する。認識対象物選択部１５は、図４に示す道路標識の代表法線ベクトルＮｒ１を面Ｍに写像することによりベクトルＮｄ１を導出する。なお、面Ｍは、自車が走行している道路面と平行な面である。また、認識対象物選択部１５は、図４に示す信号機の代表法線ベクトルＮｒ２を面Ｍに写像することによりベクトルＮｄ２を導出する。認識対象物選択部１５は、自車の進行方向ベクトルＶｃにより定まる方向と、ベクトルＮｄ１，Ｎｄ２により定まる方向に基づいて、Ｖｃ−Ｎｄ１間およびＶｃ−Ｎｄ２間の方向差をそれぞれ算出する。具体的に説明すると、図４に示すＶｃ−Ｎｄ１間の角度は“ａ１”であるため、これらの方向差は（１８０−ａ１）度であると算出される。一方、図４に示すＶｃ−Ｎｄ２間の角度は“ａ２”であるため、これらの方向差は（１８０＋ａ２）度であると算出される。
【００２３】
認識対象物選択部１５は、算出した方向差が所定の範囲内に収まるベクトルＮｄ１，Ｎｄ２に対応する認識対象物を、自車の通行に関係する認識対象物として選択する。一方、算出した方向差が所定の範囲内に収まらないベクトルＮｄ１，Ｎｄ２に対応する認識対象物は、自車の通行に関係のない認識対象物として排除される。すなわち、認識対象物選択部１５は、算出した方向差が所定の範囲内に収まるか否かにより、ベクトルＮｄ１，Ｎｄ２に対応する認識対象物が自車の通行に関係する認識対象物であるか否かを判断することとなる。ここで、自車の通行に関係する信号機や道路標識は、それらの正面が自車に向くように設置されていることが多いため、それらが向いている方向と自車の進行方向との方向差は、理想的には１８０度前後になるはずである。しかしながら、信号機や道路標識が設置されている場所や自車が走行する道路上の位置等の相違により、それらの方向差は多少異なるのが現実である。したがって、上述した所定の範囲を、（１８０−Ａ）度以上（１８０＋Ａ）度以下として表す場合には、このＡの値を４５度位に設定しておけば、上述した相違がある場合でも、道路を通行している車のために設置された信号機や道路標識が、自車の通行に関係する信号機や道路標識として認識され得るようになるものと考えられる。ただし、Ａの値を４５度位に限定する必要はなく、Ａの値は、設定により変更可能な値（例えば、３０度、６０度等）とすればよい。つまり、Ａの値を小さく設定するほど、自車の通行に関係する信号機や道路標識が認識対象から除外されやすくなり、一方、Ａの値を大きく設定するほど、自車の通行に関係しない信号機や道路標識が認識対象として選択されやすくなることを考慮してＡの値を設定すればよい。
【００２４】
出力部１６は、認識対象物選択部１５により認識された信号機の信号灯色や道路標識の内容をディスプレイ上に表示させる。なお、出力部１９による出力は、信号灯色や道路標識の内容をディスプレイ上に表示させることには限定されず、例えば、信号灯色や道路標識の内容をスピーカーから音声出力することとしてもよい。
【００２５】
次に、図５を参照して本実施形態における標識認識装置１の動作を説明する。
【００２６】
図５に示すように、まず、標識認識装置１の撮像部１１は、ＣＣＤカメラにより撮像された自車前方付近に展開する風景の画像を取得する（ステップＳ１）。
【００２７】
次に、対象検出部１２は、色抽出およびパターンマッチングを用いて、撮像部１１により取得された画像から信号機や道路標識に対応する画像を検出する（ステップＳ２）。
【００２８】
次に、三次元画像生成部１３は、ステレオマッチングを用いて、各対象検出部１２により検出された信号機や道路標識に対応する画像に基づいて、当該信号機や道路標識に対応する三次元画像を生成する（ステップＳ３）。
【００２９】
次に、法線ベクトル導出部１４は、三次元画像生成部１３により生成された信号機や道路標識に対応する三次元画像の表面上にある任意の３点により構成される平面の法線ベクトルＮを算出するとともに、算出した法線ベクトルＮに基づいて、当該信号機や道路標識が向いている方向を示す代表法線ベクトルＮｒを導出する（ステップＳ４）。
【００３０】
次に、認識対象物選択部１５は、自車の進行方向ベクトルＶｃおよび法線ベクトル導出部１４により導出された代表法線ベクトルＮｒに基づいて、進行方向ベクトルＶｃと代表法線ベクトルＮｒとの間の方向差を算出する（ステップＳ５）。なお、代表法線ベクトルＮｒは、信号機や道路標識ごとに導出される。
【００３１】
次に、認識対象物選択部１５は、算出した方向差が（１８０−Ａ）度以上（１８０＋Ａ）度以下となる代表法線ベクトルＮｒに対応する三次元画像を、自車の通行に関係する信号機や道路標識（認識対象物）として選択する（ステップＳ６）。なお、算出した方向差が（１８０−Ａ）度以上（１８０＋Ａ）度以下とはならない代表法線ベクトルＮｒに対応する三次元画像は、自車の通行に関係のない信号機や道路標識であるとして認識の対象から排除される。
【００３２】
そして、出力部１６は、認識対象物選択部１５により選択された認識対象物が信号機である場合には、その信号機の信号灯色をディスプレイ上に表示させ、認識対象物が道路標識である場合には、その道路標識の内容をディスプレイ上に表示させる（ステップＳ７）。
【００３３】
なお、上述した標識認識装置１の動作では、図５に示すステップＳ２において、対象検出部１２が、撮像部１１により取得された画像から信号機や道路標識に対応する画像を検出した後に、ステップＳ３において、三次元画像生成部１３が、各対象検出部１２により検出された信号機や道路標識に対応する画像に基づいて、当該信号機や道路標識に対応する三次元画像を生成しているが、処理をする順番はこれに限られない。例えば、三次元画像生成部１３が、各撮像部１１により取得された画像に基づいて、ステレオマッチングを用いて三次元画像を生成した後に、対象検出部１２が、三次元画像生成部１３により生成された三次元画像から信号機や道路標識に対応する三次元画像を検出することとしてもよい。
【００３４】
以上のように、本実施形態における標識認識装置１では、法線ベクトル導出部１４が、信号機や道路標識に対応する三次元画像上の任意の３点により構成される平面（平面部）の法線ベクトルＮ（法線）を算出し、この法線ベクトルＮに基づいて信号機や道路標識に対応する三次元画像の法線ベクトルＮｒ（方向）を導出するため、信号機や道路標識が向いている方向を認識することができる。また、認識対象物選択部１５が、法線ベクトル導出部１４により導出された法線ベクトルＮｒと自車の進行方向ベクトルＶｃとに基づいて、それらの方向差が所定の範囲内に収まる法線ベクトルＮｒに対応する信号機や道路標識を自車の通行に関係する信号機や道路標識として選択するため、交差点等に存在する複数の信号機や道路標識の中から自車の通行に関係する信号機や道路標識のみを選択することが可能になる。
【００３５】
［第２実施形態］
次に、本発明の第２実施形態について説明する。まず、図６を参照して第２実施形態における標識認識装置２の機能構成を説明する。図６に示すように、第２実施形態における標識認識装置２は、撮像部（撮像手段）１１および対象検出部１２をそれぞれ一つだけ有している点と、第１実施形態における標識認識装置１が有する三次元画像生成部１３および法線ベクトル導出部１４を有していない点で第１実施形態における標識認識装置１と異なる。ここで、撮像部１１、対象検出部１２および出力部１６の各機能については、第１実施形態における各機能と同様であるので、その説明は省略する。以下において第１実施形態における機能とは異なる認識対象物選択部（方向導出手段，判断手段）２５について説明する。
【００３６】
認識対象物選択部２５は、認識対象として検出された信号機や道路標識に対応する画像に基づいて、認識対象部分の形状を識別する。認識対象部分の形状としては、例えば、信号機の形状、逆三角形の道路標識の形状、丸い道路標識の形状、ひし形の道路標識の形状、四角い道路標識の形状がある。ここで、標識認識装置２のメモリ（不図示）には、予め上述した各形状に対応づけられて、基準となる信号機や道路標識等の幅・高さ・扁平度の各値が記憶されている。扁平度とは、信号機や道路標識等の幅に対する高さの度合いをいう。この扁平度は、認識対象物である信号機や道路標識等の特徴を示すデータである。図７を参照して、逆三角形の道路標識における扁平度について説明する。図７に示すように、例えば、逆三角形の道路標識の幅を“Ｗ０”とし、高さを“Ｈ０”とした場合に、扁平度は“Ｈ０／Ｗ０”と表される。
【００３７】
認識対象物選択部２５は、識別した認識対象部分の形状に対応する扁平度（Ｈ０／Ｗ０）をメモリから読み出す。すなわち、認識対象物選択部２５は、例えば、識別した認識対象部分の形状が逆三角形の道路標識の形状である場合には、逆三角形の道路標識の形状に対応する扁平度（Ｈ０／Ｗ０）をメモリから読み出す。
【００３８】
認識対象物選択部２５は、メモリから読み出した扁平度（Ｈ０／Ｗ０）に加え、認識対象部分の幅（ｗ）および高さ（ｈ）を計測し、これらの値を以下に記載する式４に代入することで、自車の進行方向ベクトルＶｃと信号機や道路標識の正面方向とがなす角Ｂを算出する。
【００３９】
Ｂ＝ＣＯＳ^−１（（Ｈ０×ｗ）／（Ｗ０×ｈ））・・・式４
式４により角Ｂを算出することで、信号機や道路標識が向いている方向が導出される。ここで、図８を参照して、自車の進行方向ベクトルＶｃと道路標識の正面方向とがなす角Ｂについて説明する。図８に示す道路標識は、認識対象部分の形状が逆三角形の道路標識の形状であるとともに、当該認識対象部分の幅が“ｗ”であり、高さが“ｈ”であることを示している。図８に示す角Ｂは、逆三角形の道路標識の扁平度“Ｈ０／Ｗ０”と、認識対象部分の幅“ｗ”および高さ“ｈ”とを変数とした上記式４により求められる。そして、この角Ｂが、図８に示す自車の進行方向ベクトルＶｃと道路標識の正面方向Ｑとがなす角度となる。
【００４０】
認識対象物選択部２５は、算出された角Ｂが所定の角度Ｃ以下となる信号機や道路標識を、自車の通行に関係する信号機や道路標識として選択する。一方、算出された角Ｂが所定の角度Ｃよりも大きくなる信号機や道路標識は、自車の通行に関係のない信号機や道路標識として排除される。すなわち、認識対象物選択部１５は、算出された角Ｂが所定の角度以下になるか否かにより、信号機や道路標識が自車の通行に関係する認識対象物であるか否かを判断することとなる。ここで、角度Ｃの値は、上述した第１実施形態におけるＡの値と同様の理由により、４５度くらいに設定すればよい。ただし、Ｃの値を４５度位に限定する必要がないのは、上述した第１実施形態におけるＡの場合と同様である。
【００４１】
次に、図９を参照して、第２実施形態における標識認識装置２の動作を説明する。なお、図９に示すステップＳ１，Ｓ２およびＳ７の各処理は、第１実施形態において詳述したステップＳ１，Ｓ２およびＳ７の各処理（図５参照）と、それぞれ同様であるので、その説明は省略する。以下において第１実施形態とは異なるステップＳ１１〜Ｓ１３の処理について説明する。
【００４２】
まず、認識対象物選択部２５は、上述したステップＳ２において対象検出部１２により検出された信号機や道路標識に対応する画像に基づいて、認識対象部分の形状を識別する（ステップＳ１１）。
【００４３】
次に、認識対象物選択部２５は、識別した認識対象部分の形状に対応する扁平度“Ｈ０／Ｗ０”をメモリから読み出すとともに、この扁平度と認識対象部分の幅“ｗ”および高さ“ｈ”に基づいて、自車の進行方向ベクトルＶｃと信号機や道路標識の正面方向とがなす角Ｂを、上述した式４を用いて算出する（ステップＳ１２）。
【００４４】
次に、認識対象物選択部２５は、算出した角Ｂが所定の角度Ｃ以下となる信号機や道路標識を、自車の通行に関係する信号機や道路標識（認識対象物）として選択する（ステップＳ１３）。なお、算出した角Ｂが所定の角度Ｃよりも大きくなる信号機や道路標識は、自車の通行に関係のない信号機や道路標識であるとして認識の対象から排除される。
【００４５】
その後、上述したステップＳ７と同様にして認識対象物選択部２５により選択された認識対象物に対応する内容がディスプレイ上に表示される。
【００４６】
以上のように、第２実施形態における標識認識装置２では、撮像部１１により撮像された画像に基づいて信号機や道路標識に対応する画像が検出され、この検出された信号機や道路標識に対応する画像から信号機や道路標識の形状が識別される。そして、この識別された信号機や道路標識の形状に対応する扁平度（対象物の基準となるデータ）に基づいて、自車の進行方向ベクトルＶｃと信号機や道路標識の正面方向Ｑとがなす角Ｂが算出されるため、信号機や道路標識が向いている方向を認識することができる。
【００４７】
また、認識対象物選択部１５が、所定の角度Ｃ以下となる角Ｂに対応する信号機や道路標識を、自車の通行に関係する信号機や道路標識として選択するため、交差点等に存在する複数の信号機や道路標識の中から自車の通行に関係する信号機や道路標識のみを選択することが可能になる。
【００４８】
なお、第２実施形態における認識対象物選択部２５は、信号機や道路標識の形状ごとに記憶された扁平度に基づいて、自車の進行方向ベクトルＶｃと信号機や道路標識の正面方向Ｑとがなす角Ｂを算出しているが、角Ｂを算出する方法は、これに限られない。例えば、信号機や道路標識を様々な角度から撮像したサンプル画像（対象物の特徴を示すデータ）を、信号機や道路標識の形状および撮像した角度（撮像角度）ごとに対応づけて予めメモリに記憶させてもよい。この場合に、認識対象物選択部２５は、対象検出部１２により検出された信号機や道路標識に対応する画像に最も近似するサンプル画像をメモリから選択し、この選択したサンプル画像に対応する撮像角度を、角Ｂとしてメモリから取得すればよい。
【００４９】
これにより、信号機や道路標識に対応する画像に最も近似するサンプル画像に基づいて、自車の進行方向ベクトルＶｃと信号機や道路標識の正面方向とがなす角Ｂがメモリから取得されるため、信号機や道路標識が向いている方向を認識することができる。また、認識対象物選択部１５が、所定の角度Ｃ以下となる角Ｂに対応する信号機や道路標識を、自車の通行に関係する信号機や道路標識として選択するため、交差点等に存在する複数の信号機や道路標識の中から自車の通行に関係する信号機や道路標識のみを選択することが可能になる。
【００５０】
また、本実施形態においては、認識対象物体が信号機や道路標識である場合について説明しているが、これに限られない。例えば、認識対象物体が顔である場合にも適用可能であり、この場合には顔が向いている方向を導出することができる。すなわち、本発明は、面が決められる認識対象物体であれば適用可能であり、その面の向いている方向を導出することができる。
【００５１】
【発明の効果】
本発明に係る物体認識装置および物体認識方法によれば、認識対象物が向いている方向を導出することができる。
【図面の簡単な説明】
【図１】第１実施形態における標識認識装置の機能構成図である。
【図２】法線ベクトルを示した図である。
【図３】（ａ）は、複数の法線ベクトルを示した図であり、（ｂ）は、代表法線ベクトルを示した図である。
【図４】第１実施形態における認識対象物を選択する方法を説明するための図である。
【図５】第１実施形態における標識認識処理を示すフローチャートである。
【図６】第２実施形態における標識認識装置の機能構成図である。
【図７】逆三角形の道路標識における扁平度を説明するための図である。
【図８】自車の進行方向ベクトルと道路標識の正面方向とがなす角を示した図である。
【図９】第２実施形態における標識認識処理を示すフローチャートである。
【符号の説明】
１，２・・・標識認識装置、１１・・・撮像部、１２・・・対象検出部、１３・・・三次元画像生成部、１４・・・法線ベクトル導出部、１５，２５・・・認識対象選択部、１６・・・出力部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an object recognition device and an object recognition method for recognizing a recognition target from a captured image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a technology has been proposed in which a camera is installed on a moving body such as an automobile and a recognition target such as a traffic light or a traffic sign is recognized based on an image captured by the camera. For example, Patent Literature 1 discloses a technique for recognizing a road area from a captured image and recognizing a traffic signal or a road sign from a search area having a predetermined positional relationship with the recognized road area. I have.
[0003]
[Patent Document 1]
JP-A-1-265400
[Problems to be solved by the invention]
However, according to the technology disclosed in Patent Document 1, basically, all the recognition targets recognized from within the search area are determined to be traffic signals and road signs related to the traffic of the own vehicle. Therefore, for example, at an intersection where two roads merge at an acute angle, if the traffic lights and road signs for each road are installed so that they can be seen from both roads, all of those traffic lights and road signs will be self-contained. It is determined that it is related to the traffic of the car. In other words, even if it can be recognized as a traffic light or a road sign, it cannot recognize the direction in which the traffic light or the road sign is facing, so whether the traffic light or the road sign is related to the traffic of the vehicle. It was difficult to judge.
[0005]
Therefore, an object of the present invention is to provide an object recognition device and an object recognition method that can derive a direction in which a recognition target is facing in order to solve the above-described problem.
[0006]
[Means for Solving the Problems]
An object recognition device according to the present invention is an object recognition device that recognizes a target based on a captured image, and includes a first imaging unit and a second imaging unit that capture an image of the target, a first imaging unit, and a first imaging unit. A normal calculating means for calculating a normal of the plane portion of the object based on the image picked up by the second imaging means, and a direction in which the object is oriented based on the normal calculated by the normal calculating means And a direction deriving unit for deriving the direction.
[0007]
Also, the object recognition method of the present invention is an object recognition method for recognizing a target object based on a picked-up image, wherein an image pickup step of picking up the target object by a first image pickup unit and a second image pickup unit; A normal line calculating step of calculating a normal line of a plane portion of the object based on an image captured in the process, and a direction of deriving a direction in which the object is oriented based on the normal line calculated in the normal line calculating step And a deriving step.
[0008]
According to these inventions, the normal of the plane portion of the object is calculated based on the images captured by the first imaging means and the second imaging means, and the target is calculated based on the calculated normal. Since the direction in which the object is facing is derived, the direction in which the object is facing can be recognized.
[0009]
An object recognition device according to the present invention is an object recognition device that recognizes an object based on a captured image, and includes an imaging unit that captures an image of the object, and data that indicates an image captured by the imaging unit and characteristics of the object. And a direction deriving unit that derives the direction in which the object is facing based on the direction.
[0010]
Further, the object recognition method of the present invention is an object recognition method for recognizing an object based on a captured image, and includes an imaging step of imaging the object, and a feature of the image and the object captured in the imaging step. And a direction deriving step of deriving a direction in which the object is directed based on the indicated data.
[0011]
According to these inventions, the direction in which the object is directed is derived based on the image captured by the imaging unit and data (for example, flatness, sample data) indicating characteristics of the object. Can be recognized in the direction in which.
[0012]
In the object recognition device of the present invention, the object is an information display object related to road traffic, and based on the imaging direction of the imaging unit and the direction derived by the direction deriving unit, the object installs the object recognition device. It is preferable to further include a determination unit that determines whether the information display object is related to the traffic of the moving object.
[0013]
According to this configuration, based on the imaging direction of the imaging unit and the direction derived by the direction deriving unit, whether the target object is an information display object related to the passage of the moving object on which the object recognition device is installed is determined. Can be determined, it is possible to select only the information display objects related to the passage of the moving object from the plurality of information display objects.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the sign recognition device according to the present invention will be described with reference to the drawings. In each of the drawings, the same elements will be denoted by the same reference symbols, without redundant description.
[0015]
[First Embodiment]
First, a functional configuration of the sign recognition device 1 according to the first embodiment of the present invention will be described with reference to FIG. As shown in FIG. 1, the sign recognition device 1 includes an imaging unit (imaging unit) 11, an object detection unit 12, a three-dimensional image generation unit 13, a normal vector derivation unit (normal line calculation unit, direction derivation unit) 14, It has a recognition target object selection unit (judgment means) 15 and an output unit 16. The sign recognition device 1 according to the present embodiment is a device that can be mounted on a moving body such as an automobile, for example. In addition, when the traffic sign and the road sign (information display object related to road traffic) are recognized, the sign recognition device 1 displays the traffic light color of the traffic light and the contents of the road sign on a display by text, etc. It is a device that calls attention to the driver. Hereinafter, each component will be described.
[0016]
The imaging unit 11 is, for example, a device having a built-in imaging device such as a CCD camera. The imaging unit 11 captures an image of a landscape developed near the front of an automobile on which the sign recognition device 1 is mounted, and acquires an image. The target detection unit 12 detects, as a recognition target, an image corresponding to a traffic light or a road sign from the captured image using a known method such as color extraction and pattern matching. Here, the sign recognition device 1 according to the first embodiment includes two imaging devices, and the above-described imaging unit 11 and target detection unit 12 are provided for each imaging device. It is.
[0017]
The three-dimensional image generation unit 13 uses, for example, a known method such as stereo matching to generate a traffic signal or a road sign based on the images corresponding to the traffic signals or the road signs detected by the two target detection units 12. Generate a corresponding three-dimensional image.
[0018]
The normal vector deriving unit 14 calculates a normal vector (normal) for each recognition target such as a traffic signal or a traffic sign based on the three-dimensional image corresponding to the traffic signal or the traffic sign. Derive the facing direction. Here, a method of calculating a normal vector of a road sign as a recognition target and deriving a direction in which the recognition target is directed will be described with reference to FIGS. 2 and 3. First, a method for calculating a normal vector N (normal) of a plane (plane) formed by arbitrary three points on the surface of a road sign will be described with reference to FIG. The normal vector deriving unit 14 arbitrarily selects three points P1, P2, and P3 from the surface of the road sign shown in FIG. The coordinates of the point P1 are (x1, y1, z1), the coordinates of the point P2 are (x2, y2, z2), and the coordinates of the point P3 are (x3, y3, z3). The normal vector deriving unit 14 calculates the normal vector N (Nx, Ny, Nz) of the plane formed by the three points P1 to P3 using the following equations 1 to 3.
[0019]
Nx = (y2-y1) (z3-z2)-(z2-z1) (y3-y2) Formula 1
Ny = (z2-z1) (x3-x2)-(x2-x1) (z3-z2) Equation 2
Nz = (x2-x1) (y3-y2)-(y2-y1) (x3-x2) Equation 3
For the three points P1 to P3 arbitrarily selected, for example, it is preferable to select a point having an interval of 10 pixels or more between the points. This is because the influence of the coordinate value detection error at each point increases as the interval between the selected points decreases.
[0020]
Next, a method for deriving the representative normal vector Nr indicating the direction in which the road sign is facing will be described with reference to FIG. First, a plurality of normal vectors N are calculated from the surface of the road sign by the above-described method of calculating the normal vector N. FIG. 3A shows a plurality of normal vectors N obtained by the method of calculating the normal vector N described above. The normal vector deriving unit 14 calculates an average of the plurality of normal vectors N. Thereby, the representative normal vector Nr shown in FIG. 3B is derived.
[0021]
The recognition target object selection unit 15 includes a representative normal vector Nr derived for each recognition target object such as a traffic light and a road sign, and a traveling direction vector Vc of an automobile equipped with the sign recognition device 1 (hereinafter, referred to as own vehicle). Is selected based on the recognition target object related to the traffic of the own vehicle. Note that the traveling direction vector Vc of the own vehicle indicates the imaging direction of the imaging unit 11 of the sign recognition device 1 provided in the own vehicle, and is stored in the memory of the sign recognition device 1 as a value unique to each sign recognition device 1. (Not shown).
[0022]
Here, a method in which the recognition target object selecting unit 15 selects the recognition target object will be specifically described with reference to FIG. The recognition target selecting unit 15 derives the vector Nd1 by mapping the representative normal vector Nr1 of the road sign shown in FIG. The plane M is a plane parallel to the road surface on which the vehicle is traveling. In addition, the recognition target object selecting unit 15 derives the vector Nd2 by mapping the representative normal vector Nr2 of the traffic light illustrated in FIG. The recognition target selecting unit 15 calculates the direction difference between Vc-Nd1 and the direction difference between Vc-Nd2 based on the direction determined by the traveling direction vector Vc of the vehicle and the direction determined by the vectors Nd1 and Nd2. More specifically, since the angle between Vc and Nd1 shown in FIG. 4 is “a1”, these direction differences are calculated to be (180−a1) degrees. On the other hand, since the angle between Vc and Nd2 shown in FIG. 4 is “a2”, these direction differences are calculated to be (180 + a2) degrees.
[0023]
The recognition target object selection unit 15 selects a recognition target object corresponding to the vectors Nd1 and Nd2 in which the calculated direction difference falls within a predetermined range as a recognition target object related to the traffic of the own vehicle. On the other hand, recognition targets corresponding to the vectors Nd1 and Nd2 whose calculated direction differences do not fall within the predetermined range are excluded as recognition targets irrelevant to the traffic of the vehicle. That is, the recognition target selecting unit 15 determines whether the recognition target corresponding to the vectors Nd1 and Nd2 is a recognition target related to the traffic of the own vehicle based on whether the calculated direction difference falls within a predetermined range. It will be determined whether or not. Here, the traffic signals and road signs related to the traffic of the own vehicle are often installed so that their front faces the own vehicle. The difference should ideally be around 180 degrees. However, due to differences in places where traffic signals and road signs are installed, positions on the road where the vehicle travels, and the like, it is a reality that the direction difference between them is slightly different. Therefore, when the above-described predetermined range is expressed as (180-A) degrees or more and (180 + A) degrees or less, setting the value of A to about 45 degrees allows the above-described difference to be obtained even if there is a difference described above. It is considered that a traffic signal or a traffic sign installed for a car traveling on a road can be recognized as a traffic signal or a traffic sign related to the traffic of the own vehicle. However, it is not necessary to limit the value of A to about 45 degrees, and the value of A may be a value that can be changed by setting (for example, 30 degrees, 60 degrees, etc.). In other words, as the value of A is set smaller, traffic signals and road signs related to the traffic of the own vehicle are more likely to be excluded from the recognition target. On the other hand, as the value of A is set larger, the traffic signals that are not related to the traffic of the own vehicle are The value of A may be set in consideration of the fact that road signs and road signs are likely to be selected as recognition targets.
[0024]
The output unit 16 displays the signal light color of the traffic signal and the content of the road sign recognized by the recognition target object selecting unit 15 on the display. Note that the output by the output unit 19 is not limited to displaying the signal light color and the contents of the road sign on the display. For example, the signal light color and the contents of the road sign may be output as sound from a speaker.
[0025]
Next, the operation of the sign recognition device 1 in the present embodiment will be described with reference to FIG.
[0026]
As shown in FIG. 5, first, the imaging unit 11 of the sign recognition device 1 acquires an image of a landscape developed near the front of the own vehicle, which is captured by the CCD camera (step S1).
[0027]
Next, the target detection unit 12 detects an image corresponding to a traffic signal or a road sign from the image acquired by the imaging unit 11 using color extraction and pattern matching (Step S2).
[0028]
Next, the three-dimensional image generation unit 13 uses stereo matching to generate a three-dimensional image corresponding to the traffic signal or the road sign based on the image corresponding to the traffic signal or the road sign detected by each target detection unit 12. It is generated (step S3).
[0029]
Next, the normal vector deriving unit 14 generates a normal vector N of a plane formed by arbitrary three points on the surface of the three-dimensional image corresponding to the traffic light and the road sign generated by the three-dimensional image generating unit 13. Is calculated, and a representative normal vector Nr indicating the direction of the traffic signal or the road sign is derived based on the calculated normal vector N (step S4).
[0030]
Next, based on the traveling direction vector Vc of the own vehicle and the representative normal vector Nr derived by the normal vector deriving unit 14, the recognition target object selecting unit 15 calculates the traveling direction vector Vc and the representative normal vector Nr. The direction difference between them is calculated (step S5). Note that the representative normal vector Nr is derived for each traffic light and each road sign.
[0031]
Next, the recognition target object selecting unit 15 relates the three-dimensional image corresponding to the representative normal vector Nr whose calculated direction difference is equal to or more than (180−A) degrees and equal to or less than (180 + A) degrees in relation to the traffic of the own vehicle. It is selected as a traffic light or a road sign (recognition target) (step S6). It is assumed that the three-dimensional image corresponding to the representative normal vector Nr whose calculated direction difference is not more than (180−A) degrees and not more than (180 + A) degrees is a traffic signal or a road sign not related to the traffic of the own vehicle. Excluded from recognition.
[0032]
When the recognition target object selected by the recognition target object selection unit 15 is a traffic light, the output unit 16 displays the signal light color of the traffic light on a display. When the recognition target object is a road sign, Displays the contents of the road sign on the display (step S7).
[0033]
In the operation of the sign recognition device 1 described above, in step S2 shown in FIG. 5, after the target detection unit 12 detects an image corresponding to a traffic signal or a road sign from the image acquired by the imaging unit 11, the process proceeds to step S3. In the above, the three-dimensional image generation unit 13 generates a three-dimensional image corresponding to the traffic signal and the road sign based on the image corresponding to the traffic signal and the road sign detected by each target detection unit 12. The order of performing is not limited to this. For example, after the three-dimensional image generation unit 13 generates a three-dimensional image using stereo matching based on the image acquired by each imaging unit 11, the target detection unit 12 generates the three-dimensional image using the three-dimensional image generation unit 13. A three-dimensional image corresponding to a traffic light or a road sign may be detected from the obtained three-dimensional image.
[0034]
As described above, in the sign recognition device 1 according to the present embodiment, the normal vector deriving unit 14 determines the method of a plane (plane part) formed by arbitrary three points on a three-dimensional image corresponding to a traffic light or a road sign. The traffic light and the road sign are suitable for calculating the line vector N (normal) and deriving the normal vector Nr (direction) of the three-dimensional image corresponding to the traffic light and the traffic sign based on the normal vector N. The direction can be recognized. Further, based on the normal vector Nr derived by the normal vector deriving unit 14 and the traveling direction vector Vc of the host vehicle, the recognition target object selecting unit 15 sets a normal whose difference in direction falls within a predetermined range. In order to select a traffic signal or a road sign corresponding to the vector Nr as a traffic signal or a road sign related to the traffic of the own vehicle, a traffic signal or a road related to the traffic of the own vehicle is selected from a plurality of traffic signals and road signs existing at an intersection or the like. Only the sign can be selected.
[0035]
[Second embodiment]
Next, a second embodiment of the present invention will be described. First, the functional configuration of the sign recognition device 2 according to the second embodiment will be described with reference to FIG. As shown in FIG. 6, the sign recognition device 2 according to the second embodiment has only one imaging unit (image pickup unit) 11 and one target detection unit 12, and the sign recognition device 2 according to the first embodiment. The sign recognition device 1 according to the first embodiment is different from the sign recognition device 1 according to the first embodiment in that the sign recognition device 1 does not include the three-dimensional image generation unit 13 and the normal vector derivation unit 14. Here, the functions of the imaging unit 11, the target detection unit 12, and the output unit 16 are the same as those in the first embodiment, and thus description thereof will be omitted. Hereinafter, a recognition target object selection unit (direction derivation unit, determination unit) 25 having a function different from that of the first embodiment will be described.
[0036]
The recognition target object selecting unit 25 identifies the shape of the recognition target portion based on an image corresponding to a traffic signal or a road sign detected as a recognition target. Examples of the shape of the recognition target portion include a traffic light shape, an inverted triangular road sign shape, a round road sign shape, a diamond-shaped road sign shape, and a square road sign shape. Here, in a memory (not shown) of the sign recognition device 2, respective values of the width, height, and flatness of a reference traffic light, a road sign, and the like are stored in advance in association with each of the shapes described above. I have. Flatness refers to the degree of height relative to the width of traffic lights, road signs, and the like. The flatness is data indicating characteristics such as a traffic signal and a road sign, which are objects to be recognized. The flatness of an inverted triangular road sign will be described with reference to FIG. As shown in FIG. 7, for example, when the width of an inverted triangular road sign is “W0” and the height is “H0”, the flatness is expressed as “H0 / W0”.
[0037]
The recognition target object selection unit 25 reads the flatness (H0 / W0) corresponding to the shape of the recognized recognition target portion from the memory. That is, for example, when the shape of the identified recognition target portion is the shape of an inverted triangular road sign, the recognition target object selecting unit 25 determines the flatness (H0 / W0) corresponding to the shape of the inverted triangular road sign. Is read from the memory.
[0038]
The recognition target object selection unit 25 measures the width (w) and the height (h) of the recognition target portion in addition to the flatness (H0 / W0) read from the memory, and calculates these values in Equation 4 below. To calculate the angle B between the traveling direction vector Vc of the vehicle and the front direction of the traffic light or the road sign.
[0039]
B = COS ⁻¹ ((H0 × w) / (W0 × h)) Equation 4
By calculating the angle B using Equation 4, the direction in which the traffic light and the road sign are facing is derived. Here, the angle B between the traveling direction vector Vc of the vehicle and the front direction of the road sign will be described with reference to FIG. The road sign shown in FIG. 8 indicates that the shape of the recognition target portion is the shape of an inverted triangular road sign, and that the width of the recognition target portion is “w” and the height is “h”. I have. The angle B shown in FIG. 8 is obtained by the above equation 4 using the flatness “H0 / W0” of the inverted triangular road sign and the width “w” and the height “h” of the recognition target portion as variables. The angle B is an angle between the traveling direction vector Vc of the own vehicle and the front direction Q of the road sign shown in FIG.
[0040]
The recognition target object selecting unit 25 selects a traffic signal or a road sign whose calculated angle B is equal to or smaller than the predetermined angle C as a traffic signal or a road sign related to the traffic of the own vehicle. On the other hand, a traffic signal or a road sign in which the calculated angle B is larger than the predetermined angle C is excluded as a traffic signal or a road sign irrelevant to the traffic of the own vehicle. That is, the recognition target object selection unit 15 determines whether the traffic signal or the road sign is a recognition target object related to the traffic of the own vehicle, based on whether the calculated angle B is equal to or smaller than the predetermined angle. It will be. Here, the value of the angle C may be set to about 45 degrees for the same reason as the value of A in the above-described first embodiment. However, it is not necessary to limit the value of C to about 45 degrees as in the case of A in the above-described first embodiment.
[0041]
Next, the operation of the sign recognition device 2 in the second embodiment will be described with reference to FIG. Note that the processes in steps S1, S2, and S7 shown in FIG. 9 are the same as the processes in steps S1, S2, and S7 (see FIG. 5) described in detail in the first embodiment. Omitted. Hereinafter, processing of steps S11 to S13 different from the first embodiment will be described.
[0042]
First, the recognition target object selection unit 25 identifies the shape of the recognition target part based on the image corresponding to the traffic signal or the road sign detected by the target detection unit 12 in step S2 described above (step S11).
[0043]
Next, the recognition target object selection unit 25 reads out the flatness “H0 / W0” corresponding to the shape of the recognized recognition target portion from the memory, and reads the flatness and the width “w” and the height “ Based on h ″, the angle B between the traveling direction vector Vc of the own vehicle and the front direction of the traffic light or the road sign is calculated by using the above-described equation 4 (step S12).
[0044]
Next, the recognition target object selection unit 25 selects a traffic signal or a road sign whose calculated angle B is equal to or smaller than the predetermined angle C as a traffic signal or a road sign (recognition target) related to the traffic of the own vehicle (step). S13). In addition, a traffic signal or a road sign in which the calculated angle B is larger than the predetermined angle C is excluded from a recognition target as a traffic signal or a road sign irrelevant to the traffic of the own vehicle.
[0045]
Then, the content corresponding to the recognition target object selected by the recognition target object selection unit 25 is displayed on the display in the same manner as in step S7 described above.
[0046]
As described above, in the sign recognition device 2 according to the second embodiment, an image corresponding to a traffic signal or a road sign is detected based on the image captured by the imaging unit 11, and the image corresponding to the detected traffic signal or road sign is detected. The shapes of traffic lights and road signs are identified from the image. Then, based on the flatness (data serving as a reference for the object) corresponding to the shape of the identified traffic light or traffic sign, the angle formed by the traveling direction vector Vc of the own vehicle and the front direction Q of the traffic light or traffic sign. Since B is calculated, it is possible to recognize the direction in which the traffic light and the road sign are facing.
[0047]
In addition, since the recognition target object selection unit 15 selects a traffic signal or a road sign corresponding to the angle B that is equal to or less than the predetermined angle C as a traffic signal or a road sign related to the traffic of the own vehicle, a plurality of traffic signals or road signs existing at an intersection or the like are provided. It is possible to select only traffic signals and traffic signs related to the traffic of the vehicle from among the traffic lights and traffic signs.
[0048]
In addition, the recognition target object selection unit 25 in the second embodiment determines the traveling direction vector Vc of the own vehicle and the front direction Q of the traffic light or the road sign based on the flatness stored for each shape of the traffic light or the road sign. Although the angle B is calculated, the method of calculating the angle B is not limited to this. For example, sample images (data indicating characteristics of an object) obtained by imaging a traffic signal or a road sign from various angles are stored in a memory in advance in association with the shape of the traffic signal or the road sign and the angle at which the image was taken (imaging angle). You may. In this case, the recognition target object selection unit 25 selects a sample image closest to the image corresponding to the traffic signal or the road sign detected by the target detection unit 12 from the memory, and selects an imaging angle corresponding to the selected sample image. May be obtained from the memory as the angle B.
[0049]
Thereby, the angle B between the traveling direction vector Vc of the own vehicle and the front direction of the traffic light or the traffic sign is obtained from the memory based on the sample image closest to the image corresponding to the traffic light or the traffic sign. And the direction of the road sign can be recognized. In addition, since the recognition target object selection unit 15 selects a traffic signal or a road sign corresponding to the angle B that is equal to or less than the predetermined angle C as a traffic signal or a road sign related to the traffic of the own vehicle, a plurality of traffic signals or road signs existing at an intersection or the like are provided. It is possible to select only traffic signals and traffic signs related to the traffic of the vehicle from among the traffic lights and traffic signs.
[0050]
In the present embodiment, the case where the recognition target object is a traffic light or a road sign is described, but the present invention is not limited to this. For example, the present invention can be applied to a case where the recognition target object is a face. In this case, the direction in which the face faces can be derived. That is, the present invention is applicable to any recognition target object whose plane is determined, and can derive the direction in which the plane is facing.
[0051]
【The invention's effect】
According to the object recognition device and the object recognition method according to the present invention, it is possible to derive the direction in which the recognition target is facing.
[Brief description of the drawings]
FIG. 1 is a functional configuration diagram of a sign recognition device according to a first embodiment.
FIG. 2 is a diagram showing a normal vector.
FIG. 3A is a diagram illustrating a plurality of normal vectors, and FIG. 3B is a diagram illustrating a representative normal vector.
FIG. 4 is a diagram for explaining a method of selecting a recognition target in the first embodiment.
FIG. 5 is a flowchart illustrating a sign recognition process according to the first embodiment.
FIG. 6 is a functional configuration diagram of a sign recognition device according to a second embodiment.
FIG. 7 is a diagram for explaining flatness of an inverted triangular road sign.
FIG. 8 is a diagram illustrating an angle between a traveling direction vector of the own vehicle and a front direction of a road sign.
FIG. 9 is a flowchart illustrating a sign recognition process according to the second embodiment.
[Explanation of symbols]
1, 2 ... sign recognition device, 11 ... imaging unit, 12 ... target detection unit, 13 ... three-dimensional image generation unit, 14 ... normal vector derivation unit, 15, 25 ... A recognition target selection unit, 16 ... an output unit;

Claims

An object recognition device that recognizes an object based on a captured image,
A first imaging unit and a second imaging unit for imaging the object,
A normal line calculating unit that calculates a normal line of a plane portion of the object based on the images picked up by the first image pickup unit and the second image pickup unit;
An object recognizing device, comprising: a direction deriving unit that derives a direction in which the object is directed based on the normal line calculated by the normal line calculating unit.

An object recognition device that recognizes an object based on a captured image,
Imaging means for imaging the object;
An object recognition device, comprising: a direction deriving unit that derives a direction in which the object is directed based on an image captured by the image capturing unit and data indicating characteristics of the object.

The object is an information display object related to road traffic,
Based on the imaging direction of the imaging unit and the direction derived by the direction deriving unit, it is determined whether or not the target object is an information display object related to the passage of a moving object on which the object recognition device is installed. The object recognition device according to claim 1, further comprising a determination unit.

An object recognition method for recognizing a target object based on a captured image,
An imaging step of imaging the object by a first imaging unit and a second imaging unit;
A normal line calculating step of calculating a normal line of a plane portion of the object based on the image captured in the image capturing step;
A direction deriving step of deriving a direction in which the object is directed based on the normal line calculated in the normal line calculating step.

An object recognition method for recognizing a target object based on a captured image,
An imaging step of imaging the object;
An object recognizing method, comprising: a direction deriving step of deriving a direction in which the object is directed based on the image captured in the image capturing step and data indicating characteristics of the object.