JP2017130155A - Object recognition device and object recognition method - Google Patents
Object recognition device and object recognition method Download PDFInfo
- Publication number
- JP2017130155A JP2017130155A JP2016010994A JP2016010994A JP2017130155A JP 2017130155 A JP2017130155 A JP 2017130155A JP 2016010994 A JP2016010994 A JP 2016010994A JP 2016010994 A JP2016010994 A JP 2016010994A JP 2017130155 A JP2017130155 A JP 2017130155A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- image
- unit
- vehicle
- road sign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 description 18
- 238000000926 separation method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 235000021438 curry Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Abstract
Description
本発明は、物体認識装置および物体認識方法に関する。 The present invention relates to an object recognition device and an object recognition method.
従来、車両に設けられたカメラによって撮像された画像から物体を認識する物体認識装置がある。この種の装置として、複数種類の認識対象物の画像パターンを予め記憶しておき、画像全体からかかる画像パターンと類似する領域を探索することで認識対象物の種類を認識する装置がある(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, there is an object recognition device that recognizes an object from an image captured by a camera provided in a vehicle. As this type of apparatus, there is an apparatus that stores in advance image patterns of a plurality of types of recognition objects and recognizes the type of the recognition object by searching a region similar to the image pattern from the entire image (for example, , See Patent Document 1).
しかしながら、画像全体に対して認識対象物の種類毎に認識処理を実行する場合、処理量が嵩むことがある。 However, when the recognition process is executed for each type of recognition object on the entire image, the processing amount may increase.
本発明は、上記に鑑みてなされたものであって、認識対象物の種類を効率的に認識することができる物体認識装置および物体認識方法を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an object recognition apparatus and an object recognition method capable of efficiently recognizing the type of recognition object.
上述した課題を解決し、目的を達成するために、本発明に係る物体認識装置は、領域抽出部と、認識部とを備える。領域抽出部は、車両に設けられた撮像装置によって撮像された画像から認識対象物の形状が存在する対象領域を抽出する。認識部は、画像の領域全体のうち、領域抽出部によって抽出された対象領域に対して選択的に認識対象物の認識処理を実行する。 In order to solve the above-described problems and achieve the object, an object recognition apparatus according to the present invention includes a region extraction unit and a recognition unit. The region extraction unit extracts a target region where the shape of the recognition target object exists from an image captured by an imaging device provided in the vehicle. The recognizing unit selectively performs a recognition target object recognition process on the target region extracted by the region extracting unit in the entire image region.
本発明によれば、認識対象物を効率的に認識することができる。 According to the present invention, a recognition object can be recognized efficiently.
以下、添付図面を参照して、本願の開示する物体認識装置および物体認識方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。 Hereinafter, embodiments of an object recognition device and an object recognition method disclosed in the present application will be described in detail with reference to the accompanying drawings. In addition, this invention is not limited by embodiment shown below.
実施形態に係る物体認識方法は、車両に設けられた撮像装置によって車両の前方を撮像した画像から認識対象物の形状を認識し、かかる形状が存在する領域に対して選択的に認識対象物の種類を認識するものである。 The object recognition method according to the embodiment recognizes the shape of a recognition target object from an image obtained by imaging the front of the vehicle with an imaging device provided in the vehicle, and selectively recognizes the recognition target object with respect to a region where the shape exists. It recognizes the type.
なお、認識対象物の認識は、車両前方を撮像した画像に限定されるものではなく、車両の後方や側方を撮像した画像から認識してもよい。また、撮像装置は、例えば、ドライブレコーダが備えるカメラ、スマートフォン等のモバイル機器に搭載されたカメラモジュール、デジタルカメラ等である。 Note that recognition of the recognition target is not limited to an image obtained by imaging the front of the vehicle, and may be recognized from an image obtained by imaging the rear or side of the vehicle. The imaging device is, for example, a camera included in a drive recorder, a camera module mounted on a mobile device such as a smartphone, a digital camera, or the like.
また、認識対象物は、所定形状の静止物体であり、上述の道路標識の他には、例えば、飲食店等の看板等を含む。また、物体認識装置が搭載される車両は、例えば、自家乗用車やタクシー等の自動車、バイク、バス、トラック等である。 The recognition target object is a stationary object having a predetermined shape, and includes, for example, a signboard such as a restaurant in addition to the road sign described above. Further, the vehicle on which the object recognition device is mounted is, for example, an automobile such as a private car or a taxi, a motorcycle, a bus, a truck, or the like.
以下では、まず、図1を参照して、撮像装置によって撮像された画像から一般的な手法で物体を認識する装置(以下、一般的な装置と記載)による物体認識方法について説明した後、図2を参照して、実施形態に係る物体認識方法について説明する。図1は、一般的な装置による物体認識方法を示す説明図である。図2は、実施形態に係る物体認識方法を示す説明図である。 In the following, referring to FIG. 1, first, an object recognition method by an apparatus (hereinafter referred to as a general apparatus) for recognizing an object from an image captured by an imaging apparatus by a general method will be described. The object recognition method according to the embodiment will be described with reference to FIG. FIG. 1 is an explanatory diagram illustrating an object recognition method using a general apparatus. FIG. 2 is an explanatory diagram illustrating an object recognition method according to the embodiment.
なお、図1では、一般的な装置が、図1に(a)で示す、カメラによって撮像された車両前方の画像Pに含まれる40km速度制限Mを認識する場合について説明する。また、一般的な装置は、図1に(b)〜(d)で示す、進入禁止100、30km速度制限101、40km速度制限102の画像パターンを記憶しているものとする。
FIG. 1 illustrates a case where a general apparatus recognizes a 40 km speed limit M included in an image P in front of the vehicle imaged by the camera shown in FIG. Further, it is assumed that the general apparatus stores the image patterns of the
図1に(a)で示すように、一般的な装置は、まず、車両に設けられたカメラから車両前方を撮像した画像Pを取得する。続いて、例えば、パターンマッチングによって、画像P内から記憶した画像パターンと同じ道路標識が存在するかを探索する。 As shown in FIG. 1A, a general apparatus first acquires an image P obtained by imaging the front of a vehicle from a camera provided in the vehicle. Subsequently, for example, by pattern matching, it is searched whether the same road sign as the image pattern stored from the image P exists.
具体的には、図1に(b)で示すように、進入禁止100の画像パターンを使用して、画像全体(ハッチングされた領域)から、進入禁止の道路標識を探索する。そして、進入禁止100の画像パターンが発見されない場合、画像P内に進入禁止の道路標識は存在しないと判定する。
Specifically, as shown in FIG. 1B, the road sign prohibiting entry is searched from the entire image (hatched area) using the image pattern of
続いて、図1に(c)で示すように、30km速度制限101の画像パターンを使用して、同様に画像全体から、30km速度制限の道路標識を探索する。そして、30km速度制限101の画像パターンが発見されない場合、画像Pに30km速度制限の道路標識は存在しないと判定する。
Subsequently, as shown by (c) in FIG. 1, a 30 km speed limit road sign is similarly searched from the entire image using the image pattern of the 30
続いて、図1に(d)で示すように、40km速度制限102の画像パターンを使用して、同様に画像全体から、40km速度制限Mの道路標識が存在するかを探索する。そして、40km速度制限102の画像パターンを発見した場合、画像Pに40km速度制限Mの道路標識が存在すると判定する。
Subsequently, as shown in FIG. 1D, by using the image pattern of the 40
このように、一般的な装置による物体認識方法では、40km速度制限Mの道路標識を認識するまで、繰り返し画像全体を探索範囲としなければならず、処理量(ハッチングされた領域)が嵩むことがあった。 As described above, in the object recognition method using a general device, the entire image must be made the search range repeatedly until a road sign with a speed limit of 40 km is recognized, and the processing amount (hatched area) may increase. there were.
そこで、図2に示すように、実施形態に係る物体認識方法では、まず、カメラから取得した画像Pから40km速度制限Mの外形である円形24が存在する領域を抽出することとする。そして、抽出した領域に対してのみ道路標識の種類を認識する認識処理を実行する。
Therefore, as shown in FIG. 2, in the object recognition method according to the embodiment, first, an area in which the
なお、物体認識方法を実行する物体認識装置は、図2に(a)〜(d)で示すように、円形24、進入禁止100a、30km速度制限101aおよび40km速度制限102aを記憶しているものとする。
The object recognition apparatus that executes the object recognition method stores a
また、円形24とは、進入禁止100、30km速度制限101および40km速度制限102(図1の(b)〜(d)参照)に共通する外形である。また、進入禁止100a、30km速度制限101aおよび40km速度制限102aは、進入禁止100、30km速度制限101および40km速度制限102から外形である円形24の周辺部分を除いた画像パターンである。
Further, the
以下から、実施形態に係る物体認識方法について具体的に説明する。図2に(a)で示すように、物体認識装置は、カメラから画像Pを取得すると、まず、円形24の画像パターンを使用して、画像P全体(ハッチングされた領域)から円形を探索する。
The object recognition method according to the embodiment will be specifically described below. As shown in FIG. 2A, when the object recognition apparatus acquires the image P from the camera, the object recognition device first searches for a circle from the entire image P (hatched area) using the image pattern of the
そして、図2に(b)で示すように、物体認識装置は、円形24の画像パターンを発見した場合、円形が存在する領域を対象領域31として抽出する。対象領域31とは、道路標識の種類を探索する対象となる範囲のことである。
Then, as shown in FIG. 2B, when the object recognition device finds an image pattern of a
続いて、図2に(b)で示すように、進入禁止100aの画像パターンを使用して、抽出された対象領域31のみから、進入禁止の道路標識を探索する。そして、進入禁止100aの画像パターンが発見されない場合、画像Pに進入禁止の道路標識が存在しないと判定する。
Subsequently, as shown in FIG. 2B, an entry prohibition road sign is searched only from the extracted
続いて、図2に(c)で示すように、30km速度制限101aの画像パターンを使用して、同様に対象領域31のみから、30km速度制限の道路標識を探索する。そして、30km速度制限101aの画像パターンが発見されない場合、画像Pに30km速度制限の道路標識が存在しないと判定する。
Subsequently, as shown in FIG. 2 (c), a 30 km speed limit road sign is similarly searched from only the
そして、図2に(d)で示すように、40km速度制限102aの画像パターンを使用して、同様に対象領域31のみから、40km速度制限Mの道路標識を探索する。そして、40km速度制限102aの画像パターンを発見した場合、画像Pに40km速度制限Mの道路標識が存在すると判定する。
Then, as shown by (d) in FIG. 2, a 40 km speed limit M road sign is similarly searched from only the
つまり、物体認識装置は、画像全体から円形24が存在する対象領域31を抽出することによって、対象領域31を集中的に探索することができるため、道路標識の種類を効率的に認識することができる。
That is, the object recognition apparatus can intensively search the
なお、道路標識の形状および種類の認識は、画像パターンを用いたパターンマッチングに限定されるものではなく、例えば、道路標識の画像を機械学習することで作成される辞書情報を用いて道路標識の形状および種類を認識してもよい。以下では、かかる機械学習を用いた物体認識装置について説明することとする。 The recognition of the shape and type of the road sign is not limited to pattern matching using an image pattern. For example, the road sign can be recognized using dictionary information created by machine learning of the road sign image. The shape and type may be recognized. Hereinafter, an object recognition apparatus using such machine learning will be described.
次に、図3を参照して、実施形態に係る物体認識装置について説明する。図3は、実施形態に係る物体認識装置1の構成を示すブロック図である。図3に示すように、物体認識装置1は、カメラ2と、走行状態検出装置3と、車載装置4とに接続される。
Next, the object recognition apparatus according to the embodiment will be described with reference to FIG. FIG. 3 is a block diagram illustrating a configuration of the
カメラ2は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を備える撮像装置であり、自車の前方を撮像する位置に設置される。そして、カメラ2によって撮像された画像は、物体認識装置1へ出力される。
The
走行状態検出装置3は、例えば、車速センサや、ナビゲーション装置であり、車両の走行状態を検出する。車速センサは、車両の車速パルス信号を計測することで車両の走行速度を検出し、かかる走行速度を示す車速情報として物体認識装置1へ出力する。
The traveling
また、ナビゲーション装置は、電子地図データである地図情報およびGPS(Global Positioning System)衛星から受信した車両の位置情報を物体認識装置1へ出力する。
In addition, the navigation device outputs map information as electronic map data and vehicle position information received from a GPS (Global Positioning System) satellite to the
車載装置4は、例えば、カメラ2によって撮像された画像を表示する車載のディスプレイであり、カメラ2の画像に物体認識装置1が認識した道路標識を囲む枠画像を重畳させて強調表示することができる。なお、車載装置4は、ディスプレイに限定されず、例えば、ドライブレコーダであってもよい。
The in-
車載装置4がドライブレコーダの場合、ドライブレコーダが備えるカメラによって撮像された画像を記録する際に、物体認識装置1が認識した道路標識の位置や種類を関連付けて記録する。
When the in-
実施形態に係る物体認識装置1は、制御部10と、記憶部20とを備える。まず、記憶部20について説明する。記憶部20は、不揮発性メモリやハードディスクドライブといった記憶デバイスで構成される記憶部であり、優先順位情報21、辞書情報22を記憶する。
The
優先順位情報21は、道路標識の種類の認識順序の優先順位に関する情報であり、後述する順序設定部14によって、優先順位情報21の中から車両の走行状態に応じて認識順序の優先順位が決定される。
The
辞書情報22は、画像Pに写る物体が道路標識か否かを判定する基準となる情報であり、道路標識の形状を判定する基準となる形状情報22a、道路標識の種類を判定する基準となる種類情報22bを含む情報である。
The
また、形状情報22aおよび種類情報22bは、機械学習によって予め作成されて記憶部20に記憶される。ここで、形状情報22aおよび種類情報22bの作成手順について、簡単に説明する。
Further, the
まず、形状情報22aを作成する場合、所定形状(例えば、円形)の道路標識の画像と所定形状以外の物体の画像とを学習データとしてそれぞれ所定数(例えば、数100〜数1000枚の画像)準備する。準備する画像のサイズは、例えば、36ピクセル×36ピクセルのサイズに統一する。
First, when the
続いて、準備した各画像から、例えば、HOG(Histgram of Oriented Gradient)特徴量を抽出する。そして、上述の準備した画像を、抽出したHOG特徴量に基づいて、2次元平面上にプロットする。 Subsequently, for example, an HOG (Histgram of Oriented Gradient) feature amount is extracted from each prepared image. Then, the prepared image is plotted on a two-dimensional plane based on the extracted HOG feature amount.
続いて、例えば、SVM(Support Vector Machine)等の識別器によって、2次元平面上における所定形状の道路標識の画像と所定形状以外の物体の画像とを分離する分離線を生成する。 Subsequently, a separation line that separates an image of a road sign having a predetermined shape and an image of an object other than the predetermined shape on a two-dimensional plane is generated by a discriminator such as SVM (Support Vector Machine).
そして、かかる2次元平面の座標軸および識別器によって生成された分離線の情報が、画像Pに含まれる画像が所定形状の道路標識か否かの判定基準として使用される形状情報22aとなる。なお、準備した画像から抽出する特徴量は、HOG特徴量に限定されず、例えば、SIFT(Scale Invariant Feature Transform)特徴量であってもよい。また、用いる識別器は、SVMに限定されず、例えば、アダブースト(AdaBoost)等の識別器であってもよい。
Then, information on the coordinate axes of the two-dimensional plane and the separation line generated by the discriminator becomes the
また、種類情報22bを作成する場合、所定種類の道路標識の画像(例えば、40km速度制限)と、かかる種類の道路標識以外の画像とを学習データとしてそれぞれ所定数(例えば、数100〜数1000枚の画像)準備する。 Further, when creating the type information 22b, a predetermined number of road sign images (for example, 40 km speed limit) and an image other than this type of road sign are used as learning data, for example, respectively. Prepare images).
なお、準備した画像から抽出する特徴量および2次元平面を分離する線を生成する識別器は、上述の形状情報22aを生成する場合と同様である。そして、識別器によって、速度制限40kmの種類の道路標識の画像とそれ以外の画像とを2次元平面上において分離する分離線が生成される。
The classifier that generates the feature amount extracted from the prepared image and the line that separates the two-dimensional plane is the same as that in the case of generating the
そして、かかる2次元平面の座標軸および識別器によって生成された分離線の情報が、画像Pに含まれる画像が所定種類の道路標識か否かの判定基準として使用される種類情報22bとなる。なお、種類情報22bに含まれる座標軸は、道路標識の種類によらず同一であり、分離線は、道路標識の種類に応じて異なる。 The information about the coordinate axes of the two-dimensional plane and the separation line generated by the discriminator becomes the type information 22b used as a criterion for determining whether or not the image included in the image P is a predetermined type of road sign. Note that the coordinate axes included in the type information 22b are the same regardless of the type of road sign, and the separation line differs depending on the type of road sign.
これにより、後述する領域抽出部13および認識部15は、辞書情報22である形状情報22aおよび種類情報22bを使用することによって、画像P内の36ピクセル×36ピクセル内の画像の道路標識の形状およびその種類を認識することができる。
Thereby, the
制御部10は、拡縮画像生成部11と、特徴抽出部12と、領域抽出部13と、順序設定部14と、認識部15と、出力部16とを備える。
The
制御部10は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)を備えるマイクロコンピュータである。かかるCPUは、たとえば、ROMに予め記憶されたプログラムに従い、演算処理を行うことで、上述した拡縮画像生成部11、特徴抽出部12、領域抽出部13、順序設定部14、認識部15および出力部16として機能する。
The
拡縮画像生成部11は、カメラ2から入力される画像Pについて、それぞれ拡縮率が異なる複数の拡大画像および縮小画像(例えば、25枚の拡縮画像)を生成して、特徴抽出部12へ出力する。
The enlarged / reduced
特徴抽出部12は、生成した拡縮画像から、例えば、HOG特徴量を抽出する。なお、特徴抽出部12によって抽出される特徴量は、形状情報22aの生成時に用いた特徴量(例えば、HOG特徴量)と統一する。そして、特徴抽出部12は、抽出した各拡縮画像の特徴量の情報を領域抽出部13へ出力する。
The feature extraction unit 12 extracts, for example, an HOG feature amount from the generated enlarged / reduced image. The feature amount extracted by the feature extraction unit 12 is unified with the feature amount (for example, HOG feature amount) used when the
なお、特徴抽出部12による特徴量の抽出は、HOG特徴量に限定されず、例えば、ハフ(Hough)変換を用いてもよい。ハフ変換を用いる場合、後述する領域抽出部13は、パターンマッチングによって道路標識の形状を認識する。
The feature amount extraction by the feature extraction unit 12 is not limited to the HOG feature amount, and for example, a Hough transformation may be used. When the Hough transform is used, the
領域抽出部13は、特徴抽出部12によって抽出された特徴量の情報と、形状情報22aとに基づいて、認識する形状が存在する対象領域31を抽出する。ここで、図4を参照して、領域抽出部13による対象領域31の抽出処理について具体的に説明する。図4は、領域抽出部13による対象領域31の抽出処理を示す説明図である。
The
図4に(a)で示すように、領域抽出部13は、まず、所定拡縮率の拡縮画像Rの領域全体に対して40km速度制限Mを探索するための複数の探索領域An(n=10〜N。以下、複数の探索領域Anをまとめて探索領域Aとも記載する)を設定する。
As shown in FIG. 4A, the
設定される探索領域Aのサイズは、例えば、36ピクセル×36ピクセルであり、形状情報22aを生成するために準備した画像のサイズと統一する。
The size of the set search area A is, for example, 36 pixels × 36 pixels, and is unified with the size of the image prepared for generating the
そして、図4に(b)で示すように、領域抽出部13は、各探索領域Aから抽出される特徴量に基づいて、探索領域Aを形状情報22aに含まれる座標軸で形成される2次元平面上にプロットする。つまり、探索領域Aのサイズと形状情報22aを生成するために準備した画像のサイズとを揃えることで、かかる2次元平面上へのプロットが可能となる。なお、図4に(b)で示すグラフは、抽出する特徴量を表す縦軸および横軸で構成されるものとする。
Then, as shown in FIG. 4B, the
そして、領域抽出部13は、プロットされた探索領域Aが、形状情報22aの分離線Sによって分離された領域のうち、円形を示す領域40およびそれ以外の形状を示す領域41のいずれに位置するかを判定する。
The
そして、図4に(c)で示すように、領域抽出部13は、円形を示す領域40に位置する探索領域A21(図4の(b)参照)を円形24が存在する対象領域31として抽出する。
Then, as shown in FIG. 4C, the
ここで、形状情報22aは、上述したように、36ピクセル×36ピクセル内の画像が円形であるか否かを判別するために使用される情報である。そして、画像Pにおける円形の道路標識は、自車両からの距離によってサイズが異なるため、サイズが36ピクセル×36ピクセルとは限らない。
Here, the
このため、領域抽出部13は、画像Pから円形が存在する対象領域31を抽出することができない場合もあるが、拡縮画像生成部11から入力される拡縮率が異なる複数の拡縮画像を探索することによって、対象領域31を抽出することができる。
For this reason, the
なお、図4の(a)で示す探索領域Aの位置や数は、理解を容易にするために一部を示しているに過ぎず、実際には、探索領域Aの一部の領域を重複させることで拡縮画像R内を隈無く探索できるように設定されている。 Note that the position and number of the search areas A shown in FIG. 4A are only partly shown for ease of understanding, and in fact, some areas of the search area A overlap. By doing so, it is set so that the enlarged image R can be searched without any trouble.
そして、領域抽出部13は、抽出した対象領域31が存在する拡縮画像Rの拡縮率および拡縮画像R内での対象領域31の位置に関する情報を認識部15へ出力する。位置に関する情報とは、例えば、XY直交座標系に変換した拡縮画像Rにおける対象領域31が存在する位置のXY座標値である。
Then, the
順序設定部14は、車両の走行状態に基づいて道路標識の種類の認識順序の優先順位を設定する。具体的には、まず、順序設定部14は、カメラ2によって撮像された画像Pと、走行状態検出装置3から走行状態を示す走行状態情報とを取得する。
The
また、順序設定部14は、たとえば、走行状態情報である車速情報に基づいて、車両の走行速度を取得する。また、走行状態情報である地図情報および位置情報に基づいて、車両の走行している道路の種別を示す道路情報を取得する。
Moreover, the
また、順序設定部14は、カメラ2から取得した画像Pに基づいて、車両が走行している道路の車線を区画する区画線を検出することで、車両が走行している車線や、かかる車線を逸脱したか否か等の情報を取得する。
Further, the
そして、順序設定部14は、取得した各種情報に基づいて、優先順位情報21の中から車両の走行状態に応じた道路標識の種類の認識順序の優先順位を選択する。そして、順序設定部14は、選択した認識順序の優先順位を示す情報を認識部15へ出力する。なお、優先順位情報21の具体例については、図6を参照して後述する。
And the
認識部15は、画像Pの領域全体のうち、領域抽出部13によって抽出された対象領域31に対して選択的に認識対象物である道路標識の種類の認識処理を実行する。具体的には、認識部15は、まず、領域抽出部13から対象領域31が存在する拡縮画像Rの拡縮率および拡縮画像R内での対象領域31の位置に関する情報に基づいて、対象領域31のサイズおよび位置を特定する。
The
続いて、認識部15は、特定した対象領域31に対してのみ、辞書情報22に含まれる種類情報22bに基づいて、道路標識の種類を認識する認識処理を実行する。ここで、図5を参照して、かかる種類情報22bおよび形状情報22aを含む辞書情報22について具体的に説明する。
Subsequently, the recognizing
図5は、辞書情報22を示す説明図である。図5に示すように、辞書情報22は、例えば、「形状」、「標識」、「名称」といった項目を含む。なお、図5に示す、辞書情報22は一例であり、これに限定されるものではない。
FIG. 5 is an explanatory diagram showing the
また、図5には、説明を容易にするため、道路標識の形状や標識の種類をシンボル画像として示しているが、実際には、図5に示した「形状」や「標識」を判定するための座標軸および分離線を示す情報が格納されている。 Further, in FIG. 5, for easy explanation, the shape of the road sign and the type of the sign are shown as a symbol image. In practice, however, the “shape” and “sign” shown in FIG. 5 are determined. Information indicating coordinate axes and separation lines is stored.
図5に示す「形状」は、形状情報22aであり、道路標識の形状を判定するための座標軸および分離線の情報である。「標識」は、種類情報22bであり、「形状」に対応する形状の道路標識の種類を認識するための座標軸および分離線の情報である。「名称」は、対応する「標識」の道路標識の名称を示す。
The “shape” shown in FIG. 5 is
つまり、認識部15は、特定した対象領域31の特徴量を抽出し、かかる特徴量に基づいて、種類情報22bに含まれる座標軸によって形成される2次元平面上に、対象領域31をプロットする。
That is, the
そして、認識部15は、2次元平面上に種類情報22bに含まれる各道路標識の種類の分離線を引くことで、対象領域31のプロット位置が、特定の道路標識の種類を示す領域およびそれ以外の物体を示す領域のいずれに位置するかを判定することで、道路標識の種類を認識する。
The recognizing
このように、道路標識に共通する外形が存在する対象領域31に絞ることで、各道路標識の種類を認識する処理量を抑えることができるため、道路標識の種類を効率的に認識することができる。
As described above, since the processing amount for recognizing the type of each road sign can be reduced by narrowing down to the
また、認識部15は、拡縮率が異なる対象領域31の拡縮画像を生成してもよい。そして、拡縮画像毎に特徴量を抽出し、道路標識の種類を認識する。この時に生成する拡縮画像の数は、上述の拡縮画像生成部11が生成する数より少ない数(例えば、3枚の拡縮画像)でよい。
The
これは、例えば、対象領域31の位置が何らかの原因でズレた場合に、道路標識の種類が認識されないことがあるためである。このため、対象領域31の拡縮画像を生成しておくことで、道路標識の種類の認識精度を向上することができる。
This is because, for example, when the position of the
また、認識部15は、順序設定部14から入力される認識順序の優先順位を示す情報に基づいて、道路標識の種類の認識順序の優先順位を変更する。ここで、認識部15による認識順序の優先順位について、図6を参照して具体的に説明する。
Further, the
図6は、認識順序の優先順位を含む優先順位情報21を示す説明図である。なお、図6は、一例であり、これに限定されるものではない。なお、認識部15は、図6に示す優先順位情報21のうち、順序設定部14によって選択された認識順序の優先順位に従う。
FIG. 6 is an explanatory diagram showing the
図6に示すように、優先順位情報21は、「道路」、「自車速」、「認識順序」といった項目を含む。「道路」は、車両が走行している道路の種別である。「自車速」は、車両の走行速度である。「認識順序」は、認識部15による道路標識の認識順序を示す。
As illustrated in FIG. 6, the
つまり、認識部15は、自車両が走行している道路の種別や自車両の走行速度などの走行状態情報に基づいて道路標識の種類の認識順序の優先順位を変更する。具体的には、図6に示すように、認識部15は、順序設定部14が、自車両の走行している道路が高速道路であることを示す道路情報を取得すると、60km以上の速度制限の優先順位を上げた認識順序で道路標識の種類を認識する。
That is, the recognizing
また、自車両が走行している道路が一般道であることを示す道路情報を取得した場合は、60km以下の速度制限の優先順位を上げる。つまり、走行する道路の種別に応じて存在する可能性が高い種類の道路標識に絞ることで処理量を低減することができる。 Further, when road information indicating that the road on which the host vehicle is traveling is a general road is acquired, the priority order of speed limitation of 60 km or less is increased. That is, the amount of processing can be reduced by narrowing down to the types of road signs that are likely to exist according to the type of road on which the vehicle is traveling.
また、認識部15は、順序設定部14が、自車両が高速道路を時速80kmで走行していることを示す車速情報を取得すると、80km速度制限をまず始めに認識する。そして認識部15は、80km速度制限に近い、70km速度制限、60km速度制限、進入禁止の順に認識していく。
The recognizing
これは、運転者の特性上、速度制限に近い速度で走行する場合が多いためである。例えば、普段から速度制限より10km程度遅く運転するような運転者であれば、このような特性を考慮して、走行速度より10km速い速度制限を優先して認識するようにしてもよい。
This is because in many cases, the vehicle travels at a speed close to the speed limit due to the characteristics of the driver. For example, a driver who normally drives about 10 km slower than the speed limit may recognize the
このように、車両の走行速度を利用することで、存在する可能性の高い速度制限の種類から始められるため、より効率的に認識処理を実行することができる。 In this way, by using the traveling speed of the vehicle, it is possible to start with the type of speed limit that is highly likely to exist, so that the recognition process can be executed more efficiently.
したがって、認識部15は、車両の走行状態に基づいて、認識順序の優先順位を変更することで、道路標識の種類を認識する認識処理の回数を抑えられるため、より効率的に道路標識を認識することができる。
Accordingly, the
また、認識部15は、例えば、カメラ2から所定間隔で連続して入力される画像(以下、フレーム画像と記載)において、1フレーム前の時刻のフレーム画像の認識結果である速度制限の種類を優先して認識してもよい。
In addition, the
この場合、認識部15は、かかる認識結果を記憶部20に記憶し、次の時刻のフレーム画像において、順序設定部14が記憶した認識結果を取得することで、優先順位を変更する。
In this case, the
また、図6に示すように、認識部15は、順序設定部14が、自車両が交差点や分岐点へ接近していることを示す道路情報を取得した場合、進入禁止の道路標識を優先して認識するようにする。
In addition, as shown in FIG. 6, when the
なお、交差点や分岐点において進入禁止が設けられる位置に応じて進入禁止の優先順位を変更するようにしてもよい。かかる場合について図7を参照して、具体的に説明する。 In addition, you may make it change the priority of entry prohibition according to the position where entry prohibition is provided in an intersection or a branch point. Such a case will be specifically described with reference to FIG.
図7は、交差点における車両および進入禁止の位置関係を示す図である。なお、図7には、実施形態に係る物体認識装置1を搭載した車両Cが、進入禁止M1、M2が存在する交差点へ接近する場面を一例として示す。
FIG. 7 is a diagram illustrating a positional relationship between vehicles and entry prohibition at an intersection. In addition, in FIG. 7, the scene where the vehicle C carrying the
また、図7には、車両Cが走行する車線50および対向車線51を示し、車両Cから見て、車線50側の交差点手前に左折を禁止する進入禁止M1を、対向車線51側の交差点奥に右折を禁止する進入禁止M2を示している。
Further, FIG. 7 shows a
かかる場合において、車両Cの運転者が、進入禁止M1を見落として誤って左折してしまう可能性は高いため、認識部15は、領域抽出部13によって車線50側から円形が存在する対象領域31が抽出された場合、進入禁止の優先順位を上げる。
In such a case, since there is a high possibility that the driver of the vehicle C will miss the entry prohibition M1 and turn left by mistake, the
一方で、車両Cの運転者が、進入禁止M2を見落としたとしても、わざわざ対向車線51を横断して進入禁止M2の道路へ右折する可能性は低いにも関わらず、進入禁止M2についても優先順位を上げてしまうと処理量が嵩むおそれがある。
On the other hand, even if the driver of vehicle C overlooks entry prohibition M2, it is unlikely to cross the
そこで、認識部15は、領域抽出部13によって対向車線51側から円形が存在する対象領域31が抽出された場合、進入禁止の優先順位を下げることとする。これにより、不要な認識処理によって、処理量が嵩むのを抑えることができる。
Therefore, the
なお、対象領域31の位置が、車線50側であるか対向車線51側であるかの判定は、順序設定部14が取得する区画線の情報に基づいて、画像内におけるかかる区画線と対象領域31との位置関係を特定することで判定することができる。
Whether the
なお、図7の状況において、順序設定部14が、車両Cが対向車線51を横断して右折することを示す走行状態情報を取得した場合、進入禁止の優先順位を上げてもよい。かかる走行状態情報としては、例えば、車両Cが中央区画線52を逸脱したか否かの判定情報や、車両Cと進入禁止M2との距離の情報がある。
In the situation of FIG. 7, when the
つまり、認識部15は、順序設定部14がカメラ2の画像に基づき車両Cと進入禁止M2との距離が所定距離以下となったことを示す情報を取得した場合、進入禁止M2の優先順位を上げるようにする。
In other words, when the
つまり、認識部15は、車両Cの走行に伴って変化する車両Cと道路標識との距離に基づいて、進入禁止M2の優先順位を変更する。これにより、不要な認識処理を低減しつつ必要な場合のみ認識処理の優先順位を上げられるため、より効率的に認識処理を実行することができる。そして、認識部15は、認識結果を出力部16へ出力する。
That is, the
出力部16は、車載装置4の形態に応じて認識部15の認識結果を示す情報を変換して出力する。例えば、車載装置4がディスプレイの場合、認識した道路標識を囲む枠画像を生成し、カメラ2の画像とかかる枠画像とを重畳した合成画像を出力する。
The
また、出力部16は、車載装置4が、ドライブレコーダの場合、カメラ2の画像と認識した道路標識の位置や種類とを関連付けた走行履歴情報を出力する。そして、ドライブレコーダがかかる走行履歴情報を記録することで、事後的に認識結果を確認することができる。
Further, when the in-
次に、実施形態に係る物体認識装置1が実行する認識処理の処理手順について、図8を用いて説明する。図8は、実施形態に係る物体認識装置1が実行する認識処理の処理手順を示すフローチャートである。
Next, a processing procedure of recognition processing executed by the
図8に示すように、拡縮画像生成部11は、カメラ2によって撮像された画像Pを取得し、かかる画像Pの拡縮画像を生成する(ステップS101)。つづいて、特徴抽出部12は、各拡縮画像から、例えば、HOG特徴量を用いて特徴量を抽出する(ステップS102)。
As shown in FIG. 8, the enlarged / reduced
つづいて、領域抽出部13は、特徴抽出部12が抽出した特徴量と、形状情報22aとに基づいて、認識対象物の形状が存在する対象領域を抽出する(ステップS103)。つづいて、認識部15は、種類情報22bに基づいて、画像Pの領域全体のうち、領域抽出部13によって抽出された対象領域31に対して選択的に認識対象物の認識処理を実行し(ステップS104)、処理を終了する。
Subsequently, the
また、実施形態に係る物体認識装置1は、図9に一例として示す構成のコンピュータ200で実現することができる。図9は、物体認識装置1の機能を実現するコンピュータの一例を示すハードウェア構成図である。
Moreover, the
コンピュータ200は、CPU(Central Processing Unit)210と、ROM(Read Only Memory)220と、RAM(Random Access Memory)230と、HDD(Hard Disk Drive)240とを備える。また、コンピュータ200は、メディアインターフェイス(I/F)250と、通信インターフェイス(I/F)260と、入出力インターフェイス(I/F)270とを備える。
The
なお、コンピュータ200は、SSD(Solid State Drive)を備え、かかるSSDがHDD240の一部または全ての機能を実行するようにしてもよい。また、HDD240に代えてSSDを設けることとしてもよい。
The
CPU210は、ROM220およびHDD240の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ROM220は、コンピュータ200の起動時にCPU210によって実行されるブートプログラムや、コンピュータ200のハードウェアに依存するプログラムなどを格納する。HDD240は、CPU210によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。
The
メディアI/F250は、記憶媒体280に格納されたプログラムやデータを読み取り、RAM230を介してCPU210に提供する。CPU210は、かかるプログラムを、メディアI/F250を介して記憶媒体280からRAM230上にロードし、ロードしたプログラムを実行する。あるいは、CPU210は、かかるデータを用いてプログラムを実行する。記憶媒体280は、例えばDVD(Digital Versatile Disc)などの光磁気記録媒体やSDカード、USBメモリなどである。
The media I /
通信I/F260は、ネットワーク290を介して他の機器からデータを受信してCPU210に送り、CPU210が生成したデータを、ネットワーク290を介して他の機器へ送信する。あるいは、通信I/F260は、ネットワーク290を介して他の機器からプログラムを受信してCPU210に送り、CPU210がかかるプログラムを実行する。
The communication I / F 260 receives data from other devices via the
CPU210は、入出力I/F270を介して、ディスプレイ等の車載装置4を制御する。CPU210は、入出力I/F270を介して、カメラ2と、走行状態検出装置3からデータを取得する。また、CPU210は、生成したデータを入出力I/F270を介して車載装置4に出力する。
The
例えば、コンピュータ200が物体認識装置1として機能する場合、コンピュータ200のCPU210は、RAM230上にロードされたプログラムを実行することにより、拡縮画像生成部11、特徴抽出部12、領域抽出部13、順序設定部14、認識部15および出力部16の各機能を実現する。
For example, when the
コンピュータ200のCPU210は、例えばこれらのプログラムを記憶媒体280から読み取って実行するが、他の例として、他の装置からネットワーク290を介してこれらのプログラムを取得してもよい。また、HDD240は、記憶部20が記憶する優先順位情報21、辞書情報22を記憶することができる。
The
上述してきたように、実施形態に係る物体認識装置1は、領域抽出部13と、認識部15とを備える。領域抽出部13は、車両に設けられたカメラ2によって撮像された画像から、特徴量抽出部12によって抽出された特徴量に基づいて、認識対象物の形状が存在する対象領域31を抽出する。認識部15は、画像Pの領域全体のうち、領域抽出部13によって抽出された対象領域31に対して選択的に認識対象物の認識処理を実行する。
As described above, the
これにより、実施形態に係る物体認識装置1は、認識対象物の種類を効率的に認識することができる。
Thereby, the
なお、上述の実施例では、道路標識を認識対象物の一例として示したが、これに限定されるものではない。ここで、図10を参照して、変形例に係る辞書情報22について説明する。図10は、変形例に係る辞書情報22の説明図である。
In the above-described embodiment, the road sign is shown as an example of the recognition target object. However, the present invention is not limited to this. Here, with reference to FIG. 10, the
一般に、道路の周辺に存在する飲食店等は、運転者へ店舗の存在を示すために、所定形状の看板が道路の近傍に設置されていたり、また、形状についても特定の文字を模した看板等もあり、かかる看板によって店舗を認識可能である場合が多い。 In general, restaurants and the like that exist around roads have signboards of a predetermined shape installed in the vicinity of the road in order to indicate the presence of the store to the driver. In many cases, a store can be recognized by such a signboard.
そこで、かかる看板の画像を学習データとして、機械学習することで、図10に示す特定の店舗の看板の特徴を示す辞書情報22が生成される。そして、領域抽出部13は、かかる看板の形状が存在する対象領域31を抽出する。
Therefore, by performing machine learning using the image of the sign as learning data,
続いて、認識部15は、画像Pの領域全体のうち、領域抽出部13によって抽出された対象領域31に対して選択的に看板の内容(種類)を認識する認識処理を実行する。これにより、物体認識装置1は、認識対象物が看板等であっても、認識処理を効率的に実行することができる。
Subsequently, the
また、実施形態の変形例に係る物体認識装置1によれば、例えば、図10に示すような一般的な矩形の看板であっても、看板の内容に特徴があれば、かかる看板の店舗を「○○寿司」として認識することができる。
Further, according to the
また、特定の文字、例えば「X」を模したような特徴的な形状であれば、看板の形状を認識することで、看板の内容の認識処理を簡便しても特定の店舗として「Xカレー」を認識することができる。 In addition, if it is a characteristic shape imitating a specific character, for example, “X”, the shape of the signboard can be recognized, so that even if the signboard content recognition process is simplified, “X curry” Can be recognized.
なお、上述した対象領域31の領域は、外形に接するような矩形の領域(図4参照)に限定されるものではなく、例えば、道路標識の円形から所定距離外側の矩形の領域であってもよい。また、対象領域31の形状も、矩形に限定されず、円形や、認識対象物の形状と同じ形状であってもよい。
Note that the area of the
また、上記では、物体認識装置1と車載装置4とは別の装置であるものとして説明したが、これらを一体化してもよい。すなわち、上述した物体認識装置1と車載装置4との双方の機能を一つの装置が備えていてもよい。
In the above description, the
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further effects and modifications can be easily derived by those skilled in the art. Thus, the broader aspects of the present invention are not limited to the specific details and representative embodiments shown and described above. Accordingly, various modifications can be made without departing from the spirit or scope of the general inventive concept as defined by the appended claims and their equivalents.
1 物体認識装置
2 カメラ
11 拡縮画像生成部
12 特徴抽出部
13 領域抽出部
15 認識部
31 対象領域
DESCRIPTION OF
Claims (9)
前記画像の領域全体のうち、前記領域抽出部によって抽出された前記対象領域に対して選択的に前記認識対象物の認識処理を実行する認識部と、
を備えることを特徴とする物体認識装置。 A region extraction unit that extracts a target region where the shape of the recognition target object exists from an image captured by an imaging device provided in the vehicle;
A recognition unit that selectively performs recognition processing of the recognition target object on the target region extracted by the region extraction unit out of the entire region of the image;
An object recognition apparatus comprising:
前記認識対象物となる道路標識と同様の外形が存在する前記対象領域を抽出すること
を特徴とする請求項1に記載の物体認識装置。 The region extraction unit
The object recognition apparatus according to claim 1, wherein the target region having an outer shape similar to a road sign that is the recognition target is extracted.
前記認識部は、
前記記憶部に記憶された前記種類情報に基づいて、前記道路標識の種類を認識すること
を特徴とする請求項2に記載の物体認識装置。 A storage unit that stores type information indicating characteristics of the road sign corresponding to the type of the road sign;
The recognition unit
The object recognition apparatus according to claim 2, wherein the type of the road sign is recognized based on the type information stored in the storage unit.
前記車両の走行状態を示す走行状態情報を取得し、前記走行状態情報に基づいて前記道路標識の認識順序の優先順位を変更すること
を特徴とする請求項2または3に記載の物体認識装置。 The recognition unit
The object recognition apparatus according to claim 2 or 3, wherein travel state information indicating the travel state of the vehicle is acquired, and the priority order of the recognition order of the road signs is changed based on the travel state information.
前記走行状態情報として前記車両の走行速度を示す車速情報を取得すること
を特徴とする請求項4に記載の物体認識装置。 The recognition unit
The object recognition apparatus according to claim 4, wherein vehicle speed information indicating a traveling speed of the vehicle is acquired as the traveling state information.
前記走行状態情報として前記車両が走行する道路の種別を示す道路情報を取得すること
を特徴とする請求項4または5に記載の物体認識装置。 The recognition unit
The object recognition apparatus according to claim 4 or 5, wherein road information indicating a type of road on which the vehicle travels is acquired as the travel state information.
前記道路標識の前記外形が円形かつ、当該道路標識が対向車線側に位置する場合、進入禁止の前記優先順位を下げること
を特徴とする請求項4、5または6に記載の物体認識装置。 The recognition unit
The object recognition device according to claim 4, 5 or 6, wherein when the road sign has a circular shape and the road sign is located on the opposite lane side, the priority of entry prohibition is lowered.
前記車両の走行に伴って変化する前記車両と前記道路標識との距離に基づいて、進入禁止の前記優先順位を変更すること
を特徴とする請求項4〜7のいずれか一つに記載の物体認識装置。 The recognition unit
The object according to any one of claims 4 to 7, wherein the priority of entry prohibition is changed based on a distance between the vehicle and the road sign that changes as the vehicle travels. Recognition device.
認識部が、前記画像の領域全体のうち、前記領域抽出部によって抽出された前記対象領域に対して選択的に前記認識対象物の認識処理を実行する工程と、
を含むことを特徴とする物体認識方法。 A step of extracting a target region where the shape of the recognition target exists from an image captured by an imaging device provided in the vehicle;
A recognition unit selectively performing recognition processing of the recognition target object on the target region extracted by the region extraction unit out of the entire region of the image;
An object recognition method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016010994A JP6688090B2 (en) | 2016-01-22 | 2016-01-22 | Object recognition device and object recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016010994A JP6688090B2 (en) | 2016-01-22 | 2016-01-22 | Object recognition device and object recognition method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017130155A true JP2017130155A (en) | 2017-07-27 |
JP6688090B2 JP6688090B2 (en) | 2020-04-28 |
Family
ID=59395698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016010994A Active JP6688090B2 (en) | 2016-01-22 | 2016-01-22 | Object recognition device and object recognition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6688090B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019220129A (en) * | 2018-06-19 | 2019-12-26 | ケーピーアイティ テクノロジーズ リミテッド | System and method for recognizing traffic sign |
JP2020119308A (en) * | 2019-01-24 | 2020-08-06 | カシオ計算機株式会社 | Image classification device, image classification method, and program |
WO2020255626A1 (en) * | 2019-06-20 | 2020-12-24 | 矢崎総業株式会社 | Driving recorder |
CN112135080A (en) * | 2019-06-24 | 2020-12-25 | 丰田自动车株式会社 | Vehicle information recording device |
JP2021506000A (en) * | 2017-12-05 | 2021-02-18 | ユーエーティーシー, エルエルシー | Multi-stage image-based object detection and recognition |
JP2021051464A (en) * | 2019-09-24 | 2021-04-01 | Jfeスチール株式会社 | Intrusion detection device and intrusion detection method |
JP2021086597A (en) * | 2020-03-09 | 2021-06-03 | ニューラルポケット株式会社 | Information processing system, information processing device, terminal device, server device, program, and method |
JP2022521448A (en) * | 2019-02-25 | 2022-04-08 | バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド | Traffic image recognition methods, devices, computer devices and media |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008305042A (en) * | 2007-06-06 | 2008-12-18 | Hitachi Ltd | Car navigation device, road sign recognition method and program |
JP2013069278A (en) * | 2011-09-23 | 2013-04-18 | Ricoh Co Ltd | Traffic sign detection method and traffic sign detection device |
JP2015191281A (en) * | 2014-03-27 | 2015-11-02 | 株式会社Jvcケンウッド | road sign display device |
-
2016
- 2016-01-22 JP JP2016010994A patent/JP6688090B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008305042A (en) * | 2007-06-06 | 2008-12-18 | Hitachi Ltd | Car navigation device, road sign recognition method and program |
JP2013069278A (en) * | 2011-09-23 | 2013-04-18 | Ricoh Co Ltd | Traffic sign detection method and traffic sign detection device |
JP2015191281A (en) * | 2014-03-27 | 2015-11-02 | 株式会社Jvcケンウッド | road sign display device |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021506000A (en) * | 2017-12-05 | 2021-02-18 | ユーエーティーシー, エルエルシー | Multi-stage image-based object detection and recognition |
US11443148B2 (en) | 2017-12-05 | 2022-09-13 | Uatc, Llc | Multiple stage image based object detection and recognition |
JP7105305B2 (en) | 2017-12-05 | 2022-07-22 | ユーエーティーシー, エルエルシー | Multistage image-based object detection and recognition |
US11922708B2 (en) | 2017-12-05 | 2024-03-05 | Uatc, Llc | Multiple stage image based object detection and recognition |
JP7206082B2 (en) | 2018-06-19 | 2023-01-17 | ケーピーアイティ テクノロジーズ リミテッド | Systems and methods for recognizing traffic signs |
JP2019220129A (en) * | 2018-06-19 | 2019-12-26 | ケーピーアイティ テクノロジーズ リミテッド | System and method for recognizing traffic sign |
JP7322411B2 (en) | 2019-01-24 | 2023-08-08 | カシオ計算機株式会社 | Image classification device, image classification method and program |
JP2020119308A (en) * | 2019-01-24 | 2020-08-06 | カシオ計算機株式会社 | Image classification device, image classification method, and program |
JP2022521448A (en) * | 2019-02-25 | 2022-04-08 | バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド | Traffic image recognition methods, devices, computer devices and media |
JP7063849B2 (en) | 2019-06-20 | 2022-05-09 | 矢崎総業株式会社 | Drive recorder |
JP2021002163A (en) * | 2019-06-20 | 2021-01-07 | 矢崎総業株式会社 | Drive recorder |
WO2020255626A1 (en) * | 2019-06-20 | 2020-12-24 | 矢崎総業株式会社 | Driving recorder |
JP2021002795A (en) * | 2019-06-24 | 2021-01-07 | トヨタ自動車株式会社 | Information recorder for vehicle |
CN112135080B (en) * | 2019-06-24 | 2023-04-07 | 丰田自动车株式会社 | Vehicle information recording device |
CN112135080A (en) * | 2019-06-24 | 2020-12-25 | 丰田自动车株式会社 | Vehicle information recording device |
JP7243478B2 (en) | 2019-06-24 | 2023-03-22 | トヨタ自動車株式会社 | Vehicle information recording device |
JP7126095B2 (en) | 2019-09-24 | 2022-08-26 | Jfeスチール株式会社 | Intrusion detection device and intrusion detection method |
JP2021051464A (en) * | 2019-09-24 | 2021-04-01 | Jfeスチール株式会社 | Intrusion detection device and intrusion detection method |
JP2021086597A (en) * | 2020-03-09 | 2021-06-03 | ニューラルポケット株式会社 | Information processing system, information processing device, terminal device, server device, program, and method |
Also Published As
Publication number | Publication date |
---|---|
JP6688090B2 (en) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6688090B2 (en) | Object recognition device and object recognition method | |
CN109584578B (en) | Method and device for recognizing a driving lane | |
US11486727B2 (en) | Map generation device, map generation method, and map generation computer program | |
US9633436B2 (en) | Systems and methods for multi-dimensional object detection | |
US20190042888A1 (en) | Training method, training apparatus, region classifier, and non-transitory computer readable medium | |
US20210110180A1 (en) | Method and apparatus for traffic sign detection, electronic device and computer storage medium | |
EP3171295B1 (en) | Method for processing image and computer-readable non-transitory recording medium storing program | |
CN110879943A (en) | Image data processing method and system | |
CN111931683B (en) | Image recognition method, device and computer readable storage medium | |
JP2013196454A (en) | Image processor, image processing method and image processing program | |
JP2021165913A (en) | Road area correction device, road area correction method, and computer program for road area correction | |
Nienhüser et al. | Fast and reliable recognition of supplementary traffic signs | |
Al Mamun et al. | Efficient lane marking detection using deep learning technique with differential and cross-entropy loss. | |
US9898846B1 (en) | Method and apparatus for traffic condition diagram generation | |
JP5327241B2 (en) | Object identification device | |
JP5962442B2 (en) | Sign recognition system, sign recognition method, and sign recognition program | |
Morales Rosales et al. | On-road obstacle detection video system for traffic accident prevention | |
US20220058416A1 (en) | Printed character recognition | |
CN112149600A (en) | Big data automobile driving area image analysis method and system | |
CN109284665B (en) | Method and apparatus for reducing number of detection candidates for object recognition method | |
JP7405643B2 (en) | Sign identification system | |
CN113392762B (en) | Intersection detection method, system, terminal and computer readable storage medium | |
US20240119740A1 (en) | Method and apparatus with lane line determination | |
KR102234311B1 (en) | Method and system for extracting image feature | |
US20240087337A1 (en) | Method and device for detecting a lane for a driver assistance system for a vehicle with a vehicle camera and detection system for a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6688090 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |