JP2016162130A - Device and method for detecting pedestrian crossing and computer for pedestrian crossing detection - Google Patents
Device and method for detecting pedestrian crossing and computer for pedestrian crossing detection Download PDFInfo
- Publication number
- JP2016162130A JP2016162130A JP2015039516A JP2015039516A JP2016162130A JP 2016162130 A JP2016162130 A JP 2016162130A JP 2015039516 A JP2015039516 A JP 2015039516A JP 2015039516 A JP2015039516 A JP 2015039516A JP 2016162130 A JP2016162130 A JP 2016162130A
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian crossing
- pattern
- vehicle
- detection
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、例えば、画像上に写っている横断歩道を検出する横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラムに関する。 The present invention relates to, for example, a pedestrian crossing detection apparatus, a pedestrian crossing detection method, and a pedestrian crossing detection computer program for detecting a pedestrian crossing in an image.
車両のドライバの運転を支援するなどの目的で、車両に搭載されたカメラにより車両の周囲を撮影して得られる画像から、車両の周囲にある様々な物体または道路標示などを検出する技術が研究されている。 Researched technology to detect various objects or road markings around the vehicle from images obtained by photographing the surroundings of the vehicle with a camera mounted on the vehicle for the purpose of assisting the driver of the vehicle Has been.
例えば、特許文献１には、撮像された車両前方の画像中から横断歩道の存在とその位置を認識する道路認識装置が開示されている。この道路認識装置は、車両周辺を撮像して得られた画像において設定領域ごとの輝度の繰り返しパターンを認識し、その繰り返しパターンが認識された設定領域に対応する実空間上の点が道路面上にある場合に横断歩道として検出する。その際、この道路認識装置は、繰り返しパターンが横断歩道か否かを判定するために、画像上のエピポーラライン上で輝度微分値が正の閾値以上となる開始画素に対応する実空間上の開始点から輝度微分値が負の閾値以下となる終了画素に対応する実空間上の終了点との間隔を求める。そしてこの道路認識装置は、その間隔が、横断歩道の白線の幅の規格を誤差分だけ拡げた範囲内に含まれることを、繰り返しパターンが横断歩道であると判定する条件の一つとして利用する。 For example, Patent Document 1 discloses a road recognition device that recognizes the presence and position of a pedestrian crossing from a captured image in front of a vehicle. This road recognition device recognizes a repetitive luminance pattern for each setting area in an image obtained by imaging the periphery of the vehicle, and points in the real space corresponding to the setting area where the repetitive pattern is recognized are on the road surface. Is detected as a pedestrian crossing. At this time, the road recognition device determines whether or not the repetitive pattern is a pedestrian crossing, and starts in real space corresponding to a start pixel whose luminance differential value is greater than or equal to a positive threshold on the epipolar line on the image. The distance from the end point in the real space corresponding to the end pixel whose luminance differential value is equal to or less than the negative threshold is obtained from the point. This road recognition device uses that the interval is included in a range in which the white line width standard of the pedestrian crossing is expanded by an error as one of the conditions for determining that the repeated pattern is a pedestrian crossing. .
しかしながら、路面の工事などの際に仮設で設けられる横断歩道、あるいは、立体表示の横断歩道といった、白線の幅が横断歩道の規格を満たしていない横断歩道が路面上に設けられていることがある。また、横断歩道を表した道路標示の一部が摩耗などによって欠けていることがある。このような場合、上記の道路認識装置は、横断歩道を正確に認識できないおそれがある。 However, there may be crosswalks on the road where the width of the white line does not meet the standard of the crosswalk, such as a pedestrian crossing provided temporarily during road construction, or a three-dimensional crosswalk. . Also, some road markings representing pedestrian crossings may be missing due to wear or the like. In such a case, the above road recognition device may not be able to accurately recognize the pedestrian crossing.
そこで本明細書は、車両の周囲を撮影して得られる画像から横断歩道を正確に検出できる横断歩道検出装置を提供することを目的とする。 In view of this, it is an object of the present specification to provide a pedestrian crossing detection device that can accurately detect a pedestrian crossing from an image obtained by photographing the periphery of a vehicle.
一つの実施形態によれば、横断歩道検出装置が提供される。この横断歩道検出装置は、車両に搭載された撮像部により生成された、車両の周囲が写った画像上で、車両の前方の道路の一部に相当する第１の領域及び第１の領域に対して車両の直進方向と交差する第１の方向に対応する画像上の方向に沿って第１の領域と隣接する第２の領域を設定する検出領域設定部と、第１の領域において、第１の方向に沿って輝度値の変動が繰り返される第１のパターンを検出する繰り返しパターン検出部と、第１の領域内に第１のパターンが存在し、かつ、第２の領域内に第１の方向に沿って輝度値の変動が繰り返される第２のパターンが存在する場合に、第１のパターン及び第２のパターンを横断歩道として検出する横断歩道検出部とを有する。 According to one embodiment, a pedestrian crossing detection device is provided. The pedestrian crossing detection device includes a first region and a first region corresponding to a part of a road ahead of the vehicle on an image generated by an imaging unit mounted on the vehicle and showing a surrounding of the vehicle. On the other hand, a detection area setting unit that sets a second area adjacent to the first area along a direction on the image corresponding to a first direction that intersects the straight direction of the vehicle; A repetitive pattern detection unit that detects a first pattern in which a variation in luminance value is repeated along the direction of 1, the first pattern exists in the first region, and the first in the second region And a pedestrian crossing detection unit that detects the first pattern and the second pattern as a pedestrian crossing when there is a second pattern in which the variation of the luminance value is repeated along the direction of.
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
The objects and advantages of the invention will be realized and attained by means of the elements and combinations particularly pointed out in the appended claims.
It should be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention as claimed.
本明細書に開示された横断歩道検出装置は、車両の周囲を撮影して得られる画像から横断歩道を正確に検出できる。 The pedestrian crossing detection apparatus disclosed in this specification can accurately detect a pedestrian crossing from an image obtained by photographing the surroundings of the vehicle.
以下、図を参照しつつ、横断歩道検出装置について説明する。この横断歩道検出装置は、車両の前方を撮影することにより得られた画像から、その画像に写っている横断歩道を検出する。その際、この横断歩道検出装置は、車両の周囲の道路の一部を含む１次検出領域において、車両の直進方向と交差する方向の輝度変動の繰り返しパターンを横断歩道の候補として検出する。そしてこの横断歩道検出装置は、車両の直進方向と交差する方向に対応する画像上の方向に沿って１次検出領域に隣接する２次検出領域において、輝度変動の繰り返しパターンが検出された場合に、それらの繰り返しパターンを横断歩道として検出する。 Hereinafter, the pedestrian crossing detection apparatus will be described with reference to the drawings. This pedestrian crossing detection device detects a pedestrian crossing in the image from an image obtained by photographing the front of the vehicle. At this time, the pedestrian crossing detection apparatus detects a repeated pattern of luminance fluctuation in a direction intersecting the straight traveling direction of the vehicle as a pedestrian crossing candidate in a primary detection region including a part of a road around the vehicle. The pedestrian crossing detection device detects a repeated pattern of luminance fluctuations in a secondary detection area adjacent to the primary detection area along a direction on the image corresponding to a direction intersecting with the straight traveling direction of the vehicle. , Detect these repeated patterns as pedestrian crossings.
図１は、横断歩道検出装置の一つの実施形態である運転支援装置が搭載された車両の構成図である。
運転支援装置１は、車両１０に搭載され、カメラ２及びディスプレイ３と、ネットワーク４によって互いに接続されている。なお、図１では、説明の都合のため、車両１０の形状、サイズ及び運転支援装置１などの配置は、実際のものとは異なっている。
FIG. 1 is a configuration diagram of a vehicle equipped with a driving support device that is one embodiment of a pedestrian crossing detection device.
The driving support device 1 is mounted on a vehicle 10 and is connected to the camera 2 and the display 3 by a network 4. In FIG. 1, for convenience of explanation, the shape and size of the vehicle 10 and the arrangement of the driving support device 1 and the like are different from the actual ones.
本実施形態では、運転支援装置１は、カメラ２により車両１０の前方を撮影して得られる画像から車線境界線を検出する。そして運転支援装置１は、車線境界線の画像上での位置に応じて車両１０が走行中の車線からはみ出したり、あるいは、はみ出しそうになったときに、ディスプレイ３を介してドライバへ警告を発する。その際、運転支援装置１は、画像に横断歩道が写っている場合に、その画像から横断歩道を検出し、その検出結果を利用して、横断歩道を車線境界線と誤認識することを抑制する。なお、運転支援装置１の詳細については後述する。 In the present embodiment, the driving assistance device 1 detects a lane boundary line from an image obtained by photographing the front of the vehicle 10 with the camera 2. Then, the driving support device 1 issues a warning to the driver via the display 3 when the vehicle 10 protrudes from or is about to protrude from the lane in which the vehicle 10 is traveling according to the position of the lane boundary line on the image. . At that time, when the pedestrian crossing is shown in the image, the driving support device 1 detects the pedestrian crossing from the image and suppresses erroneously recognizing the pedestrian crossing as a lane boundary line using the detection result. To do. The details of the driving support device 1 will be described later.
カメラ２は、撮像部の一例であり、例えば、車両１０の車室内に、車両１０の前方へ向けて配置され、車両１０の前方を表す画像を生成する。そのために、カメラ２は、２次元状に配置された複数の固体撮像素子を有するイメージセンサと、そのイメージセンサ上に車両１０の前方の像を結像する結像光学系を有する。 The camera 2 is an example of an imaging unit, and is arranged in the vehicle interior of the vehicle 10 toward the front of the vehicle 10 to generate an image representing the front of the vehicle 10, for example. For this purpose, the camera 2 includes an image sensor having a plurality of solid-state imaging elements arranged two-dimensionally and an imaging optical system that forms an image in front of the vehicle 10 on the image sensor.
カメラ２は、例えば、一定の時間間隔（例えば1/30秒）ごとに、車両１０の前方の領域を撮影して、その前方の領域が表された画像を生成する。そしてカメラ２は、画像を生成する度に、その画像を、ネットワーク４を介して運転支援装置１へ送信する。 For example, the camera 2 captures an area in front of the vehicle 10 at regular time intervals (for example, 1/30 seconds) and generates an image showing the area in front of the vehicle 10. Each time the camera 2 generates an image, the camera 2 transmits the image to the driving support device 1 via the network 4.
ディスプレイ３は、表示装置の一例であり、例えば、液晶ディスプレイとすることができる。ディスプレイ３は、車両１０の車室内に表示画面がドライバに向くように配置される。例えば、ディスプレイ３は、インストルメントパネル内に配置される。あるいは、ディスプレイ３は、インストルメントパネルと独立して配置されてもよい。そしてディスプレイ３は、運転支援装置１からネットワーク４を介して受信した情報などを表示する。 The display 3 is an example of a display device, and can be a liquid crystal display, for example. The display 3 is arranged in the passenger compartment of the vehicle 10 so that the display screen faces the driver. For example, the display 3 is disposed in the instrument panel. Alternatively, the display 3 may be arranged independently of the instrument panel. The display 3 displays information received from the driving support apparatus 1 via the network 4.
ネットワーク４は、車両１０に搭載された様々な装置間で通信するためのネットワークであり、例えば、コントロールエリアネットワーク（ＣＡＮ）に準じたネットワークとすることができる。 The network 4 is a network for communicating between various devices mounted on the vehicle 10, and can be a network according to a control area network (CAN), for example.
図２は、運転支援装置１の概略構成図である。運転支援装置１は、記憶部１１と、通信部１２と、制御部１３とを有する。 FIG. 2 is a schematic configuration diagram of the driving support device 1. The driving support device 1 includes a storage unit 11, a communication unit 12, and a control unit 13.
記憶部１１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部１１は、制御部１３で実行される各種コンピュータプログラム、例えば、横断歩道検出を含む、運転支援処理のコンピュータプログラムを記憶する。さらに、記憶部１１は、運転支援処理で使用される各種のデータを記憶する。さらに、記憶部１１は、カメラ２により生成された画像を一定期間記憶してもよい。 The storage unit 11 includes, for example, a semiconductor memory such as an electrically rewritable nonvolatile memory and a volatile memory. The storage unit 11 stores various computer programs executed by the control unit 13, for example, a computer program for driving support processing including pedestrian crossing detection. Furthermore, the storage unit 11 stores various data used in the driving support process. Further, the storage unit 11 may store an image generated by the camera 2 for a certain period.
通信部１２は、カメラ２、ディスプレイ３及び車両制御ユニット（図示せず）などとネットワーク４を通じて通信する通信インターフェース及びその制御回路を有する。そして通信部１２は、カメラ２からネットワーク４を介して受け取った画像を制御部１３へわたす。また通信部１２は、制御部１３から受け取った警告メッセージをディスプレイ３へ出力する。さらに、通信部１２は、車両１０の挙動（速度、加速度またはステアリングの回転角など）を検知する各種センサからの情報をネットワーク４を介して受け取って、制御部１３へわたしてもよい。 The communication unit 12 includes a communication interface that communicates with the camera 2, the display 3, a vehicle control unit (not shown), and the like through the network 4 and its control circuit. Then, the communication unit 12 passes the image received from the camera 2 via the network 4 to the control unit 13. Further, the communication unit 12 outputs the warning message received from the control unit 13 to the display 3. Further, the communication unit 12 may receive information from various sensors that detect the behavior of the vehicle 10 (speed, acceleration, steering angle, etc.) via the network 4 and pass it to the control unit 13.
制御部１３は、一つまたは複数のプロセッサとその周辺回路を有し、横断歩道検出処理を含む運転支援処理を実行する。 The control unit 13 includes one or a plurality of processors and their peripheral circuits, and executes driving support processing including pedestrian crossing detection processing.
図３に、制御部１３の機能ブロック図を示す。図３に示すように、制御部１３は、検出領域設定部２１と、繰り返しパターン検出部２２と、横断歩道検出部２３と、車線検出部２４とを有する。制御部１３が有するこれらの各部は、例えば、制御部１３が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、制御部１３が有するこれらの各部は、ファームウェアとして実装されてもよい。あるいはまた、制御部１３が有するこれらの各部は、専用の回路として実装されてもよい。 FIG. 3 shows a functional block diagram of the control unit 13. As shown in FIG. 3, the control unit 13 includes a detection area setting unit 21, a repeated pattern detection unit 22, a pedestrian crossing detection unit 23, and a lane detection unit 24. Each of these units included in the control unit 13 is implemented as, for example, a functional module realized by a computer program executed on a processor included in the control unit 13. Alternatively, these units included in the control unit 13 may be implemented as firmware. Alternatively, these units included in the control unit 13 may be mounted as dedicated circuits.
検出領域設定部２１は、カメラ２から運転支援装置１が画像を受け取る度に、その画像上に、横断歩道の候補となる輝度変動の繰り返しパターンの検出対象となる１次検出領域及び２次検出領域を設定する。 Each time the driving support apparatus 1 receives an image from the camera 2, the detection area setting unit 21 detects a primary detection area and a secondary detection on the image, which are detection targets of a repeated pattern of luminance fluctuation that is a candidate for a pedestrian crossing. Set the area.
最初に、車両１０が走行中の車線と横断歩道の関係について説明する。図４は、車両１０が走行中の車線と横断歩道の関係の一例を示す図である。図４に示されるように、例えば、車両１０が３本の車線４０１〜４０３を持つ道路を走行しているとする。車両１０が最も左側の車線４０１を走行していれば、車両１０から横断歩道４１０を見た場合、横断歩道４１０は、車両１０の前方から右側へわたって延びている。同様に、車両１０が最も右側の車線４０３を走行していれば、車両１０から横断歩道４１０を見た場合、横断歩道４１０は、車両１０の前方から左側へわたって延びている。また、車両１０が中央の車線４０２を走行していれば、車両１０から横断歩道４１０を見た場合、横断歩道４１０は、車両１０の前方から左側及び右側の両方へ延びている。 First, the relationship between the lane in which the vehicle 10 is traveling and the pedestrian crossing will be described. FIG. 4 is a diagram illustrating an example of a relationship between a lane in which the vehicle 10 is traveling and a pedestrian crossing. As illustrated in FIG. 4, for example, it is assumed that the vehicle 10 is traveling on a road having three lanes 401 to 403. If the vehicle 10 is traveling in the leftmost lane 401, when the pedestrian crossing 410 is viewed from the vehicle 10, the pedestrian crossing 410 extends from the front of the vehicle 10 to the right side. Similarly, when the vehicle 10 is traveling in the rightmost lane 403, when the pedestrian crossing 410 is viewed from the vehicle 10, the pedestrian crossing 410 extends from the front of the vehicle 10 to the left side. Further, if the vehicle 10 is traveling in the central lane 402, when the pedestrian crossing 410 is viewed from the vehicle 10, the pedestrian crossing 410 extends from the front of the vehicle 10 to both the left side and the right side.
このように、車両１０が走行中の道路が複数の車線を含む場合、横断歩道は、車両１０が走行中の車線あるいは車両１０の車幅よりも、その車線を横切る方向に沿って左側または右側の少なくとも一方に延びている。また、車両１０が走行中の道路がある程度広い道路である場合も、同様に、横断歩道は、車両１０の車幅よりもその道路を横切る方向に沿って左側または右側の少なくとも一方に延びている。そこで、検出領域設定部２１は、画像上で、車両１０の前方の道路の一部に相当する画像上の領域を１次検出領域として設定する。その際、検出領域設定部２１は、道路外の物体による輝度変動の繰り返しパターンを横断歩道として誤検出することを防ぐために、１次検出領域を、道路以外の領域が含まれないように設定することが好ましい。さらに、検出領域設定部２１は、画像上で、車両１０が直進する方向と交差する方向に相当する画像上の方向に沿って１次検出領域に隣接するように２次検出領域を設定する。 As described above, when the road on which the vehicle 10 is traveling includes a plurality of lanes, the pedestrian crossing is located on the left or right side in a direction crossing the lane rather than the lane in which the vehicle 10 is traveling or the vehicle width of the vehicle 10. Extending to at least one of the two. Similarly, when the road on which the vehicle 10 is traveling is a road that is somewhat wide, similarly, the pedestrian crossing extends to at least one of the left side or the right side along the direction crossing the road rather than the vehicle width of the vehicle 10. . Therefore, the detection area setting unit 21 sets an area on the image corresponding to a part of the road ahead of the vehicle 10 as the primary detection area on the image. At that time, the detection area setting unit 21 sets the primary detection area so as not to include an area other than the road in order to prevent erroneous detection of a repeated pattern of luminance fluctuation due to an object outside the road as a pedestrian crossing. It is preferable. Furthermore, the detection area setting unit 21 sets a secondary detection area on the image so as to be adjacent to the primary detection area along a direction on the image corresponding to a direction crossing the direction in which the vehicle 10 travels straight.
図５は、画像上に設定される１次検出領域及び２次検出領域の一例を示す図である。図５に示された画像５００では、下方ほど車両１０の近くにある被写体が写り、上方ほど車両１０から離れた被写体が写るとする。この場合、１次検出領域５０１は、例えば、車両１０が直進した場合に通過する路面に相当する画像上の台形状の領域として設定される。１次検出領域５０１の下端は、例えば、車両１０で隠ぺいされずに路面が画像５００上に写る地点、あるいはその地点から所定のオフセット（例えば、1〜5m）だけ前方の位置に相当する。また、１次検出領域５０１の上端は、１次検出領域５０１の下端から、道路の延伸方向に沿った横断歩道の横幅程度（例えば、2m〜5m）だけ上方に設定される。あるいは、１次検出領域５０１の上端は、カメラ２から見た路面の無限遠に相当する位置に設定されてもよい。また、例えば、１次検出領域５０１の水平方向の幅は、例えば、車両１０の車幅から１車線程度の幅に相当するように、画像５００の下端に近いほど広くなるよう設定される。そして例えば、カメラ２が車両１０の横幅の中心に設置され、かつ、カメラ２の光軸が車両１０の直進方向と平行な方向へ向けられているとする。この場合、画像５００の水平方向の中心から１次検出領域５０１の左端までの距離と１次検出領域５０１の右端までの距離が等しくなるように１次検出領域５０１は設定される。 FIG. 5 is a diagram illustrating an example of a primary detection area and a secondary detection area set on an image. In the image 500 shown in FIG. 5, it is assumed that a subject near the vehicle 10 appears in the lower part and a subject far from the vehicle 10 appears in the upper part. In this case, the primary detection area 501 is set as, for example, a trapezoidal area on the image corresponding to the road surface that passes when the vehicle 10 travels straight. The lower end of the primary detection area 501 corresponds to, for example, a point where the road surface is shown on the image 500 without being concealed by the vehicle 10, or a position ahead of the point by a predetermined offset (for example, 1 to 5 m). Further, the upper end of the primary detection area 501 is set upward from the lower end of the primary detection area 501 by about the width of the pedestrian crossing along the road extending direction (for example, 2 m to 5 m). Alternatively, the upper end of the primary detection area 501 may be set at a position corresponding to the infinity of the road surface viewed from the camera 2. Further, for example, the horizontal width of the primary detection region 501 is set so as to become wider as it approaches the lower end of the image 500 so as to correspond to a width of about one lane from the vehicle width of the vehicle 10, for example. For example, it is assumed that the camera 2 is installed at the center of the lateral width of the vehicle 10 and the optical axis of the camera 2 is directed in a direction parallel to the straight traveling direction of the vehicle 10. In this case, the primary detection area 501 is set so that the distance from the horizontal center of the image 500 to the left end of the primary detection area 501 is equal to the distance from the right end of the primary detection area 501.
また、２次検出領域５０２、５０３は、それぞれ、１次検出領域５０１の左側または右側に隣接し、かつ、画像５００上での２次検出領域５０２、５０３の垂直方向の長さが１次検出領域５０１の垂直方向の長さと同一となるように設定される。また、２次検出領域５０２、５０３の水平方向の幅は、例えば、１車線分の幅（例えば、2.5m〜3.5m）に相当する画像上の幅に設定される。なお、１次検出領域５０１と各２次検出領域５０２、５０３とは互いに接していてもよく、あるいは、１画素から数画素離れていてもよい。さらに、１次検出領域５０１と各２次検出領域５０２、５０３とは、互いに部分的に重複していてもよい。 The secondary detection areas 502 and 503 are adjacent to the left or right side of the primary detection area 501 and the lengths of the secondary detection areas 502 and 503 on the image 500 in the vertical direction are the primary detection. It is set to be the same as the length of the region 501 in the vertical direction. The horizontal width of the secondary detection areas 502 and 503 is set to a width on the image corresponding to the width of one lane (for example, 2.5 m to 3.5 m), for example. Note that the primary detection area 501 and the secondary detection areas 502 and 503 may be in contact with each other, or may be several pixels away from one pixel. Further, the primary detection area 501 and the secondary detection areas 502 and 503 may partially overlap each other.
なお、カメラ２の設置位置、光軸方向、画角、及び画像サイズといったカメラ２の各種パラメータは既知であるので、それらパラメータに基づいて、予め、画像上での１次検出領域及び２次検出領域の各頂点の座標が決定され、１次検出領域及び２次検出領域を表す情報として記憶部１１に記憶される。そして検出領域設定部２１は、１次検出領域を表す情報を記憶部１１から読み出して繰り返しパターン検出部２２へ通知する。また検出領域設定部２１は、２次検出領域を表す情報を記憶部１１から読み出して横断歩道検出部２３へ通知する。 Since various parameters of the camera 2 such as the installation position of the camera 2, the optical axis direction, the angle of view, and the image size are known, the primary detection region and the secondary detection on the image are preliminarily determined based on these parameters. The coordinates of each vertex of the area are determined and stored in the storage unit 11 as information representing the primary detection area and the secondary detection area. Then, the detection area setting unit 21 reads information representing the primary detection area from the storage unit 11 and notifies the repeated pattern detection unit 22 of the information. The detection area setting unit 21 reads information representing the secondary detection area from the storage unit 11 and notifies the pedestrian crossing detection unit 23 of the information.
なお、直近に取得された所定枚数（例えば、１〜３枚）の画像のうちの何れかにおいて車線検出部２４により車線境界線が検出され、画像上での車線境界線の位置が記憶部１１に記憶されていることがある。この場合、検出領域設定部２１は、画像上での車線境界線を１次検出領域と２次検出領域の境界としてもよい。 Note that the lane boundary line is detected by the lane detection unit 24 in any of a predetermined number of images (for example, 1 to 3) acquired most recently, and the position of the lane boundary line on the image is stored in the storage unit 11. May be remembered. In this case, the detection area setting unit 21 may use a lane boundary line on the image as a boundary between the primary detection area and the secondary detection area.
繰り返しパターン検出部２２は、カメラ２から運転支援装置１が画像を受け取る度に、その画像上の１次検出領域内で、車両１０の直進方向と交差する方向に相当する画像上での方向に沿って輝度値の変動が繰り返されるパターンを横断歩道の候補として検出する。 Each time the driving support apparatus 1 receives an image from the camera 2, the repeated pattern detection unit 22 is in a direction on the image corresponding to the direction intersecting the straight traveling direction of the vehicle 10 within the primary detection region on the image. A pattern in which the fluctuation of the brightness value is repeated along is detected as a candidate for a pedestrian crossing.
ガードレールあるいは縁石なども相対的に明るく、かつ、道路の延伸方向に沿って連続しているため、これらの道路脇に存在する物体により、画像上で、車両１０の直進方向と直交する方向に沿って、横断歩道と同様のパターンが表れることがある。しかし、本実施形態では、繰り返しパターン検出部２２は、横断歩道の候補となるパターンの検出範囲を１次検出領域に限定しているので、これらの道路脇に存在する物体を横断歩道の候補として誤検出することを防止できる。 Since the guardrail or curb is also relatively bright and is continuous along the road extending direction, the object existing on the side of the road is along the direction orthogonal to the straight traveling direction of the vehicle 10 on the image. The same pattern as a pedestrian crossing may appear. However, in the present embodiment, the repetitive pattern detection unit 22 limits the detection range of the pattern that is a candidate for a pedestrian crossing to the primary detection area. It is possible to prevent erroneous detection.
本実施形態では、繰り返しパターン検出部２２は、先ず、１次検出領域内で、水平方向に画素が連続する画素列ごとに、輝度が相対的に明るい画素が連続するブロックを検出する。そのために、繰り返しパターン検出部２２は、例えば、着目する画素列について、画素xiごとに、その画素xiの輝度p(xi)を右側に隣接する画素xi+1の輝度p(xi+1)から減じた差分値(p(xi+1)-p(xi))を算出する。そして繰り返しパターン検出部２２は、差分値(p(xi+1)- p(xi))が正の値を持つ所定の差分閾値以上となるときの画素xi+1をブロックの左端とする。さらに、繰り返しパターン検出部２２は、ブロックの左端よりも右側でその左端に最も近い、差分値が負の所定の差分閾値以下となるときの画素xiをブロックの右端とする。なお、繰り返しパターン検出部２２は、ブロックの右端または左端を検出するために、sobelフィルタなどのエッジ検出フィルタを利用してもよい。 In the present embodiment, the repetitive pattern detection unit 22 first detects a block in which pixels having relatively bright luminance are continuous for each pixel row in which pixels are continuous in the horizontal direction within the primary detection region. For this purpose, for example, for the pixel row of interest, the repetitive pattern detection unit 22 sets the luminance p (x i ) of the pixel x i for each pixel x i to the luminance p (x of the pixel x i + 1 adjacent to the right side. i + 1) from the subtracted difference value to calculate the (p (x i + 1) -p (x i)). The repetitive pattern detection unit 22 sets the pixel x i + 1 when the difference value (p (x i + 1 ) −p (x i )) is equal to or greater than a predetermined difference threshold having a positive value as the left end of the block. To do. Moreover, the repetitive pattern detection unit 22 closest to the left end in the right side from the left end of the block, the pixel x i when the difference value is less than the negative predetermined difference threshold and the right edge of the block. The repeated pattern detection unit 22 may use an edge detection filter such as a sobel filter in order to detect the right end or the left end of the block.
あるいは、繰り返しパターン検出部２２は、１次検出領域全体について、輝度値が所定の輝度閾値以上となる画素（便宜上、明画素と呼ぶ）と輝度値が所定の輝度閾値未満となる画素（便宜上、暗画素と呼ぶ）とに２値化してもよい。繰り返しパターン検出部２２は、画素列ごとに、１次検出領域の左端側から順に着目画素を設定する。そして繰り返しパターン検出部２２は、着目画素が明画素で、かつ、左側に隣接する画素が暗画素であるときに、その着目画素をブロックの左端としてもよい。この場合、繰り返しパターン検出部２２は、ブロックの左端よりも右側において、最初に、着目画素が明画素で、かつ、右側に隣接する画素が暗画素となるときに、その着目画素をブロックの右端とする。 Alternatively, the repetitive pattern detection unit 22 has, for the entire primary detection region, a pixel whose luminance value is equal to or higher than a predetermined luminance threshold (referred to as a bright pixel for convenience) and a pixel whose luminance value is lower than the predetermined luminance threshold (for convenience's sake). It may be binarized to a dark pixel). The repetitive pattern detection unit 22 sets the target pixel in order from the left end side of the primary detection region for each pixel column. The repetitive pattern detection unit 22 may set the target pixel as the left end of the block when the target pixel is a bright pixel and the pixel adjacent on the left side is a dark pixel. In this case, the repetitive pattern detection unit 22 first sets the target pixel to the right end of the block when the target pixel is a bright pixel and a pixel adjacent to the right side is a dark pixel on the right side of the block. And
次に、繰り返しパターン検出部２２は、１次検出領域の各画素列におけるブロックを、路面に平行で、車両１０の直進方向とその直進方向と直交する方向とをそれぞれ座標軸とする座標系を表す路面画像上に投影して、路面画像上での各ブロックの位置を求める。 Next, the repeated pattern detection unit 22 represents a block in each pixel row of the primary detection area in a coordinate system that is parallel to the road surface and that has a straight traveling direction of the vehicle 10 and a direction orthogonal to the straight traveling direction as coordinate axes. Projecting on the road surface image, the position of each block on the road surface image is obtained.
そのために、記憶部１１は、１次検出領域内の各画素の位置と路面画像上の対応位置との関係を表した位置変換テーブルを記憶していてもよい。繰り返しパターン検出部２２は、その位置変換テーブルを参照することで、各ブロックの路面画像上の位置を決定する。あるいは、繰り返しパターン検出部２２は、各ブロックを鳥瞰変換することで、路面画像上での各ブロックの位置を求めてもよい。なお、本実施形態では、カメラ２の光軸方向、焦点距離及び路面からのカメラ２の高さといったカメラに関するパラメータが既知である。そのため、繰り返しパターン検出部２２は、例えば、特開２００５−１６７３０９号公報に開示されている方法に従って各ブロックを鳥瞰変換できる。なお、繰り返しパターン検出部２２は、鳥瞰変換を利用して路面画像上の各ブロックの位置を求める場合、鳥瞰変換を行う様々な方法の何れかに従って各ブロックを鳥瞰変換すればよい。 For this purpose, the storage unit 11 may store a position conversion table that represents the relationship between the position of each pixel in the primary detection region and the corresponding position on the road surface image. The repeated pattern detection unit 22 determines the position of each block on the road surface image by referring to the position conversion table. Alternatively, the repeated pattern detection unit 22 may obtain the position of each block on the road surface image by performing bird's-eye conversion on each block. In the present embodiment, camera-related parameters such as the optical axis direction of the camera 2, the focal length, and the height of the camera 2 from the road surface are known. Therefore, the repetitive pattern detection unit 22 can perform bird's-eye conversion on each block in accordance with, for example, a method disclosed in JP-A-2005-167309. In addition, when the repetition pattern detection part 22 calculates | requires the position of each block on a road surface image using bird's-eye view conversion, what is necessary is just to perform bird's-eye conversion of each block according to any of the various methods which perform bird's-eye conversion.
横断歩道の各白線は道路の延伸方向に沿ってある程度の長さを持ち、かつ、その白線は周囲よりも明るい。また、車両１０の直進方向と、道路の延伸方向とは略一致すると想定される。そのため、もし、１次検出領域内に横断歩道が写っている場合、路面画像上では、車両１０の直進方向に対応する路面画像上の方向、例えば、垂直方向に沿ってブロックが並ぶ可能性が高い。 Each white line of the pedestrian crossing has a certain length along the extending direction of the road, and the white line is brighter than the surroundings. Further, it is assumed that the straight traveling direction of the vehicle 10 and the road extending direction are substantially the same. Therefore, if a pedestrian crossing is shown in the primary detection area, there is a possibility that blocks are arranged along the direction on the road image corresponding to the straight traveling direction of the vehicle 10, for example, the vertical direction on the road image. high.
そこで繰り返しパターン検出部２２は、路面画像への投影後の各画素列のブロックについて、そのブロックに含まれる画素ごとに、対応する路面画像上での水平方向（すなわち、車両１０の直進方向と直交する方向）の位置に１を投票する。これにより、繰り返しパターン検出部２２は、路面画像上での水平方向の位置ごとに、輝度が相対的に明るい画素が検出された回数である累積度数を求める。そして繰り返しパターン検出部２２は、累積度数が所定の閾値以上となる位置が水平方向に沿って連続する範囲を、それぞれ、横断歩道の白線の候補であるビンとする。また、繰り返しパターン検出部２２は、各ビンについて、累積度数が所定の閾値以上となる位置が水平方向に沿って連続する範囲の長さを、ビンの幅とする。１次検出領域に横断歩道が写っている場合、ビンの幅は、画像上での横断歩道の各白線の幅に対応すると想定される。上記のように、実際の横断歩道には、一部が掠れて見えなくなっているものが存在する。そこで所定の閾値は、例えば、道路の延伸方向に沿った横断歩道の想定される幅に相当する路面画像上での垂直方向の画素数に0.5〜0.7を乗じた値に設定される。これにより、繰り返しパターン検出部２２は、横断歩道の一部が掠れて見えなくなっている場合でも、横断歩道の検出に失敗する可能性を低減できる。 Therefore, the repetitive pattern detection unit 22 applies the horizontal direction on the corresponding road surface image (i.e., orthogonal to the straight traveling direction of the vehicle 10) for each pixel included in the block of each pixel row after projection onto the road surface image. Vote 1 for the position in the direction of As a result, the repeated pattern detection unit 22 obtains the cumulative frequency, which is the number of times that a relatively bright pixel is detected, for each horizontal position on the road image. Then, the repetitive pattern detection unit 22 sets the ranges where the positions where the cumulative frequency is equal to or greater than a predetermined threshold value along the horizontal direction as bins that are candidates for the white line of the pedestrian crossing. Further, the repeated pattern detection unit 22 sets the length of the bin in which the position where the cumulative frequency is equal to or greater than a predetermined threshold for each bin continues in the horizontal direction. When a pedestrian crossing is shown in the primary detection area, the width of the bin is assumed to correspond to the width of each white line of the pedestrian crossing on the image. As described above, there are some actual pedestrian crossings that are partially obscured and cannot be seen. Accordingly, the predetermined threshold is set to a value obtained by multiplying the number of pixels in the vertical direction on the road image corresponding to the assumed width of the pedestrian crossing along the road extending direction by 0.5 to 0.7, for example. As a result, the repeated pattern detection unit 22 can reduce the possibility that the detection of the pedestrian crossing will fail even if a part of the pedestrian crossing is blurred and cannot be seen.
なお、繰り返しパターン検出部２２は、ブロックが一つ以上検出された画素列のうち、１次検出領域内で最も下側の画素列から、道路の延伸方向に沿った横断歩道の横幅に相当する画素列の数だけ上側の画素列までを、累積度数の算出に利用してもよい。あるいは、繰り返しパターン検出部２２は、１次検出領域内で最も下側の画素列から順にブロックを検出してもよい。この場合、繰り返しパターン検出部２２は、最初にブロックが検出された画素列から、道路の延伸方向に沿った横断歩道の横幅に相当する画素列の数だけ上側の画素列までをブロックの検出対象としてもよい。これにより、繰り返しパターン検出部２２は、互いに異なる複数の道路標示が累積度数に影響することを抑制できる。 The repetitive pattern detection unit 22 corresponds to the horizontal width of the pedestrian crossing along the road extending direction from the lowermost pixel row in the primary detection region among the pixel rows in which one or more blocks are detected. Up to the upper pixel column by the number of pixel columns may be used for calculation of the cumulative frequency. Alternatively, the repeated pattern detection unit 22 may detect blocks in order from the lowermost pixel column in the primary detection region. In this case, the repetitive pattern detection unit 22 detects a block from the first pixel row from which the block is detected to the upper pixel row by the number of pixel rows corresponding to the width of the pedestrian crossing along the road extending direction. It is good. Thereby, the repeating pattern detection part 22 can suppress that the several different road marking influences cumulative frequency.
繰り返しパターン検出部２２は、ビンが所定個数以上存在する場合、１次検出領域内に横断歩道の候補となる輝度変動の繰り返しパターンが存在すると判定する。なお、所定個数は、例えば、２に設定される。また一般に、横断歩道の各白線の幅は略等しい。そこで繰り返しパターン検出部２２は、ビンが所定個数以上存在し、かつ、各ビンの幅のうちの最大値と最小値の差、すなわちビンの幅の変動範囲が所定の閾値未満である場合に限り、繰り返しパターンが存在すると判定してもよい。この場合、所定の閾値は、例えば、実空間での5cmに対応する路面画像での画素数に設定される。このように、ビンの幅の変動範囲も横断歩道の候補を検出するための条件に利用することで、繰り返しパターン検出部２２は、横断歩道以外の路面標示を誤って横断歩道の候補とすることを抑制できる。さらに、本実施形態では、繰り返しパターン検出部２２は、ビンの幅の絶対値そのものについては、横断歩道の候補を検出するための条件に用いていない。そのため、繰り返しパターン検出部２２は、仮設の横断歩道といった、白線の幅が規格を満たしていない横断歩道が１次検出領域に写っている場合でも、適切に横断歩道の候補となる繰り返しパターンを検出できる。 The repetitive pattern detection unit 22 determines that there is a repetitive pattern of luminance fluctuation that is a candidate for a pedestrian crossing in the primary detection area when there are a predetermined number of bins or more. The predetermined number is set to 2, for example. In general, the width of each white line of the pedestrian crossing is substantially equal. Therefore, the repetitive pattern detection unit 22 is limited to a case where there are a predetermined number of bins and the difference between the maximum value and the minimum value of the bin widths, that is, the fluctuation range of the bin width is less than a predetermined threshold. It may be determined that there is a repeated pattern. In this case, the predetermined threshold is set, for example, to the number of pixels in the road surface image corresponding to 5 cm in real space. In this way, by using the bin width variation range as a condition for detecting a pedestrian crossing candidate, the repeated pattern detection unit 22 erroneously selects a road marking other than the pedestrian crossing as a pedestrian crossing candidate. Can be suppressed. Further, in the present embodiment, the repeated pattern detection unit 22 does not use the absolute value of the bin width itself as a condition for detecting a candidate for a pedestrian crossing. Therefore, the repeated pattern detection unit 22 appropriately detects a repeated pattern that is a candidate for a pedestrian crossing even when a pedestrian crossing whose white line width does not satisfy the standard, such as a temporary pedestrian crossing, is shown in the primary detection area. it can.
図６は、一次検出領域中で検出される横断歩道の白線部分とビンの関係の一例を示す図である。この例では、一次検出領域６００において、水平方向の画素列ごとに、横断歩道の白線が写っている部分がブロック６０１として検出される。路面画像６１０上では、路面画像へ投影された各ブロック６１１の水平方向の位置は対応する白線の位置と略一致する。そのため、路面画像６１０の水平方向の位置ごとの累積度数６３０も、対応する白線の位置で高くなり、閾値Th以上となる。したがって、路面画像６１０の白線に対応する位置にビン６３１が設定される。 FIG. 6 is a diagram illustrating an example of a relationship between a white line portion of a pedestrian crossing detected in the primary detection region and a bin. In this example, in the primary detection area 600, a portion where a white line of a pedestrian crossing is reflected is detected as a block 601 for each pixel row in the horizontal direction. On the road surface image 610, the horizontal position of each block 611 projected onto the road surface image substantially coincides with the position of the corresponding white line. Therefore, the cumulative frequency 630 for each position in the horizontal direction of the road surface image 610 also increases at the corresponding white line position, and is equal to or greater than the threshold value Th. Therefore, the bin 631 is set at a position corresponding to the white line of the road surface image 610.
繰り返しパターン検出部２２は、１次検出領域に横断歩道の候補が有ると判定した場合、ビンの幅の平均値をその候補についての白線幅とし、かつ、隣接する二つのビン間の間隔の平均値を、その候補についての白線間隔として算出する。さらに、繰り返しパターン検出部２２は、白線幅と白線間隔の和を、繰り返しパターンの周期とする。また、繰り返しパターン検出部２２は、１次検出領域内でブロックが検出された画素列のうち、画像の下端に最も近い画素列から、横断歩道の幅に相当する画素数だけ上側の画素列までを、横断歩道の候補が含まれる領域とする。そして繰り返しパターン検出部２２は、その白線幅、白線間隔及び周期と、横断歩道が含まれる領域を表す情報を横断歩道検出部２３へ渡す。 When it is determined that there is a pedestrian crossing candidate in the primary detection area, the repetitive pattern detection unit 22 sets the average value of the bin width as the white line width for the candidate, and the average of the interval between two adjacent bins The value is calculated as the white line interval for that candidate. Further, the repetitive pattern detection unit 22 uses the sum of the white line width and the white line interval as the period of the repetitive pattern. In addition, the repeated pattern detection unit 22 extends from the pixel row closest to the lower end of the image to the upper pixel row by the number of pixels corresponding to the width of the pedestrian crossing among the pixel rows in which the block is detected in the primary detection region. Is an area including candidates for a pedestrian crossing. Then, the repetitive pattern detection unit 22 passes the information indicating the white line width, white line interval and period, and the area including the pedestrian crossing to the pedestrian crossing detection unit 23.
一方、繰り返しパターン検出部２２が１次検出領域に横断歩道の候補となる繰り返しパターンが無いと判定した場合、制御部１３は、その画像についての横断歩道検出処理を終了する。 On the other hand, when the repeated pattern detection unit 22 determines that there is no repeated pattern that is a candidate for a pedestrian crossing in the primary detection area, the control unit 13 ends the pedestrian crossing detection process for the image.
横断歩道検出部２３は、横断歩道の候補となる繰り返しパターンが検出された場合、二つの２次検出領域内で、それぞれ、繰り返しパターン検出部２２と同様の処理を実行して横断歩道の候補となる輝度変動の繰り返しパターンを検出する。そして横断歩道検出部２３は、少なくとも一方の２次検出領域において繰り返しパターンが検出された場合、１次検出領域で検出された繰り返しパターン及び２次検出領域で検出された繰り返しパターンを、横断歩道と判定する。 When a repetitive pattern that is a pedestrian crossing candidate is detected, the pedestrian crossing detection unit 23 performs the same processing as the repetitive pattern detection unit 22 in each of the two secondary detection areas, and A repetitive pattern of luminance fluctuation is detected. When a repetitive pattern is detected in at least one secondary detection area, the pedestrian crossing detection unit 23 determines the repetitive pattern detected in the primary detection area and the repetitive pattern detected in the secondary detection area as a crosswalk. judge.
なお、１次検出領域内の繰り返しパターンが横断歩道に対応する場合、２次検出領域内でも、繰り返しパターンの輝度変動の周期は、１次検出領域内の繰り返しパターンの輝度変動の周期と一致すると想定される。そこで変形例によれば、横断歩道検出部２３は、各２次検出領域の路面画像で、１次検出領域内の繰り返しパターンのビンの位置から、その繰り返しパターンの周期の整数倍だけ離れた位置に、その繰り返しパターンの白線の幅と等しい投票可能領域を設定する。そして横断歩道検出部２３は、水平方向の各画素列について、その投票可能領域と重なったブロック内の画素についてのみ、累積度数の算出に利用してもよい。 When the repetitive pattern in the primary detection area corresponds to a pedestrian crossing, the period of the luminance variation of the repetitive pattern matches the period of the luminance variation of the repetitive pattern in the primary detection area even in the secondary detection area. is assumed. Therefore, according to the modification, the pedestrian crossing detection unit 23 is a road surface image of each secondary detection area, and is a position that is separated from the bin position of the repetitive pattern in the primary detection area by an integral multiple of the period of the repetitive pattern. In addition, a voteable area equal to the width of the white line of the repeated pattern is set. Then, the pedestrian crossing detection unit 23 may use, for each horizontal pixel row, only the pixels in the block that overlap with the voteable area to calculate the cumulative frequency.
あるいは、横断歩道検出部２３は、少なくとも一方の２次検出領域において、その２次検出領域を路面画像上へ投影して得られる領域の水平方向の幅を、１次検出領域から検出された横断歩道の候補についての周期で除した数をビン数の想定値としてもよい。そして横断歩道検出部２３は、少なくとも一方の２次検出領域に対応する路面画像上の領域において、その想定値と同数のビンが含まれる場合に、各繰り返しパターンを横断歩道と判定してもよい。 Alternatively, the pedestrian crossing detection unit 23 detects, in at least one of the secondary detection areas, the horizontal width of the area obtained by projecting the secondary detection area onto the road surface image from the primary detection area. It is good also considering the number divided | segmented by the period about the candidate for a sidewalk as an estimated value of the number of bins. The pedestrian crossing detection unit 23 may determine each repetitive pattern as a pedestrian crossing when the same number of bins as the assumed value is included in the area on the road image corresponding to at least one of the secondary detection areas. .
あるいは、横断歩道検出部２３は、少なくとも一方の２次検出領域において、その２次検出領域を路面画像に投影して得られる領域の水平方向の幅を、横断歩道の規格に相当する白線幅及び白線間隔の和に相当する路面画像上の長さで除した数をビン数の閾値とする。そして横断歩道検出部２３は、少なくとも一方の２次検出領域に対応する路面画像上の領域において、その閾値以上の数のビンが含まれる場合に、各繰り返しパターンを横断歩道と判定してもよい。 Alternatively, the pedestrian crossing detection unit 23 determines, in at least one of the secondary detection areas, the horizontal width of the area obtained by projecting the secondary detection area onto the road surface image, the white line width corresponding to the pedestrian crossing standard, and The number divided by the length on the road surface image corresponding to the sum of white line intervals is set as the threshold value for the number of bins. The pedestrian crossing detection unit 23 may determine that each repetitive pattern is a pedestrian crossing when an area on the road surface image corresponding to at least one of the secondary detection areas includes a number of bins equal to or greater than the threshold. .
横断歩道検出部２３は、横断歩道を検出した場合、横断歩道と判定された１次検出領域及び２次検出領域内の各ビンに相当する画像上の画素（すなわち、横断歩道の白線に対応）の位置を表す情報を、横断歩道を表す領域の情報として車線検出部２４へ通知する。なお、横断歩道検出部２３は、各ビンに相当する画像上の画素を、例えば、位置変換テーブルを参照するか、各ビンに対応する、画素列ごとの路面画像上の画素に対して鳥瞰変換の逆変換を実行することで特定できる。そして各ビンに相当する画像上の画素の位置を表す情報は、例えば、各ビンに相当する画像上の画素とそれ以外の画素とが互いに異なる値を持つ２値画像とすることができる。 When the pedestrian crossing detection unit 23 detects a pedestrian crossing, the pixels on the image corresponding to the bins in the primary detection area and the secondary detection area determined to be a pedestrian crossing (that is, corresponding to the white line of the pedestrian crossing) The lane detector 24 is notified of the information indicating the position of the lane as information on the area indicating the pedestrian crossing. The pedestrian crossing detection unit 23 refers to the pixel on the image corresponding to each bin, for example, by referring to the position conversion table, or performs bird's-eye conversion on the pixel on the road surface image for each pixel column corresponding to each bin. It can be specified by performing the inverse transformation of. The information indicating the position of the pixel on the image corresponding to each bin can be, for example, a binary image in which the pixel on the image corresponding to each bin and the other pixels have different values.
車線検出部２４は、運転支援装置１がカメラ２から画像を受け取る度に、その画像から車線の境界を表す車線境界線を検出する。そのために、車線検出部２４は、例えば、画像に対してsobelフィルタなどのエッジ検出フィルタを適用するか、あるいは、隣接画素間の輝度差を求めることで得られる値が所定の閾値以上となるエッジ画素を検出する。そして車線検出部２４は、エッジ画素が連続する線を求め、その線のうち、車両１０の直進方向に沿った直線から所定の角度範囲（例えば、±10°〜±30°）にあり、かつ、所定以上の長さを持つ直線を車線境界線として検出する。その際、車線検出部２４は、検出されたエッジ画素の集合に対してハフ変換を適用することで、直線を検出してもよい。また、車線検出部２４は、車線境界線を検出する様々な方法の何れか、例えば、特開２０１３−１２０４５８号公報または特開２０１４−１０２７７５号公報に開示された方法にしたがって車線境界線を検出してもよい。そして車線検出部２４は、車線境界線を表す画素の位置を表す情報を記憶部１１に記憶する。 Each time the driving support device 1 receives an image from the camera 2, the lane detection unit 24 detects a lane boundary line that represents a lane boundary from the image. Therefore, for example, the lane detection unit 24 applies an edge detection filter such as a sobel filter to an image, or an edge whose value obtained by obtaining a luminance difference between adjacent pixels is equal to or greater than a predetermined threshold. Detect a pixel. The lane detection unit 24 obtains a line in which edge pixels are continuous, and is within a predetermined angle range (for example, ± 10 ° to ± 30 °) from a straight line along the straight traveling direction of the vehicle 10 among the lines, and Then, a straight line having a predetermined length or more is detected as a lane boundary line. At that time, the lane detection unit 24 may detect a straight line by applying a Hough transform to the detected set of edge pixels. The lane detection unit 24 detects the lane boundary according to any of various methods for detecting the lane boundary, for example, the method disclosed in JP2013-120458A or JP2014-102775A. May be. The lane detection unit 24 stores information indicating the position of the pixel representing the lane boundary line in the storage unit 11.
その際、車線検出部２４は、横断歩道検出部２３がその画像から横断歩道を検出している場合、画像上で横断歩道を表す領域を、車線境界線の検出対象から除外する。これにより、車線検出部２４は、横断歩道を車線境界線として誤検出することを防止できる。 At that time, when the pedestrian crossing detection unit 23 detects the pedestrian crossing from the image, the lane detection unit 24 excludes the region representing the pedestrian crossing on the image from the detection target of the lane boundary line. Thereby, the lane detection unit 24 can prevent erroneous detection of a pedestrian crossing as a lane boundary line.
車線検出部２４は、検出した画像上の車線境界線に基づいて、実空間での路面上での車線境界位置及び車両１０自身の横変位等を算出するためのパラメータを算出する。そのために、車線検出部２４は、路面上の車線境界線の位置をモデル化し、そのモデルに従って、画像上での車線境界線の位置から実空間の路面上の車線境界線の位置を算出する。例えば、車線検出部２４は、画像上での車線境界線上の各点の位置を入力として、以下のモデル式を用いて線形近似による繰り返し演算を行うことにより、車両１０自身の横方向の変位及び道路幅などの道路パラメータを推定する。ただし、車線検出部２４は、画像上の車線境界線の位置から実空間上の車線境界線の位置を求める他の方法方を利用して、実空間での車線境界線の位置を求めてもよい。
車線検出部２４は、推定された道路パラメータに基づいて、車両１０と左右の車線境界線との距離を計算し、計算された距離が所定の閾値以下である場合、車両１０が車線から逸脱したと判定する。そして車線検出部２４は、車両１０が車線をはみ出しているか、あるいは車線をはみ出す可能性が有る場合、ディスプレイ３へ、その旨の警告メッセージを表示させる。あるいは、車両１０の車室内にスピーカ（図示せず）が配置されている場合、車線検出部２４は、スピーカに警報音を出力させてもよい。 The lane detection unit 24 calculates the distance between the vehicle 10 and the left and right lane boundary lines based on the estimated road parameters. If the calculated distance is equal to or less than a predetermined threshold, the vehicle 10 deviates from the lane. Is determined. The lane detection unit 24 displays a warning message to that effect on the display 3 when the vehicle 10 protrudes from the lane or has a possibility of protruding from the lane. Alternatively, when a speaker (not shown) is arranged in the vehicle interior of the vehicle 10, the lane detection unit 24 may cause the speaker to output an alarm sound.
図７及び図８は、制御部１３により実行される、横断歩道検出処理を含む車線検出処理の動作フローチャートである。制御部１３は、運転支援装置１がカメラ２から画像を受け取る度に、下記の動作フローチャートにしたがって車線検出処理を実行する。 7 and 8 are operation flowcharts of lane detection processing including pedestrian crossing detection processing executed by the control unit 13. Each time the driving support device 1 receives an image from the camera 2, the control unit 13 executes lane detection processing according to the following operation flowchart.
検出領域設定部２１は、画像上に車両１０の前方の道路の一部を含む１次検出領域と１次検出領域に対して車両１０の直進方向と交差する方向に沿って隣接する２次検出領域を設定する（ステップＳ１０１）。そして検出領域設定部２１は１次検出領域を繰り返しパターン検出部２２へ通知し、２次検出領域を横断歩道検出部２３へ通知する。 The detection area setting unit 21 includes a primary detection area that includes a part of the road ahead of the vehicle 10 on the image, and a secondary detection that is adjacent to the primary detection area along a direction that intersects the straight traveling direction of the vehicle 10. An area is set (step S101). Then, the detection area setting unit 21 repeatedly notifies the primary detection area to the pattern detection unit 22 and notifies the pedestrian crossing detection unit 23 of the secondary detection area.
繰り返しパターン検出部２２は１次検出領域内で画素列ごとに、輝度が相対的に明るい画素が連続するブロックを検出する（ステップＳ１０２）。そして繰り返しパターン検出部２２は各画素列について、検出したブロックを路面画像上に投影して、路面画像上でのブロックの位置を求める（ステップＳ１０３）。そして繰り返しパターン検出部２２は、各画素列について、ブロックに含まれる画素ごとに、路面画像上での水平方向の対応位置に投票することで、路面画像上の水平方向の位置ごとに累積度数を算出する（ステップＳ１０４）。 The repetitive pattern detection unit 22 detects a block in which pixels having relatively bright luminance are continuous for each pixel column in the primary detection region (step S102). Then, the repeated pattern detection unit 22 projects the detected block on the road surface image for each pixel column, and obtains the position of the block on the road surface image (step S103). The repetitive pattern detection unit 22 votes the corresponding frequency in the horizontal direction on the road image for each pixel included in the block for each pixel row, thereby calculating the cumulative frequency for each horizontal position on the road image. Calculate (step S104).
繰り返しパターン検出部２２は、累積度数が所定の閾値Th以上となる路面画像の位置が連続する範囲をそれぞれ一つのビンとする（ステップＳ１０５）。そして繰り返しパターン検出部２２は、路面画像上での水平方向に沿ったビンの数が所定数以上か否か判定する（ステップＳ１０６）。ビンの数が所定数未満であれば（ステップＳ１０６−Ｎｏ）、繰り返しパターン検出部２２は、画像には横断歩道が写っていないと判定する。 The repetitive pattern detection unit 22 sets a range in which the position of the road surface image where the cumulative frequency is equal to or greater than the predetermined threshold Th as one bin (step S105). Then, the repeated pattern detection unit 22 determines whether or not the number of bins along the horizontal direction on the road surface image is equal to or greater than a predetermined number (step S106). If the number of bins is less than the predetermined number (step S106-No), the repetitive pattern detection unit 22 determines that the image does not include a pedestrian crossing.
一方、ビンの数が所定数以上であれば（ステップＳ１０６−Ｙｅｓ）、繰り返しパターン検出部２２は１次検出領域に横断歩道の候補となる繰り返しパターンが写っていると判定する。そして繰り返しパターン検出部２２は、各ビンの幅の平均値及び隣接する二つのビン間の間隔を白線幅及び白線間隔として算出する（ステップＳ１０７）。繰り返しパターン検出部２２は、白線幅及び白線間隔と、その和である繰り返しパターンの周期と、横断歩道の候補が写っている領域を横断歩道検出部２３へ通知する。 On the other hand, if the number of bins is equal to or greater than the predetermined number (step S106—Yes), the repetitive pattern detection unit 22 determines that a repetitive pattern that is a candidate for a pedestrian crossing appears in the primary detection area. Then, the repeated pattern detection unit 22 calculates the average value of the width of each bin and the interval between two adjacent bins as the white line width and the white line interval (step S107). The repeated pattern detection unit 22 notifies the pedestrian crossing detection unit 23 of the white line width and white line interval, the cycle of the repeated pattern that is the sum thereof, and the area in which the candidate for the pedestrian crossing is shown.
横断歩道検出部２３は、１次検出領域の左側または右側に隣接する二つの２次検出領域のうち、少なくとも一方について横断歩道の候補となる輝度変動の繰り返しパターンが含まれるか否か判定する（ステップＳ１０８）。何れの２次検出領域にも繰り返しパターンが含まれない場合（ステップＳ１０８−Ｎｏ）、横断歩道検出部２３は画像には横断歩道が写っていないと判定する。 The pedestrian crossing detection unit 23 determines whether at least one of the two secondary detection areas adjacent to the left or right side of the primary detection area includes a luminance variation repetitive pattern that is a pedestrian crossing candidate ( Step S108). If no secondary pattern is included in any of the secondary detection areas (No at Step S108), the pedestrian crossing detection unit 23 determines that the image does not include a pedestrian crossing.
一方、少なくとも一方の２次検出領域において繰り返しパターンが含まれる場合（ステップＳ１０８−Ｙｅｓ）、横断歩道検出部２３は１次検出領域の繰り返しパターン及び２次検出領域の繰り返しパターンを、横断歩道として検出する（ステップＳ１０９）。そして横断歩道検出部２３は、画像上での横断歩道の領域を表す情報を車線検出部２４へわたす。 On the other hand, when a repeated pattern is included in at least one secondary detection area (step S108-Yes), the pedestrian crossing detection unit 23 detects the repeated pattern of the primary detection area and the repeated pattern of the secondary detection area as a pedestrian crossing. (Step S109). Then, the pedestrian crossing detection unit 23 passes information representing the area of the pedestrian crossing on the image to the lane detection unit 24.
図８に示されるように、車線検出部２４は、画像上で横断歩道が写っている領域を車線境界線の検出対象から除外する（ステップＳ１１０）。 As illustrated in FIG. 8, the lane detection unit 24 excludes an area where a pedestrian crossing is shown in the image from the detection target of the lane boundary line (step S110).
ステップＳ１１０の後、またはステップＳ１０６またはステップＳ１０８にて画像上に横断歩道が写っていないと判定された場合、車線検出部２４は、路面に対応し、かつ除外されていない画像上の領域からエッジ画素を検出する（ステップＳ１１１）。そして車線検出部２４は、検出されたエッジ画素が連結された線の中から車線境界線を検出する（ステップＳ１１２）。車線検出部２４は、車線境界線の位置に基づいて、車両１０が車線をはみ出すか、あるいは車線をはみ出す可能性が有るかを判定する（ステップＳ１１３）。車両１０が車線をはみ出すか、あるいは車線をはみ出す可能性が有る場合（ステップＳ１１３−Ｙｅｓ）、車線検出部２４は、ディスプレイ３に警告メッセージを表示させる（ステップＳ１１４）。 After step S110, or when it is determined in step S106 or step S108 that the pedestrian crossing is not shown on the image, the lane detection unit 24 corresponds to the road surface and the edge from the region on the image that is not excluded. A pixel is detected (step S111). Then, the lane detection unit 24 detects a lane boundary line from the lines connected to the detected edge pixels (step S112). Based on the position of the lane boundary line, the lane detection unit 24 determines whether the vehicle 10 protrudes from the lane or may protrude from the lane (step S113). When the vehicle 10 protrudes from the lane or has a possibility of protruding from the lane (step S113-Yes), the lane detection unit 24 displays a warning message on the display 3 (step S114).
ステップＳ１１４の後、あるいは、ステップＳ１１３にて車両１０が車線をはみ出しておらず、かつ、車線をはみ出す可能性が無いと判定された場合（ステップＳ１１３−Ｎｏ）、制御部１３は、車線検出処理を終了する。 After step S114 or when it is determined in step S113 that the vehicle 10 does not protrude from the lane and there is no possibility of protruding from the lane (step S113-No), the control unit 13 performs lane detection processing. Exit.
以上に説明してきたように、横断歩道検出装置の一例である運転支援装置は、画像上に設定される、車両の前方の道路の一部を含む１次検出領域にて車両の直進方向と交差する方向の輝度変動の繰り返しパターンを横断歩道の候補として検出する。そしてこの運転支援装置は、１次検出領域の左側または右側に隣接する２次検出領域にて同様の輝度変化の繰り返しパターンを検出できた場合に、画像に横断歩道が写っていると判断する。このように、この運転支援装置は、横断歩道の白線の幅の規格に応じた条件を用いずに横断歩道を検出するので、規格外の横断歩道も検出できる。またこの運転支援装置は、車両の前方の道路の一部、特に、車両の正面の路面を含む１次検出領域内に輝度変化の繰り返しパターンが検出されることを横断歩道検出の条件としている。そのため、この運転支援装置は、道路脇に存在する、道路の延伸方向と略平行な物体を横断歩道として誤検出することを抑制できる。さらに、この運転支援装置は、車両の直進方向に沿って、輝度が相対的に明るい画素が検出された数である累積度数に基づいて繰り返しパターンを検出するので、横断歩道の一部が見えなくなっている場合でも、横断歩道の検出の失敗を抑制できる。そしてこの運転支援装置は、画像上で横断歩道が検出された領域を車線境界線の検出対象から除外するので、横断歩道を車線境界線として誤認識することを抑制できる。さらに、この運転支援装置は、先ず、１次検出領域で繰り返しパターンが検出されたときのみ、２次検出領域でも繰り返しパターンを検出するので、横断歩道検出の際の演算量を削減できる。 As described above, the driving support device, which is an example of a pedestrian crossing detection device, intersects with the vehicle's straight direction in the primary detection region that is set on the image and includes a part of the road ahead of the vehicle. A repetitive pattern of luminance fluctuation in the direction to be detected is detected as a pedestrian crossing candidate. The driving support apparatus determines that a pedestrian crossing is shown in the image when a similar luminance change pattern is detected in the secondary detection area adjacent to the left or right side of the primary detection area. Thus, since this driving assistance apparatus detects a pedestrian crossing without using a condition according to the standard of the width of the white line of the pedestrian crossing, it can also detect a non-standard pedestrian crossing. In addition, this driving support apparatus has a condition for detecting a pedestrian crossing that a repeated pattern of luminance change is detected in a part of a road ahead of the vehicle, particularly in a primary detection region including a road surface in front of the vehicle. Therefore, this driving support apparatus can suppress erroneous detection of an object that is present on the side of the road and is substantially parallel to the road extending direction as a pedestrian crossing. Furthermore, since this driving assistance device detects a repeated pattern based on the cumulative frequency, which is the number of pixels with relatively bright luminance, detected along the straight direction of the vehicle, a part of the pedestrian crossing becomes invisible. Even if it is, the failure of detection of a pedestrian crossing can be suppressed. And since this driving assistance apparatus excludes the area | region where the pedestrian crossing was detected on the image from the detection target of a lane boundary line, it can suppress misidentifying a pedestrian crossing as a lane boundary line. Furthermore, since this driving support apparatus first detects a repetitive pattern also in the secondary detection area only when a repetitive pattern is detected in the primary detection area, it is possible to reduce the amount of calculation when detecting a pedestrian crossing.
あるいは、繰り返しパターン検出部２２は、１次検出領域内で、検出されたブロックの数が複数あり、かつ、ブロックの水平方向の幅の最大値と最小値の差が所定値以下である画素列の数が所定数以上有る場合に、繰り返しパターンが有ると判定してもよい。なお、所定値は、例えば、5cmに相当する画素数であり、所定数は、例えば、横断歩道の幅に相当する画素数に0.5〜0.7を乗じた値に設定される。この変形例では、繰り返しパターン検出部２２は、投影変換を利用しないので、繰り返しパターン検出の際の演算量をより削減できる。 Alternatively, the repetitive pattern detection unit 22 has a plurality of detected blocks in the primary detection area, and a pixel row in which the difference between the maximum value and the minimum value of the horizontal width of the blocks is equal to or less than a predetermined value. If there are a predetermined number or more, it may be determined that there is a repetitive pattern. The predetermined value is, for example, the number of pixels corresponding to 5 cm, and the predetermined number is set to, for example, a value obtained by multiplying the number of pixels corresponding to the width of the pedestrian crossing by 0.5 to 0.7. In this modification, the repetitive pattern detection unit 22 does not use projection conversion, so that the amount of calculation at the time of repetitive pattern detection can be further reduced.
上述した実施形態またはその変形例による横断歩道検出装置は、様々な用途に利用される。例えば、横断歩道検出装置は、ドライブレコーダにより記録された動画像を解析して、その動画像中に含まれる各画像に写っている物体を識別するといった用途に適用されてもよい。なお、この場合には、車線検出部については省略されてもよい。また、このような用途に適用される場合には、どの動画像を生成する、車両に搭載されるカメラは、車両の後方を向けて設置されていてもよい。また、横断歩道検出装置は、例えば、そのような動画像の解析に利用されるコンピュータとして実現されてもよい。 The pedestrian crossing detection apparatus according to the above-described embodiment or its modification is used for various applications. For example, the pedestrian crossing detection apparatus may be applied to an application in which a moving image recorded by a drive recorder is analyzed and an object shown in each image included in the moving image is identified. In this case, the lane detection unit may be omitted. Moreover, when applied to such a use, the camera mounted on the vehicle that generates which moving image may be installed with the rear of the vehicle facing. Moreover, the pedestrian crossing detection apparatus may be realized as a computer used for analysis of such a moving image, for example.
図９は、上記の各実施形態またはその変形例による横断歩道検出装置の制御部の各部の機能を実現するコンピュータプログラムが動作することにより、横断歩道検出装置として動作するコンピュータの構成図である。 FIG. 9 is a configuration diagram of a computer that operates as a pedestrian crossing detection apparatus by operating a computer program that realizes the functions of the respective units of the control unit of the pedestrian crossing detection apparatus according to each of the above embodiments or modifications thereof.
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。 The computer 100 includes a user interface unit 101, a communication interface unit 102, a storage unit 103, a storage medium access device 104, and a processor 105. The processor 105 is connected to the user interface unit 101, the communication interface unit 102, the storage unit 103, and the storage medium access device 104 via, for example, a bus.
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、ユーザの操作に応じて、横断歩道検出処理の対象となる動画像を選択したり、あるいは、横断歩道検出処理を開始させる操作信号をプロセッサ１０５へ出力する。 The user interface unit 101 includes, for example, an input device such as a keyboard and a mouse, and a display device such as a liquid crystal display. Alternatively, the user interface unit 101 may include a device such as a touch panel display in which an input device and a display device are integrated. Then, the user interface unit 101 selects a moving image to be subjected to a pedestrian crossing detection process or outputs an operation signal for starting the pedestrian crossing detection process to the processor 105 in accordance with a user operation.
通信インターフェース部１０２は、コンピュータ１００を、ドライブレコーダなどの動画像入力装置（図示せず）と接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、High-Definition Multimedia Interface(HDMI)（登録商標）、またはUniversal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。 The communication interface unit 102 may include a communication interface for connecting the computer 100 to a moving image input device (not shown) such as a drive recorder and its control circuit. Such a communication interface can be, for example, High-Definition Multimedia Interface (HDMI) (registered trademark) or Universal Serial Bus (Universal Serial Bus, USB).
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、横断歩道検出処理の対象となる動画像を取得し、その動画像をプロセッサ１０５へ渡す。 Furthermore, the communication interface unit 102 may include a communication interface for connecting to a communication network according to a communication standard such as Ethernet (registered trademark) and a control circuit thereof. In this case, the communication interface unit 102 acquires a moving image that is a target of the pedestrian crossing detection process from another device connected to the communication network, and passes the moving image to the processor 105.
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、横断歩道検出処理を実行するためのコンピュータプログラム、横断歩道検出処理の対象となる動画像などを記憶する。 The storage unit 103 includes, for example, a readable / writable semiconductor memory and a read-only semiconductor memory. The storage unit 103 stores a computer program for executing the pedestrian crossing detection process, a moving image to be subjected to the pedestrian crossing detection process, and the like, which are executed on the processor 105.
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、横断歩道検出処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。また記憶媒体アクセス装置１０４は、横断歩道検出処理の対象となる動画像を記憶媒体１０６から読み込んでもよい。 The storage medium access device 104 is a device that accesses a storage medium 106 such as a magnetic disk, a semiconductor memory card, and an optical storage medium. For example, the storage medium access device 104 reads a computer program for pedestrian crossing detection processing executed on the processor 105 stored in the storage medium 106 and passes the computer program to the processor 105. In addition, the storage medium access device 104 may read a moving image to be subjected to a pedestrian crossing detection process from the storage medium 106.
プロセッサ１０５は、上記の各実施形態の何れかまたは変形例による横断歩道検出処理用コンピュータプログラムを実行することにより、動画像に含まれる各画像に写っている横断歩道を検出する。そしてプロセッサ１０５は、その検出結果を記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。 The processor 105 detects a pedestrian crossing reflected in each image included in the moving image by executing a computer program for pedestrian crossing detection processing according to any of the above-described embodiments or modifications. The processor 105 stores the detection result in the storage unit 103 or outputs it to another device via the communication interface unit 102.
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。 All examples and specific terms listed herein are intended for instructional purposes to help the reader understand the concepts contributed by the inventor to the present invention and the promotion of the technology. It should be construed that it is not limited to the construction of any example herein, such specific examples and conditions, with respect to showing the superiority and inferiority of the present invention. Although embodiments of the present invention have been described in detail, it should be understood that various changes, substitutions and modifications can be made thereto without departing from the spirit and scope of the present invention.
１ 運転支援装置（横断歩道検出装置）
２ カメラ
３ ディスプレイ
４ ネットワーク
１０ 車両
１１ 記憶部
１２ 通信部
１３ 制御部
２１ 検出領域設定部
２２ 繰り返しパターン検出部
２３ 横断歩道検出部
２４ 車線検出部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ
１０６ 記憶媒体
1 Driving support device (crosswalk detection device)
2 camera 3 display 4 network 10 vehicle 11 storage unit 12 communication unit 13 control unit 21 detection area setting unit 22 repeated pattern detection unit 23 pedestrian crossing detection unit 24 lane detection unit 100 computer 101 user interface unit 102 communication interface unit 103 storage unit 104 Storage medium access device 105 processor 106 storage medium
Claims (7)
前記第１の領域において、前記第１の方向に沿って輝度値の変動が繰り返される第１のパターンを検出する繰り返しパターン検出部と、
前記第１の領域内に前記第１のパターンが存在し、かつ、前記第２の領域内に前記第１の方向に沿って輝度値の変動が繰り返される第２のパターンが存在する場合に、前記第１のパターン及び前記第２のパターンを横断歩道として検出する横断歩道検出部と、
を有する横断歩道検出装置。 The first vehicle corresponding to a part of the road around the vehicle and the first vehicle on the image generated by the imaging unit mounted on the vehicle and showing the periphery of the vehicle. A detection region setting unit that sets a second region adjacent to the first region along a direction on the image corresponding to a first direction that intersects a straight traveling direction of
In the first region, a repetitive pattern detection unit that detects a first pattern in which variation in luminance value is repeated along the first direction;
When the first pattern exists in the first region and the second pattern in which the variation of the luminance value is repeated along the first direction exists in the second region, A pedestrian crossing detector that detects the first pattern and the second pattern as a pedestrian crossing;
A pedestrian crossing detector.
前記横断歩道検出部は、前記第２のパターンについての前記第１の方向に沿った輝度値の変動の周期が前記第１のパターンについての輝度値の変動の周期と一致する場合に限り、前記第１のパターン及び前記第２のパターンを横断歩道として検出する、請求項１に記載の横断歩道検出装置。 The repetitive pattern detection unit obtains a period of variation in luminance value along the first direction for the first pattern,
The pedestrian crossing detection unit, only when the period of variation of the luminance value along the first direction for the second pattern coincides with the period of variation of the luminance value for the first pattern, The pedestrian crossing detection apparatus according to claim 1, wherein the first pattern and the second pattern are detected as a pedestrian crossing.
前記第１の領域において、前記第１の方向に沿って輝度値の変動が繰り返される第１のパターンを検出し、
前記第１の領域内に前記第１のパターンが存在し、かつ、前記第２の領域内に前記第１の方向に沿って輝度値の変動が繰り返される第２のパターンが存在する場合に、前記第１のパターン及び前記第２のパターンを横断歩道として検出する、
ことを含む横断歩道検出方法。 The first vehicle corresponding to a part of the road around the vehicle and the first vehicle on the image generated by the imaging unit mounted on the vehicle and showing the periphery of the vehicle. Setting a second region adjacent to the first region along a direction on the image corresponding to a first direction intersecting a straight direction of
In the first region, a first pattern in which a variation in luminance value is repeated along the first direction is detected,
When the first pattern exists in the first region and the second pattern in which the variation of the luminance value is repeated along the first direction exists in the second region, Detecting the first pattern and the second pattern as a pedestrian crossing;
Pedestrian crossing detection method.
前記第１の領域において、前記第１の方向に沿って輝度値の変動が繰り返される第１のパターンを検出し、
前記第１の領域内に前記第１のパターンが存在し、かつ、前記第２の領域内に前記第１の方向に沿って輝度値の変動が繰り返される第２のパターンが存在する場合に、前記第１のパターン及び前記第２のパターンを横断歩道として検出する、
ことをコンピュータに実行させるための横断歩道検出用コンピュータプログラム。 The first vehicle corresponding to a part of the road around the vehicle and the first vehicle on the image generated by the imaging unit mounted on the vehicle and showing the periphery of the vehicle. Setting a second region adjacent to the first region along a direction on the image corresponding to a first direction intersecting a straight direction of
In the first region, a first pattern in which a variation in luminance value is repeated along the first direction is detected,
When the first pattern exists in the first region and the second pattern in which the variation of the luminance value is repeated along the first direction exists in the second region, Detecting the first pattern and the second pattern as a pedestrian crossing;
A computer program for detecting a pedestrian crossing that causes a computer to execute the operation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015039516A JP2016162130A (en) | 2015-02-27 | 2015-02-27 | Device and method for detecting pedestrian crossing and computer for pedestrian crossing detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015039516A JP2016162130A (en) | 2015-02-27 | 2015-02-27 | Device and method for detecting pedestrian crossing and computer for pedestrian crossing detection |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016162130A true JP2016162130A (en) | 2016-09-05 |
Family
ID=56845023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015039516A Pending JP2016162130A (en) | 2015-02-27 | 2015-02-27 | Device and method for detecting pedestrian crossing and computer for pedestrian crossing detection |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016162130A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018068863A (en) * | 2016-11-02 | 2018-05-10 | カリーナシステム株式会社 | Gauze detection system |
| JP2020061020A (en) * | 2018-10-11 | 2020-04-16 | トヨタ自動車株式会社 | Pedestrian crossing sign estimation device |
| CN114298990A (en) * | 2021-12-20 | 2022-04-08 | 中汽创智科技有限公司 | Detection method and device for vehicle-mounted camera device, storage medium and vehicle |
| US11488304B2 (en) | 2018-05-01 | 2022-11-01 | Eizo Corporation | Gauze detection system and gauze detection method |
-
2015
- 2015-02-27 JP JP2015039516A patent/JP2016162130A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018068863A (en) * | 2016-11-02 | 2018-05-10 | カリーナシステム株式会社 | Gauze detection system |
| US11488304B2 (en) | 2018-05-01 | 2022-11-01 | Eizo Corporation | Gauze detection system and gauze detection method |
| JP2020061020A (en) * | 2018-10-11 | 2020-04-16 | トヨタ自動車株式会社 | Pedestrian crossing sign estimation device |
| JP7032280B2 (en) | 2018-10-11 | 2022-03-08 | トヨタ自動車株式会社 | Pedestrian crossing marking estimation device |
| CN114298990A (en) * | 2021-12-20 | 2022-04-08 | 中汽创智科技有限公司 | Detection method and device for vehicle-mounted camera device, storage medium and vehicle |
| CN114298990B (en) * | 2021-12-20 | 2024-04-19 | 中汽创智科技有限公司 | Detection method and device of vehicle-mounted image pickup device, storage medium and vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3057063B1 (en) | Object detection device and vehicle using same | |
| JP4650079B2 (en) | Object detection apparatus and method | |
| JP5293815B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5407898B2 (en) | Object detection apparatus and program | |
| JP4973736B2 (en) | Road marking recognition device, road marking recognition method, and road marking recognition program | |
| JP6450294B2 (en) | Object detection apparatus, object detection method, and program | |
| JP5943084B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| EP2958054A2 (en) | Hazard detection in a scene with moving shadows | |
| EP2993654A1 (en) | Method and system for forward collision warning | |
| KR100816377B1 (en) | Method and Apparatus for Recognizing Parking Slot Marking by Using Hough Transformation and Parking Assist System Using Same | |
| JP6457278B2 (en) | Object detection apparatus and object detection method | |
| US9336595B2 (en) | Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function | |
| JP6515704B2 (en) | Lane detection device and lane detection method | |
| JP2011065338A (en) | Object tracking device and program | |
| JP2009053818A (en) | Image processor and method thereof | |
| JP6295859B2 (en) | In-vehicle system, information processing apparatus, and program | |
| JP5548212B2 (en) | Crosswalk sign detection method and crosswalk sign detection device | |
| JP2012159469A (en) | Vehicle image recognition device | |
| JP2016162130A (en) | Device and method for detecting pedestrian crossing and computer for pedestrian crossing detection | |
| CN111046719A (en) | Apparatus and method for converting image | |
| JP6069938B2 (en) | Pop-up detection device | |
| JP5521217B2 (en) | Obstacle detection device and obstacle detection method | |
| JP6431299B2 (en) | Vehicle periphery monitoring device | |
| JP4788399B2 (en) | Pedestrian detection method, apparatus, and program | |
| JP2020077293A (en) | Lane line detection device and lane line detection method |