JP2020159887A - Mobile body position detection method and mobile body position detection system - Google Patents

Mobile body position detection method and mobile body position detection system Download PDF

Info

Publication number
JP2020159887A
JP2020159887A JP2019060132A JP2019060132A JP2020159887A JP 2020159887 A JP2020159887 A JP 2020159887A JP 2019060132 A JP2019060132 A JP 2019060132A JP 2019060132 A JP2019060132 A JP 2019060132A JP 2020159887 A JP2020159887 A JP 2020159887A
Authority
JP
Japan
Prior art keywords
vehicle
moving body
fixed
image
camera image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019060132A
Other languages
Japanese (ja)
Other versions
JP7241582B2 (en
Inventor
英城 岩崎
Hideki Iwasaki
英城 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Nissan Motor Co Ltd
Original Assignee
Renault SAS
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS, Nissan Motor Co Ltd filed Critical Renault SAS
Priority to JP2019060132A priority Critical patent/JP7241582B2/en
Publication of JP2020159887A publication Critical patent/JP2020159887A/en
Application granted granted Critical
Publication of JP7241582B2 publication Critical patent/JP7241582B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

To provide a method and system for accurately detecting a self position of an own vehicle during traveling regardless of a travel environment condition.SOLUTION: A mobile body position detection method is performed by communication between mobile body side controllers to which each one of on-vehicle cameras is connected and fixed-point camera side controllers to which each one of fixed-point cameras arranged along a track is connected. The method includes steps of: acquiring fixed-point camera videos from the fixed-point cameras; separating mobile bodies from backgrounds and stationary objects based on background differences in fixed-point camera videos; acquiring on-vehicle camera videos from the on-vehicle cameras; acquiring a 3D image map including on-vehicle camera videos as image data; identifying a mobile body that has acquired on-vehicle camera videos as an own vehicle among the mobile bodies separated based on background differences by collation between on-vehicle camera videos and a 3D image map; and calculating a self position of an own vehicle based on the fixed-point camera videos.SELECTED DRAWING: Figure 4

Description

本開示は、移動体位置検出方法及び移動体位置検出システムに関する。 The present disclosure relates to a moving body position detecting method and a moving body position detecting system.

従来、車両周辺の障害物を検出する障害物検出装置が知られている（例えば、特許文献１参照）。この装置は、車両に搭載されたカメラで撮影された撮影画像、前記車両の位置、前記位置の周辺の地図情報を取得する取得部と、前記車両の位置と、前記地図情報とに基づいて、前記撮影画像を模造する模造画像を作成する画像作成部と、前記撮影画像と前記模造画像とに基づいて、前記撮影画像に含まれる障害物を検出する障害物検出部と、を備える。 Conventionally, an obstacle detection device for detecting an obstacle around a vehicle is known (see, for example, Patent Document 1). This device is based on a captured image taken by a camera mounted on a vehicle, a position of the vehicle, an acquisition unit for acquiring map information around the position, a position of the vehicle, and the map information. It includes an image creation unit that creates an imitation image that imitates the photographed image, and an obstacle detection unit that detects an obstacle included in the photographed image based on the photographed image and the imitation image.

特開２０１７−１６４７４号公報Japanese Unexamined Patent Publication No. 2017-16474

特許文献１に開示された障害物検出装置は、車載カメラ画像で認識した障害物とＧＰＳによる自己位置とから障害物との位置関係を算出する内容となっている。しかし、ＧＰＳやＧＮＳＳは、ビルなどの反射波（マルチパス）によって誤差が非常に大きくなるため、自己位置の検出精度が悪化する、という課題があった。ここで、「ＧＰＳ」は、「Global Positioning System」の略であり、「ＧＮＳＳ」は、「Global Navigation Satellite System」の略である。 The obstacle detection device disclosed in Patent Document 1 has a content of calculating a positional relationship between an obstacle recognized by an in-vehicle camera image and a self-position by GPS. However, GPS and GNSS have a problem that the detection accuracy of the self-position deteriorates because the error becomes very large due to the reflected wave (multipath) of the building or the like. Here, "GPS" is an abbreviation for "Global Positioning System", and "GNSS" is an abbreviation for "Global Navigation Satellite System".

本開示は、上記課題に着目してなされたもので、走行中、走行環境条件にかかわらず自車両の自己位置を精度良く検出することを目的とする。 The present disclosure has focused on the above problems, and an object of the present disclosure is to accurately detect the self-position of the own vehicle during driving regardless of the driving environment conditions.

上記目的を達成するため、本開示は、車載カメラが接続される移動体側コントローラと、走行路に沿って設置される定点カメラが接続される定点カメラ側コントローラとの通信による移動体位置検出方法であって、以下の手順としている。
定点カメラからの定点カメラ映像を取得する。
定点カメラ映像の背景差分によって背景及び固定物から移動体を分離する。
車載カメラからの車載カメラ映像を取得する。
車載カメラ映像を画像データに含む３Ｄ画像マップを取得する。
車載カメラ映像と３Ｄ画像マップとの照合により、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を自車両として特定する。
自車両の自己位置を、定点カメラ映像に基づいて算出する。 In order to achieve the above object, the present disclosure is a method of detecting a moving body position by communication between a moving body side controller to which an in-vehicle camera is connected and a fixed point camera side controller to which a fixed point camera installed along a traveling path is connected. Therefore, the procedure is as follows.
Acquires a fixed-point camera image from a fixed-point camera.
The moving body is separated from the background and the fixed object by the background subtraction of the fixed point camera image.
Acquire the onboard camera image from the onboard camera.
Acquire a 3D image map including the in-vehicle camera image in the image data.
By collating the in-vehicle camera image with the 3D image map, the moving object for which the in-vehicle camera image is acquired is specified as the own vehicle from the moving objects separated by background subtraction.
The self-position of the own vehicle is calculated based on the fixed-point camera image.

このため、走行中、走行環境条件にかかわらず自車両の自己位置を精度良く検出することができる。 Therefore, it is possible to accurately detect the self-position of the own vehicle during traveling regardless of the traveling environment conditions.

実施例１の移動体位置検出方法が適用された移動体位置検出システムを示す全体システム構成図である。FIG. 5 is an overall system configuration diagram showing a moving body position detecting system to which the moving body position detecting method of the first embodiment is applied. 実施例１の移動体位置検出システムの構成要素を示す構成要素図である。It is a component diagram which shows the component of the moving body position detection system of Example 1. FIG. 実施例１の定点カメラ側コントローラと移動体側コントローラの詳細構成を示す詳細ブロック図である。It is a detailed block diagram which shows the detailed structure of the fixed point camera side controller and the moving body side controller of Example 1. FIG. 定点カメラ映像管理センターの定点カメラ側コントローラで実行される移動体位置検出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the moving body position detection processing executed by the fixed point camera side controller of a fixed point camera image management center. 車両の移動体側コントローラで実行される移動体位置検出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the moving body position detection processing executed by the moving body side controller of a vehicle. 背景差分による移動体検出作用１を示す作用説明図である。It is an action explanatory diagram which shows the moving body detection action 1 by background subtraction. 背景差分による移動体検出作用２を示す作用説明図である。It is an action explanatory diagram which shows the moving body detection action 2 by background subtraction. 背景差分による移動体検出作用３を示す作用説明図である。It is an action explanatory diagram which shows the moving body detection action 3 by background subtraction. 背景差分による移動体検出作用４を示す作用説明図である。It is an action explanatory diagram which shows the moving body detection action 4 by background subtraction. 背景差分による移動体検出作用５を示す作用説明図である。It is an action explanatory diagram which shows the moving body detection action 5 by background subtraction. 車載カメラ映像と３Ｄ画像マップの特徴点とのパターンマッチングの一例を示す説明図である。It is explanatory drawing which shows an example of the pattern matching between the in-vehicle camera image and the feature point of a 3D image map. 背景差分により分離された複数台の移動体の中から自車両を特定する自車両特定作用を示す作用説明図である。It is an action explanatory diagram which shows the own vehicle identification action which identifies the own vehicle from among a plurality of moving bodies separated by background subtraction. 実施例２の移動体位置検出システムの構成要素を示す構成要素図である。It is a component diagram which shows the component of the moving body position detection system of Example 2. FIG. 実施例２の移動体側コントローラと定点カメラ側コントローラの詳細構成とを示す詳細ブロック図である。It is a detailed block diagram which shows the detailed structure of the moving body side controller and the fixed point camera side controller of Example 2. FIG. 車両の移動体側コントローラで実行される移動体位置検出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the moving body position detection processing executed by the moving body side controller of a vehicle.

以下、本開示による移動体位置検出方法及び移動体位置検出システムを実施するための形態を、図面に示す実施例１及び実施例２に基づいて説明する。 Hereinafter, a mode for implementing the moving body position detecting method and the moving body position detecting system according to the present disclosure will be described based on Examples 1 and 2 shown in the drawings.

実施例１における移動体位置検出方法は、定点カメラ映像管理センター１０に有する定点カメラ側コントローラ１１での処理により自車両の自己位置及び自車両に対する障害物を検出する移動体位置検出システムに適用したものである。以下、実施例１の構成を、「全体システム構成」、「コントローラの詳細構成」、「移動体位置検出処理構成」に分けて説明する。 The moving body position detection method in the first embodiment is applied to a moving body position detection system that detects the self-position of the own vehicle and obstacles to the own vehicle by processing by the fixed-point camera side controller 11 provided in the fixed-point camera image management center 10. It is a thing. Hereinafter, the configuration of the first embodiment will be described separately for "overall system configuration", "detailed configuration of controller", and "moving body position detection processing configuration".

［全体システム構成］
図１は、実施例１の移動体位置検出方法が適用された移動体位置検出システムを示し、図２は、実施例１の移動体位置検出システムの構成要素を示す。以下、図１及び図２に基づいて全体システム構成を説明する。 [Overall system configuration]
FIG. 1 shows a moving body position detection system to which the moving body position detecting method of the first embodiment is applied, and FIG. 2 shows components of the moving body position detecting system of the first embodiment. Hereinafter, the overall system configuration will be described with reference to FIGS. 1 and 2.

実施例１の移動体位置検出システムは、「交差点などに設置された複数の定点カメラ映像」と「複数の車両からの車載カメラ映像、ポイントクラウド情報」を利用して車両の自己位置情報と車両に対する障害物情報を自車両に送信するシステムである。以下、市街地に存在する交差点に設置された複数の定点カメラを用いる移動体位置検出システムの一例について説明する。 The moving body position detection system of the first embodiment uses the self-position information of the vehicle and the vehicle by using "a plurality of fixed-point camera images installed at an intersection or the like" and "in-vehicle camera images from a plurality of vehicles, point cloud information". It is a system that transmits obstacle information to the own vehicle. Hereinafter, an example of a moving body position detection system using a plurality of fixed-point cameras installed at an intersection existing in an urban area will be described.

移動体位置検出システムは、図１に示すように、定点カメラ１５と、定点カメラ映像管理センター１０と、車載カメラ２３と、車両２０（移動体の一例）と、を備えている。 As shown in FIG. 1, the moving body position detection system includes a fixed point camera 15, a fixed point camera image management center 10, an in-vehicle camera 23, and a vehicle 20 (an example of a moving body).

定点カメラ１５は、ビル３１，３２，３３，３４が立ち並ぶ市街地に存在し、２本の直線道路が交差する交差点４０の周囲の複数個所の位置に設置されたカメラである。定点カメラ１５としては、例えば、図１に示すように、
(a) 交差点４０の４箇所の角部位置のそれぞれにレンズ光軸を交差点に向けて設置された４台のカメラ
(b) 交差点４０の４箇所の角部両側位置にそれぞれレンズ光軸を道路に向けて設置された８台のカメラ
(c) 交差点４０で交わる４本の放射道路４１，４２，４３，４４の真上位置にそれぞれレンズ光軸を道路に向けて設置された４台のカメラ
というように、１６台の定点カメラ１５が設置される。 The fixed-point camera 15 is a camera that exists in an urban area where buildings 31, 32, 33, and 34 are lined up, and is installed at a plurality of positions around an intersection 40 where two straight roads intersect. As the fixed point camera 15, for example, as shown in FIG. 1,
(a) Four cameras installed with the optical axis of the lens facing the intersection at each of the four corner positions of the intersection 40.
(b) Eight cameras installed at each of the four corners of the intersection 40 with the optical axis of the lens facing the road.
(c) 16 fixed-point cameras 15 such as 4 cameras installed with the optical axis of the lens facing the road at positions directly above the four radial roads 41, 42, 43, and 44 that intersect at the intersection 40. Is installed.

定点カメラ映像管理センター１０は、複数の定点カメラ映像を集中管理するインフラ設備として設けられ、定点カメラ映像管理センター１０には、複数台の定点カメラ１５が接続される定点カメラ側コントローラ１１（図２参照）を有する。 The fixed-point camera image management center 10 is provided as an infrastructure facility for centrally managing a plurality of fixed-point camera images, and the fixed-point camera image management center 10 is connected to a fixed-point camera side controller 11 (FIG. 2) in which a plurality of fixed-point cameras 15 are connected. See).

車両２０は、交差点付近を走行する複数台の車両であり、車載カメラ２３が接続される移動体側コントローラ２１（図２参照）が搭載されている。なお、車両２０のうち、移動体側コントローラ２１を搭載していない車両が一部混在していても良い。 The vehicle 20 is a plurality of vehicles traveling near the intersection, and is equipped with a moving body side controller 21 (see FIG. 2) to which the in-vehicle camera 23 is connected. It should be noted that some of the vehicles 20 may not be equipped with the moving body side controller 21.

ここで、複数台の定点カメラ１５と定点カメラ側コントローラ１１は、有線による接続とされる（図１の実線）。一方、移動体側コントローラ２１と定点カメラ側コントローラ１１との間の情報交換は、レイテンシが小さい高速通信速度（例えば、5〜6Gbpsなど）による無線通信とされる（図１の破線）。即ち、図１に示す移動体位置検出システムは、高速通信技術を利用してカメラ映像データを車載センサ信号のように取り扱う構成としている。 Here, the plurality of fixed-point cameras 15 and the fixed-point camera side controller 11 are connected by wire (solid line in FIG. 1). On the other hand, the information exchange between the mobile body side controller 21 and the fixed point camera side controller 11 is defined as wireless communication at a high-speed communication speed (for example, 5 to 6 Gbps) with a small latency (broken line in FIG. 1). That is, the moving body position detection system shown in FIG. 1 is configured to handle camera image data like an in-vehicle sensor signal by using high-speed communication technology.

定点カメラ映像管理センター１０は、図２に示すように、定点カメラ側コントローラ１１と、通信装置１２と、３Ｄ地図データベース１３と、背景画像記憶装置１４と、を有する。 As shown in FIG. 2, the fixed-point camera image management center 10 has a fixed-point camera side controller 11, a communication device 12, a 3D map database 13, and a background image storage device 14.

定点カメラ側コントローラ１１は、自車両の自己位置情報と障害物情報とを移動体位置検出情報として取得する移動体位置検出機能を分担するコントローラである。定点カメラ側コントローラ１１は、定点カメラ１５からの定点カメラ映像と、３Ｄ地図データベース１３からの３Ｄ画像マップと、通信装置１２，２２を介して受信された車載カメラ映像とを入力情報とする。そして、定点カメラ１５により取得した定点カメラ映像の背景差分によって背景及び固定物から移動体を分離する。車載カメラ映像と、車載カメラ映像を画像データに含む３Ｄ画像マップとの照合により、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を自車両として特定する。さらに、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を除いた移動体を、自車両に対する障害物として特定する。 The fixed-point camera side controller 11 is a controller that shares a moving body position detection function that acquires self-position information and obstacle information of the own vehicle as moving body position detection information. The fixed-point camera side controller 11 uses the fixed-point camera image from the fixed-point camera 15, the 3D image map from the 3D map database 13, and the in-vehicle camera image received via the communication devices 12 and 22 as input information. Then, the moving body is separated from the background and the fixed object by the background difference of the fixed point camera image acquired by the fixed point camera 15. By collating the in-vehicle camera image with the 3D image map including the in-vehicle camera image in the image data, the moving object that acquires the in-vehicle camera image from the moving objects separated by background subtraction is specified as the own vehicle. Further, the moving body excluding the moving body for which the in-vehicle camera image is acquired is specified as an obstacle to the own vehicle from the moving bodies separated by background subtraction.

通信装置１２は、車両２０の移動体側コントローラ２１から通信装置２２を介して車載カメラ映像が送信されると、送信される車載カメラ映像を受信する。ここで、車両２０からの車載カメラ映像の送信は、定点カメラ映像により認識できる領域内に車両２０が入ってきたときに定点カメラ側コントローラ１１から要求しても良い。また、車両２０から定期的に送信される車載カメラ映像であっても良い。さらに、車両２０からの自車両の自己位置情報要求や障害物情報の要求により送信される車載カメラ映像であっても良い。 When the vehicle-mounted camera image is transmitted from the mobile body side controller 21 of the vehicle 20 via the communication device 22, the communication device 12 receives the transmitted vehicle-mounted camera image. Here, the transmission of the in-vehicle camera image from the vehicle 20 may be requested from the fixed point camera side controller 11 when the vehicle 20 enters the area that can be recognized by the fixed point camera image. Further, it may be an in-vehicle camera image that is periodically transmitted from the vehicle 20. Further, it may be an in-vehicle camera image transmitted by a request for self-position information of the own vehicle or a request for obstacle information from the vehicle 20.

３Ｄ地図データベース１３は、定点カメラ映像管理センター１０のメモリに格納され、緯度/経度情報と道路情報と道路に沿った構造物情報を含む３次元高精度地図データである。この３Ｄ地図データベース１３には、３Ｄ画像データに、各移動体（車両２０）から観察できる範囲に存在する構造物が有する特徴点を付加して作成された３Ｄ画像マップが予め記憶されている。 The 3D map database 13 is stored in the memory of the fixed-point camera image management center 10, and is three-dimensional high-precision map data including latitude / longitude information, road information, and structure information along the road. In this 3D map database 13, a 3D image map created by adding feature points of structures existing in a range observable from each moving body (vehicle 20) to 3D image data is stored in advance.

背景画像記憶装置１４は、定点カメラ１５により取得した定点カメラ映像の背景差分によって背景及び固定物から移動体を分離するとき、背景画像（固定物画像を含む）を一時的に記憶しておくメモリである。 The background image storage device 14 temporarily stores a background image (including a fixed object image) when the moving object is separated from the background and the fixed object by the background subtraction of the fixed point camera image acquired by the fixed point camera 15. Is.

車両２０は、図２に示すように、移動体側コントローラ２１と、通信装置２２と、車載カメラ２３と、測距センサ２４と、ＧＰＳ２５と、車両制御装置２６と、を有する。 As shown in FIG. 2, the vehicle 20 includes a moving body side controller 21, a communication device 22, an in-vehicle camera 23, a distance measuring sensor 24, a GPS 25, and a vehicle control device 26.

移動体側コントローラ２１は、移動体位置検出情報（自車両の自己位置と障害物情報）を定点カメラ映像管理センター１０から通信装置２２を介して受信することにより取得する機能を有する。ここで、移動体側コントローラ２１は、移動体位置検出情報が、定点カメラ映像とＧＰＳ２５や測距センサ２４との両方により取得される場合、定点カメラ映像からの移動体位置検出情報を優先する。なお、定点カメラ映像からの自車両の自己位置情報を、ＧＰＳ２５により取得される自車両の自己位置の補正情報として用いても良い。 The moving body side controller 21 has a function of acquiring moving body position detection information (own vehicle's own position and obstacle information) from the fixed point camera image management center 10 via the communication device 22. Here, when the moving body position detection information is acquired by both the fixed point camera image and the GPS 25 or the distance measuring sensor 24, the moving body side controller 21 gives priority to the moving body position detection information from the fixed point camera image. The self-position information of the own vehicle from the fixed-point camera image may be used as the correction information of the self-position of the own vehicle acquired by the GPS 25.

通信装置２２は、車載カメラ２３からの車載カメラ映像を送信する機能と、定点カメラ側コントローラ１１で算出された移動体位置検出情報を、通信装置１２を介して受信する機能とを有する。 The communication device 22 has a function of transmitting the vehicle-mounted camera image from the vehicle-mounted camera 23 and a function of receiving the moving body position detection information calculated by the fixed-point camera side controller 11 via the communication device 12.

車載カメラ２３は、自車両のフロントガラスの上部位置に設置される前方認識カメラなどであり、自車両の周囲情報（車線や先行車や歩行者や構造物など）をカメラ映像データにより取得する機能を有する。 The in-vehicle camera 23 is a front recognition camera or the like installed at an upper position on the windshield of the own vehicle, and has a function of acquiring surrounding information (lanes, preceding vehicles, pedestrians, structures, etc.) of the own vehicle from camera image data. Has.

測距センサ２４は、自車両周囲の障害物の存在を検知する機能と共に、自車両周囲の障害物までの距離を検知する機能を有するセンサである。測距センサ２４には、電波を用いたレーダーと光を用いたライダーと超音波を用いたソナーとを含み、レーダーとしては、例えば、レーザーレンジファインダー（LRF）、ミリ波レーダー、超音波レーダーなどを用いることができる。 The distance measuring sensor 24 is a sensor having a function of detecting the presence of an obstacle around the own vehicle and a function of detecting the distance to an obstacle around the own vehicle. The range finder 24 includes a radar using radio waves, a rider using light, and a sonar using ultrasonic waves, and examples of the radar include a laser range finder (LRF), a millimeter wave radar, and an ultrasonic radar. Can be used.

ＧＰＳ２５は、GNSSアンテナを有し、衛星通信を利用することで停車中/走行中の自車両の自己位置（緯度・経度）を検知する自車両の自己位置センサである。本移動体位置検出システムでのＧＰＳ２５の役割は、定点カメラが設置されていない道路の走行中や定点カメラ映像を取得できない夜間走行中などのように、定点カメラ映像から自車両の自己位置情報を取得できないときに自車両の自己位置情報を取得する。 The GPS 25 is a self-position sensor of the own vehicle that has a GNSS antenna and detects the self-position (latitude / longitude) of the own vehicle that is stopped / running by using satellite communication. The role of GPS25 in this moving body position detection system is to obtain the self-position information of the own vehicle from the fixed-point camera image, such as when driving on a road where a fixed-point camera is not installed or when driving at night when the fixed-point camera image cannot be acquired. Acquires the self-position information of the own vehicle when it cannot be acquired.

車両制御装置２６は、移動体位置検出情報（自車両の自己位置と障害物情報）を入力情報に用いて制御を行う装置である。車両制御装置２６としては、例えば、ナビ画面上で自車両の道案内をするナビゲーション装置、車線逸脱防止制御や先行車追従制御や自動ブレーキ制御等を行う運転支援装置、自動運転モードの選択により駆動/制動/操舵の制御が行われる自動運転装置などがある。 The vehicle control device 26 is a device that controls by using moving body position detection information (self-position of own vehicle and obstacle information) as input information. The vehicle control device 26 is, for example, a navigation device that guides the route of the own vehicle on the navigation screen, a driving support device that performs lane departure prevention control, preceding vehicle follow-up control, automatic brake control, etc., and is driven by selecting an automatic driving mode. / There is an automatic driving device that controls braking / steering.

［コントローラの詳細構成］
図３は、実施例１の定点カメラ側コントローラ１１と移動体側コントローラ２１の詳細構成を示す。以下、図３に基づいて定点カメラ側コントローラ１１と移動体側コントローラ２１の詳細構成を説明する。 [Detailed configuration of controller]
FIG. 3 shows a detailed configuration of the fixed point camera side controller 11 and the moving body side controller 21 of the first embodiment. Hereinafter, the detailed configuration of the fixed point camera side controller 11 and the moving body side controller 21 will be described with reference to FIG.

移動体位置検出システムは、図３に示すように、車載カメラ２３が接続される移動体側コントローラ２１と、走行路に沿って設置される定点カメラ１５が接続される定点カメラ側コントローラ１１と、を備える。 As shown in FIG. 3, the moving body position detection system includes a moving body side controller 21 to which the in-vehicle camera 23 is connected and a fixed point camera side controller 11 to which the fixed point camera 15 installed along the traveling path is connected. Be prepared.

定点カメラ側コントローラ１１は、図３に示すように、車載カメラ映像受信部１１ａ（受信部）と、移動体検出部１１ｂと、移動体特定部１１ｃと、自己位置算出部１１ｄと、障害物検出部１１ｅと、障害物距離算出部１１ｆと、を有する。さらに、移動体通知制御部１１ｇと、自己位置及び障害物情報送信部１１ｈ（送信部）と、を有する。 As shown in FIG. 3, the fixed-point camera side controller 11 includes an in-vehicle camera image receiving unit 11a (receiving unit), a moving body detection unit 11b, a moving body identification unit 11c, a self-position calculation unit 11d, and an obstacle detection. It has a unit 11e and an obstacle distance calculation unit 11f. Further, it has a moving body notification control unit 11g and a self-position and obstacle information transmission unit 11h (transmission unit).

車載カメラ映像受信部１１ａは、移動体側コントローラ２１の車載カメラ映像送信部２１ａから車載カメラ映像を受信する。ここで、「車載カメラ映像」は、車両前方の道路や先行車のみによる限られた範囲によるカメラ映像ではなく、周囲の構造物（ビルなど）を含む車両周囲カメラ映像とする。 The vehicle-mounted camera image receiving unit 11a receives the vehicle-mounted camera image from the vehicle-mounted camera image transmitting unit 21a of the mobile body side controller 21. Here, the "vehicle-mounted camera image" is not a camera image in a limited range only by the road in front of the vehicle or the preceding vehicle, but a camera image around the vehicle including surrounding structures (buildings, etc.).

移動体検出部１１ｂは、定点カメラ１５により取得した定点カメラ映像の背景差分によって背景及び固定物から移動体を分離する。ここで、「移動体」とは、定点カメラ映像の背景差分によって、背景及び固定物からの抽出により分離された全ての移動する物体をいう。つまり、移動体には、走行している車両２０に限らず、歩行者や自転車やバイクなども含まれる。 The moving body detection unit 11b separates the moving body from the background and the fixed object by the background subtraction of the fixed point camera image acquired by the fixed point camera 15. Here, the "moving body" refers to all moving objects separated by extraction from the background and fixed objects due to the background subtraction of the fixed point camera image. That is, the moving body includes not only the traveling vehicle 20 but also a pedestrian, a bicycle, a motorcycle, and the like.

移動体特定部１１ｃは、車載カメラ映像と、３Ｄ地図データベース１３から取得した３Ｄ画像マップとの照合により、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を自車両として特定する。ここで、車載カメラ映像と３Ｄ画像マップとを照合する場合、車載カメラ映像に対し予め記憶設定されている３Ｄ画像マップを検索し、３Ｄ画像マップに付加されている特徴点のパターンマッチングによって車載カメラ映像を取得している移動体を特定する。 The moving body identification unit 11c collates the vehicle-mounted camera image with the 3D image map acquired from the 3D map database 13, and selects the moving body that acquires the vehicle-mounted camera image from the moving bodies separated by background subtraction. Identify as. Here, when collating the in-vehicle camera image with the 3D image map, the in-vehicle camera searches the 3D image map stored in advance for the in-vehicle camera image and performs pattern matching of the feature points added to the 3D image map. Identify the moving object that is acquiring the image.

自己位置算出部１１ｄは、特定された自車両の自己位置を、定点カメラ映像に基づいて算出する。自車両の自己位置は、例えば、３Ｄ地図データベース１３に有する道路地図情報を読み出し、定点カメラ映像で特定された自車両の位置を、読み出した道路地図情報の道路地図位置に移し、道路地図位置の経度と緯度を算出する。 The self-position calculation unit 11d calculates the self-position of the specified own vehicle based on the fixed-point camera image. For the self-position of the own vehicle, for example, the road map information held in the 3D map database 13 is read out, the position of the own vehicle specified by the fixed point camera image is moved to the road map position of the read out road map information, and the road map position is set. Calculate the longitude and latitude.

障害物検出部１１ｅは、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を除いた移動体を障害物として特定し、障害物を検出する。ここで、「障害物」とは、背景差分により分離した移動体の中から自車両を除く全ての移動体を障害物とするのではなく、あくまで自車両からの所定距離範囲内に存在する移動体であって、自車両から死角となる位置に存在する移動体も含んで検出する。 The obstacle detection unit 11e identifies the moving body excluding the moving body for which the vehicle-mounted camera image is acquired from the moving bodies separated by background subtraction as an obstacle, and detects the obstacle. Here, the "obstacle" does not mean that all the moving bodies other than the own vehicle are obstacles among the moving bodies separated by background subtraction, but the movement that exists within a predetermined distance range from the own vehicle. It also detects moving objects that are bodies and exist at positions that are blind spots from the own vehicle.

障害物距離算出部１１ｆは、障害物検出部１１ｅにより検出された障害物の位置と、自車両と障害物との距離を算出する。障害物の位置は、自車両の自己位置と同様に算出する。自車両と障害物との距離は、障害物が自車両からの死角にない場合は、測距センサ２４により取得する。一方、障害物が自車両から死角になる場合は、自車両の自己位置と障害物の位置との道路地図上での距離を算出することで行う。 The obstacle distance calculation unit 11f calculates the position of the obstacle detected by the obstacle detection unit 11e and the distance between the own vehicle and the obstacle. The position of the obstacle is calculated in the same manner as the self-position of the own vehicle. The distance between the own vehicle and the obstacle is acquired by the distance measuring sensor 24 when the obstacle is not in the blind spot from the own vehicle. On the other hand, when an obstacle becomes a blind spot from the own vehicle, the distance between the own position of the own vehicle and the position of the obstacle on the road map is calculated.

移動体通知制御部１１ｇは、複数の移動体（自車両）に対して検出情報を通知する場合に、自己位置算出部１１ｄで算出された自車両の自己位置と、障害物距離算出部１１ｆで算出された障害物の位置/距離情報を、特定された自車両毎にまとめる制御を行う。 When the moving body notification control unit 11g notifies the detection information to a plurality of moving bodies (own vehicles), the self-position of the own vehicle calculated by the self-position calculation unit 11d and the obstacle distance calculation unit 11f Control is performed to collect the calculated position / distance information of obstacles for each specified own vehicle.

自己位置及び障害物情報送信部１１ｈは、自車両の自己位置情報と障害物の位置/距離情報を、移動体側コントローラ２１の自己位置及び障害物情報受信部２１ｂへ送信する。 The self-position and obstacle information transmitting unit 11h transmits the self-position information of the own vehicle and the position / distance information of the obstacle to the self-position and obstacle information receiving unit 21b of the moving body side controller 21.

移動体側コントローラ２１は、図３に示すように、車載カメラ映像送信部２１ａ（送信部）と、自己位置及び障害物情報受信部２１ｂ（受信部）と、を有する。 As shown in FIG. 3, the moving body side controller 21 has an on-board camera image transmitting unit 21a (transmitting unit) and a self-position and obstacle information receiving unit 21b (receiving unit).

車載カメラ映像送信部２１ａは、車載カメラ２３により取得した車載カメラ映像を定点カメラ側コントローラ１１の車載カメラ映像受信部１１ａへ送信する。 The vehicle-mounted camera image transmission unit 21a transmits the vehicle-mounted camera image acquired by the vehicle-mounted camera 23 to the vehicle-mounted camera image receiving unit 11a of the fixed-point camera side controller 11.

自己位置及び障害物情報受信部２１ｂは、定点カメラ側コントローラ１１の自己位置及び障害物情報送信部１１ｈから車両の自己位置と障害物情報を受信する。 The self-position and obstacle information receiving unit 21b receives the vehicle self-position and obstacle information from the self-position and obstacle information transmitting unit 11h of the fixed-point camera side controller 11.

［移動体位置検出処理構成］
図４は、定点カメラ映像管理センター１０の定点カメラ側コントローラ１１で実行される移動体位置検出処理の流れを示す。以下、図４の各ステップについて説明する。 [Moving body position detection processing configuration]
FIG. 4 shows the flow of the moving body position detection process executed by the fixed point camera side controller 11 of the fixed point camera image management center 10. Hereinafter, each step in FIG. 4 will be described.

ステップS101では、スタートに続いて、全ての処理情報の初期化をし、ステップS102へ進む。 In step S101, following the start, all processing information is initialized, and the process proceeds to step S102.

ステップS102では、S101又はS109に続き、交差点４０に設置された複数の定点カメラ１５からの定点カメラ映像を取得し、ステップS103へ進む。 In step S102, following S101 or S109, fixed-point camera images from a plurality of fixed-point cameras 15 installed at the intersection 40 are acquired, and the process proceeds to step S103.

ステップS103では、S102に続き、定点カメラ映像を用い、背景差分により固定物（背景）と移動体を分離し、ステップS104へ進む。 In step S103, following S102, the fixed object (background) and the moving body are separated by background subtraction using the fixed point camera image, and the process proceeds to step S104.

ステップS104では、S103に続き、車両２０からの車載カメラ映像情報や測距センサ２４やＧＰＳ２５からのポイントクラウド情報を取得し、ステップS105へ進む。ここで、「車両２０」とは、ステップS103にてｎ個の移動体が検出されると、ｎ個の移動体の中の１個の移動体である。「ポイントクラウド情報」とは、コンピュータで扱う点の集合による情報のことをいい、２次元直交座標(ｘ，ｙ)、又は、３次元直交座標(ｘ，ｙ，ｚ)で表現される。 In step S104, following S103, in-vehicle camera image information from the vehicle 20 and point cloud information from the distance measuring sensor 24 and GPS 25 are acquired, and the process proceeds to step S105. Here, the "vehicle 20" is one of the n moving bodies when n moving bodies are detected in step S103. "Point cloud information" refers to information based on a set of points handled by a computer, and is expressed in two-dimensional Cartesian coordinates (x, y) or three-dimensional Cartesian coordinates (x, y, z).

ステップS105では、S104に続き、予め準備されている３Ｄ地図データベース１３から３Ｄ地図情報（＝３Ｄ画像マップ）を取得し、ステップS106へ進む。 In step S105, following S104, 3D map information (= 3D image map) is acquired from the 3D map database 13 prepared in advance, and the process proceeds to step S106.

ステップS106では、S105に続き、移動体候補情報（＝分離した移動体）により参照するべき３Ｄ地図情報（＝３Ｄ画像マップ）を絞り込み、ステップS107へ進む。これにより、３Ｄ地図データベース１３の全領域を検索する必要がなくなり、次のステップS107での特定時間を大幅に短縮させることができる。 In step S106, following S105, the 3D map information (= 3D image map) to be referred to is narrowed down by the moving body candidate information (= separated moving body), and the process proceeds to step S107. As a result, it is not necessary to search the entire area of the 3D map database 13, and the specific time in the next step S107 can be significantly shortened.

ステップS107では、S106に続き、背景差分により導出した移動体の中から、今回の移動体を特定し、ステップS108へ進む。即ち、絞り込まれた領域の中から移動体の映像やポイントクラウド情報が当てはまる移動体を自車両として特定する。これらの作業を移動体毎に繰り返すことにより、交差点４０から観測可能な移動体がどの車両であるかを特定することが可能となる。 In step S107, following S106, the current moving body is specified from the moving bodies derived by background subtraction, and the process proceeds to step S108. That is, the moving body to which the moving body image and the point cloud information are applied is specified as the own vehicle from the narrowed down area. By repeating these operations for each moving body, it is possible to identify which vehicle is the moving body that can be observed from the intersection 40.

ステップS108では、S107に続き、背景差分により導出した移動体の中から、今回の特定された移動体以外の移動体を障害物として特定し、ステップS109へ進む。これにより、歩行者や自転車など車載カメラ映像を送信してこない移動体については、車両２０に対して移動する障害物として特定することができる。 In step S108, following S107, a moving body other than the moving body specified this time is identified as an obstacle from the moving bodies derived by background subtraction, and the process proceeds to step S109. As a result, moving objects such as pedestrians and bicycles that do not transmit in-vehicle camera images can be identified as obstacles that move with respect to the vehicle 20.

ステップS109では、S108に続き、車載カメラ映像を送信してきた各車両２０に自己位置と障害物情報を送信し、ステップS102へ戻る。これにより、それぞれの移動体は自己位置と障害物を認識することができる。 In step S109, following S108, the self-position and obstacle information are transmitted to each vehicle 20 that has transmitted the in-vehicle camera image, and the process returns to step S102. This allows each moving body to recognize its own position and obstacles.

図５は、車両２０の移動体側コントローラ２１で実行される移動体位置検出処理の流れを示すフローチャートである。以下、図５の各ステップについて説明する。 FIG. 5 is a flowchart showing the flow of the moving body position detection process executed by the moving body side controller 21 of the vehicle 20. Hereinafter, each step of FIG. 5 will be described.

ステップS201では、スタートに続いて、全ての処理情報の初期化をし、ステップS202へ進む。 In step S201, following the start, all processing information is initialized, and the process proceeds to step S202.

ステップS202では、S201又はS205に続き、車載カメラ２３からの車載カメラ映像を取得し、ステップS203へ進む。 In step S202, following S201 or S205, the vehicle-mounted camera image from the vehicle-mounted camera 23 is acquired, and the process proceeds to step S203.

ステップS203では、S202に続き、LRFなどの測距センサ２４やＧＰＳ２５からポイントクラウド情報を取得し、ステップS204へ進む。 In step S203, following S202, point cloud information is acquired from the ranging sensor 24 such as LRF or GPS 25, and the process proceeds to step S204.

ステップS204では、S203に続き、自己位置と障害物情報を固定側（定点カメラ映像管理センター１０）から取得し、ステップS205へ進む。 In step S204, following S203, the self-position and obstacle information are acquired from the fixed side (fixed point camera image management center 10), and the process proceeds to step S205.

ステップS205では、S204に続き、取得した自己位置と障害物情報を車両制御装置２６に出力し、ステップS202へ戻る。つまり、移動体側は車載カメラ情報やポイントクラウド情報などを定点カメラ側に送信し、定点カメラ側が導出した結果（自己位置情報と障害物情報）を受信するだけである。そして、これらの情報を車両の制御に利用する。 In step S205, following S204, the acquired self-position and obstacle information are output to the vehicle control device 26, and the process returns to step S202. That is, the moving body side only transmits the in-vehicle camera information, the point cloud information, and the like to the fixed point camera side, and receives the result (self-position information and obstacle information) derived by the fixed point camera side. Then, this information is used for controlling the vehicle.

次に、「背景技術と課題」、「課題解決対策」を説明し、実施例１の作用を、「移動体位置検出作用」、「背景差分による移動体の分離作用」、「自車両の特定作用」に分けて説明する。 Next, "background technology and problems" and "problem solving measures" will be explained, and the actions of Example 1 will be "moving body position detection action", "moving body separation action by background subtraction", and "identification of own vehicle". The explanation will be divided into "action".

［背景技術と課題］
自車両の自己位置情報は、特許文献１に開示された障害物検出装置のようにＧＰＳにより取得している。そして、車載カメラ映像の画像処理により障害物の存在を認識すると、レーダーなどにより自車両と障害物との距離情報を取得している。 [Background technology and issues]
The self-position information of the own vehicle is acquired by GPS like the obstacle detection device disclosed in Patent Document 1. Then, when the presence of an obstacle is recognized by image processing of the in-vehicle camera image, the distance information between the own vehicle and the obstacle is acquired by a radar or the like.

しかし、自車両の自己位置情報の取得に用いられるＧＰＳは、ビルなどの反射波（マルチパス）によって誤差が非常に大きくなるため、自己位置の検出精度が悪化する、という課題があった。 However, the GPS used for acquiring the self-position information of the own vehicle has a problem that the detection accuracy of the self-position deteriorates because the error becomes very large due to the reflected wave (multipath) of the building or the like.

また、車載カメラだけで障害物の存在を認識しようとしても、死角や画像処理時の様々な問題により、自車両に対する障害物の全てを検出することできない、という課題があった。さらに、自車両から死角となる位置に存在する障害物との距離情報は、反射波を利用するレーダーなどを用いても取得することができない、という課題があった。 Further, even if an attempt is made to recognize the existence of an obstacle only with an in-vehicle camera, there is a problem that all obstacles to the own vehicle cannot be detected due to various problems such as blind spots and image processing. Further, there is a problem that the distance information from the own vehicle to an obstacle existing at a blind spot cannot be acquired even by using a radar or the like that uses reflected waves.

［課題解決対策］
従来、車載されたカメラ映像を固定側処理装置に送信する場合、通信のレイテンシが問題となる。しかし、近年、ほぼリアルタイムで画像送信する技術が出現しており、この高速通信技術を利用してカメラ映像データを車載センサ信号のように取り扱うことが可能となってきている。 [Problem solving measures]
Conventionally, when transmitting a vehicle-mounted camera image to a fixed-side processing device, communication latency becomes a problem. However, in recent years, a technology for transmitting an image in almost real time has appeared, and it has become possible to handle camera image data like an in-vehicle sensor signal by using this high-speed communication technology.

本発明者は、カメラ映像データを車載センサ信号のように取り扱うことができる点に着目し、ＧＰＳなどを使用せずに、カメラ映像を用いて自己位置や障害物情報を導出する課題解決対策を提案した。 The present inventor pays attention to the fact that camera image data can be handled like an in-vehicle sensor signal, and takes measures to solve a problem of deriving self-position and obstacle information using camera images without using GPS or the like. Proposed.

即ち、車載カメラ２３が接続される移動体側コントローラ２１と、走行路に沿って設置される定点カメラ１５が接続される定点カメラ側コントローラ１１との通信による移動体位置検出方法であって、以下の手順としている。定点カメラ１５からの定点カメラ映像を取得する。定点カメラ映像の背景差分によって背景及び固定物から移動体を分離する。背景差分により分離した移動体の何れかに搭載された車載カメラ２３からの車載カメラ映像を取得する。車載カメラ映像を画像データに含む３Ｄ画像マップを取得する。車載カメラ映像と３Ｄ画像マップとの照合により、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を自車両として特定する。自車両の自己位置を、定点カメラ映像に基づいて算出する。 That is, it is a moving body position detection method by communication between the moving body side controller 21 to which the in-vehicle camera 23 is connected and the fixed point camera side controller 11 to which the fixed point camera 15 installed along the traveling path is connected. It is a procedure. The fixed point camera image from the fixed point camera 15 is acquired. The moving body is separated from the background and the fixed object by the background subtraction of the fixed point camera image. The vehicle-mounted camera image from the vehicle-mounted camera 23 mounted on any of the moving bodies separated by background subtraction is acquired. Acquire a 3D image map including the in-vehicle camera image in the image data. By collating the in-vehicle camera image with the 3D image map, the moving object for which the in-vehicle camera image is acquired is specified as the own vehicle from the moving objects separated by background subtraction. The self-position of the own vehicle is calculated based on the fixed-point camera image.

このように、ＧＰＳを使用せず、定点カメラ映像と車載カメラ映像と３Ｄ画像マップを使用し、定点カメラ映像の背景差分及び車載カメラ映像と３Ｄ画像マップとの照合により自車両を特定し、自車両の自己位置を算出するようにしている。このため、自車両の自己位置算出の際、ビルなどの反射波（マルチパス）による影響を全く受けることがない。この結果、走行中、走行環境条件にかかわらず自車両の自己位置を精度良く検出することができる。 In this way, without using GPS, the fixed point camera image, the in-vehicle camera image, and the 3D image map are used, and the own vehicle is identified by collating the background difference of the fixed point camera image and the in-vehicle camera image with the 3D image map. The self-position of the vehicle is calculated. Therefore, when calculating the self-position of the own vehicle, it is not affected by the reflected wave (multipath) of the building or the like at all. As a result, it is possible to accurately detect the self-position of the own vehicle during traveling regardless of the traveling environment conditions.

そして、定点カメラ映像の背景差分による移動体の中から特定された自車両を除くことで、自車両から死角となる位置に存在する障害物を含み、自車両に対する障害物を検出することが可能である。さらに、自車両から死角となる位置に存在する障害物との距離情報についても自車両の自己位置と障害物の位置を用いて取得することが可能である。 Then, by excluding the specified own vehicle from the moving objects based on the background subtraction of the fixed point camera image, it is possible to detect the obstacles to the own vehicle including the obstacles existing at the position of the blind spot from the own vehicle. Is. Further, it is possible to acquire the distance information from the own vehicle to the obstacle existing at the position of the blind spot by using the own position of the own vehicle and the position of the obstacle.

［移動体位置検出作用］
実施例１では、定点カメラ側コントローラ１１による図４のS101→S102→S103→S104→S105→S106→S107→S108→S109へと進む移動体位置検出処理によって移動体位置が検出される。 [Moving body position detection action]
In the first embodiment, the moving body position is detected by the moving body position detection process of the fixed point camera side controller 11 in the order of S101 → S102 → S103 → S104 → S105 → S106 → S107 → S108 → S109 in FIG.

即ち、定点カメラ１５から定点カメラ映像が取得され（S102）、定点カメラ映像の背景差分によって背景及び固定物から移動体が分離される（S103）。 That is, the fixed point camera image is acquired from the fixed point camera 15 (S102), and the moving body is separated from the background and the fixed object by the background subtraction of the fixed point camera image (S103).

次に、背景差分により分離した移動体の何れかに搭載される車載カメラ２３の車載カメラ映像とポイントクラウド情報が移動体側コントローラ２１からの受信により取得される（S104）。そして、３Ｄ地図情報が取得され（S105）、移動体候補情報により参照するべき３Ｄ地図情報が絞り込まれた３Ｄ画像マップが取得される（S106）。 Next, the vehicle-mounted camera image and the point cloud information of the vehicle-mounted camera 23 mounted on any of the moving bodies separated by background subtraction are acquired by reception from the mobile body side controller 21 (S104). Then, the 3D map information is acquired (S105), and the 3D image map in which the 3D map information to be referred to is narrowed down by the moving body candidate information is acquired (S106).

次に、車載カメラ映像と３Ｄ画像マップとの照合により、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体が自車両として特定される（S107）。続いて、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を除く移動体が障害物として特定される（S108）。 Next, by collating the vehicle-mounted camera image with the 3D image map, the moving body that has acquired the vehicle-mounted camera image from the moving bodies separated by background subtraction is identified as the own vehicle (S107). Subsequently, among the moving bodies separated by background subtraction, the moving bodies other than the moving body for which the in-vehicle camera image is acquired are identified as obstacles (S108).

次に、自車両の自己位置と障害物の位置及び距離による障害物情報が、定点カメラ映像に基づいて算出され、算出結果である自車両の自己位置と障害物情報が移動体側コントローラ２１へ送信される（S109）。 Next, obstacle information based on the self-position of the own vehicle and the position and distance of the obstacle is calculated based on the fixed-point camera image, and the self-position and obstacle information of the own vehicle, which is the calculation result, is transmitted to the moving body side controller 21. Is done (S109).

定点カメラ側コントローラ１１が算出した結果（自己位置と障害物情報）を受信した移動体側コントローラ２１は、受信情報を車両制御装置２６へ出力することで（図５）、受信情報が車両の制御に利用される。 Upon receiving the result (self-position and obstacle information) calculated by the fixed-point camera side controller 11, the moving body side controller 21 outputs the received information to the vehicle control device 26 (FIG. 5), so that the received information can be used to control the vehicle. It will be used.

このように、実施例１では、定点カメラ側コントローラ１１による移動体位置検出処理によって移動体位置を検出している。このため、移動体側は車載カメラ情報やポイントクラウド情報などを定点カメラ側コントローラ１１に送信し、定点カメラ側コントローラ１１が導出した結果を受信するだけで、自己位置と障害物情報を車両制御に利用することができる。言い換えると、車両２０は、通信装置２２を高速通信に対応する装置とし、高速通信により必要情報の送受信を行うだけで、精度の良い自己位置と障害物情報を取得することができる。 As described above, in the first embodiment, the moving body position is detected by the moving body position detecting process by the fixed point camera side controller 11. Therefore, the moving body side transmits the in-vehicle camera information, the point cloud information, and the like to the fixed point camera side controller 11, and only receives the result derived by the fixed point camera side controller 11, and the self-position and obstacle information are used for vehicle control. can do. In other words, the vehicle 20 uses the communication device 22 as a device corresponding to high-speed communication, and can acquire accurate self-position and obstacle information only by transmitting and receiving necessary information by high-speed communication.

［背景差分による移動体の分離作用］
定点カメラ側コントローラ１１の移動体検出部１１ｂと図４のステップS103においては、背景差分により固定物（背景）と移動体が分離される。以下、図６Ａ〜図６Ｅに基づいて背景差分による移動体の分離作用を説明する。 [Separation action of moving objects by background subtraction]
In the moving body detection unit 11b of the fixed point camera side controller 11 and step S103 in FIG. 4, the fixed object (background) and the moving body are separated by background subtraction. Hereinafter, the action of separating moving objects by background subtraction will be described with reference to FIGS. 6A to 6E.

この背景推定と移動体検出の例では、定点カメラ１５から得られるビデオストリームを処理し、移動体部分のみを抽出する。屋外での撮影であるため、時刻と共に環境が変化するので、環境の変化に対応した移動体の検出を考える必要がある。 In this example of background estimation and moving body detection, the video stream obtained from the fixed point camera 15 is processed and only the moving body portion is extracted. Since the shooting is done outdoors, the environment changes with time, so it is necessary to consider the detection of moving objects in response to changes in the environment.

(a) ある時刻tにおける画像が図６Ａのような場合を例にする。 (a) Take the case where the image at a certain time t is as shown in FIG. 6A as an example.

(b) 前回の時刻t-1の時に計算された結果を元に、現時点での背景を推定し、背景以外の動領域を求める。図６Ｂに示す点の塊部分が移動体として認識された部分になる。 (b) Based on the result calculated at the previous time t-1, the background at the present time is estimated and the moving area other than the background is obtained. The mass portion of the points shown in FIG. 6B is the portion recognized as a moving body.

(c) 図６Ｃに示すように、図６Ｂに示す点の塊部分の外周に沿った形状による連結成分を求める。 (c) As shown in FIG. 6C, a connected component having a shape along the outer circumference of the mass portion of the points shown in FIG. 6B is obtained.

(d) 図６Ｃに示す連結成分領域を膨張させて図６Ｄに示すように楕円にした後、反転させ、次回のための背景として背景画像記憶装置１４へ登録する。図６Ｄに示す画面上において、楕円の外側が背景領域となる。 (d) The connected component region shown in FIG. 6C is expanded to form an ellipse as shown in FIG. 6D, then inverted, and registered in the background image storage device 14 as a background for the next time. On the screen shown in FIG. 6D, the outside of the ellipse is the background area.

(e) 図６Ｅに示すように、移動体として検出された楕円を囲う最小の四角形にて枠を表示する。図６Ｅに示す枠領域をXY座標で取得することも、四角形の枠内や楕円の面積を取得することも勿論可能である。 (e) As shown in FIG. 6E, the frame is displayed by the smallest quadrangle surrounding the ellipse detected as a moving body. Of course, the frame area shown in FIG. 6E can be acquired in XY coordinates, and the area inside the quadrangular frame or the ellipse can be acquired.

以上の背景差分処理(a)〜(e)を繰り返すことにより、定点カメラ映像の固定物（背景）から移動体のみが抽出分離され、移動体を正しく認識することが可能である。 By repeating the above background subtraction processes (a) to (e), only the moving body is extracted and separated from the fixed object (background) of the fixed point camera image, and the moving body can be correctly recognized.

［自車両の特定作用］
定点カメラ側コントローラ１１の移動体特定部１１ｃと図４のステップS107においては、背景差分により分離された移動体の中から車載カメラ映像を取得している移動体が自車両として特定される。以下、図７及び図８に基づいて自車両の特定作用を説明する。 [Specific action of own vehicle]
In the moving body specifying unit 11c of the fixed-point camera side controller 11 and step S107 in FIG. 4, the moving body that acquires the in-vehicle camera image from the moving bodies separated by background subtraction is specified as the own vehicle. Hereinafter, the specific action of the own vehicle will be described with reference to FIGS. 7 and 8.

自車両を特定する際、図７に示すように、３Ｄ地図データベース１３に有する画像データに、各移動体から観察できる範囲に存在する構造物が有する特徴点（図７に付した点）を付加して３Ｄ画像マップが作成される。ここで、特徴点とは、移動体から観察されるビルの外形に沿って付された点や電信柱に沿って付された点などをいう。 When identifying the own vehicle, as shown in FIG. 7, the feature points (points attached to FIG. 7) of the structures existing in the range observable from each moving body are added to the image data held in the 3D map database 13. Then, a 3D image map is created. Here, the feature points refer to points attached along the outer shape of the building observed from the moving body, points attached along the telephone pole, and the like.

そして、車載カメラ映像に対し予め記憶設定されている３Ｄ画像マップが検索され、特徴点のパターンマッチングによって背景差分により分離された移動体の中から車載カメラ映像を取得している移動体が自車両として特定される。 Then, a 3D image map that is stored and set in advance for the in-vehicle camera image is searched, and the moving object that acquires the in-vehicle camera image from the moving objects separated by background subtraction by pattern matching of feature points is the own vehicle. Specified as.

例えば、右側通行路において、図８に示すように、背景差分によりNo1〜No34の合計３４台の移動体が分離されたとし、図８のNo23の移動体から前方に向けた車載カメラ映像が、左側に高いビルがあり、右側に低いビルと電信柱があるとする。 For example, in the right-hand traffic path, as shown in FIG. 8, assuming that a total of 34 moving objects No. 1 to No. 34 are separated by background subtraction, the in-vehicle camera image directed forward from the moving object No. 23 in FIG. Suppose you have a tall building on your left and a low building and telephone poles on your right.

このとき、No23の移動体から観察されるビルの外形に沿って付された特徴点のパターンや電信柱に沿って付された特徴点が、図７に示すようにパターンがマッチングすると、No23の移動体が車載カメラ映像を取得している自車両として特定される。 At this time, if the pattern of the feature points attached along the outer shape of the building observed from the moving body of No. 23 and the feature points attached along the telephone pole match the patterns as shown in FIG. 7, No. 23 The moving body is identified as the own vehicle that is acquiring the in-vehicle camera image.

このように、特徴点のパターンマッチングによって背景差分により分離された移動体の中から車載カメラ映像を取得している移動体を自車両として特定している。このため、背景差分により分離された移動体の中から自車両を特定する際、短時間にて精度良く自車両を特定することができる。 In this way, the moving body that acquires the in-vehicle camera image from the moving bodies separated by background subtraction by pattern matching of the feature points is specified as the own vehicle. Therefore, when the own vehicle is specified from the moving bodies separated by background subtraction, the own vehicle can be accurately specified in a short time.

以上説明したように、実施例１の移動体位置検出方法及び移動体位置検出システムにあっては、下記に列挙する効果を奏する。 As described above, the moving body position detecting method and the moving body position detecting system of the first embodiment have the effects listed below.

(1) 車載カメラ２３が接続される移動体側コントローラ２１と、走行路に沿って設置される定点カメラ１５が接続される定点カメラ側コントローラ１１との通信による移動体位置検出方法であって、
定点カメラ１５から定点カメラ映像を取得し、
定点カメラ映像の背景差分によって背景及び固定物から移動体を分離し、
車載カメラ２３から車載カメラ映像を取得し、
車載カメラ映像を画像データに含む３Ｄ画像マップを取得し、
車載カメラ映像と３Ｄ画像マップとの照合により、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を自車両として特定し、
自車両の自己位置を、定点カメラ映像に基づいて算出する（図１）。
このため、走行中、走行環境条件にかかわらず自車両の自己位置を精度良く検出する移動体位置検出方法を提供することができる。 (1) A moving body position detection method by communication between a moving body side controller 21 to which the in-vehicle camera 23 is connected and a fixed point camera side controller 11 to which the fixed point camera 15 installed along the traveling path is connected.
Acquire the fixed point camera image from the fixed point camera 15 and
The moving body is separated from the background and fixed objects by the background subtraction of the fixed point camera image.
Acquire the in-vehicle camera image from the in-vehicle camera 23,
Acquire a 3D image map that includes the in-vehicle camera image in the image data,
By collating the in-vehicle camera image with the 3D image map, the moving object that acquires the in-vehicle camera image from the moving objects separated by background subtraction is identified as the own vehicle.
The self-position of the own vehicle is calculated based on the fixed-point camera image (Fig. 1).
Therefore, it is possible to provide a moving body position detecting method that accurately detects the self-position of the own vehicle during traveling regardless of the traveling environment conditions.

(2) 背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を除いた移動体を、自車両に対する障害物として特定する（図４）。
このため、背景差分により分離した移動体の中から特定された自車両を除くだけの簡単な処理により、自車両から死角となる位置に存在する障害物を含み、自車両に対する障害物を特定することができる。 (2) From the moving bodies separated by background subtraction, the moving bodies excluding the moving bodies for which the in-vehicle camera image is acquired are specified as obstacles to the own vehicle (Fig. 4).
For this reason, obstacles existing in a blind spot from the own vehicle are included and obstacles to the own vehicle are identified by a simple process of removing the own vehicle specified from the moving objects separated by background subtraction. be able to.

(3) 背景差分により分離した移動体の中から自車両と障害物を特定すると、自車両の自己位置情報と、障害物の位置を含む障害物情報とを移動体位置検出情報として取得する（図４）。
このため、定点カメラ映像と車載カメラ映像と３Ｄ画像マップとを用いるだけで、自車両の自己位置情報と障害物情報との両情報を移動体位置検出情報として取得することができる。 (3) When the own vehicle and obstacles are identified from the moving objects separated by background subtraction, the own position information of the own vehicle and the obstacle information including the position of the obstacle are acquired as the moving object position detection information ( FIG. 4).
Therefore, it is possible to acquire both the self-position information of the own vehicle and the obstacle information as the moving body position detection information only by using the fixed-point camera image, the in-vehicle camera image, and the 3D image map.

(4) ３Ｄ画像マップを、３Ｄ地図データベースに有する画像データに、各移動体から観察できる範囲に存在する構造物が有する特徴点を付加して作成しておき、
車載カメラ映像に対し予め記憶設定されている３Ｄ画像マップを検索し、特徴点のパターンマッチングによって背景差分により分離された移動体の中から車載カメラ映像を取得している移動体を自車両として特定する（図７）。
このため、背景差分により分離された移動体の中から自車両を特定する際、短時間にて精度良く自車両を特定することができる。 (4) A 3D image map is created by adding the feature points of the structure existing in the range observable from each moving body to the image data in the 3D map database.
A 3D image map that is stored and set in advance for the in-vehicle camera image is searched, and the moving object that acquires the in-vehicle camera image from the moving objects separated by background subtraction by pattern matching of feature points is specified as the own vehicle. (Fig. 7).
Therefore, when the own vehicle is specified from the moving bodies separated by background subtraction, the own vehicle can be accurately specified in a short time.

(5) 定点カメラ１５は、車両が走行する走行路に沿って複数個所の位置に設置された複数台のカメラであり、
定点カメラ１５と定点カメラ側コントローラ１１は、有線による接続とし、
移動体側コントローラ２１と定点カメラ側コントローラ１１との間の情報交換は、レイテンシが小さい高速通信速度による無線通信とする（図１）。
このため、定点カメラ側コントローラ１１と移動体側コントローラ２１とを備える移動体位置検出システムを構築する際、定点カメラ映像や車載カメラ映像による映像情報を有線により接続されている情報のように扱うことができる。 (5) The fixed point camera 15 is a plurality of cameras installed at a plurality of positions along the traveling path on which the vehicle travels.
The fixed point camera 15 and the fixed point camera side controller 11 are connected by wire.
Information exchange between the mobile controller 21 and the fixed-point camera controller 11 is wireless communication at a high-speed communication speed with low latency (FIG. 1).
Therefore, when constructing a moving body position detection system including the fixed point camera side controller 11 and the moving body side controller 21, it is possible to treat the image information from the fixed point camera image and the in-vehicle camera image as if they were connected by wire. it can.

(6) 定点カメラ１５は、市街地に存在する交差点４０の周囲の複数個所の位置に設置されたカメラである（図１）。
このため、ＧＰＳを用いた場合に反射波（マルチパス）による誤差影響が最も大きくなる市街地に存在する交差点４０の付近を走行しているとき、自車両の自己位置を精度良く検出することができる。 (6) The fixed point camera 15 is a camera installed at a plurality of positions around an intersection 40 existing in an urban area (FIG. 1).
Therefore, when the vehicle is traveling near an intersection 40 existing in an urban area where the influence of error due to reflected waves (multipath) is the largest when GPS is used, the self-position of the own vehicle can be detected with high accuracy. ..

(7) 定点カメラ側コントローラ１１は、
定点カメラ１５から定点カメラ映像を取得し、
定点カメラ映像の背景差分によって背景及び固定物から移動体を分離し、
背景差分により分離した移動体の何れかに搭載される車載カメラ２３による車載カメラ映像を、移動体側コントローラ２１からの受信により取得し、
車載カメラ映像を画像データに含む３Ｄ画像マップを取得し、
車載カメラ映像と３Ｄ画像マップとの照合により、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を自車両として特定し、
自車両の自己位置を、定点カメラ映像に基づいて算出し、
自車両の自己位置情報を移動体側コントローラ２１へ送信する（図４）。
このため、定点カメラ側コントローラ１１が自車両の自己位置情報を算出し、算出結果を移動体側コントローラ２１により受信するだけで、自己位置情報を車両制御に利用することができる。 (7) The fixed point camera side controller 11
Acquire the fixed point camera image from the fixed point camera 15 and
The moving body is separated from the background and fixed objects by the background subtraction of the fixed point camera image.
The in-vehicle camera image taken by the in-vehicle camera 23 mounted on any of the moving objects separated by background subtraction is acquired by receiving from the moving object side controller 21.
Acquire a 3D image map that includes the in-vehicle camera image in the image data,
By collating the in-vehicle camera image with the 3D image map, the moving object that acquires the in-vehicle camera image from the moving objects separated by background subtraction is identified as the own vehicle.
Calculate the self-position of your vehicle based on the fixed-point camera image,
The self-position information of the own vehicle is transmitted to the moving body side controller 21 (FIG. 4).
Therefore, the self-position information can be used for vehicle control only by the fixed-point camera-side controller 11 calculating the self-position information of the own vehicle and receiving the calculation result by the moving body-side controller 21.

(8) 車載カメラ２３が接続される移動体側コントローラ２１と、走行路に沿って設置される定点カメラ１５が接続される定点カメラ側コントローラ１１と、を備える移動体位置検出システムであって、
移動体側コントローラ２１は、
車載カメラ２３により取得した車載カメラ映像を定点カメラ側コントローラ１１へ送信する送信部（車載カメラ映像送信部２１ａ）と、
定点カメラ側コントローラ１１から車両の自己位置情報を受信する受信部（自己位置及び障害物情報受信部２１ｂ）と、を有し、
定点カメラ側コントローラ１１は、
移動体側コントローラ２１から車載カメラ映像を受信する受信部（車載カメラ映像受信部１１ａ）と、
定点カメラ１５により取得した定点カメラ映像の背景差分によって背景及び固定物から移動体を分離する移動体検出部１１ｂと、
車載カメラ映像と、車載カメラ映像を画像データに含む３Ｄ画像マップとの照合により、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を自車両として特定する移動体特定部１１ｃと、
自車両の自己位置を、定点カメラ映像に基づいて算出する自己位置算出部１１ｄと、
自車両の自己位置情報を移動体側コントローラ２１へ送信する送信部（自己位置及び障害物情報送信部１１ｈ）と、を有する（図３）。
このため、定点カメラ側コントローラ１１が自車両の自己位置情報を算出し、算出結果を移動体側コントローラ２１により受信するだけで、自己位置情報を車両制御に利用できる移動体位置検出システムを提供することができる。 (8) A moving body position detection system including a moving body side controller 21 to which the in-vehicle camera 23 is connected and a fixed point camera side controller 11 to which the fixed point camera 15 installed along the traveling path is connected.
The moving body side controller 21
A transmission unit (vehicle-mounted camera image transmission unit 21a) that transmits the vehicle-mounted camera image acquired by the vehicle-mounted camera 23 to the fixed-point camera side controller 11 and
It has a receiving unit (self-position and obstacle information receiving unit 21b) that receives the self-position information of the vehicle from the fixed-point camera side controller 11.
The fixed point camera side controller 11
A receiving unit (vehicle-mounted camera image receiving unit 11a) that receives an in-vehicle camera image from the mobile body side controller 21 and
The moving body detection unit 11b that separates the moving body from the background and the fixed object by the background subtraction of the fixed point camera image acquired by the fixed point camera 15.
By collating the in-vehicle camera image with the 3D image map that includes the in-vehicle camera image in the image data, the moving object that acquires the in-vehicle camera image from the moving objects separated by background subtraction is identified as the own vehicle. Part 11c and
The self-position calculation unit 11d that calculates the self-position of the own vehicle based on the fixed-point camera image, and
It has a transmission unit (self-position and obstacle information transmission unit 11h) that transmits the self-position information of the own vehicle to the controller 21 on the moving body side (FIG. 3).
Therefore, the fixed point camera side controller 11 calculates the self-position information of the own vehicle, and the moving body side controller 21 simply receives the calculation result, thereby providing a moving body position detection system that can use the self-position information for vehicle control. Can be done.

実施例２における移動体位置検出方法は、車両２０に有する移動体側コントローラ２１’での処理により自車両の自己位置及び自車両に対する障害物を検出する移動体位置検出システムに適用したものである。以下、実施例２の構成を、「全体システム構成」、「コントローラの詳細構成」、「移動体位置検出処理構成」に分けて説明する。 The moving body position detecting method in the second embodiment is applied to a moving body position detecting system that detects the self-position of the own vehicle and obstacles to the own vehicle by processing by the moving body side controller 21'held in the vehicle 20. Hereinafter, the configuration of the second embodiment will be described separately for the “overall system configuration”, the “detailed controller configuration”, and the “moving body position detection processing configuration”.

［全体システム構成］
図９は、実施例２の移動体位置検出システムの構成要素を示す。以下、図９に基づいて全体システム構成を説明する。なお、実施例２の移動体位置検出方法が適用された移動体位置検出システムの全体システム構成は、実施例１の図１と同様であるので説明を省略する。 [Overall system configuration]
FIG. 9 shows the components of the moving body position detection system of the second embodiment. Hereinafter, the overall system configuration will be described with reference to FIG. Since the overall system configuration of the moving body position detecting system to which the moving body position detecting method of the second embodiment is applied is the same as that of FIG. 1 of the first embodiment, the description thereof will be omitted.

定点カメラ映像管理センター１０は、図９に示すように、定点カメラ側コントローラ１１’と、通信装置１２と、を有する。 As shown in FIG. 9, the fixed-point camera image management center 10 has a fixed-point camera side controller 11'and a communication device 12.

定点カメラ側コントローラ１１’は、定点カメラ１５から取得された定点カメラ映像を、通信装置１２を介して車両２０（移動体）側へ送信する機能を有する。 The fixed-point camera side controller 11'has a function of transmitting the fixed-point camera image acquired from the fixed-point camera 15 to the vehicle 20 (moving body) side via the communication device 12.

通信装置１２は、所定条件が成立すると、定点カメラ映像を車両２０へ送信する。ここで、定点カメラ映像は、定点カメラ映像により認識できる領域内に車両２０が入ってきたときに送信しても良い。また、定点カメラ側コントローラ１１’から定期的に送信しても良い。さらに、車両２０からの定点カメラ映像要求により送信しても良い。 When the predetermined condition is satisfied, the communication device 12 transmits the fixed point camera image to the vehicle 20. Here, the fixed-point camera image may be transmitted when the vehicle 20 enters the area that can be recognized by the fixed-point camera image. Further, it may be periodically transmitted from the fixed point camera side controller 11'. Further, it may be transmitted by a fixed point camera image request from the vehicle 20.

車両２０は、図９に示すように、移動体側コントローラ２１’と、通信装置２２と、車載カメラ２３と、測距センサ２４と、ＧＰＳ２５と、車両制御装置２６と、３Ｄ地図データベース２７と、背景画像記憶装置２８と、を有する。 As shown in FIG. 9, the vehicle 20 includes a moving body side controller 21', a communication device 22, an in-vehicle camera 23, a distance measuring sensor 24, a GPS 25, a vehicle control device 26, a 3D map database 27, and a background. It has an image storage device 28.

移動体側コントローラ２１’は、自車両の自己位置情報と障害物情報とを移動体位置検出情報として取得する移動体位置検出機能を分担するコントローラである。移動体側コントローラ２１’は、通信装置２２を介して受信された定点カメラ映像と、３Ｄ地図データベース１３からの３Ｄ画像マップと、車載カメラ２３から取得した車載カメラ映像とを入力情報とする。そして、定点カメラ映像の背景差分によって背景及び固定物から移動体を分離する。車載カメラ映像と、車載カメラ映像を画像データに含む３Ｄ画像マップとの照合により、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を自車両として特定する。さらに、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を除いた移動体を、自車両に対する障害物として特定する。 The moving body side controller 21'is a controller that shares the moving body position detecting function of acquiring the self-positioning information of the own vehicle and the obstacle information as the moving body position detecting information. The mobile body side controller 21'is input information from the fixed point camera image received via the communication device 22, the 3D image map from the 3D map database 13, and the in-vehicle camera image acquired from the in-vehicle camera 23. Then, the moving body is separated from the background and the fixed object by the background subtraction of the fixed point camera image. By collating the in-vehicle camera image with the 3D image map including the in-vehicle camera image in the image data, the moving object that acquires the in-vehicle camera image from the moving objects separated by background subtraction is specified as the own vehicle. Further, the moving body excluding the moving body for which the in-vehicle camera image is acquired is specified as an obstacle to the own vehicle from the moving bodies separated by background subtraction.

通信装置２２は、定点カメラ側コントローラ１１’で取得された定点カメラ映像を受信する機能を有する。なお、車載カメラ２３、測距センサ２４、ＧＰＳ２５、車両制御装置２６は、実施例１と同様の構成である。 The communication device 22 has a function of receiving the fixed point camera image acquired by the fixed point camera side controller 11'. The in-vehicle camera 23, the distance measuring sensor 24, the GPS 25, and the vehicle control device 26 have the same configurations as those in the first embodiment.

３Ｄ地図データベース２７は、車両２０のメモリに格納され、緯度/経度情報と道路情報と道路に沿った構造物情報を含む３次元高精度地図データである。この３Ｄ地図データベース１３には、３Ｄ画像データに、車両２０から観察できる範囲に存在する構造物が有する特徴点を付加して作成された３Ｄ画像マップが予め記憶されている。 The 3D map database 27 is stored in the memory of the vehicle 20, and is three-dimensional high-precision map data including latitude / longitude information, road information, and structure information along the road. The 3D map database 13 stores in advance a 3D image map created by adding feature points of a structure existing in a range observable from the vehicle 20 to the 3D image data.

背景画像記憶装置２８は、受信された定点カメラ映像を用い、背景差分によって背景及び固定物から移動体を分離するとき、背景画像（固定物画像を含む）を一時的に記憶しておくメモリである。 The background image storage device 28 is a memory that temporarily stores a background image (including a fixed object image) when the moving object is separated from the background and the fixed object by background subtraction using the received fixed point camera image. is there.

［コントローラの詳細構成］
図１０は、実施例２の定点カメラ側コントローラ１１’と移動体側コントローラ２１’の詳細構成を示す。以下、図１０に基づいて定点カメラ側コントローラ１１’と移動体側コントローラ２１’の詳細構成を説明する。 [Detailed configuration of controller]
FIG. 10 shows a detailed configuration of the fixed point camera side controller 11'and the moving body side controller 21' of the second embodiment. Hereinafter, the detailed configuration of the fixed point camera side controller 11'and the moving body side controller 21' will be described with reference to FIG.

移動体位置検出システムは、図１０に示すように、車載カメラ２３が接続される移動体側コントローラ２１’と、走行路に沿って設置される定点カメラ１５が接続される定点カメラ側コントローラ１１’と、を備える。 As shown in FIG. 10, the moving body position detection system includes a moving body side controller 21'to which the in-vehicle camera 23 is connected and a fixed point camera side controller 11'to which the fixed point camera 15 installed along the traveling path is connected. , Equipped with.

定点カメラ側コントローラ１１’は、図１０に示すように、定点カメラ映像送信部１１ｉ（送信部）を有する。 As shown in FIG. 10, the fixed-point camera side controller 11'has a fixed-point camera image transmission unit 11i (transmission unit).

定点カメラ映像送信部１１ｉは、定点カメラ１５により取得した定点カメラ映像を移動体側コントローラ２１’の定点カメラ映像受信部２１ｃへ送信する。 The fixed-point camera image transmitting unit 11i transmits the fixed-point camera image acquired by the fixed-point camera 15 to the fixed-point camera image receiving unit 21c of the moving body side controller 21'.

移動体側コントローラ２１’は、図１０に示すように、定点カメラ映像受信部２１ｃ（受信部）と、移動体検出部２１ｄと、移動体特定部２１ｅと、自己位置算出部２１ｆと、障害物検出部２１ｇと、障害物距離算出部２１ｈと、を有する。そして、移動体検出情報出力部２１ｉを有する。 As shown in FIG. 10, the moving body side controller 21'has a fixed point camera image receiving unit 21c (receiving unit), a moving body detecting unit 21d, a moving body specifying unit 21e, a self-position calculation unit 21f, and an obstacle detection. It has a unit 21g and an obstacle distance calculation unit 21h. Then, it has a moving body detection information output unit 21i.

定点カメラ映像受信部２１ｃは、定点カメラ側コントローラ１１’の定点カメラ映像送信部１１ｉから定点カメラ映像を受信する。 The fixed-point camera image receiving unit 21c receives the fixed-point camera image from the fixed-point camera image transmitting unit 11i of the fixed-point camera side controller 11'.

移動体検出部２１ｄは、受信により取得した定点カメラ映像の背景差分によって背景及び固定物から移動体を分離する。 The moving body detection unit 21d separates the moving body from the background and the fixed object by the background subtraction of the fixed point camera image acquired by reception.

移動体特定部２１ｅは、車載カメラ２３から車載カメラ映像を取得し、３Ｄ地図データベース２７から車載カメラ映像を画像データに含む３Ｄ画像マップを取得する。そして、車載カメラ映像と３Ｄ画像マップとの照合により、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を自車両として特定する。 The moving body identification unit 21e acquires an in-vehicle camera image from the in-vehicle camera 23, and acquires a 3D image map including the in-vehicle camera image in the image data from the 3D map database 27. Then, by collating the vehicle-mounted camera image with the 3D image map, the moving body that has acquired the vehicle-mounted camera image from the moving bodies separated by background subtraction is specified as the own vehicle.

自己位置算出部２１ｆは、特定した自車両の自己位置を、定点カメラ映像に基づいて算出する。障害物検出部２１ｇは、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を除いた移動体を障害物として特定し、障害物を検出する。障害物距離算出部２１ｈは、障害物検出部２１ｇにより検出された障害物の位置と、自車両と障害物との距離を算出する。 The self-position calculation unit 21f calculates the self-position of the specified own vehicle based on the fixed-point camera image. The obstacle detection unit 21g identifies the moving body excluding the moving body for which the in-vehicle camera image is acquired from the moving bodies separated by background subtraction as an obstacle, and detects the obstacle. The obstacle distance calculation unit 21h calculates the position of the obstacle detected by the obstacle detection unit 21g and the distance between the own vehicle and the obstacle.

移動体検出情報出力部２１ｉは、自車両の自己位置情報と、障害物距離算出部２１ｈで算出された障害物の位置/距離情報を、車両制御装置２６へ出力する。 The moving object detection information output unit 21i outputs the self-position information of the own vehicle and the position / distance information of the obstacle calculated by the obstacle distance calculation unit 21h to the vehicle control device 26.

［移動体位置検出処理構成］
図１１は、車両２０の移動体側コントローラ２１’で実行される移動体位置検出処理の流れを示す。以下、図１１の各ステップについて説明する。 [Moving body position detection processing configuration]
FIG. 11 shows the flow of the moving body position detection process executed by the moving body side controller 21'of the vehicle 20. Hereinafter, each step in FIG. 11 will be described.

ステップS211では、スタートに続いて、全ての処理情報の初期化をし、ステップS212へ進む。 In step S211, following the start, all processing information is initialized, and the process proceeds to step S212.

ステップS212では、S211又はS219に続き、定点カメラ側コントローラ１１’で取得された定点カメラ映像を受信し、ステップS213へ進む。 In step S212, following S211 or S219, the fixed point camera image acquired by the fixed point camera side controller 11'is received, and the process proceeds to step S213.

ステップS213では、S212に続き、定点カメラ映像を用い、背景差分により固定物（背景）と移動体を分離し、ステップS214へ進む。 In step S213, following S212, the fixed object (background) and the moving body are separated by background subtraction using the fixed point camera image, and the process proceeds to step S214.

ステップS214では、S213に続き、車載カメラ２３から車載カメラ映像情報、測距センサ２４やＧＰＳ２５からポイントクラウド情報を取得し、ステップS215へ進む。 In step S214, following S213, in-vehicle camera image information and point cloud information are acquired from the in-vehicle camera 23 and the distance measuring sensor 24 and GPS 25, and the process proceeds to step S215.

ステップS215では、S204に続き、予め準備されている３Ｄ地図データベース２７から３Ｄ地図情報（＝３Ｄ画像マップ）を取得し、ステップS216へ進む。 In step S215, following S204, 3D map information (= 3D image map) is acquired from the 3D map database 27 prepared in advance, and the process proceeds to step S216.

ステップS216では、S215に続き、移動体候補情報（＝分離した移動体）により参照するべき３Ｄ地図情報（＝３Ｄ画像マップ）を絞り込み、ステップS217へ進む。これにより、３Ｄ地図データベース２７の全領域を検索する必要がなくなり、次のステップS217での特定時間を大幅に短縮させることができる。 In step S216, following S215, the 3D map information (= 3D image map) to be referred to is narrowed down by the moving body candidate information (= separated moving body), and the process proceeds to step S217. As a result, it is not necessary to search the entire area of the 3D map database 27, and the specific time in the next step S217 can be significantly shortened.

ステップS217では、S216に続き、背景差分により導出した移動体の中から、今回の移動体を特定し、ステップS218へ進む。即ち、絞り込まれた領域の中から移動体の映像やポイントクラウド情報が当てはまる移動体を自車両として特定する。 In step S217, following S216, the moving body this time is specified from the moving bodies derived by background subtraction, and the process proceeds to step S218. That is, the moving body to which the moving body image and the point cloud information are applied is specified as the own vehicle from the narrowed down area.

ステップS218では、S217に続き、背景差分により導出した移動体の中から、今回の特定された移動体以外の移動体を障害物として特定し、ステップS219へ進む。 In step S218, following S217, a moving body other than the moving body specified this time is identified as an obstacle from the moving bodies derived by background subtraction, and the process proceeds to step S219.

ステップS219では、S218に続き、自車両の自己位置と障害物情報を算出し、算出結果を車両制御装置２６へ出力し、ステップS212へ戻る。これにより、自車両は自己位置と障害物を認識することができる。つまり、移動体側コントローラ２１’は、定点カメラ映像管理センター１０から定点カメラ映像を受信するだけで、自車両の自己位置と障害物情報を算出し、これらの情報を車両の制御に利用する。 In step S219, following S218, the self-position of the own vehicle and obstacle information are calculated, the calculation result is output to the vehicle control device 26, and the process returns to step S212. As a result, the own vehicle can recognize its own position and obstacles. That is, the moving body side controller 21'calculates the self-position and obstacle information of the own vehicle only by receiving the fixed-point camera image from the fixed-point camera image management center 10, and uses this information for vehicle control.

次に、実施例２の移動体位置検出作用を説明する。なお、他の作用は、実施例１と同様であるので説明を省略する。 Next, the moving body position detecting action of the second embodiment will be described. Since the other actions are the same as those in the first embodiment, the description thereof will be omitted.

実施例２では、移動体側コントローラ２１’による図１１のS211→S212→S213→S214→S215→S216→S217→S218→S219へと進む移動体位置検出処理によって移動体位置が検出される。 In the second embodiment, the moving body position is detected by the moving body position detection process in which the moving body side controller 21'proceeds from S211 → S212 → S213 → S214 → S215 → S216 → S217 → S218 → S219 in FIG.

即ち、定点カメラ１５から定点カメラ映像が受信され（S212）、定点カメラ映像の背景差分によって背景及び固定物から移動体が分離される（S213）。 That is, the fixed-point camera image is received from the fixed-point camera 15 (S212), and the moving body is separated from the background and the fixed object by the background subtraction of the fixed-point camera image (S213).

次に、車載カメラ２３の車載カメラ映像とポイントクラウド情報が取得される（S214）。そして、３Ｄ地図情報が取得され（S215）、移動体候補情報により参照するべき３Ｄ地図情報が絞り込まれた３Ｄ画像マップが取得される（S216）。 Next, the vehicle-mounted camera image of the vehicle-mounted camera 23 and the point cloud information are acquired (S214). Then, the 3D map information is acquired (S215), and the 3D image map in which the 3D map information to be referred to is narrowed down by the moving body candidate information is acquired (S216).

次に、車載カメラ映像と３Ｄ画像マップとの照合により、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体が自車両として特定される（S217）。続いて、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を除く移動体が障害物として特定される（S218）。 Next, by collating the vehicle-mounted camera image with the 3D image map, the moving body that has acquired the vehicle-mounted camera image from the moving bodies separated by background subtraction is identified as the own vehicle (S217). Subsequently, among the moving bodies separated by background subtraction, the moving bodies other than the moving body for which the in-vehicle camera image is acquired are identified as obstacles (S218).

次に、自車両の自己位置と障害物の位置及び距離による障害物情報が算出され、算出結果である自車両の自己位置と障害物情報が車両制御装置２６へ出力される（S219）。これにより、自車両の自己位置と障害物情報が車両制御装置２６での制御に利用される。 Next, obstacle information based on the self-position of the own vehicle and the position and distance of the obstacle is calculated, and the self-position and obstacle information of the own vehicle, which is the calculation result, is output to the vehicle control device 26 (S219). As a result, the self-position of the own vehicle and obstacle information are used for control by the vehicle control device 26.

このように、実施例２では、移動体側コントローラ２１’による移動体位置検出処理によって移動体位置を検出している。このため、移動体側（車両２０側）では、定点カメラ側コントローラ１１’から定点カメラ映像を受信するだけで、自車両の自己位置と障害物情報を算出でき、算出結果を車両制御に利用することができる。言い換えると、定点カメラ映像管理センター１０側は、通信装置１２を高速通信に対応する装置とし、高速通信により定点カメラ映像の情報を各移動体へ送信する機能を付加するだけで良い。 As described above, in the second embodiment, the moving body position is detected by the moving body position detecting process by the moving body side controller 21'. Therefore, on the moving body side (vehicle 20 side), the self-position and obstacle information of the own vehicle can be calculated only by receiving the fixed point camera image from the fixed point camera side controller 11', and the calculation result is used for vehicle control. Can be done. In other words, the fixed-point camera image management center 10 side only needs to make the communication device 12 a device corresponding to high-speed communication and add a function of transmitting information of the fixed-point camera image to each moving body by high-speed communication.

以上説明したように、実施例２の移動体位置検出方法及び移動体位置検出システムにあっては、下記に列挙する効果を奏する。 As described above, the moving body position detecting method and the moving body position detecting system of the second embodiment have the effects listed below.

(9) 移動体側コントローラ２１’は、
定点カメラ１５による定点カメラ映像を定点カメラ側コントローラ１１’からの受信により取得し、
定点カメラ映像の背景差分によって背景及び固定物から移動体を分離し、
車載カメラ２３から車載カメラ映像を取得し、
車載カメラ映像を画像データに含む３Ｄ画像マップを取得し、
車載カメラ映像と前記３Ｄ画像マップとの照合により、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を自車両として特定し、
自車両の自己位置を、定点カメラ映像に基づいて算出する（図１１）。
このため、定点カメラ側コントローラ１１’から定点カメラ映像を受信するだけで、移動体側コントローラ２１’により算出される自車両の自己位置情報を車両制御に利用することができる。 (9) The mobile controller 21'is
The fixed point camera image by the fixed point camera 15 is acquired by receiving from the fixed point camera side controller 11', and
The moving body is separated from the background and fixed objects by the background subtraction of the fixed point camera image.
Acquire the in-vehicle camera image from the in-vehicle camera 23,
Acquire a 3D image map that includes the in-vehicle camera image in the image data,
By collating the in-vehicle camera image with the 3D image map, the moving object for which the in-vehicle camera image is acquired is identified as the own vehicle from the moving objects separated by background subtraction.
The self-position of the own vehicle is calculated based on the fixed-point camera image (FIG. 11).
Therefore, the self-position information of the own vehicle calculated by the moving body side controller 21'can be used for vehicle control only by receiving the fixed point camera image from the fixed point camera side controller 11'.

(10) 車載カメラ２３が接続される移動体側コントローラ２１’と、走行路に沿って設置される定点カメラ１５が接続される定点カメラ側コントローラ１１’とを備える移動体位置検出システムであって、
定点カメラ側コントローラ１１’は、
定点カメラ１５により取得される定点カメラ映像の情報を移動体側コントローラ２１’へ送信する送信部（定点カメラ映像送信部１１ｉ）を有し、
移動体側コントローラ２１’は、
定点カメラ側コントローラ１１’から定点カメラ映像を受信する受信部（定点カメラ映像受信部２１ｃ）と、
定点カメラ映像の背景差分によって背景及び固定物から移動体を分離する移動体検出部２１ｄと、
車載カメラ２３から取得される車載カメラ映像と、車載カメラ映像を画像データに含む３Ｄ画像マップとの照合により、背景差分により分離した移動体の中から車載カメラ映像を取得している移動体を自車両として特定する移動体特定部２１ｅと、
自車両の自己位置を、定点カメラ映像に基づいて算出する自己位置算出部２１ｆと、を有する（図１０）。
このため、定点カメラ側コントローラ１１’から定点カメラ映像を受信するだけで、移動体側コントローラ２１’により算出される自車両の自己位置情報を車両制御に利用できる移動体位置検出システムを提供することができる。 (10) A moving body position detection system including a moving body side controller 21'to which the in-vehicle camera 23 is connected and a fixed point camera side controller 11'to which the fixed point camera 15 installed along the traveling path is connected.
The fixed point camera side controller 11'is
It has a transmission unit (fixed point camera image transmission unit 11i) that transmits information of the fixed point camera image acquired by the fixed point camera 15 to the controller 21'on the moving body side.
The moving body side controller 21'is
A receiving unit (fixed-point camera image receiving unit 21c) that receives a fixed-point camera image from the fixed-point camera side controller 11', and
Moving object detection unit 21d that separates moving objects from background and fixed objects by background subtraction of fixed-point camera images,
By collating the in-vehicle camera image acquired from the in-vehicle camera 23 with the 3D image map including the in-vehicle camera image in the image data, the moving body that acquires the in-vehicle camera image from the moving bodies separated by background subtraction is self-identified. Moving object identification unit 21e that identifies as a vehicle,
It has a self-position calculation unit 21f that calculates the self-position of the own vehicle based on a fixed-point camera image (FIG. 10).
Therefore, it is possible to provide a moving body position detection system that can use the self-position information of the own vehicle calculated by the moving body side controller 21'for vehicle control only by receiving the fixed point camera image from the fixed point camera side controller 11'. it can.

以上、本開示の移動体位置検出方法及び移動体位置検出システムを実施例１及び実施例２に基づき説明してきた。しかし、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。 The moving body position detecting method and the moving body position detecting system of the present disclosure have been described above based on the first and second embodiments. However, the specific configuration is not limited to these examples, and design changes and additions are permitted as long as the gist of the invention according to each claim of the claims is not deviated.

実施例１，２では、定点カメラ映像の背景差分によって背景及び固定物から移動体を分離し、車載カメラ映像と３Ｄ画像マップとの照合により分離した移動体の中から自車両と障害物を特定する例を示した。しかし、分離した移動体の中から自車両と障害物を特定する場合、時間差分による確認手法を併用して自車両と障害物の特定精度をより向上させる例としても良い。自車両であることを確認する場合には、定点カメラ映像の背景差分によって分離した移動体の時間差分と、車載カメラ映像と３Ｄ画像マップとを照合して算出した自車両位置の時間差分とを用い、２つの時間差分に矛盾がないか否かを確認する。障害物であることを確認する場合には、定点カメラ映像の背景差分によって分離した移動体の時間差分と、車載カメラ映像と３Ｄ画像マップとの照合により自車両以外として特定された障害物位置の時間差分とを用い、２つの時間差分に矛盾がないか否かを確認する。 In Examples 1 and 2, the moving object is separated from the background and the fixed object by the background subtraction of the fixed point camera image, and the own vehicle and the obstacle are identified from the separated moving objects by collating the in-vehicle camera image with the 3D image map. An example is shown. However, when the own vehicle and the obstacle are identified from the separated moving bodies, the confirmation method based on the time difference may be used in combination to further improve the identification accuracy of the own vehicle and the obstacle. When confirming that the vehicle is own vehicle, the time difference of the moving body separated by the background subtraction of the fixed point camera image and the time difference of the own vehicle position calculated by collating the in-vehicle camera image and the 3D image map are used. Use it to check if there is any contradiction between the two times. When confirming that it is an obstacle, the time difference of the moving object separated by the background subtraction of the fixed point camera image and the position of the obstacle identified as other than the own vehicle by collating the in-vehicle camera image with the 3D image map. Using time difference, it is confirmed whether there is any contradiction between the two time differences.

実施例１では、定点カメラ映像管理センター１０に有する定点カメラ側コントローラ１１において全ての機能を分担する処理により自車両の自己位置及び自車両に対する障害物を検出する例を示した。実施例２では、車両２０に有する移動体側コントローラ２１’ において全ての機能を分担する処理により自車両の自己位置及び自車両に対する障害物を検出する例を示した。しかし、定点カメラ映像取得機能と車載カメラ映像取得機能と３Ｄ画像マップ取得機能と移動体検出機能と自車両特定機能と自己位置算出機能を２つのグループに分け、一部の機能を定点カメラ側で分担し、残りの機能を移動体側で分担する例としても良い。 In the first embodiment, an example is shown in which the fixed-point camera side controller 11 in the fixed-point camera image management center 10 detects the self-position of the own vehicle and obstacles to the own vehicle by the processing of sharing all the functions. In the second embodiment, an example is shown in which the self-position of the own vehicle and obstacles to the own vehicle are detected by the process of sharing all the functions in the moving body side controller 21'held in the vehicle 20. However, the fixed-point camera image acquisition function, the in-vehicle camera image acquisition function, the 3D image map acquisition function, the moving object detection function, the own vehicle identification function, and the self-position calculation function are divided into two groups, and some functions are performed on the fixed-point camera side. It may be an example of sharing and sharing the remaining functions on the moving body side.

実施例１，２では、自車両の自己位置情報と、障害物の位置を含む障害物情報とを移動体位置検出情報として取得する例を示した。しかし、自車両の自己位置情報のみを移動体位置検出情報として取得する例としても良い。 In Examples 1 and 2, an example of acquiring the self-position information of the own vehicle and the obstacle information including the position of the obstacle as the moving body position detection information is shown. However, it may be an example of acquiring only the self-position information of the own vehicle as the moving body position detection information.

１０ 定点カメラ映像管理センター
１１，１１’ 定点カメラ側コントローラ
１１ａ 車載カメラ映像受信部（受信部）
１１ｂ 移動体検出部
１１ｃ 移動体特定部
１１ｄ 自己位置算出部
１１ｈ 自己位置及び障害物情報送信部（送信部）
１１ｉ 定点カメラ映像送信部（送信部）
１２ 通信装置
１３ ３Ｄ地図データベース
１４ 背景画像記憶装置
１５ 定点カメラ
２０ 車両
２１，２１’ 移動体側コントローラ
２１ａ 車載カメラ映像送信部（送信部）
２１ｂ 自己位置及び障害物情報受信部（受信部）
２１ｃ 定点カメラ映像受信部（受信部）
２１ｄ 移動体検出部
２１ｅ 移動体特定部
２１ｆ 自己位置算出部
２２ 通信装置
２３ 車載カメラ
２４ 測距センサ
２５ ＧＰＳ
２６ 車両制御装置
２７ ３Ｄ地図データベース
２８ 背景画像記憶装置
３１，３２，３３，３４ ビル
４０ 交差点 10 Fixed-point camera image management center 11, 11'Fixed-point camera side controller 11a In-vehicle camera image receiver (receiver)
11b Mobile body detection unit 11c Mobile body identification unit 11d Self-position calculation unit 11h Self-position and obstacle information transmission unit (transmission unit)
11i Fixed point camera image transmitter (transmitter)
12 Communication device 13 3D map database 14 Background image storage device 15 Fixed point camera 20 Vehicles 21 and 21'Mobile side controller 21a In-vehicle camera Image transmitter (transmitter)
21b Self-position and obstacle information receiver (receiver)
21c Fixed point camera image receiver (receiver)
21d Mobile detection unit 21e Mobile identification unit 21f Self-position calculation unit 22 Communication device 23 In-vehicle camera 24 Distance measurement sensor 25 GPS
26 Vehicle control device 27 3D map database 28 Background image storage device 31, 32, 33, 34 Building 40 intersection

Claims (10)

車載カメラが接続される移動体側コントローラと、走行路に沿って設置される定点カメラが接続される定点カメラ側コントローラとの通信による移動体位置検出方法であって、
前記定点カメラから定点カメラ映像を取得し、
前記定点カメラ映像の背景差分によって背景及び固定物から移動体を分離し、
前記車載カメラから車載カメラ映像を取得し、
前記車載カメラ映像を画像データに含む３Ｄ画像マップを取得し、
前記車載カメラ映像と前記３Ｄ画像マップとの照合により、前記背景差分により分離した移動体の中から前記車載カメラ映像を取得している移動体を自車両として特定し、
前記自車両の自己位置を、前記定点カメラ映像に基づいて算出する
ことを特徴とする移動体位置検出方法。 It is a moving body position detection method by communication between a moving body side controller to which an in-vehicle camera is connected and a fixed point camera side controller to which a fixed point camera installed along a traveling path is connected.
Obtaining a fixed-point camera image from the fixed-point camera,
The moving body is separated from the background and the fixed object by the background subtraction of the fixed point camera image.
The in-vehicle camera image is acquired from the in-vehicle camera,
Acquire a 3D image map that includes the in-vehicle camera image in the image data,
By collating the in-vehicle camera image with the 3D image map, the moving body that has acquired the in-vehicle camera image is identified as the own vehicle from the moving bodies separated by the background subtraction.
A moving body position detection method, characterized in that the self-position of the own vehicle is calculated based on the fixed-point camera image. 請求項１に記載された移動体位置検出方法において、
前記背景差分により分離した移動体の中から前記車載カメラ映像を取得している移動体を除いた移動体を、前記自車両に対する障害物として特定する
ことを特徴とする移動体位置検出方法。 In the moving body position detection method according to claim 1,
A moving body position detection method, characterized in that a moving body excluding the moving body for which the in-vehicle camera image is acquired is specified as an obstacle to the own vehicle from the moving bodies separated by background subtraction. 請求項２に記載された移動体位置検出方法において、
前記背景差分により分離した移動体の中から前記自車両と前記障害物を特定すると、前記自車両の自己位置情報と、前記障害物の位置を含む障害物情報とを移動体位置検出情報として取得する
ことを特徴とする移動体位置検出方法。 In the moving body position detection method according to claim 2,
When the own vehicle and the obstacle are identified from the moving bodies separated by the background subtraction, the self-position information of the own vehicle and the obstacle information including the position of the obstacle are acquired as the moving body position detection information. A method for detecting the position of a moving object, which is characterized by performing. 請求項１から３までの何れか一項に記載された移動体位置検出方法において、
前記３Ｄ画像マップを、３Ｄ地図データベースに有する画像データに、各移動体から観察できる範囲に存在する構造物が有する特徴点を付加して作成しておき、
前記車載カメラ映像に対し予め記憶設定されている前記３Ｄ画像マップを検索し、前記特徴点のパターンマッチングによって前記背景差分により分離された移動体の中から前記車載カメラ映像を取得している移動体を自車両として特定する
ことを特徴とする移動体位置検出方法。 In the moving body position detection method according to any one of claims 1 to 3,
The 3D image map is created by adding the feature points of the structures existing in the range observable from each moving body to the image data in the 3D map database.
A moving body that searches the 3D image map that is stored and set in advance for the in-vehicle camera image, and acquires the in-vehicle camera image from the moving bodies separated by background subtraction by pattern matching of the feature points. A moving body position detection method characterized by identifying the vehicle as its own vehicle. 請求項１から４までの何れか一項に記載された移動体位置検出方法において、
前記定点カメラは、車両が走行する走行路に沿って複数個所の位置に設置された複数台のカメラであり、
前記定点カメラと前記定点カメラ側コントローラは、有線による接続とし、
前記移動体側コントローラと前記定点カメラ側コントローラとの間の情報交換は、レイテンシが小さい高速通信速度による無線通信とする
ことを特徴とする移動体位置検出方法。 In the moving body position detection method according to any one of claims 1 to 4.
The fixed-point cameras are a plurality of cameras installed at a plurality of positions along the traveling path on which the vehicle travels.
The fixed point camera and the fixed point camera side controller are connected by wire.
A moving body position detection method characterized in that information exchange between the moving body side controller and the fixed point camera side controller is wireless communication at a high-speed communication speed with low latency. 請求項５に記載された移動体位置検出方法において、
前記定点カメラは、市街地に存在する交差点の周囲の複数個所の位置に設置されたカメラである
ことを特徴とする移動体位置検出方法。 In the moving body position detection method according to claim 5,
The fixed point camera is a moving body position detection method characterized in that the fixed point cameras are cameras installed at a plurality of positions around an intersection existing in an urban area. 請求項１から６までの何れか一項に記載された移動体位置検出方法において、
前記定点カメラ側コントローラは、
前記定点カメラから定点カメラ映像を取得し、
前記定点カメラ映像の背景差分によって背景及び固定物から移動体を分離し、
前記背景差分により分離した移動体の何れかに搭載される前記車載カメラによる車載カメラ映像を、前記移動体側コントローラからの受信により取得し、
前記車載カメラ映像を画像データに含む３Ｄ画像マップを取得し、
前記車載カメラ映像と前記３Ｄ画像マップとの照合により、前記背景差分により分離した移動体の中から前記車載カメラ映像を取得している移動体を自車両として特定し、
前記自車両の自己位置を、前記定点カメラ映像に基づいて算出し、
前記自車両の自己位置情報を前記移動体側コントローラへ送信する
ことを特徴とする移動体位置検出方法。 In the moving body position detection method according to any one of claims 1 to 6,
The fixed point camera side controller is
Obtaining a fixed-point camera image from the fixed-point camera,
The moving body is separated from the background and the fixed object by the background subtraction of the fixed point camera image.
An in-vehicle camera image by the in-vehicle camera mounted on any of the moving bodies separated by the background subtraction is acquired by reception from the moving body side controller.
Acquire a 3D image map that includes the in-vehicle camera image in the image data,
By collating the in-vehicle camera image with the 3D image map, the moving body that has acquired the in-vehicle camera image is identified as the own vehicle from the moving bodies separated by the background subtraction.
The self-position of the own vehicle is calculated based on the fixed-point camera image, and
A moving body position detecting method, characterized in that the self-position information of the own vehicle is transmitted to the moving body side controller. 車載カメラが接続される移動体側コントローラと、走行路に沿って設置される定点カメラが接続される定点カメラ側コントローラと、を備える移動体位置検出システムであって、
前記移動体側コントローラは、
前記車載カメラにより取得した車載カメラ映像を前記定点カメラ側コントローラへ送信する送信部と、
前記定点カメラ側コントローラから車両の自己位置情報を受信する受信部と、を有し、
前記定点カメラ側コントローラは、
前記移動体側コントローラから前記車載カメラ映像を受信する受信部と、
前記定点カメラにより取得した定点カメラ映像の背景差分によって背景及び固定物から移動体を分離する移動体検出部と、
前記車載カメラ映像と、前記車載カメラ映像を画像データに含む３Ｄ画像マップとの照合により、前記背景差分により分離した移動体の中から前記車載カメラ映像を取得している移動体を自車両として特定する移動体特定部と、
前記自車両の自己位置を、前記定点カメラ映像に基づいて算出する自己位置算出部と、
前記自車両の自己位置情報を前記移動体側コントローラへ送信する送信部と、を有する
ことを特徴とする移動体位置検出システム。 A moving body position detection system including a moving body side controller to which an in-vehicle camera is connected and a fixed point camera side controller to which a fixed point camera installed along a traveling path is connected.
The moving body side controller is
A transmission unit that transmits the in-vehicle camera image acquired by the in-vehicle camera to the fixed-point camera side controller, and
It has a receiving unit that receives the self-position information of the vehicle from the fixed-point camera side controller.
The fixed point camera side controller is
A receiving unit that receives the in-vehicle camera image from the moving body side controller, and
A moving body detection unit that separates a moving body from background and fixed objects by background subtraction of the fixed point camera image acquired by the fixed point camera.
By collating the in-vehicle camera image with a 3D image map including the in-vehicle camera image in the image data, the moving object that acquires the in-vehicle camera image from the moving objects separated by the background subtraction is identified as the own vehicle. Moving object identification part and
A self-position calculation unit that calculates the self-position of the own vehicle based on the fixed-point camera image, and
A moving body position detection system including a transmission unit that transmits the self-position information of the own vehicle to the moving body side controller. 請求項１から６までの何れか一項に記載された移動体位置検出方法において、
前記移動体側コントローラは、
前記定点カメラによる定点カメラ映像を前記定点カメラ側コントローラからの受信により取得し、
前記定点カメラ映像の背景差分によって背景及び固定物から移動体を分離し、
前記車載カメラから車載カメラ映像を取得し、
前記車載カメラ映像を画像データに含む３Ｄ画像マップを取得し、
前記車載カメラ映像と前記３Ｄ画像マップとの照合により、前記背景差分により分離した移動体の中から前記車載カメラ映像を取得している移動体を自車両として特定し、
前記自車両の自己位置を、前記定点カメラ映像に基づいて算出する
ことを特徴とする移動体位置検出方法。 In the moving body position detection method according to any one of claims 1 to 6,
The moving body side controller is
The fixed point camera image by the fixed point camera is acquired by receiving from the fixed point camera side controller, and
The moving body is separated from the background and the fixed object by the background subtraction of the fixed point camera image.
The in-vehicle camera image is acquired from the in-vehicle camera,
Acquire a 3D image map that includes the in-vehicle camera image in the image data,
By collating the in-vehicle camera image with the 3D image map, the moving body that has acquired the in-vehicle camera image is identified as the own vehicle from the moving bodies separated by the background subtraction.
A moving body position detection method, characterized in that the self-position of the own vehicle is calculated based on the fixed-point camera image. 車載カメラが接続される移動体側コントローラと、走行路に沿って設置される定点カメラが接続される定点カメラ側コントローラとを備える移動体位置検出システムであって、
前記定点カメラ側コントローラは、
前記定点カメラにより取得される定点カメラ映像の情報を前記移動体側コントローラへ送信する送信部を有し、
前記移動体側コントローラは、
前記定点カメラ側コントローラから前記定点カメラ映像を受信する受信部と、
前記定点カメラ映像の背景差分によって背景及び固定物から移動体を分離する移動体検出部と、
前記車載カメラから取得される車載カメラ映像と、前記車載カメラ映像を画像データに含む３Ｄ画像マップとの照合により、前記背景差分により分離した移動体の中から前記車載カメラ映像を取得している移動体を自車両として特定する移動体特定部と、
前記自車両の自己位置を、前記定点カメラ映像に基づいて算出する自己位置算出部と、を有する
ことを特徴とする移動体位置検出システム。 It is a moving body position detection system including a moving body side controller to which an in-vehicle camera is connected and a fixed point camera side controller to which a fixed point camera installed along a traveling path is connected.
The fixed point camera side controller is
It has a transmitter that transmits information of the fixed point camera image acquired by the fixed point camera to the moving body side controller.
The moving body side controller is
A receiving unit that receives the fixed-point camera image from the fixed-point camera-side controller, and
A moving body detection unit that separates moving bodies from background and fixed objects by background subtraction of the fixed-point camera image,
The movement of acquiring the in-vehicle camera image from the moving objects separated by the background subtraction by collating the in-vehicle camera image acquired from the in-vehicle camera with a 3D image map including the in-vehicle camera image in the image data. A moving body identification part that identifies the body as its own vehicle,
A moving body position detection system characterized by having a self-position calculation unit that calculates the self-position of the own vehicle based on the fixed-point camera image.
JP2019060132A 2019-03-27 2019-03-27 MOBILE POSITION DETECTION METHOD AND MOBILE POSITION DETECTION SYSTEM Active JP7241582B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019060132A JP7241582B2 (en) 2019-03-27 2019-03-27 MOBILE POSITION DETECTION METHOD AND MOBILE POSITION DETECTION SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019060132A JP7241582B2 (en) 2019-03-27 2019-03-27 MOBILE POSITION DETECTION METHOD AND MOBILE POSITION DETECTION SYSTEM

Publications (2)

Publication Number Publication Date
JP2020159887A true JP2020159887A (en) 2020-10-01
JP7241582B2 JP7241582B2 (en) 2023-03-17

Family

ID=72642910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019060132A Active JP7241582B2 (en) 2019-03-27 2019-03-27 MOBILE POSITION DETECTION METHOD AND MOBILE POSITION DETECTION SYSTEM

Country Status (1)

Country Link
JP (1) JP7241582B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097279A (en) * 2006-10-11 2008-04-24 Denso Corp Vehicle exterior information display device
JP2016057677A (en) * 2014-09-05 2016-04-21 本田技研工業株式会社 Travel support control device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097279A (en) * 2006-10-11 2008-04-24 Denso Corp Vehicle exterior information display device
JP2016057677A (en) * 2014-09-05 2016-04-21 本田技研工業株式会社 Travel support control device

Also Published As

Publication number Publication date
JP7241582B2 (en) 2023-03-17

Similar Documents

Publication Publication Date Title
US10699142B2 (en) Systems and methods for traffic signal light detection
US10458810B2 (en) Traffic light state assessment
US10163017B2 (en) Systems and methods for vehicle signal light detection
US10365650B2 (en) Methods and systems for moving object velocity determination
US11205342B2 (en) Traffic information processing device
US10620317B1 (en) Lidar-based high definition map generation
US20200001867A1 (en) Vehicle control apparatus, vehicle control method, and program
WO2019111702A1 (en) Information processing device, information processing method, and program
US11869251B2 (en) Driving support method and driving support device
US10783384B2 (en) Object detection using shadows
JP2022024741A (en) Vehicle control device and vehicle control method
JP6705022B2 (en) Vehicle control system, vehicle control method, and vehicle control program
JP2019095210A (en) Vehicle controller, method for controlling vehicle, and program
US20230111327A1 (en) Techniques for finding and accessing vehicles
US20200158520A1 (en) Map update apparatus, map update system, map update method, and program
KR20210029323A (en) Apparatus and method for improving cognitive performance of sensor fusion using precise map
US20230109909A1 (en) Object detection using radar and lidar fusion
JP2019070895A (en) Runway recognizer
CN114555419B (en) Vehicle control method and vehicle control device
JP7241582B2 (en) MOBILE POSITION DETECTION METHOD AND MOBILE POSITION DETECTION SYSTEM
JP2023122597A (en) Information processor, information processing method and program
JP6946660B2 (en) Positioning device
CN115050203B (en) Map generation device and vehicle position recognition device
CN115497333B (en) Control device, moving body, control method, and computer-readable storage medium
JP7325296B2 (en) Object recognition method and object recognition system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230307

R150 Certificate of patent or registration of utility model

Ref document number: 7241582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150