JP2019028870A - 移動体制御システム、移動体制御方法、及びプログラム - Google Patents

移動体制御システム、移動体制御方法、及びプログラム Download PDF

Info

Publication number
JP2019028870A
JP2019028870A JP2017149853A JP2017149853A JP2019028870A JP 2019028870 A JP2019028870 A JP 2019028870A JP 2017149853 A JP2017149853 A JP 2017149853A JP 2017149853 A JP2017149853 A JP 2017149853A JP 2019028870 A JP2019028870 A JP 2019028870A
Authority
JP
Japan
Prior art keywords
stop position
unit
sfm
moving body
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017149853A
Other languages
English (en)
Inventor
和昭 寺島
Kazuaki Terajima
和昭 寺島
裕輝 梶原
Yuki Kajiwara
裕輝 梶原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2017149853A priority Critical patent/JP2019028870A/ja
Priority to US16/031,789 priority patent/US10974719B2/en
Priority to EP18184448.1A priority patent/EP3438779B1/en
Priority to TW107126254A priority patent/TW201923499A/zh
Priority to CN201810864005.7A priority patent/CN109388136B/zh
Publication of JP2019028870A publication Critical patent/JP2019028870A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/16Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger operated by remote control, i.e. initiating means not mounted on vehicle
    • B60T7/18Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger operated by remote control, i.e. initiating means not mounted on vehicle operated by wayside apparatus
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00Arrangement or adaptation of acoustic signal devices
    • B60Q5/005Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17Using electrical or electronic regulation means to control braking
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G05D1/0263Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means using magnetic strips
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02Active or adaptive cruise control system; Distance control
    • B60T2201/022Collision avoidance systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】所定の安全基準を満たす停止位置の先の走行を、SfMアルゴリズムによる距離検出結果を用いて制御する。
【解決手段】移動体制御システム1は、単眼カメラにより撮影された物体までの距離を、SfMアルゴリズムを用いて検出するSfM部2と、第1の停止位置を出力する第1の停止位置出力部3と、第1の停止位置よりも手前の第2の停止位置を算出する第2の停止位置算出部4と、移動体の走行を制御する制御部5とを有する。制御部5は、第2の停止位置で移動体が停止するように制御し、予め定められた発進条件が満たされると、発進するよう制御する。SfM部2は、移動体が発進後に単眼カメラに撮影された画像を用いて、物体までの距離を検出する。制御部5は、SfM部2による物体の距離の検出結果が得られた場合、走行の制御に該検出結果を用いる。
【選択図】図1

Description

本発明は移動体制御システム、移動体制御方法、及びプログラムに関し、例えばSfMアルゴリズムを用いた距離検出を伴う移動体制御システム、移動体制御方法、及びプログラムに関する。
近年、物体までの距離を、カメラを用いて検出する技術が着目されている。ステレオカメラを用いた技術では、同じ方向を向いた2つのカメラの視差を利用することで距離測定が可能となる。ステレオカメラは2つのカメラを備えているため、コスト高になる。そこで、ステレオカメラを用いずに距離を測定する様々な手法が提案されている。
その一つとして、物体までの距離を、単眼カメラを用いて測定することが可能なアルゴリズムであるSfM(Structure from Motion)が知られている。SfMは、単眼カメラから得られた画像に基づいて、物体との距離検出及び物体の動き検出を行うことにより、カメラの自己位置推定を行う画像処理アルゴリズムである。
これに関し、例えば、特許文献1では、SfMを用いてカメラ位置を算出し、3次元マップを作成する技術を開示している。また、特許文献2では、ステレオカメラによる距離検出と、SfMを用いた距離検出とを併用して被写体距離を検出する技術を開示している。
ところで、SfMを用いた画像処理技術を車載装置に搭載した場合、自車以外の物体の動きの検出、自車以外の物体と自車との距離の検出、及び自車の自己位置推定が可能となる。なお、自車以外の物体には、静止物体、及び、他の車や人といった移動物体が含まれる。これまで、SfMによる距離検出は精度が十分ではないとされてきたが、入力される画素数の向上や処理内容の工夫により精度不足が改善されつつある。このため、SfMによる距離検出の応用技術が期待されている。
特開2015−219745号公報 特開2012−123296号公報
SfMは、基本的には、カメラの視点を変えながら撮影した複数枚の画像を処理に用いる。つまり、車に搭載されたカメラについて考えると、カメラの視点が変わるということは、自車が動いているということに対応する。そのため、単眼カメラとSfMを用いた距離検出では、自車が停止している状態では物体の距離検出ができない。ただし、静止している物体の距離検出ができないのであって、物体が動いていれば、自車が停止していても、物体の距離検出は可能である。これは、カメラの視点の変化の代わりに、物体の位置が変化しているためである。つまり、自車が静止した状態では、静止物体に対しSfMによる距離検出を行うことができない。
このため、所定の安全基準を満たす停止位置に自車が停止した後、当該停止位置から再発進する場合、当該停止位置を超えて所定の距離Lだけ進んだ後にSfMによる距離検出結果が得られることとなる。これは、SfMによる距離検出結果を自車の走行制御に用いることは、好ましくないと言える。なぜならば、所定の距離Lだけ自車が進むまでSfMによる距離検出結果が得られないということは、環境の把握が不十分な状態で、所定の安全基準を満たす当該停止位置の先を走行することとなるからである。
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
一実施の形態によれば、移動体制御システムは、所定の安全基準を満たす第1の停止位置よりも手前の第2の停止位置を算出する第2の停止位置算出部と、前記移動体の走行を制御する制御部とを有する。前記制御部は、前記第2の停止位置で前記移動体が停止するように制御し、予め定められた発進条件が満たされると、前記第2の停止位置から発進するよう制御する。前記SfM部は、前記移動体が前記第2の停止位置から発進後に単眼カメラに撮影された画像を用いて、物体までの距離を検出する。
前記一実施の形態によれば、所定の安全基準を満たす停止位置の先の走行を、SfMアルゴリズムによる距離検出結果を用いて制御することができる。
実施の形態の概要にかかる移動体制御システムの構成の一例を示すブロック図である。 比較例にかかる移動体制御システムの動作について説明する模式図である。 実施の形態の概要にかかる移動体制御システムの動作について説明する模式図である。 実施の形態1にかかる車両制御システムのハードウェア構成の一例を示すブロック図である。 カメラECUの構成の一例を示すブロック図である。 ECUの構成の一例を示すブロック図である。 実施の形態1にかかる車両制御システムの機能構成の一例を示すブロック図である。 走行中の自動車が停止する際の実施の形態1にかかる車両制御システムの動作の一例を示すフローチャートである。 停止中の自動車が再発進する際の実施の形態1にかかる車両制御システムの動作の一例を示すフローチャートである。 実施の形態1にかかる車両制御システムにより走行が制御される自動車の動作例と比較例にかかる車両制御システムにより走行が制御される自動車の動作例を示す図である。 第1の停止位置が元の第1の停止位置よりも手前に変更された場合の自動車の動作例を示すグラフである。 第1の停止位置が元の第1の停止位置よりも遠くに変更された場合の自動車の動作例を示すグラフである。 実施の形態2にかかる車両制御システムの機能構成の一例を示すブロック図である。 停止中の自動車が再発進する際の実施の形態2にかかる車両制御システムの動作の一例を示すフローチャートである。 実施の形態2にかかる車両制御システムにより走行が制御される自動車の動作例と比較例にかかる車両制御システムにより走行が制御される自動車の動作例を示す図である。 第1の停止位置が元の第1の停止位置よりも手前に変更された場合の自動車の動作例を示すグラフである。 第1の停止位置が元の第1の停止位置よりも遠くに変更された場合の自動車の動作例を示すグラフである。 停止中の自動車が再発進する際の実施の形態3にかかる車両制御システムの動作の一例を示すフローチャートである。
説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
<実施の形態の概要>
実施の形態の詳細について説明する前に、まず、実施の形態の概要について説明する。図1は、実施の形態の概要にかかる移動体制御システム1の構成の一例を示すブロック図である。移動体制御システム1は、SfM部2と、第1の停止位置出力部3と、第2の停止位置算出部4と、制御部5とを有する。移動体制御システム1は、例えば、自動車などの移動体に搭載され、移動体の移動を制御するシステムである。なお、移動体は、自動車に限らず、移動型のロボットなどであってもよい。
SfM部2は、移動体の移動方向前方を撮影する単眼カメラにより撮影された物体までの距離を、SfMアルゴリズムを用いて検出する。なお、この単眼カメラは、移動体の走行方向前方を撮影するよう移動体に設けられている。SfM部2は、この単眼カメラが取得した画像に対し、SfMアルゴリズムによる処理を行うことで、撮影された物体までの距離を検出する。なお、この物体は、何らかの被写体のことであり、路面に記載された標識も含まれる。
第1の停止位置出力部3は、所定の安全基準を満たす第1の停止位置を出力する。より詳細には、第1の停止位置出力部3は、走行中の現在の移動体の位置の前方にある停止位置を第1の停止位置として出力する。第1の停止位置としては、例えば、交差点に設けられた停止線(すなわち、交差点の手前の道路上に記載され、車両の停止位置を明示する線)が挙げられるが、これに限らず、所定の安全基準を満たすために移動体に要求される停止位置であればよい。例えば、第1の停止位置は、停止中の先行車両と所定の距離だけ離れた位置であってもよい。なお、この所定の安全基準は、法律が定める基準であってもよいし、何らかの規格が定める基準であってもよいし、企業(例えば、自動車のメーカなど)などが独自に定めた基準であってもよい。第1の停止位置出力部3は、走行中の現在の移動体の位置の前方にある停止位置を第1の停止位置として出力する。
なお、第1の停止位置の出力のために、第1の停止位置出力部3は、任意の取得処理により第1の停止位置を取得すればよい。例えば、道路に設けられ、第1の停止位置を示す情報を移動体に対して送信する通信装置から受信した情報に基づいて、第1の停止位置を出力してもよいし、単眼カメラ又はその他のセンサからの情報に基づいて検知した停止位置(例えば停止線の位置)を、第1の停止位置として出力してもよい。また、車両に乗車したユーザから指示された位置を、第1の停止位置として出力してもよい。
第2の停止位置算出部4は、第1の停止位置出力部3が出力した第1の停止位置よりも手前の第2の停止位置を算出する。例えば、第2の停止位置算出部4は、第1の停止位置よりも予め定められた距離だけ手前の位置を第2の停止位置とする。
制御部5は、移動体の走行を制御する。制御部5は、第2の停止位置算出部4により第2の停止位置が算出されると、この第2の停止位置で移動体が停止するように移動体を制御する。また、制御部5は、第2の停止位置で移動体が停止後、予め定められた発進条件が満たされると、移動体が第2の停止位置から発進するよう移動体を制御する。ここで、制御部5は、SfM部2による物体の距離の検出結果が得られた場合、移動体の走行の制御にこの検出結果を用いる。なお、制御部5は、SfM部2による物体の距離の検出結果を用いた制御として任意の制御を行えばよい。例えば、制御部5は、前方を走行する他の車両との距離が適切な値を維持するよう車両の制御を行ってもよいが、SfM部2による物体の距離の検出結果を用いた制御はこれに限られない。
SfMアルゴリズムでは、カメラが移動している場合、撮影対象が静止物体であるか移動物体であるかに関わらず、物体までの距離の検出が可能となる。このため、SfM部2は、移動体が第2の停止位置から発進すると、単眼カメラに撮影された画像を用いて、物体までの距離を検出する。すなわち、SfM部2は、第2の停止位置から発進後に撮影された画像を用いて、物体までの距離を検出する。このため、第1の停止位置よりも手前に移動体が存在する時点で、制御部5は、SfM部2による検出結果を利用することが可能となる。
移動体制御システム1の効果について、比較例を交えて説明する。なお、ここでは、移動体が自動運転を行う車両である場合を想定して説明する。図2は、比較例にかかる移動体制御システムの動作について説明する模式図である。また、図3は、移動体制御システム1の動作について説明する模式図である。なお、図3に示すように、第1の停止位置と第2の停止位置と間の区間を予備区間と称すこととする。
比較例にかかる移動体制御システムでは、所定の安全基準を満たす停止位置、すなわち第1の停止位置で自車が停止するように自動運転により走行が制御される。なお、自車が停止中の場合は、上述の通り、SfMアルゴリズムを用いた静止物体までの距離検出ができない。ここで、自車が再発進して、SfMアルゴリズムにより要求される所定の移動距離だけ自車が移動すると、静止物体までの距離検出が可能となる。しかしながら、比較例にかかる移動体制御システムにおいては、第1の停止位置で停車していたため、SfMアルゴリズムによる距離検出処理を行わない状態で、第1の停止位置の先を走行してしまうこととなる。すなわち、環境の把握が不十分な状態で、所定の安全基準を満たす基準線である第1の停止位置を超えて自車を走行させてしまうこととなる。
これに対し、移動体制御システム1は、次のように動作する。上述の通り、移動体制御システム1では、第1の停止位置よりも手前の第2の停止位置を算出し、第2の停止位置で自車が停止するように自動運転による走行を制御する。また、移動体制御システム1においては、第2の停止位置で自車を停止させた後、予め定められた発進条件が満たされると、第2の停止位置から発進するよう自車を制御する。すなわち、自車は、まず、予備区間内を走行することとなる。そして、この予備区間内において、SfMアルゴリズムを用いた物体までの距離の検出が可能となる。すなわち、第1の停止位置に到達する前に、SfM部2による距離検出結果が利用可能となる。したがって、移動体制御システム1によれば、所定の安全基準を満たす基準線である第1の停止位置を超えての走行を、SfM部2による距離検出結果を用いて所定の安全基準を満たした上で制御することができる。
なお、移動体制御システム1では、上述の効果に限らず、次のような効果も奏する。すなわち、移動体制御システム1においては、ステレオカメラではなく、単眼カメラを用いた距離検出を行うため、ステレオカメラを用いる場合に比べて、コストを低減することが可能となる。
<実施の形態1>
次に実施の形態の詳細について説明する。図4は、実施の形態1にかかる車両制御システム100のハードウェア構成の一例を示すブロック図である。なお、車両制御システム100は、上述の移動体制御システム1の一例であり、自動車10に搭載され、自動車10の走行を制御するシステムである。
図4に示すように、車両制御システム100は、カメラ11と、カメラECU(Camera Electronic Control Unit)12と、ECU(Electronic Control Unit)13と、ブレーキECU(Brake Electronic Control Unit)14と、スロットルECU(Throttle Electronic Control Unit)15と、ステアECU(Steer Electronic Control Unit)16と、スピーカ17とを有している。
カメラ11は、単眼カメラであり、自動車10の移動方向を撮影するよう自動車10に設けられている。図4に示した例では、具体的には、カメラ11は自動車10の前方を撮影するよう、自動車10の前方に設けられている。
カメラECU12は、カメラ11が撮影した映像を取得し、SfMを含む画像処理を行うECUである。ECU13は、カメラECU12の処理結果を用いて、自動車10の走行を制御するECUである。ECU13は、ブレーキECU14、スロットルECU15、及びステアECU16に対し制御信号を出力する。また、ECU13は、必要に応じて、スピーカ17に所定の出力を行う。例えば、ECU13の処理結果に応じた通知をスピーカ17から出力する。ブレーキECU14は、自動車10のブレーキ動作を制御するECUであり、ECU13からの制御信号にしたがってブレーキ(図示せず)を制御する。スロットルECU15は、自動車10のアクセル動作を制御するECUであり、ECU13からの制御信号にしたがってアクセル(図示せず)を制御する。ステアECU16は、自動車10のステアリング動作を制御するECUであり、ECU13からの制御信号にしたがってステアリング(図示せず)を制御する。
次に、カメラECU12の構成及びECU13の構成について説明する。図5は、カメラECUの構成の一例を示すブロック図である。また、図6は、ECU13の構成の一例を示すブロック図である。図5に示すように、カメラECU12は、内部バス121と、ローカルメモリ122と、インタフェース123と、DSP(Digital Signal Processor)124と、CPU(Central Processing Unit)125と、外部メモリインタフェース126と、カメラインタフェース127とを有する。また、図6に示すように、ECU13は、内部バス131と、ローカルメモリ132と、インタフェース133と、DSP134と、CPU135と、外部メモリインタフェース136と、スピーカ制御インタフェース137とを有する。
内部バス121、131は、SoC(System-on-a-chip)内部のバスである。内部バス121を介して、カメラECU12内の各モジュールがデータの通信を行う。また、内部バス131を介してECU13内の各モジュールがデータの通信を行う。
ローカルメモリ122、132は、SoC内部のメモリである。すなわち、ローカルメモリ122は、カメラECU12の内部に設けられたメモリであり、ローカルメモリ132は、ECU13の内部に設けられたメモリである。ローカルメモリ122、132は、例えばSRAM(Static Random Access Memory)である。ローカルメモリ122、132は、バス上に配置され、各モジュールがデータの格納又は参照のためにアクセスする。なお、ローカルメモリ122、132は、複数設けられてもよい。
インタフェース123、133は、外部と通信するためのインタフェースである。すなわち、インタフェース123は、カメラECU12と、他の装置(例えば、ECU13)とを接続するためのインタフェースである。また、インタフェース133は、ECU13と、他の装置(例えば、カメラECU12)とを接続するためのインタフェースである。インタフェース123、133は、アナログインタフェースであってもよいし、デジタルインタフェースであってもよいし、任意の通信規格で定められたインタフェースであってもよい。
DSP124、134は、画像処理用のプロセッサである。CPU125、135は、SoCの全体を制御するプロセッサである。なお、DSP124、134は、複数設けられてもよい。また、CPU125、135も、複数設けられてもよい。外部メモリインタフェース126、136は、外部のメモリ(図示せず)と通信するためのインタフェースである。なお、外部のメモリは、例えばDRAM(Dynamic Random Access Memory)であり、大量のデータを格納するために用いられる。
カメラインタフェース127は、カメラ11と接続するためのインタフェースである。カメラインタフェース127は、例えば、MIPI規格に準拠したインタフェースであってもよいし、デジタル入力用LVTTL−IFであってもよいし、EtherNetなどであってもよい。スピーカ制御インタフェース137は、スピーカ17のための制御インタフェースであり、アナログインタフェースであってもよいし、デジタルインタフェースであってもよい。
次に、車両制御システム100の機能構成について説明する。図7は、車両制御システム100の機能構成の一例を示すブロック図である。図7に示すように、車両制御システム100は、SfM部101と、物体検出部102と、物体距離検出部103と、自動運転制御部104と、目標位置算出部105と、車制御部106とを有する。
図7に示す各要素は、例えば、DSP124、134、又はCPU125、135が、ローカルメモリ122、132などの任意のメモリに格納されたソフトウェア(コンピュータプログラム)を読み出して実行することにより実現される。すなわち、各要素の後述する処理を行うための命令群を含むプログラムをプロセッサが実行することにより、図7に示す各要素が実現される。このように、車両制御システム100は、コンピュータとしての機能を備えている。
一例として、SfM部101及び物体検出部102は、カメラECU12において実現され、物体距離検出部103、自動運転制御部104、目標位置算出部105、及び車制御部106は、ECU13において実現される。しかしながら、カメラECU12とECU13への他の割り振りにより、図7に示す各要素が実現されてもよい。また、カメラECU12又はECU13のいずれか一方が図7に示す全ての要素を実現してもよい。また、本実施の形態では、カメラECU12とECU13の2つのECUが設けられているが、これらをまとめた1つのECUにより、車両制御システム100が構成されてもよい。
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
SfM部101は、図1のSfM部2に対応しており、SfMアルゴリズムを用いて、カメラ11が撮影した画像から、撮影された物体の動き、撮影された物体とカメラ11までの距離を検出する。なお、SfMアルゴリズムについては、公知であるため、その詳細については説明を省略する。本実施の形態では、SfM部101は、自車が走行している際にカメラ11に撮影された画像に基づいて物体までの距離検出を行う。したがって、SfM部101は、自車が停止位置(具体的には、例えば第2の停止位置)まで走行する間に撮影された画像を用いて物体までの距離を検出し、また、自車が停止位置(例えば、前出の第2の停止位置)から発進後に撮影された画像を用いて物体までの距離を検出する。
物体検出部102は、カメラ11により撮影された画像に対し、予め定められた画像認識処理を行うことにより、この画像中の物体を識別する。なお、画像認識処理としては、公知の任意の画像認識処理を用いることができる。例えば、物体検出部102は、HoG(Histogram of Gradient)特徴量とSVM(Support Vector Machine)とを用いた画像認識処理を行うことにより、物体を識別して検出する。
物体距離検出部103は、予め定められた物体までの距離を検出する。上述の通り、物体検出部102により、画像中の物体が識別される。物体距離検出部103は、物体検出部102により識別された物体のうち、距離の検出対象として予め定められた物体に該当するものについて、SfM部101から得られた距離情報を対応づけることにより、距離の検出対象である物体までの距離を検出する。SfM部101による距離の検出では、画像中の全ての被写体についての距離情報が得られる。このため、物体距離検出部103は、物体検出部102の識別結果を用いて、SfM部101から得られた距離情報から、距離の検出対象として予め定められた物体(例えば、人、車、標識、停止線、など)と自車(カメラ11)との間の距離を抽出する。
自動運転制御部104は、物体距離検出部103の検出結果を用いて、ブレーキ、アクセル、及びステアリングを制御するための走行指示情報を生成し、これにより自動運転を制御する。自動運転制御部104は、具体的には、例えば、物体距離検出部103から得られた情報、及び自動車10と通信を行う外部の装置(例えば、信号機、標識、他車など)との通信により得られた情報を用いて、予め定められた走行ルートを走行するための走行指示情報を生成する。走行指示情報は、ブレーキ、アクセル、及びステアリングを制御するための信号を含む。
また、自動運転制御部104は、自車を停止させる制御を行う場合、所定の安全基準を満たす第1の停止位置を出力する。つまり、自動運転制御部104は、図1の第1の停止位置出力部3に対応している。自動運転制御部104は、自車の走行中、任意の停止条件が満たされた場合、現在の自車の位置の前方にある、所定の安全基準を満たす停止位置を第1の停止位置として決定する。なお、任意の停止条件は、例えば、信号機による停止信号であってもよいし、進行方向前方に存在し走行の妨げとなる物体の検出であってもよいし、乗車したユーザからの指示であってもよい。
自動運転制御部104は、自車を停止させる制御を行う場合、第1の停止位置で停止するための走行指示情報を生成し、車制御部106に出力する。また、自動運転制御部104は、自車を停止させる制御を行う場合、目標位置算出部105に第1の停止位置を示す情報を出力する。一例では、自動運転制御部104は、物体距離検出部103により検出された所定の物体(例えば、停止線などといった停止位置を示す標識)までの距離情報を用いて、第1の停止位置を決定し、この第1の停止位置に停止するための走行指示情報を生成する。
また、自動運転制御部104は、第2の停止位置で自車が停止した後、予め定められた発進条件が満たされると、再発進を指示する走行指示情報を車制御部106に出力する。自動運転制御部104は、例えば、現在の自車の状態が再発進可能な状態であるか否かを判定する。例えば、一時停止すべきことを義務づける標識である停止線が検出されたことにより第2の停止位置で自車が停止した場合、停止後に所定の時間が経過することで再発進可能な状態となる。また、例えば、物体が検出されたことにより第2の停止位置で自車が停止した場合、当該物体が居なくなったことが検知されることで、再発進可能な状態となる。また、例えば、自動車10に乗車したユーザが再発進のための操作指示を行うことで、再発進可能な状態としてもよい。
現在の自車の状態が再発進可能な状態となると、自動運転制御部104は、再発進時の走行条件を規定したプロファイル情報を参照し、プロファイル情報に規定された走行条件(例えば、プロファイル情報で規定された加速条件)で、再発進を行うよう走行指示情報を生成する。生成された走行指示情報は車制御部106に通知され、これにより第2の停止位置からの再発進が行われる。第2の停止位置からの再発進が行われると、SfM部101による物体までの距離の検出が可能となる。したがって、自動運転制御部104は自車が第1の停止に到達する前に、自車の走行の制御にSfM部101による距離の検出結果を用いることが可能となる。
目標位置算出部105は、図1の第2の停止位置算出部4に対応しており、自動運転制御部104が出力した第1の停止位置より手前にある第2の停止位置を算出する。目標位置算出部105は、第1の停止位置よりも予め定められた距離dだけ手前の位置(すなわち、第1の停止位置よりも距離dだけ自車に近い位置)を、第2の停止位置として算出する。この距離dは、SfM部101による距離の検出が可能となる移動距離であればよい。距離dは、用いられるSfMアルゴリズム及びカメラ11などの条件に基づいて定まる値であり、例えば、数センチメートルから数十センチメートル程度である。
また、目標位置算出部105は、算出した第2の停止位置を、SfM部101による検出結果に基づいて補正してもよい。この場合、具体的には、目標位置算出部105は、SfM部101から得られた距離情報に基づいて、第1の停止位置より距離dだけ手前の位置である第2の停止位置を補正する。例えば、予備区間内又はその周辺に移動物体が存在する場合、目標位置算出部105は、当該物体から所定の距離だけ離れるように第2の停止位置を補正してもよい。この場合、補正後の第2の停止位置は、補正前の停止位置より前後にずれることとなる。なお、目標位置算出部105は、物体距離検出部103が出力した物体の距離に基づいて第2の停止位置を補正してもよい。このように、第2の停止位置を補正することにより、第2の停止位置に停止後の再発進により予備区間を走行する際の安全性をより高めることができる。
目標位置算出部105は、算出した第2の停止位置(ただし、補正した場合には、補正後の第2の停止位置)を、車制御部106に出力する。
車制御部106は、自動運転制御部104から出力された走行指示情報に従い、ブレーキ、アクセル、及びステアリングのそれぞれを制御する。すなわち、車制御部106は、ブレーキECU14、スロットルECU15、及びステアECU16のそれぞれに対し、制御信号を出力する。ここで、車制御部106は、目標位置算出部105から第2の停止位置が通知された場合には、第1の停止位置ではなく、第2の停止位置に停止するよう制御を行う。なお、自動運転制御部104及び車制御部106が、図1の制御部5に対応している。
次に、車両制御システム100の動作例について説明する。図8は、走行中の自動車10が停止する際の車両制御システム100の動作の一例を示すフローチャートである。以下、図8を参照しつつ、説明する。
ステップ100(S100)において、カメラECU12は、カメラ11が撮影した画像を取り込む。そして、ステップ101(S101)において、カメラECU12は、取り込んだ画像を、外部メモリインタフェース126を介して外部メモリ(図示せず)に展開する。さらに、ステップ102(S102)において、カメラECU12は、画像処理の処理単位に相当する領域を、外部メモリに格納された画像から切り出してローカルメモリ122に展開する。
次に、ステップ103及びステップ104の処理が行われる。なお、図8に示すフローチャートでは、ステップ103の処理及びステップ104の処理は並行して行われるが、一方の処理の後に他方の処理が行われてもよい。
ステップ103(S103)において、物体検出部102は、画像中の物体を識別する。ステップ104(S104)において、SfM部101は、画像に対し、SfMアルゴリズムによる画像処理を行う。
次に、ステップ105(S105)において、物体距離検出部103は、ステップ103で得られた識別結果とステップ104で得られた距離情報に基づいて、識別された物体毎の距離情報を検出する。
次に、ステップ106(S106)において、自動運転制御部104は、第1の停止位置を決定する。なお、自動運転制御部104は、例えば、ステップ105による検出結果に基づいて第1の停止位置を決定する。また、自動運転制御部104は、第1の停止位置で停止するための走行指示情報を生成する。
次に、ステップ107(S107)において、目標位置算出部105は、ステップ106で決定された第1の停止位置に対し、この停止位置よりも手前の第2の停止位置を算出する。また、上述の通り、目標位置算出部105は、必要に応じて、算出した第2の停止位置を補正する。
次に、ステップ108(S108)において、車制御部106は、目標位置算出部105から出力された第2の停止位置に自車が停止するよう制御する。
以上のステップにより、自動車10は、第1の停止位置の手前の第2の停止位置に停止することとなる。
次に、自動車10が第2の停止位置から再発進する際の車両制御システム100の動作について説明する。図9は、停止中の自動車10が再発進する際の車両制御システム100の動作の一例を示すフローチャートである。以下、図9を参照しつつ、説明する。
ステップ200(S200)において、自動運転制御部104は、予め定められた発進条件が満たされたか否かを判定する。予め定められた発進条件が満たされるまで、ステップ200が繰り返され(ステップ200でNo)、予め定められた発進条件が満たされると、ステップ201へ移行する。
ステップ201(S201)において、自動運転制御部104は、車両を発進させる。すなわち、自動運転制御部104は、再発進を指示する走行指示情報を車制御部106に出力する。そして、車制御部106は、この走行指示情報に基づいて走行を制御する。
ステップ202(S202)において、SfM部101による距離の検出が可能となる移動距離だけ自動車10が走行すると、SfMアルゴリズムを用いた距離情報の取得が可能となる。
ステップ203(S203)において、SfMアルゴリズムを用いた距離情報が取得されると、自動運転制御部104は、この距離情報を用いた自動運転制御を開始する。すなわち、通常運転状態が実現される。なお、この時点において、自動車10は予備区間におり、第1の停止位置を超えていない。
ここで、車両制御システム100により制御される自動車10の動作について説明する。図10は、本実施の形態にかかる車両制御システム100により走行が制御される自動車10の動作例と、比較例にかかる車両制御システムにより走行が制御される自動車の動作例を示す図である。なお、図10は、自動車の速度の時間変化を示すグラフにより、両者の動作の違いを示している。ここでは、速度S1で走行している状態において、時刻T1で、第1の停止位置で停止する制御が始まり、時刻T4において発進動作が開始されると仮定する。また、グラフでは、停止の際、一定の加速度(減速度)で減速する例を示している。
比較例にかかる車両制御システムでは、時刻T1において、第1の停止位置に停止するための制御が行われる。このため、第1の停止位置に停止するための加速度(減速度)で自動車は減速し、時刻T3において第1の停止位置に停止する。そして、時刻T4において、第1の停止位置から発進することとなる。したがって、比較例にかかる車両制御システムにおいては、SfMアルゴリズムによる距離検出ができないまま、第1の停止位置の先を走行する状態が発生することとなる。
これに対し、本実施の形態にかかる車両制御システム100では、第2の停止位置に停止するための制御が行われる。このため、第2の停止位置に停止するための加速度(減速度)で自動車10は減速し、時刻T2において第2の停止位置に停止する。そして、時刻T4において、第2の停止位置から発進することとなる。したがって、自動車10は、再発進直後は、予備区間を走行することとなる。図10を参照すると、時刻T4から時刻T5の間、自動車10は予備区間を走行する。このため、第1の停止位置を超える前に、SfMアルゴリズムを用いた物体までの距離の検出が可能となる。すなわち、自動運転制御部104は、第1の停止位置を超える前に、SfM部2による距離検出結果を利用した自動運転状態を実現することができる。
なお、一旦決定された第1の停止位置が何らかの要因(例えば、新たな物体の検出)により変更された場合、目標位置算出部105はこの変更に応じて第2の停止位置を更新する。図11は、第1の停止位置が元の第1の停止位置よりも手前に変更された場合の自動車10の動作例を示すグラフである。一定の加速度で減速することを前提とすると、更新後の第1の停止位置への停止時刻は時刻T3よりも前の時刻T3’となり、更新後の第2の停止位置への停止時刻は時刻T2よりも前の時刻T2’となる。したがって、本実施の形態にかかる車両制御システム100により制御される自動車10は、時刻T1から減速を開始し、時刻T2よりも前の時刻T2’で、第2の停止位置に停止する。そして、時刻T4において、第2の停止位置から発進することとなる。
図11では、第1の停止位置が元の第1の停止位置よりも手前に変更された場合の自動車10の動作例を示したが、第1の停止位置が元の第1の停止位置よりも前方に変更された場合も同様である。図12は、第1の停止位置が元の第1の停止位置よりも前方に変更された場合の自動車10の動作例を示すグラフである。一定の加速度で減速することを前提とすると、更新後の第1の停止位置に停止する場合の停止時刻は時刻T3よりも後の時刻T3’となり、更新後の第2の停止位置に停止する場合の停止時刻は時刻T2よりも後の時刻T2’となる。したがって、本実施の形態にかかる車両制御システム100により制御される自動車10は、時刻T1から減速を開始し、時刻T2よりも後の時刻T2’で、第2の停止位置に停止し、そして、時刻T4において、第2の停止位置から発進することとなる。
<実施の形態2>
次に、実施の形態2について説明する。本実施の形態では、自動車10が第2の停止位置で停止している際に、自動車10の周辺に物体が存在するか否かを監視する点で、実施の形態1と異なっている。
図13は、実施の形態2にかかる車両制御システム200の機能構成の一例を示すブロック図である。図13に示す車両制御システム200は、監視部201及び走行判断部202が追加されている点で、図7に示す車両制御システム100と異なる。以下、車両制御システム200の構成及び動作について説明するが、重複する説明は省略する。
監視部201は、自動車10の停止中に、自動車10の周辺に物体が存在するか否かを監視する。本実施の形態では、監視部201は、SfM部101からの出力に基づいて、自動車10の周辺に物体が存在するか否かを監視する。このため、本実施の形態では、SfM部101は、自動車10が第2の停止位置に停止後もSfMアルゴリズムを用いた画像処理を実施する。より詳細には、本実施の形態では、SfM部101は、自動車10が第2の停止位置で停止後、予め定められた発進条件が満たされるまでの間にカメラ11に撮影された画像に対し、SfMアルゴリズムを用いて画像処理を行い、画像中の動きを検出する。SfM部101は、画像中の画素毎の動きを出力する。なお、自動車10が第2の停止位置に停止中もSfM部101は画像処理を行うため、本実施の形態では、第2の停止位置に停止するまでの走行中、停止中、及び、第2の停止位置からの発進後において、SfM部101はSfMアルゴリズムを用いた処理を行うこととなる。
監視部201は、SfM部101が検出した動きに基づいて物体の存在を判定する。自動車10の停止中にSfM部101が画像中の動きを検出した場合、カメラ11の撮影範囲内に移動物体が存在することを意味する。したがって、監視部201は、SfM部101により動きが検出された場合、自動車10の周辺、より具体的にはカメラ11の撮影範囲内に移動物体が存在すると判定する。
また、監視部201は、SfM部101による動きの検出結果に基づいて、移動物体の存在位置を判定する。具体的には、まず、監視部201は、SfM部101が検出した画素毎の動きに基づいて、動いた物体の画像上における大きさを判定する。SfM部101の検出結果は、画素毎の動きの向き及び動きの大きさを示す。また、隣接する複数の画素が、同じ動きをしている場合(すなわち、同じ方向に移動している場合)、これらの画素は同じ移動物体に対応していると考えられる。このため、監視部201は、ラベリングなどのアルゴリズムにより、同じ動きをしている画素群を識別する。この画素群の大きさは、カメラ11と移動物体の距離に反比例する。したがって、監視部201は、この画素群の大きさを判定する。このようにして、動いた物体の画像上における大きさが判定される。
そして、監視部201は、判定された大きさに基づいて、動いた物体の存在位置が自動車10から所定の範囲内であるか否かを判定する。例えば、監視部201は、動いた物体の画像上の大きさが予め定められた閾値以上である場合、すなわち、画素群を構成する画素数が予め定められた閾値以上である場合、動いた物体の存在位置が自動車10から所定の範囲内であると判定する。なお、この所定の範囲は、予備区間であってもよい。この場合、監視部201は、予備区間内に物体が存在するか否かを判定することとなる。監視部201は、監視結果を走行判断部202に出力する。
走行判断部202は、監視部201により自動車10の周辺に物体が存在しないと判定された場合に、自動運転制御部104に、走行可能であることを通知する。より具体的には、走行判断部202は、監視部201により所定の範囲内に物体が存在しないと判定された場合に、自動運転制御部104に、走行可能であることを通知する。
自動運転制御部104は、予め定められた発進条件が満たされ、かつ、監視部201により自動車10の周辺に物体が存在しないと判定された場合に、自動車10を発進させる。より具体的には、自動運転制御部104は、予め定められた発進条件が満たされ、かつ、監視部201により所定の範囲内に物体が存在しないと判定された場合に、自動車10を発進させる。すなわち、自動運転制御部104は、予め定められた発進条件が満たされ、かつ、走行判断部から走行可能であることを示す通知があった場合に、再発進を指示する走行指示情報を車制御部106に出力する。
なお、本実施の形態では、監視部201は、SfM部101の動き検出の結果を用いて、物体の監視を行ったが、監視部201は、動き検出に限らず、任意の方法により、停止中に、物体の存在を監視してもよい。例えば、監視部201は、SfM部101の動き検出結果ではなく、SfM部101の距離検出結果を用いて、物体の存在を監視してもよい。この場合、監視部201は、SfM部101が検出した、動いた物体についての距離に基づいて、動いた物体の存在位置が自動車10から所定の範囲内であるか否かを判定することができる。また、監視部201は、SfM部101とは別の検出機構により物体の有無を監視してもよい。
次に、自動車10が第2の停止位置から再発進する際の車両制御システム200の動作について説明する。図14は、停止中の自動車10が再発進する際の車両制御システム200の動作の一例を示すフローチャートである。図14に示すフローチャートは、ステップ251及びステップ252が追加されている点で、図9に示したフローチャートと異なる。
実施の形態2にかかる車両制御システム200では、まず、ステップ251(S251)において、監視部201が物体の存在を監視する。そして、ステップ252(S252)において、監視部201は、自動車10の周辺に物体が存在するか否かを判定する。この判定結果に基づいて、走行判断部202が、走行可能であることを自動運転制御部104へ通知するか否かを決定する。監視部201により物体が存在すると判定された場合(ステップ252でYes)、物体の監視が継続される。これに対し、監視部201により自動車10の周辺に物体が存在しないと判定された場合(ステップ252でNo)、処理は、ステップ200へ移行する。ステップ200において、発進条件を満たしたか否かが判定され、発進条件を満たさない場合、物体の監視が継続される。発進条件を満たす場合には、処理はステップ201へ移行する。ステップ201へ移行した後の処理は、実施の形態1にかかる車両制御システム100と同様である。
ここで、車両制御システム200により制御される自動車10の動作について説明する。図15は、本実施の形態にかかる車両制御システム200により走行が制御される自動車10の動作例と、比較例にかかる車両制御システムにより走行が制御される自動車の動作例を示す図である。図15と図10を比較して分かるように、本実施の形態では、時刻T2において第2の停止位置に停止後、監視部201による物体の存在の有無の監視が行われる。
なお、本実施の形態でも、一旦決定された第1の停止位置が何らかの要因(例えば、新たな物体の検出)により変更された場合、目標位置算出部105はこの変更に応じて第2の停止位置を更新する。図16は、第1の停止位置が元の第1の停止位置よりも手前に変更された場合の自動車10の動作例を示すグラフである。また、図17は、第1の停止位置が元の第1の停止位置よりも遠くに変更された場合の自動車10の動作例を示すグラフである。一旦決定された第1の停止位置が変更された場合、図16又は図17に示すように、時刻T2’から監視部201の監視が行われることとなる。
以上、実施の形態2について説明した。本実施の形態にかかる車両制御システム200では、自動車10の停止中に自動車10の周辺に物体が存在するか否かが監視され、予め定められた発進条件が満たされ、かつ、自動車10の周辺に物体が存在しないと判定された場合に、自動車10を発進させる。すなわち、物体が存在する場合には、発進が抑止されるため、より安全な自動運転を実現することができる。また、本実施の形態では、監視部201は、物体の存在位置が自動車10から所定の範囲内である場合に、発進が抑止される。このため、不必要な発進の抑止が発生しない。
<実施の形態3>
次に、実施の形態3について説明する。本実施の形態では、自動車10が第2の停止位置で停止しているとき、自動車10の周辺に物体が存在する場合、スピーカにより所定の出力を行う点で、実施の形態2と異なる。以下、実施の形態2と異なる点について説明する。
本実施の形態では、自動車10の周辺に物体が存在すると判定した場合、監視部201は、さらに、スピーカ17により所定の出力を行う。なお、スピーカ17による出力は、自動車10の車外への警告であってもよいし、車内への警告であってもよい。例えば、車内への警告は、物体が存在しているため発進が抑止された状態であることを通知する音声出力であってもよい。また、車外への警告は、自動車10周辺からの退去を促す音声出力であってもよい。
本実施の形態では、自動車10の周辺に侵入した物体が人物である場合、車外へ向けた警告を行う。このため、監視部201は、SfM部101が検出した画素毎の動きに基づいて、動いた物体の画像上における形状を判定し、判定された形状が予め定められた形状である場合に、スピーカ17により自動車10の外部に所定の出力を行う。例えば、監視部201は、判定された形状が縦長の形状である場合、物体が人物であると識別し、外部への音声出力を実施する。物体が人物であるか否かの判定方法は、これに限定されない。例えば、物体検出部102による識別結果を用いてもよい。すなわち、監視部201は、物体検出部102により、自動車10の周辺に存在する物体が人物であると識別された場合に、スピーカ17により自動車10の外部に所定の出力を行ってもよい。
次に、自動車10が第2の停止位置から再発進する際の本実施の形態の車両制御システム200の動作について説明する。図18は、停止中の自動車10が再発進する際の車両制御システム200の動作の一例を示すフローチャートである。図18に示すフローチャートは、ステップ2520、ステップ2521、及びステップ2522が追加されている点で、図14に示したフローチャートと異なる。ステップ2520〜2522は、ステップ252で、物体が存在すると判定された場合に行われる処理である。
本実施の形態では、ステップ252において、監視部201により物体が存在すると判定された場合(ステップ252でYes)、処理はステップ2520へ移行する。
ステップ2520(S2520)において、存在する物体が人物であるか否かが判定される。物体が人物である場合(ステップ2520でYes)、処理はステップ2521へ移行し、物体が人物ではない場合(ステップ2520でNo)、処理はステップ2522へ移行する。
ステップ2521(S2521)では、監視部201は、自動車10の外部及び内部に所定の音声出力を行う。すなわち、監視部201は、自動車10の周辺にいる人物への警告と、自動車10に乗車したユーザへの警告を行う。これに対し、ステップ2522(S2522)では、監視部201は、自動車10の内部にのみ、所定の音声出力を行う。ステップ2521又はステップ2522による音声出力が行われると、物体の監視が継続される。
以上、実施の形態3について説明した。本実施の形態にかかる車両制御システム200によれば、自動車10の周辺に物体が存在する場合、スピーカ17により所定の出力が行われる。したがって、適切な警告を行うことができる。また、特に、物体が人物である場合には、自動車10の外部への警告が行われる。このため、当該人物に対し、移動を促す音声などの所定の警告を行うことができる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。例えば、上記実施の形態では、カメラ11は、自動車10の前方を撮影するよう、自動車10の前方に設けられている単眼カメラであったが、カメラ11は、自動車10の移動方向を撮影するよう自動車10に設けられていればよく、例えば、後方を撮影するよう、自動車10の後方に設けられている単眼カメラであってもよい。この場合、後方への自動車10の走行及び停止において、上述の制御が行われることとなる。また、カメラ11は、自動車10の周囲を撮影するサラウンドカメラシステムを構成するカメラの一つであってもよい。このように構成することで、サラウンドカメラシステムを搭載する自動車10においては、カメラ11を追加することなく、上記制御を実現することが可能となる。
1 移動体制御システム
2、101 SfM部
3 第1の停止位置出力部
4 第2の停止位置算出部
5 制御部
10 自動車
11 カメラ
12 カメラECU
13 ECU
14 ブレーキECU
15 スロットルECU
16 ステアECU
17 スピーカ
100、200 車両制御システム
102 物体検出部
103 物体距離検出部
104 自動運転制御部
105 目標位置算出部
106 車制御部
121、131 内部バス
122、132 ローカルメモリ
123、133 インタフェース
124、134 DSP
125、135 CPU
126、136 外部メモリインタフェース
127 カメラインタフェース
137 スピーカ制御インタフェース
201 監視部
202 走行判断部

Claims (13)

  1. 移動体の移動方向前方を撮影する単眼カメラにより撮影された物体までの距離を、SfMアルゴリズムを用いて検出するSfM部と、
    所定の安全基準を満たす第1の停止位置を出力する第1の停止位置出力部と、
    前記第1の停止位置よりも手前の第2の停止位置を算出する第2の停止位置算出部と、
    前記移動体の走行を制御する制御部と
    を有し、
    前記制御部は、前記第2の停止位置で前記移動体が停止するように制御し、予め定められた発進条件が満たされると、前記第2の停止位置から発進するよう制御し、
    前記SfM部は、前記移動体が前記第2の停止位置から発進後に前記単眼カメラに撮影された画像を用いて、物体までの距離を検出し、
    前記制御部は、前記SfM部による物体の距離の検出結果が得られた場合、前記移動体の走行の制御に該検出結果を用いる
    移動体制御システム。
  2. 前記第2の停止位置算出部は、算出した前記第2の停止位置を、前記SfM部による検出結果に基づいて補正する
    請求項1に記載の移動体制御システム。
  3. 前記移動体の停止中に、前記移動体の周辺に物体が存在するか否かを監視する監視部をさらに有し、
    前記制御部は、予め定められた発進条件が満たされ、かつ、前記監視部により前記移動体の周辺に物体が存在しないと判定された場合に、前記移動体を発進させる
    請求項1に記載の移動体制御システム。
  4. 前記SfM部は、前記第2の停止位置で停止後、前記予め定められた発進条件が満たされるまでの間に前記単眼カメラに撮影された画像に対し、前記SfMアルゴリズムを用いて画像中の動きを検出し、
    前記監視部は、前記SfM部が検出した動きに基づいて物体の存在を判定する
    請求項3に記載の移動体制御システム。
  5. 前記監視部は、前記SfM部が検出した画素毎の動きに基づいて、動いた物体の画像上における大きさを判定し、判定された大きさに基づいて、前記動いた物体の存在位置が前記移動体から所定の範囲内であるか否かを判定し、
    前記制御部は、予め定められた発進条件が満たされ、かつ、前記監視部により前記所定の範囲内に物体が存在しないと判定された場合に、前記移動体を発進させる
    請求項4に記載の移動体制御システム。
  6. 前記監視部は、前記SfM部が検出した、動いた物体についての距離に基づいて、前記動いた物体の存在位置が前記移動体から所定の範囲内であるか否かを判定し、
    前記制御部は、予め定められた発進条件が満たされ、かつ、前記監視部により前記所定の範囲内に物体が存在しないと判定された場合に、前記移動体を発進させる
    請求項4に記載の移動体制御システム。
  7. スピーカをさらに有し、
    前記監視部は、前記移動体の周辺に物体が存在すると判定した場合、前記スピーカにより所定の出力を行う
    請求項3に記載の移動体制御システム。
  8. 前記監視部は、前記SfM部が検出した画素毎の動きに基づいて、動いた物体の画像上における形状を判定し、判定された形状が予め定められた形状である場合に、前記スピーカにより前記移動体の外部に所定の出力を行う
    請求項7に記載の移動体制御システム。
  9. 前記単眼カメラにより撮影された画像に対し予め定められた画像認識処理を行うことにより、該画像中の物体を識別する物体検出部をさらに有し、
    前記監視部は、前記物体検出部により、前記物体が人物であると識別された場合に、前記スピーカにより前記移動体の外部に所定の出力を行う
    請求項7に記載の移動体制御システム。
  10. 前記単眼カメラをさらに有する
    請求項1に記載の移動体制御システム。
  11. 前記単眼カメラは、前記移動体の周囲を撮影するサラウンドカメラシステムを構成するカメラの一つである
    請求項1に記載の移動体制御システム。
  12. 所定の安全基準を満たす第1の停止位置よりも手前の第2の停止位置を算出し、
    前記第2の停止位置で移動体が停止するように制御し、
    予め定められた発進条件が満たされると、前記第2の停止位置から発進するよう制御し、
    前記移動体が前記第2の停止位置から発進後に、前記移動体の移動方向前方を撮影する単眼カメラに撮影された物体までの距離を、SfMアルゴリズムを用いて検出し、
    物体の距離の検出結果が得られた場合、前記移動体の走行の制御を、該検出結果を用いて行う
    移動体制御方法。
  13. 移動体の移動方向前方を撮影する単眼カメラにより撮影された物体までの距離を、SfMアルゴリズムを用いて検出するSfMステップと、
    所定の安全基準を満たす第1の停止位置を出力する第1の停止位置出力ステップと、
    前記第1の停止位置よりも手前の第2の停止位置を算出する第2の停止位置算出ステップと、
    前記移動体の走行を制御する制御ステップと
    をコンピュータに実行させ、
    前記制御ステップでは、前記第2の停止位置で前記移動体が停止するように制御し、予め定められた発進条件が満たされると、前記第2の停止位置から発進するよう制御し、
    前記SfMステップでは、前記移動体が前記第2の停止位置から発進後に前記単眼カメラに撮影された画像を用いて、物体までの距離を検出し、
    前記制御ステップでは、前記SfMステップでの物体の距離の検出結果が得られた場合、前記移動体の走行の制御に該検出結果を用いる
    プログラム。
JP2017149853A 2017-08-02 2017-08-02 移動体制御システム、移動体制御方法、及びプログラム Pending JP2019028870A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017149853A JP2019028870A (ja) 2017-08-02 2017-08-02 移動体制御システム、移動体制御方法、及びプログラム
US16/031,789 US10974719B2 (en) 2017-08-02 2018-07-10 Mobile object control system, mobile object control method, and program
EP18184448.1A EP3438779B1 (en) 2017-08-02 2018-07-19 Mobile object control system, mobile object control method, and program
TW107126254A TW201923499A (zh) 2017-08-02 2018-07-30 移動體控制系統、移動體控制方法及程式
CN201810864005.7A CN109388136B (zh) 2017-08-02 2018-08-01 移动对象控制系统、移动对象控制方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017149853A JP2019028870A (ja) 2017-08-02 2017-08-02 移動体制御システム、移動体制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2019028870A true JP2019028870A (ja) 2019-02-21

Family

ID=63173901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017149853A Pending JP2019028870A (ja) 2017-08-02 2017-08-02 移動体制御システム、移動体制御方法、及びプログラム

Country Status (5)

Country Link
US (1) US10974719B2 (ja)
EP (1) EP3438779B1 (ja)
JP (1) JP2019028870A (ja)
CN (1) CN109388136B (ja)
TW (1) TW201923499A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154751A (ja) * 2019-03-20 2020-09-24 学校法人明治大学 移動体制御装置、移動体制御方法及びコンピュータプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612271A (zh) * 2020-12-15 2021-04-06 广东智源机器人科技有限公司 运载物的传输方法、送餐设备和存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899616B2 (en) * 1997-10-22 2011-03-01 Intelligent Technologies International, Inc. Method for obtaining information about objects outside of a vehicle
US6842684B1 (en) * 2003-09-17 2005-01-11 General Motors Corporation Methods and apparatus for controlling a brake system
US20070255498A1 (en) * 2006-04-28 2007-11-01 Caterpillar Inc. Systems and methods for determining threshold warning distances for collision avoidance
CN101234601A (zh) * 2007-01-30 2008-08-06 南京理工大学 基于单目视觉的汽车巡航控制方法及其实现系统
CN101750049B (zh) * 2008-12-05 2011-12-21 南京理工大学 基于道路和车辆自身信息的单目视觉车距测量方法
CN101559753A (zh) * 2009-05-27 2009-10-21 北京工业大学 基于单目机器视觉的汽车主动安全系统及其控制方法
DE102010002929A1 (de) 2010-03-16 2011-09-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur automatischen Längsführung eines Kraftfahrzeugs
JP2012123296A (ja) 2010-12-10 2012-06-28 Sanyo Electric Co Ltd 電子機器
JP6324968B2 (ja) 2012-09-20 2018-05-16 ウェイモ エルエルシー 道路天候条件検出
US8473144B1 (en) * 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
US9256791B2 (en) * 2012-12-04 2016-02-09 Mobileye Vision Technologies Ltd. Road vertical contour detection
US9558584B1 (en) * 2013-07-29 2017-01-31 Google Inc. 3D position estimation of objects from a monocular camera using a set of known 3D points on an underlying surface
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
US9509979B2 (en) * 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
US9280826B2 (en) * 2013-12-10 2016-03-08 GM Global Technologies Operations LLC Distance determination using a monoscopic imager in a vehicle
US9607230B2 (en) * 2014-04-16 2017-03-28 Honda Motor Co., Ltd. Mobile object control apparatus and target object detecting apparatus
JP6327455B2 (ja) 2014-05-19 2018-05-23 パナソニックIpマネジメント株式会社 基地局装置、映像情報処理装置、3次元マップ生成システムおよび3次元マップ生成方法
JP2016132421A (ja) * 2015-01-22 2016-07-25 トヨタ自動車株式会社 自動運転装置
US9711050B2 (en) * 2015-06-05 2017-07-18 Bao Tran Smart vehicle
US9592766B1 (en) * 2015-08-25 2017-03-14 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for adjusting a stopping position
US20170113608A1 (en) * 2015-10-27 2017-04-27 Caterpillar Inc. System and method for operating a machine
JP6752024B2 (ja) * 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
US10054947B2 (en) * 2016-08-17 2018-08-21 Omnitracs, Llc Emergency stopping for autonomous commercial vehicles
US10318826B2 (en) * 2016-10-07 2019-06-11 Ford Global Technologies, Llc Rear obstacle detection and distance estimation
US10082796B2 (en) * 2016-10-27 2018-09-25 Ford Global Technologies, Llc Pedestrian face detection
US10620310B2 (en) * 2016-11-29 2020-04-14 Waymo Llc Rotating radar platform

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154751A (ja) * 2019-03-20 2020-09-24 学校法人明治大学 移動体制御装置、移動体制御方法及びコンピュータプログラム
JP7242040B2 (ja) 2019-03-20 2023-03-20 学校法人明治大学 移動体制御装置、移動体制御方法及びコンピュータプログラム

Also Published As

Publication number Publication date
CN109388136A (zh) 2019-02-26
US20190039607A1 (en) 2019-02-07
CN109388136B (zh) 2023-10-10
EP3438779A1 (en) 2019-02-06
EP3438779B1 (en) 2022-08-31
TW201923499A (zh) 2019-06-16
US10974719B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
US11673569B2 (en) Alert control apparatus and alert control method
JP6221569B2 (ja) 運転支援装置
US11537143B2 (en) Controller and autonomous driving vehicle
CN112046500A (zh) 自动驾驶装置和方法
JP2012226635A (ja) 車両の衝突予防安全装置
CN109388136B (zh) 移动对象控制系统、移动对象控制方法和存储介质
KR20190015537A (ko) 주행 제어 방법 및 주행 제어 장치
CN111683850B (zh) 停车辅助装置以及停车辅助方法
JP2019114902A (ja) 半導体装置、撮像システム、及びプログラム
JP6221568B2 (ja) 運転支援装置
KR20210144945A (ko) 주차 지원 방법 및 주차 지원 장치
JP6047877B2 (ja) 記録装置、記録プログラム及び記録方法
US11554789B2 (en) Driving assistant method, vehicle, and storage medium
CN112470456B (zh) 铁路车辆用摄像系统
JP6605978B2 (ja) 減速案内システム、減速案内方法、及び減速案内プログラム
JP2009241648A (ja) 運転支援装置
JPH11213295A (ja) 車両割り込み検出回路及びそれを用いた追突警報装置
JP7351761B2 (ja) 緊急車両推定装置及び緊急車両推定方法
JP7441839B2 (ja) 異常検出装置と異常検出方法およびプログラムと情報処理システム
US11256927B2 (en) Information provision device, vehicle, driving assistance system, map generation device, driving assistance device, and driving assistance method
US20210316618A1 (en) Vehicle control system
US20230104951A1 (en) Vehicle control apparatus
CN117622208A (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
CN111052200B (zh) 驾驶辅助装置及驾驶辅助方法
JP2024024415A (ja) 走行計画生成装置及び走行計画生成方法