JP2020205498A - 外部環境認識装置 - Google Patents

外部環境認識装置 Download PDF

Info

Publication number
JP2020205498A
JP2020205498A JP2019111369A JP2019111369A JP2020205498A JP 2020205498 A JP2020205498 A JP 2020205498A JP 2019111369 A JP2019111369 A JP 2019111369A JP 2019111369 A JP2019111369 A JP 2019111369A JP 2020205498 A JP2020205498 A JP 2020205498A
Authority
JP
Japan
Prior art keywords
external environment
environment recognition
vehicle
unit
recognition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019111369A
Other languages
English (en)
Inventor
大輔 濱野
Daisuke Hamano
大輔 濱野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2019111369A priority Critical patent/JP2020205498A/ja
Priority to EP20821843.8A priority patent/EP3982625A4/en
Priority to US17/618,517 priority patent/US11961307B2/en
Priority to PCT/JP2020/011261 priority patent/WO2020250520A1/ja
Priority to CN202080038377.XA priority patent/CN113875223B/zh
Publication of JP2020205498A publication Critical patent/JP2020205498A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Abstract

【課題】同期処理をするための処理リソースを節約する。【解決手段】外部環境認識装置は、それぞれに車外環境の情報を検知する情報検知部２０ａを有し、情報検知部２０ａの検知範囲の少なくとも一部同士が互いに重複する重複領域ＲＦを有するように配置された複数の外部環境認識センサ２０と、各外部環境認識センサ２０の検出結果から重複領域ＲＦにおける同一の物体を抽出し、重複領域ＲＦにおける同一の物体の互いの位置がずれている場合に、複数の外部環境認識センサ２０を同期させる同期処理をする同期処理部とを備える。【選択図】図２

Description

ここに開示された技術は、自律移動体に用いられる外部環境認識装置に関する技術分野に属する。
外部環境を認識して移動や走行、飛行等（以下、総称して単に「移動」ともいう）を行う自律移動体では、複数のカメラ等のセンサデバイスを用いて外部の環境を認識し、その認識結果を基に移動方向、移動速度等が決定される。自律移動体では、外部の環境を正しく認識するために、自律移動体に複数のカメラを設置し、それらの同期処理を行ったり、複数のカメラで撮像された画像に対してタイミングを揃えるような画像処理を行う技術が知られている。
例えば、特許文献１には、画像処理部から周期的に出力される同期信号をトリガに、カメラが画像処理部に対して画像信号を出力する技術が開示されている。
また、特許文献２には、重複する撮像領域を有する２つの撮像手段の双方の撮像画像を基に車両の周辺を監視する監視装置が開示されている。特許文献２では、２つの撮像手段の画像から外部の環境を認識する際に、時間軸上でずれた画像を用いることになることを避けるために、撮像タイミングとの間のずれが補正された所定情報を生成する情報生成手段を備えている。
特開２００５−１１７５５４号公報 特開２００８−２１１３７３号公報
しかしながら、特許文献１のような方法を用いた場合、画像処理部から周期的に出力される同期信号が出力される度に、カメラの同期処理が実行されるので、同期が必要のないときにまで同期処理が行われる場合があり、処理リソースの無駄が生じるという問題がある。
特許文献２では、画像処理装置での補正処理が必要であり、演算装置の処理負荷が増加したり、複雑な処理が必要になる恐れがある。特に、外部環境の認識精度を上げるために、設置するカメラの台数を増やしたり、フレームレートを向上させる等、扱う情報量が増大したりした場合に、処理が複雑になったり、処理負荷が重くなる恐れがある。
ここに開示された技術は、斯かる点に鑑みてなされたものであり、外部環境を認識する外部環境認識センサの同期処理をするための処理リソースを節約することにある。
前記課題を解決するために、ここに開示された技術の一態様では、車両の走行を制御する外部環境認識装置を対象として、それぞれに車外環境の情報を検知する情報検知部を有し、該情報検知部の検知範囲の少なくとも一部同士が互いに重複する重複領域を有するように配置された複数の外部環境認識センサと、前記各外部環境認識センサの検出結果から前記重複領域における同一の物体を抽出し、前記重複領域における前記同一の物体の互いの位置がずれている場合に、前記複数の外部環境認識センサを同期させる同期処理をする同期処理部とを備える、という構成とした。
この構成によると、重複領域における同一の物体の互いの位置がずれている場合に、複数の外部環境認識センサの同期処理をするので、位置ずれの発生したタイミングにあわせて、同期処理を実行することができる。また、位置ずれが発生しない場合には、同期処理を実行しないようにすることができるので、特許文献１のように、周期的に同期処理を実行する場合と比較して、同期処理をするための処理リソースを節約することができる。さらに、外部環境認識センサからの出力信号の段階で同期させることができる、すなわち、車外環境の認識といった各種画像処理等の前の段階の信号について同期を取ることができるので、画像処理等の処理負荷を低減することができる。
前記外部環境認識装置において、前記複数の外部環境認識センサは、前記重複領域を有するように配置された複数のカメラを含み、前記同期処理部は、前記複数のカメラの重複領域の画像から同一の物体を抽出し、前記同一の物体の中から静止物体を特定し、当該静止物体同士を互いに重ねあわせることで、前記同一の物体の互いの位置がずれているか否かを判定する、という構成でもよい。
この構成によると、静止物体同士を重ねあわせるので、位置ずれの検出精度を高めることができる。
前記外部環境認識装置において、前記同期処理部は、前記自律移動体の移動速度が所定の閾値未満のときに前記同期処理を行う、という構成でもよい。
この構成によると、自律移動体の移動による振動等の影響を受けにくい状態で検出された情報を基に同期処理を行うことができるので、同期処理の安定性や正確性を向上させることができる。
前記外部環境認識装置において、前記同期処理部が前記同期処理を実行した後に、前記同一物体の互いの位置ずれが解消されなかった場合に、前記外部環境認識センサの異常を報知する異常報知手段を備える、という構成でもよい。
これにより、例えば、外部環境認識センサの取付位置のずれのように、外部環境認識センサの物理的な位置ずれを検出し、ユーザー等に知らせることができる。
以上説明したように、ここに開示された技術によると、位置ずれが発生したタイミングにあわせて、同期処理を実行することができるので、相対的に早い段階での同期処理を行うことができるとともに、同期処理のためのリソースを節約することができる。
外部環境認識装置が搭載された自動車の制御系を示すブロック図 外部環境認識装置の構成を示すブロック図 外部環境認識装置のカメラの配置例と撮像範囲の一例を示す図 外部環境認識装置の動作例を示すフローチャート 外部環境認識装置の動作を説明するための図 外部環境認識装置の動作を説明するための図 外部環境認識装置の動作例を示すタイミングチャート
以下、例示的な実施形態について、図面を参照しながら詳細に説明する。なお、以下の実施形態では、自律移動体として自動運転機能を有する自動車を例に挙げて説明する。ただし、本開示に係る外部環境認識装置が適用できる自律移動体は、自動車に限定されるものではなく、例えば、自律移動型の走行ロボット、掃除機、ドローン等に適用することが可能である。
図１は、本実施形態に係る車両１０の制御系の構成を概略的に示すブロック図である。車両１０は、アシスト運転及び自動運転ができるように構成されている。
本実施形態において、車両１０は、アシスト運転及び自動運転を可能にするために、センサデバイス３０からの出力や、車外のネットワークから受けた情報に基づいて、車両１０が走行すべき経路を算出するとともに、該経路を追従するための車両１０の運動を決定する演算装置１００を有する。演算装置１００は、１つ又は複数のチップで構成されたマイクロプロセッサであって、ＣＰＵやメモリ等を有している。なお、図１においては、本実施形態に係る経路生成機能を発揮するための構成を中心に示しており、演算装置１００が有する全ての機能を示しているわけではない。
演算装置１００に情報を出力するセンサデバイス３０は、例えば、（１）車両１０のボディ等に設けられかつ車外環境を撮影する複数のカメラ２０、（２）車両１０のボディ等に設けられかつ車外の物標等を検知する複数のレーダ３２、（３）全地球測位システム（Global Positioning System：ＧＰＳ）を利用して、車両１０の位置（車両位置情報）を検出する位置センサ３３、（４）車速センサ、加速度センサ、ヨーレートセンサ等の車両１０の挙動を検出するセンサ類で構成された車両１０の状態を取得する車両状態センサ３４、（５）車内カメラ等により構成され、車両１０の乗員の状態を取得する乗員状態センサ３５、（６）運転者の運転操作を検出するための運転操作情報取得部３６、を含む。また、演算装置１００には、車外のネットワークと接続された車外通信部４１を介して自車両１０の周囲に位置する他車両からの通信情報やナビゲーションシステムからの交通情報が入力される。
各カメラ２０は、車両１０の周囲を水平方向に３６０°撮影できるようにそれぞれ配置されている。具体的に、各カメラ２０は、図２に示すように、ＣＣＤ(Charged Coupled devices)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を用いて車外環境を示す光学画像を撮像して画像データを生成する撮像部２０ａ（情報検出部に相当）を備えている。また、図３に示すように、各カメラ２０は、隣接して配置されたカメラ２０との間で、撮像部２０ａによる撮像範囲の一部同士が互いに重複する重複領域ＲＦを有するように配置されている。図３では、車両１０に８台のカメラ２０が設置された例を示しており、以後の説明の便宜上、車両１０の左前に設置されたカメラ２０から順に時計回りに２１，２２，…，２８の符号を付している。また、図３では、それぞれのカメラ２１，２２，…，２８の撮像範囲について模式的に図示し、それぞれの撮像範囲に、Ｒ２１，Ｒ２２，…，Ｒ２８の符号を付している。さらに、図３では、上記重複領域をドットで表示して、ＲＦの符号を付している。また、車両１０の前方を撮像するカメラ２１，２２の重複領域ＲＦには、ＲＦ１の符号を付している。同様に、カメラ２１，２８の重複領域ＲＦにＲＦ２、カメラ２２，２３の重複領域にＲＦ３の符号を付している。
各カメラ２０は、撮像部２０ａでの撮像データを演算装置１００に出力する。各カメラ２０の撮像データは、演算装置１００以外にも、ＨＭＩ（Human Machine Interface）ユニット６１に入力される。ＨＭＩユニット６１は、取得した画像データに基づく情報を車内のディスプレイ装置等に表示する。カメラ２０は、車両１０の車外環境の撮像するための撮像デバイスに相当する。
各レーダ３２は、カメラ２０と同様に、検出範囲が車両１０の周囲を水平方向に３６０°広がるようにそれぞれ配置されている。レーダ３２の種類は、特に限定されず、例えば、ミリ波レーダ等を採用することができる。なお、具体的な図示は省略するが、各レーダ３２が、撮像が可能に構成されたイメージングレーダーやレーザーレーダー等であってもよい。そして、各レーダ３２が、上記のカメラ２０と同様に、撮像データを演算装置１００に出力するように構成されていてもよい。その場合、レーダ３２は、車両１０の車外環境の撮像するための撮像デバイスに相当する。
演算装置１００は、カメラ２０やレーダ３２等のセンサデバイス３０からの出力や、車外のネットワークから車外通信部４１を介して受けた情報に基づいて、車両１０の目標運動を決定し、決定された目標運動を実現するための駆動力、制動力、操舵量を算出し、算出結果をエンジンやブレーキ等を制御するコントロールユニット５０に出力するように構成されている。
図１に示すように、演算装置１００は、車両１０の目標運動を設定するために、カメラ２０等のセンサデバイス３０からの出力や、車外通信部４１からの入力情報を基に車外環境を認識する車外環境認識部１１０と、車外環境認識部１１０で認識された車外環境に応じて、車両１０が走行可能な１つ又は複数の候補経路を算出する候補経路生成部１５１と、車両状態センサ３４からの出力を基にして車両１０の挙動を推定する車両挙動推定部１５２と、乗員状態センサ３５からの出力を基にして、車両１０の乗員の挙動を推定する乗員挙動推定部１５３と、車両１０が走行すべき経路を決定する経路決定部１５４と、経路決定部１５４が設定した経路を追従するための車両１０の目標運動を決定する車両運動決定部１５５とを有する。
〈車外環境認識部〉
図２に示すように、車外環境認識部１１０は、各カメラ２０からの出力を基に車外環境を認識するものであり、物体認識部１１１と、マップ生成部１１２と、同一物体認識部１１３と、位置ずれ検出部１１４とを備える。
物体認識部１１１は、カメラ２０から受信した撮像データや、レーダ３２から受信した反射波のピークリスト等を基に、車外の物体が何であるかを認識する。例えば、物体認識部１１１は、上記の撮像データやピークリスト等によって車外の物体を検知し、演算装置１００に格納されているデータベース等にある識別情報等を用いて、車外の物体が何であるかを識別し、「車外の物体情報」として認識する。物体認識部１１１は、レーダ３２の出力を受けており、上記「車外の物体情報」として、車両１の周辺に存在する物標の位置や速度等を含む「物標の測位情報」を取得してもよい。物体認識部１１１では、「車外の物体情報」や「物標の測位情報」を基に、車外の各物体についての分類分けを行うとともに、それぞれの物体の位置情報を認識する。ここでいう分類とは、例えば、物体が「静止物体」なのか「動く可能性のある物体」なのかという大きな区分で分けてもよいし、「人物」「標識」「横断歩道」のように、具体的な対象物単位で分けてもよい。なお、物体認識部１１１において、ニューラルネットワークなどにより車外の物体が何であるかを識別/分類するようにしてもよい。また、物体認識部１１１が、センサデバイス３０を構成する各センサからの出力情報により、車両１０の位置と速度等を把握するようにしてもよい。
マップ生成部１１２は、物体認識部１１１で認識された車外の物体情報を基にして、車両１０の周囲の３次元情報と車外環境モデルとを対照することにより、道路および障害物を含む車外環境を認識し、それをマップにする処理を行う。車外環境モデルは、例えば深層学習によって生成された学習済みモデルであって、車両周囲の３次元情報に対して、道路や障害物等を認識することができる。なお、マップ生成部１１２は、周囲の３次元もしくは２次元マップ、またはその両方を生成するように構成されていてもよい。
具体的に、例えば、マップ生成部１１２は、物体認識部１１１で認識された車外の物体情報を基にして、フリースペースすなわち物体が存在しない領域を特定する。ここでの処理には、例えば深層学習によって生成された学習済みモデルが利用される。そして、マップ生成部１１２は、フリースペースを表す２次元のマップを生成する。また、マップ生成部１１２は、物標の測位情報を利用して、車両１０の周囲を表す３次元マップを生成する。ここでは、カメラ２０の設置位置および撮像方向の情報、レーダ３２の設置位置および送信方向の情報が用いられる。そして、マップ生成部１１２は、生成された３次元マップと、車外環境モデルとを対比することによって、道路及び障害物を含む車外環境を認識し、認識結果を候補経路生成部１５１に出力する。なお、深層学習では、多層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）が用いられる。多層ニューラルネットワークとして、例えば、ＣＮＮ（Convolutional Neural Network）がある。候補経路生成部１５１では、車外環境認識部１１０の出力、位置センサ３３の出力、及び車外通信部４１を介して外部ネットワーク等から受信された情報等を基にして、車両１０が走行可能な候補経路が生成される。
同一物体認識部１１３は、物体認識部１１１で認識された車外の物体情報を基にして、隣接するカメラ２１，２２，…，２８の撮像結果を対照して、重複領域ＲＦにおける同一の物体（以下、単に同一物体という）を抽出する。
具体的に、例えば、図３では、車両１０が交差点の手前で停車しており、車両１０前方の横断歩道を人物Ｐが車両１０の進行方向に対して横断している例を示している。そして、同一物体認識部１１３は、例えば、車両１０前方の重複領域ＲＦ１において、車両前方に設置された両方のカメラ２１，２２の画像データに含まれている物体を、同一物体として抽出する。例えば、図３及び後述する図５Ａ，５Ｂの例では、人物Ｐ、横断歩道７１、縁石７２等が同一物体として抽出される。すなわち、同一物体認識部１１３による抽出処理は、重複領域ＲＦを撮像している両カメラ２１，２２の撮影結果を対照することにより行われる。なお、同一物体は、上記に限定されるものではなく、他車両、標識等の別の物体であってもよい。
位置ずれ検出部１１４は、重複領域における同一物体の互いの位置がずれているかどうかを判定し、位置ずれが発生している場合に、複数のカメラ２０を同期させる同期指示信号を出力する。例えば、図３の例において、カメラ２１で重複領域ＲＦを撮像した画像から抽出された物体と、カメラ２２で重複領域ＲＦを撮像した画像から抽出された物体とを対照して同一物体を抽出し、互いの同一物体に位置ずれがないかどうかを判定する。位置ずれの判定方法は、特に限定されないが、例えば、物体認識部１１１で、同一物体の中で静止物体と認識された物体同士を互いに重ねあわせ、他の同一物体の位置ずれがないかどうかを確認する方法が採用できる。本実施形態では、物体認識部１１１、同一物体認識部１１３及び位置ずれ検出部１１４により同期処理部に相当する機能が実現されている例を示している。
（外部環境認識装置の動作）
次に、図４〜図６を参照しつつ、外部環境認識装置の動作について説明する。
図４において、ステップＳ１１からステップＳ１３は、各カメラ２０で画像が撮像されてから物体認識部１１１による同一物体の抽出までを示している。
ステップＳ１１では、図６に示すように、まず、位置ずれ検出部１１４から各カメラ２１，２２，…，２８に同期処理信号が送られて、同期処理が実行される。同期処理後、各カメラ２１，２２，…，２８が撮像を開始する。各カメラ２１，２２，…，２８は、自機内のクロック信号に基づいて、撮像結果を物体認識部１１１に送信する。物体認識部１１１では、各カメラ２１，２２，…，２８から受信される撮像データを画像データに変換し、画像データに含まれる物体を検知する。図６では、説明の理解が容易になるように、「Ｐ」の文字の後に、カメラの識別番号を付し、ハイフンの後に、同一タイミングの画像について同じ番号が付されるようにしている。例えば、図６において、Ｐ１−１は、カメラ２１で撮像された１番目の画像を示し、Ｐ１−２は、カメラ２１で撮像された２番目の画像を示し、Ｐ２−１は、カメラ２２で撮像された１番目の画像を示している。そして、ｗ、ｘ、ｙ、ｚは、それぞれ、ｚ＝ｙ＋１＝ｘ＋２＝ｗ＋３の関係にあるものとする。
ステップＳ１２では、物体認識部１１１は、各物体についての分類分けを行うとともに、それぞれの物体の位置を推定する。各物体の位置の推定方法は、特に限定されないが、例えば、撮像データから３次元空間を復元する手法を使用して推定してもよい。また、例えば、各カメラ２１，２２，…，２８の取付位置を基に推定してもよいし、基準となる物体を決めて、その基準となる物体との位置関係を基に推定してもよい。
ステップＳ１３では、同一物体認識部１１３は、重複領域ＲＦ内における同一物体の抽出をする。例えば、図５Ａ及び図５Ｂは、上段左側にカメラ２１での撮像結果、上段右側にカメラ２２での撮像結果を示している。それぞれの撮像結果の仮想線の内側の領域が重複領域ＲＦ１となっている。図５Ａ及び図５Ｂの例では、同一物体認識部１１３は、各図の上段左右の両画像データにおいて、例えば、横断歩道７１、横断歩道７１を渡っている人物Ｐ、画像の奥側に見えるＬ字状の縁石７２、停止線７３を同一物体として認識する。このとき、同一物体認識部１１３は、時間的に前後する画像を参照したり、予め格納されたテンプレート等を参照して、同一物体のうち、横断歩道７１、縁石７２、停止線７３は静止物体であり、人物Ｐは動いている物体であることを特定するようにしてもよい。
次のステップＳ１４では、位置ずれ検出部１１４は、カメラ２１で撮像された重複領域ＲＦの画像と、カメラ２２で撮像された重複領域ＲＦの画像との間の位置ずれを検出する。図５Ａは位置ずれがない場合の画像例を示しており、図５Ｂは位置ずれがある場合の画像例を示している。位置ずれ検出部１１４は、例えば、カメラ２１，２２の両撮像画像から、同一物体でかつ静止物体としての縁石７２の手前側のコーナー７２ａを特定し、それらを互いに重ねあわせることで、両画像の位置合わせをし、コーナー７２ａ以外の物体の重なり具合を見ることで、両画像の位置ずれを検出する。そうすることで、例えば、図５Ａでは、すべての同一物体において位置ずれがないことが検出される。
図４に戻り、ステップＳ１４で位置ずれが検出されなかった場合、次のステップＳ１５でＮＯ判定となり、フローは前述のステップＳ１１に戻る。
一方で、図５Ｂでは、人物Ｐに画像ぶれが発生して位置ずれがあることが検出される。位置ずれ検出部１１４において、位置ずれが検出されると、位置ずれ検出部１１４は、例えば図６に示すように、位置ずれが発生していることを示すフラグを立てる。図６の例では、カメラ２１の画像Ｐ１−ｗと、カメラ２８の画像Ｐ８−ｗとは、同じタイミングの画像であるが、カメラ２２の画像Ｐ２−ｘがカメラ２１，２８と異なるタイミングの画像であるため、位置ずれが発生し、位置ずれ検出フラグが立っている。
図４に戻り、ステップＳ１４で位置ずれが検出された場合には、次のステップＳ１５でＹＥＳ判定となり、位置ずれ検出部１１４は、カメラ２０の同期処理が実施ずみかどうかを確認する（ステップＳ１６）。すなわち、位置ずれ検出部１１４は、後述するステップＳ１７での同期処理がすでに実行済みかどうかを確認する。
ステップＳ１６において、カメラ２０の同期処理が未実施の場合（ステップＳ１６でＮＯの場合）、位置ずれ検出部１１４は、位置ずれが発生しているカメラ２０を同期させる同期処理をする（ステップＳ１７）。例えば、位置ずれ検出部１１４は、同期処理の対象となるカメラ２０に対して同期処理信号を送信することにより、カメラ２０の同期処理を行う。ここでの同期処理は、図６に示すように、すべてのカメラを対象として同期処理を行うようにしてもよいし、位置ずれが確認された重複領域ＲＦを撮像しているカメラ２０（図５Ｂの例では、カメラ２１，２２）に対して同期処理を行うようにしてもよい。具体的なカメラ２０の同期処理の方法は、従来から知られている方法を用いることができるので、ここではその詳細説明を省略する。ステップＳ１７での同期処理が終わると、フローは、ステップＳ１１に戻る。
一方で、ステップＳ１６において、カメラ２０の同期処理がすでに実施ずみの場合（ステップＳ１６でＹＥＳの場合）、演算装置１００は、位置ずれが同期処理によっては解消されなかったことを報知する（ステップＳ１８）。カメラ２０の同期処理で位置ずれが解消されない場合、外部からの衝撃等により、「カメラ２０の取付位置自体がずれている」というように物理的な位置ずれの可能性があるため、運転者等に状況確認を促すことができる。なお、ステップＳ１８における報知方法は、特に限定されず、例えば、警告音、警告灯、カーナビ等の表示画面等を介して報知することができる。
図１に戻り、以下において、候補経路生成部１５１よりも後段のブロックについて、簡単に説明する。
車両挙動推定部１５２は、車速センサ、加速度センサ、ヨーレートセンサ等の車両の挙動を検出するセンサ類の出力から、車両の状態を推定する。車両挙動推定部１５２は、車両の挙動を示す車両６軸モデルを生成する。
乗員挙動推定部１５３は、乗員状態センサ３５の検出結果から、特に、運転者の健康状態や感情を推定する。健康状態としては、例えば、健康、軽い疲労、体調不良、意識低下等がある。感情としては、例えば、楽しい、普通、退屈、イライラ、不快等がある。
経路決定部１５４は、乗員挙動推定部１５３の出力に基づいて、車両１０が走行すべき経路を決定する。候補経路生成部１５１が生成した経路が１つである場合には、経路決定部１５４は当該経路を車両１０が走行すべき経路とする。候補経路生成部１５１が生成した経路が複数ある場合には、乗員挙動推定部１５３の出力を考慮して、例えば、複数の候補経路のうち乗員（特に運転者）が最も快適と感じる経路、すなわち、障害物を回避するに当たって慎重過ぎるなどの冗長さを運転者に感じさせない経路を選択する。
車両運動決定部１５５は、経路決定部１５４が決定した走行経路について、目標運動を決定する。目標運動とは、走行経路を追従するような操舵および加減速のことをいう。また、車両運動決定部１５５は、車両６軸モデルを参照して、経路決定部１５４が選択した走行経路について、車体の動きを演算する。
物理量算出部は、目標運動を達成するための駆動力、制動力、操舵量を算出するものであり、駆動力算出部１６１、制動力算出部１６２、及び操舵量算出部１６３で構成されている。駆動力算出部１６１は、目標運動を達成するために、パワートレイン装置（エンジン及びトランスミッション）が生成すべき目標駆動力を算出する。制動力算出部１６２は、目標運動を達成するために、ブレーキ装置が生成すべき目標制動力を算出する。操舵量算出部１６３は、目標運動を達成するために、ステアリング装置が生成すべき目標操舵量を算出する。
周辺機器動作設定部１７０は、車両運動決定部１５５の出力に基づいて、ランプやドアなどの車両１０のボディ関係のデバイスの動作を設定する。なお、デバイスには、自動車が走行する際や駐停車している際に制御されるアクチュエータやセンサ等の装置類が含まれる。
〈演算装置の出力先〉
演算装置１００での演算結果は、コントロールユニット５０及びボディ系マイコン６０に出力される。コントロールユニット５０は、パワートレインマイコン５１、ブレーキマイコン５２、ステアリングマイコン５３で構成される。具体的に、パワートレインマイコン５１には、駆動力算出部１６１が算出した目標駆動力に関する情報が入力され、ブレーキマイコン５２には、制動力算出部１６２が算出した目標制動力に関する情報が入力され、ステアリングマイコン５３には、操舵量算出部１６３が算出した目標操舵量に関する情報が入力され、ボディ系マイコン６０には、周辺機器動作設定部１７０が設定したボディ関係の各デバイスの動作に関する情報が入力される。なお、ステアリングマイコン５３は、電動パワーステアリング(ＥＰＡＳ)用のマイコンを含む。
以上をまとめると、本実施形態の外部環境認識装置は、それぞれに車外環境を撮像する撮像部２０ａを有し、撮像部２０ａの撮像範囲の少なくとも一部同士が互いに重複する重複領域ＲＦを有するように配置された複数のカメラ２０と、各カメラ２０の撮像結果から重複領域ＲＦにおける同一の物体（例えば、人物Ｐ）を抽出し、重複領域ＲＦにおける同一の物体の互いの位置がずれている場合に、複数のカメラ２０を同期させる同期処理をする同期処理部とを備える。
本実施形態によると、外部環境認識装置において、重複領域ＲＦにおける同一の物体の互いの位置がずれている場合に、複数のカメラ２０を同期させる同期処理をするので、位置ずれの発生したタイミングにあわせて、カメラ２０の同期処理を実行することができる。また、カメラ２０の撮像結果に位置ずれが発生しない場合、すなわち、カメラ２０同士が互いに同期が取れている状態が継続している期間については、同期処理を実行しないようにすることができる。これにより、特許文献１のように、周期的に同期処理を実行する場合と比較して、同期処理をするための処理リソースを節約することができる。さらに、カメラ２０に対して同期処理を行うので、カメラ２０から同期処理後の出力信号を得ることができる。すなわち、車外環境の認識のための各種画像処理等を行う前の段階の信号を同期させることができるので、画像処理等の処理負荷を低減することができる。
（その他の実施形態）
上記実施形態では、外部環境認識センサとして、カメラ２０を用いた例を示しているが、外部環境認識センサは、カメラ２０に限定されず、他のセンサデバイス３０であってもよい。例えば、外部環境認識センサとして、カメラ２０に加えて、または、代えて、レーダ３２を用いてもよい。
上記実施形態では、重複領域ＲＦの中から静止物体（例えば、縁石７２）を抽出し、静止物体（例えば、縁石７２のコーナー７２ａ）同士を互いに重ねあわせることで、同一の物体（例えば、人物Ｐ）の互いの位置がずれていることを検出する例を示したが、同一の物体の互いの位置がずれているか否かの判定方法は、これに限定されない。例えば、カメラ２０の取付位置は固定されているので、互いに重なる領域の位置関係を、カメラ２０の取付位置を基に直接重ねあわせるようにしてもよいし、物体間の物理的な距離を基に判定してもよい。ただし、静止物体を特定して、それを互いに重ねあわせることで、より正確に位置合わせをすることができる。
上記実施形態では、車両１０が交差点に停止しているときに、外部環境認識装置が同期処理を行っている例を示したが、車両１０の走行中に、図４と同様のフロー（位置ずれ検出と同期処理）を実行するようにしてもよい。
また、複数の重複領域の画像を用いて、位置ずれが発生しているカメラ２０を特定するようにしてもよい。具体的には、カメラ２１，２２の重複領域ＲＦ１に加えて、カメラ２１，２８の重複領域ＲＦ２と、カメラ２２，２３の重複領域ＲＦ３とにおいて、上記実施形態と同様の位置ずれ検出処理を実行する。このとき、重複領域ＲＦ１において、図５Ｂに示すような位置ずれが発生した場合に、重複領域ＲＦ２でも同様の位置ずれが発生していれば、カメラ２０に位置連れが発生していると特定することができる。このように、位置ずれが発生しているカメラを特定することで、そのカメラのみに同期処理を実行したり、ユーザー等に報知したりすることができる。
ここに開示された技術は、自律移動体の外部環境を認識する外部環境認識装置として有用である。
１０ 車両（自律移動体）
２０ カメラ（外部環境認識センサ）
２０ａ 撮像部（情報検知部）

Claims (4)

  1. 自律移動体の外部環境を認識する外部環境認識装置であって、
    それぞれに車外環境の情報を検知する情報検知部を有し、該情報検知部の検知範囲の少なくとも一部同士が互いに重複する重複領域を有するように配置された複数の外部環境認識センサと、
    前記各外部環境認識センサの検出結果から前記重複領域における同一の物体を抽出し、前記重複領域における前記同一の物体の互いの位置がずれている場合に、前記複数の外部環境認識センサを同期させる同期処理をする同期処理部とを備える
    ことを特徴とする外部環境認識装置。
  2. 請求項１に記載の外部環境認識装置において、
    前記複数の外部環境認識センサは、前記重複領域を有するように配置された複数のカメラを含み、
    前記同期処理部は、前記複数のカメラの重複領域の画像から同一の物体を抽出し、前記同一の物体の中から静止物体を特定し、当該静止物体同士を互いに重ねあわせることで、前記同一の物体の互いの位置がずれているか否かを判定する
    ことを特徴とする外部環境認識装置。
  3. 請求項１に記載の外部環境認識装置において、
    前記同期処理部は、前記自律移動体の移動速度が所定の閾値未満のときに検出された前記重複領域における同一の物体の抽出結果を基に前記同一の物体の互いの位置がずれているか否かを判定する
    ことを特徴とする外部環境認識装置。
  4. 請求項１に記載の外部環境認識装置において、
    前記同期処理部が前記同期処理を実行した後に、前記同一の物体の互いの位置ずれが解消されなかった場合に、前記外部環境認識センサの異常を報知する異常報知手段を備える
    ことを特徴とする外部環境認識装置。
JP2019111369A 2019-06-14 2019-06-14 外部環境認識装置 Pending JP2020205498A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019111369A JP2020205498A (ja) 2019-06-14 2019-06-14 外部環境認識装置
EP20821843.8A EP3982625A4 (en) 2019-06-14 2020-03-13 OUTSIDE ENVIRONMENT DETECTION DEVICE
US17/618,517 US11961307B2 (en) 2019-06-14 2020-03-13 Outside environment recognition device
PCT/JP2020/011261 WO2020250520A1 (ja) 2019-06-14 2020-03-13 外部環境認識装置
CN202080038377.XA CN113875223B (zh) 2019-06-14 2020-03-13 外部环境识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019111369A JP2020205498A (ja) 2019-06-14 2019-06-14 外部環境認識装置

Publications (1)

Publication Number Publication Date
JP2020205498A true JP2020205498A (ja) 2020-12-24

Family

ID=73781762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019111369A Pending JP2020205498A (ja) 2019-06-14 2019-06-14 外部環境認識装置

Country Status (5)

Country Link
US (1) US11961307B2 (ja)
EP (1) EP3982625A4 (ja)
JP (1) JP2020205498A (ja)
CN (1) CN113875223B (ja)
WO (1) WO2020250520A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348575A (ja) * 2002-05-27 2003-12-05 Fuji Heavy Ind Ltd ステレオ式車外監視装置およびその制御方法
JP2008211373A (ja) * 2007-02-23 2008-09-11 Toyota Motor Corp 車両用周辺監視装置及び車両用周辺監視方法
WO2013094115A1 (ja) * 2011-12-19 2013-06-27 日本電気株式会社 時刻同期情報算出装置、時刻同期情報算出方法および時刻同期情報算出プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868913B2 (en) 2003-10-10 2011-01-11 Nissan Motor Co., Ltd. Apparatus for converting images of vehicle surroundings
JP2005117554A (ja) 2003-10-10 2005-04-28 Nissan Motor Co Ltd 車両周囲画像変換装置
JP5683025B2 (ja) * 2010-04-19 2015-03-11 パナソニックＩｐマネジメント株式会社 立体画像撮影装置および立体画像撮影方法
FR2967324B1 (fr) * 2010-11-05 2016-11-04 Transvideo Procede et dispositif de controle du dephasage entre cameras stereoscopiques
JP5568458B2 (ja) 2010-12-24 2014-08-06 京セラ株式会社 ステレオカメラ装置
JP2015052548A (ja) * 2013-09-09 2015-03-19 富士重工業株式会社 車外環境認識装置
JP6194819B2 (ja) * 2014-03-03 2017-09-13 Smk株式会社 画像処理システム
JP6313646B2 (ja) * 2014-04-24 2018-04-18 日立オートモティブシステムズ株式会社 外界認識装置
JP6752024B2 (ja) * 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
CN106686303A (zh) * 2016-12-05 2017-05-17 上海小蚁科技有限公司 相机系统和用于控制多个相机的方法
US10798368B2 (en) * 2018-03-13 2020-10-06 Lyft, Inc. Exposure coordination for multiple cameras
JP7271215B2 (ja) * 2019-02-18 2023-05-11 キヤノン株式会社 同期制御装置、同期制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348575A (ja) * 2002-05-27 2003-12-05 Fuji Heavy Ind Ltd ステレオ式車外監視装置およびその制御方法
JP2008211373A (ja) * 2007-02-23 2008-09-11 Toyota Motor Corp 車両用周辺監視装置及び車両用周辺監視方法
WO2013094115A1 (ja) * 2011-12-19 2013-06-27 日本電気株式会社 時刻同期情報算出装置、時刻同期情報算出方法および時刻同期情報算出プログラム

Also Published As

Publication number Publication date
CN113875223A (zh) 2021-12-31
US11961307B2 (en) 2024-04-16
EP3982625A1 (en) 2022-04-13
EP3982625A4 (en) 2022-08-17
CN113875223B (zh) 2024-02-06
WO2020250520A1 (ja) 2020-12-17
US20220237920A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
JP6944308B2 (ja) 制御装置、制御システム、および制御方法
US20210403037A1 (en) Arithmetic operation system for vehicles
US11242066B2 (en) Vehicle control apparatus and vehicle control system and vehicle control method thereof
JPWO2017029847A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10940860B2 (en) Vehicle control device, vehicle control method, and storage medium
US11308357B2 (en) Training data generation apparatus
CN110239549B (zh) 车辆控制装置、车辆控制方法及存储介质
CN112046500A (zh) 自动驾驶装置和方法
CN112046502B (zh) 自动驾驶装置和方法
JP7071250B2 (ja) 車両制御装置、車両制御方法、及びプログラム
CN110281934B (zh) 车辆控制装置、车辆控制方法及存储介质
CN112046481B (zh) 自动驾驶装置和方法
US11332124B2 (en) Vehicular control system
JP7112255B2 (ja) 車両データの時刻同期装置及び方法
US20220222936A1 (en) Outside environment recognition device
CN114008698A (zh) 外部环境识别装置
WO2020250520A1 (ja) 外部環境認識装置
CN115959112A (zh) 车辆控制装置、车辆控制方法及存储介质
CN115179863A (zh) 移动体的控制装置及控制方法、存储介质以及车辆
CN111762164A (zh) 车辆控制装置、车辆控制方法及存储介质
JP7298323B2 (ja) 外部環境認識装置
US11970186B2 (en) Arithmetic operation system for vehicles
CN112172804B (zh) 车辆控制装置、车辆控制方法及存储介质
JP7441839B2 (ja) 異常検出装置と異常検出方法およびプログラムと情報処理システム
US20210403038A1 (en) Arithmetic operation system for vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230704