JP2020166409A - 車載装置、車載システムおよび周辺監視方法 - Google Patents

車載装置、車載システムおよび周辺監視方法 Download PDF

Info

Publication number
JP2020166409A
JP2020166409A JP2019064655A JP2019064655A JP2020166409A JP 2020166409 A JP2020166409 A JP 2020166409A JP 2019064655 A JP2019064655 A JP 2019064655A JP 2019064655 A JP2019064655 A JP 2019064655A JP 2020166409 A JP2020166409 A JP 2020166409A
Authority
JP
Japan
Prior art keywords
detection
vehicle
unit
camera
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019064655A
Other languages
English (en)
Other versions
JP7195200B2 (ja
Inventor
周樹 村角
Shuki Murakado
周樹 村角
武生 松本
Takeo Matsumoto
武生 松本
博丈 須佐美
Hirotake Susami
博丈 須佐美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2019064655A priority Critical patent/JP7195200B2/ja
Publication of JP2020166409A publication Critical patent/JP2020166409A/ja
Application granted granted Critical
Publication of JP7195200B2 publication Critical patent/JP7195200B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】物体の検知精度を向上させること。【解決手段】実施形態に係る車載装置は、車両に搭載された複数のカメラの撮像映像に基づいて車両の周辺の物体を検知する車載装置であって、取得部と、決定部と、角度算出部と、検知制御部と、検知部とを備える。取得部は、車両の走行状況を取得する。決定部は、取得部によって取得された走行状況に応じて物体の検知対象領域を決定する。角度算出部は、決定部によって決定された検知対象領域および走行状況に応じて、検知対象領域に対する車両の進入角度を算出する。検知制御部は、角度算出部によって算出された進入角度に応じて、物体の検知に関する検知条件を変更する。検知部は、検知制御部によって変更された検知条件およびカメラの撮像映像に基づいて物体を検知する。【選択図】図2

Description

開示の実施形態は、車載装置、車載システムおよび周辺監視方法に関する。
従来、交差点等において車両の移動方向に対し存在する物体をカメラ等の周辺監視センサによって検知する技術が知られている(たとえば、特許文献1参照)。
特開2015−230567号公報
しかしながら、上述した従来技術には、物体の検知精度を向上させるうえで更なる改善の余地がある。
たとえば、交差点を右左折等で曲がる場合、車両が曲がる先を横切る横断歩道は、車両が曲がり始める前と、曲がっている途中と、曲がり終えた後では、車両の移動方向に対して位置や向きが異なる。
このため、たとえばフロントカメラの映像に基づいて物体を検知しようとする場合、その映像上において、上述のように見え方の異なる横断歩道を常に含むような固定領域を検知対象領域にしてしまうと、検知する必要のない物体を検知してしまう誤検知や、物体を見落してしまう未検知の発生頻度が高まるおそれがある。
実施形態の一態様は、上記に鑑みてなされたものであって、物体の検知精度を向上させることができる車載装置、車載システムおよび周辺監視方法を提供することを目的とする。
実施形態の一態様に係る車載装置は、車両に搭載された複数のカメラの撮像映像に基づいて前記車両の周辺の物体を検知する車載装置であって、取得部と、決定部と、角度算出部と、検知制御部と、検知部とを備える。前記取得部は、前記車両の走行状況を取得する。前記決定部は、前記取得部によって取得された前記走行状況に応じて物体の検知対象領域を決定する。前記角度算出部は、前記決定部によって決定された前記検知対象領域および前記走行状況に応じて、前記検知対象領域に対する前記車両の進入角度を算出する。前記検知制御部は、前記角度算出部によって算出された前記進入角度に応じて、物体の検知に関する検知条件を変更する。前記検知部は、前記検知制御部によって変更された前記検知条件および前記カメラの撮像映像に基づいて物体を検知する。
実施形態の一態様によれば、物体の検知精度を向上させることができる。
図1Aは、実施形態に係る周辺監視方法の概要説明図(その1)である。 図1Bは、実施形態に係る周辺監視方法の概要説明図(その2)である。 図1Cは、実施形態に係る周辺監視方法の概要説明図(その3)である。 図1Dは、実施形態に係る周辺監視方法の概要説明図(その4)である。 図2は、実施形態に係る車載システムのブロック図である。 図3Aは、実施形態に係る検知条件の変更の具体例を示す図(その1)である。 図3Bは、実施形態に係る検知条件の変更の具体例を示す図(その2)である。 図3Cは、実施形態に係る検知条件の変更の具体例を示す図(その3)である。 図3Dは、実施形態に係る検知条件の変更の具体例を示す図(その4)である。 図4Aは、変形例に係る検知条件の変更の具体例を示す図(その1)である。 図4Bは、変形例に係る検知条件の変更の具体例を示す図(その2)である。 図4Cは、変形例に係る検知条件の変更の具体例を示す図(その3)である。 図5は、実施形態に係る車載装置が実行する処理手順を示すフローチャートである。
以下、添付図面を参照して、本願の開示する車載装置、車載システムおよび周辺監視方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
また、以下では、実施形態に係る周辺監視方法の概要について図1A〜図1Dを用いて説明した後に、実施形態に係る周辺監視方法を適用した車載システム1について、図2〜図5を用いて説明することとする。
まず、実施形態に係る周辺監視方法の概要について図1A〜図1Dを用いて説明する。図1A〜図1Dは、実施形態に係る周辺監視方法の概要説明図(その1)〜(その4)である。
なお、以下では、図1Aに示すように、交差点において車両Vが右折する場合を想定して説明を行う。図1Aに示すように、車両Vが右折するシーンでは、たとえば車両Vが曲がる先の横断歩道に自転車Bが進入してくることがある。実施形態に係る周辺監視方法は、このようなケースのたとえば横断歩道を、重点的に物体を検知したい検知対象領域DRとして、かかる検知対象領域DRにおける検知精度を高めようとするものである。
ただし、図1Bに示すように、車両Vが右折する各シーンにおいて、時々刻々と変化する検知対象領域DRをすべて含むように、たとえば映像の全体や固定領域FRを物体の検知範囲としてしまうと、誤検知や未検知の発生機会を増やしてしまうおそれがある。
たとえば、図1Bの上段のシーンでは、図中にM1部として示すように、車両Vが曲がる方向とは逆の歩道が固定領域FRに含まれると、かかる歩道を歩行中の歩行者等を検知してしまうおそれがある。
また、たとえば、図1Bの中段のシーンでは、図中にM2部として示すように、検知対象領域DRには含まれない横断歩道が固定領域FRに含まれると、かかる横断歩道を歩行中の歩行者等を検知してしまうおそれがある。
また、たとえば、図1Cの下段のシーンでは、図中にM3部として示すように、車両Vが曲がった先の、検知対象領域DRには含まれない歩道が固定領域FRに含まれると、かかる歩道を歩行中の歩行者等を検知してしまうおそれがある。
そこで、実施形態に係る周辺監視方法では、車両Vの走行状況に応じて検知対象領域DRを決定し、かかる検知対象領域DRに対する車両Vの進入角度を算出して、算出した進入角度に応じ、物体の検知条件を変更することとした。
なお、ここに言う検知条件は、たとえば車両Vに搭載された複数の周辺監視カメラそれぞれの重み付けや、検知強度(「信頼度」と言い換えても可)等である。
具体的には、図1Cに示すように、実施形態に係る周辺監視方法では、車両Vに搭載された複数のカメラ4を用いる。カメラ4は、たとえば車両Vの前方を撮像範囲とするフロントカメラ4−Fと、車両Vの右側方を撮像範囲とするライトサイドカメラ4−Rと、車両Vの左側方を撮像範囲とするレフトサイドカメラ4−Lと、車両Vの後方を撮像範囲とするバックカメラ4−Bである。なお、図1Cは、カメラ4それぞれの搭載箇所や撮像範囲を限定するものではない。
そして、実施形態に係る周辺監視方法では、まず車両Vの走行状況を随時取得する。かかる走行状況は、たとえばナビ情報に基づく予測経路や現在位置、車速、ウィンカー操作の態様、舵角等である。そして、実施形態に係る周辺監視方法では、取得した走行状況に基づき、検知対象領域DRを決定する。
そのうえで、実施形態に係る周辺監視方法では、決定した検知対象領域DRに対する車両Vの進入角度を算出する。ここで、「進入角度」は、図1Dに示すように、決定した「検知対象領域DRの延在方向」と、「車両Vの進行方向」とがなす角度θである。したがって、かかる進入角度θは、車両Vが曲がり終えるまでに鋭角から徐々に大きくなることになる。そして、実施形態に係る周辺監視方法では、かかる進入角度θの変化に応じて、物体の検知条件を動的に変更する。
ここで、検知対象領域DRの延在方向とは、物理形状的には検知対象領域DRの形状に沿った方向と考えることができる。たとえば検知対象領域DRが横断歩道であれば、入口の歩道と出口の歩道を結ぶ直線を延在方向とすることができる。また検知対象領域DRが道路であれば、道路に沿う方向を延在方向とすることができる。
また、検知対象領域DRの延在方向とは、機能意味的には検知対象領域DRにおいて検知対象物が主に動くと想定する方向と考えることもできる。たとえば検知対象領域DRが横断歩道であれば、検知対象物である歩行者や自転車が主に動く方向を延在方向とすることができる。また検知対象領域DRが道路であれば、検知対象物である自動車が主に動く方向を延在方向とすることができる。
つまり、進入角度とは、想定する検知対象物の移動方向に対して自車の進行方向とが交差するときの角度と考えることができる。
たとえば、実施形態に係る周辺監視方法では、かかる検知条件の変更の一例として、図1Dに示すように、検知対象領域DRにおける物体の検知に関し、ライトサイドカメラ4−Rを主たる「メイン」のカメラと重み付けし、フロントカメラ4−Fを従たる「サブ」のカメラと重み付けする。言い換えれば、ライトサイドカメラ4−Rをメインカメラとして選定し、フロントカメラ4−Fをサブカメラとして選定し、その他のカメラ4については選定しない。
そのうえで、実施形態に係る周辺監視方法では、ライトサイドカメラ4−R,フロントカメラ4−Fそれぞれの撮像範囲によってカバーされた各領域の撮像映像を、前述の重み付けに応じて用いつつ物体を検知する。
これにより、進入角度θの変化に応じた検知対象領域DRに対する最適なカメラ4の撮像映像による検知が可能となり、車両Vのドライバーの死角をフォローしつつ、精度のよい物体の検知が可能となる。なお、検知条件の変更のより具体的な例については、図3A〜図4Cを用いた説明で後述する。
このように、実施形態に係る周辺監視方法では、車両Vの走行状況に応じて検知対象領域DRを決定し、かかる検知対象領域DRに対する車両Vの進入角度θを算出して、かかる進入角度θの変化に応じ、カメラ4それぞれの重み付けを含む物体の検知条件を動的に変更することとした。
したがって、実施形態に係る周辺監視方法によれば、車両Vの移動方向に対し存在する物体の検知精度を向上させることができる。以下、実施形態に係る周辺監視方法を適用した車載装置10を含む、車載システム1の構成例について、図2以降を用いてより具体的に説明する。
図2は、実施形態に係る車載システム1のブロック図である。なお、図2では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。
換言すれば、図2に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
図2に示すように、車載システム1は、GPS(Global Positioning System)センサ2、舵角センサ3を含む各種センサと、カメラ4、たとえばフロントカメラ4−F,ライトサイドカメラ4−R,レフトサイドカメラ4−L,バックカメラ4−Bと、車載装置10と、車両制御装置20とを含む。
車載装置10は、記憶部11と、制御部12とを備える。また、車載装置10は、車両Vの各種の挙動を制御する車両制御装置20、および、GPSセンサ2、舵角センサ3、カメラ4等とは、CAN(Controller Area Network)等の通信ネットワークを介して通信可能に接続される。
車両制御装置20は、車載装置10による物体の検知結果に基づいて、たとえばPCS(Pre-crash Safety System)やAEB(Advanced Emergency Braking System)等の車両制御を行う。また、車両制御装置20は、車載装置10による物体の検知結果に基づいて、自動運転制御を行う自動運転制御装置であってもよい。
記憶部11は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図2の例では、ナビ情報11aを記憶する。ナビ情報11aは、車両Vのカーナビゲーションシステムに関する情報であり、地図情報や、走行予定ルート等を含む。
制御部12は、コントローラ(controller)であり、たとえば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、車載装置10内部の記憶デバイスに記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部12は、たとえば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することができる。
制御部12は、取得部12aと、決定部12bと、角度算出部12cと、検知制御部12dと、検知部12eとを有し、以下に説明する情報処理の機能や作用を実現または実行する。
取得部12aは、GPSセンサ2や舵角センサ3といった各種センサのセンサ値、および、ナビ情報11aに基づいて、車両Vの走行状況を取得する。車両Vの走行状況とは、たとえば車両Vの位置、進行方向、右左折などの進路設定状況などを含む。また、取得部12aは、取得した走行状況を決定部12bへ通知する。
決定部12bは、取得部12aによって取得された車両Vの走行状況に基づいて、上述した検知対象領域DRを決定する。たとえば図1Aに示すように、車両Vの位置が交差点進入位置であり、進路設定状況が右折の場合は、車両Vから見て交差点右側の横断歩道を検知対象領域DRとして決定する。なお、一度検知対象領域DRが決定されたら、所定の条件を満たすまで変更されないことが好ましい。所定の条件とは、たとえば決定してから所定の時間が経過する、決定してから所定の距離を走行する、検知対象領域DRを交差して通過した、などである。また、決定部12bは、検知した検知対象領域DRを角度算出部12cへ通知する。
角度算出部12cは、取得部12aによって取得された走行状況、および、決定部12bによって決定された検知対象領域DRに基づいて、上述した進入角度θを算出する。また、角度算出部12cは、取得部12aによって随時取得される走行状況の変化に基づいて都度、進入角度θを更新する。また、角度算出部12cは、算出した進入角度θを検知制御部12dへ通知する。
検知制御部12dは、角度算出部12cによって算出される進入角度θに応じて検知条件を動的に変更する。
検知部12eは、検知制御部12dによって変更される検知条件に応じつつ、カメラ4からの撮像映像に基づいて物体を検知する。また、検知部12eは、検知結果をたとえば車両制御装置20へ通知する。
なお、検知部12eは、図示略の車載装置10の出力部へ検知結果を出力するようにしてもよい。出力部は、たとえば車室内に設けられたディスプレイやスピーカである。
ここで、実施形態に係る検知条件の変更の具体例について、図3A〜図3Dを用いて説明する。図3A〜図3Dは、実施形態に係る検知条件の変更の具体例を示す図(その1)〜(その4)である。
図3Aに示すように、角度算出部12cによって算出された進入角度θが所定の角度より小さい場合を考える。たとえば所定の角度を50°とし、進入角度θが「0°≦θ<20°」であった場合、検知制御部12dは、ライトサイドカメラ4−Rを「メイン」と重み付けし、フロントカメラ4−Fを「サブ」と重み付けする。
つまり、進入角度θが小さく、検知対象領域DRが車両Vの内輪側側方にある場合、主な撮像範囲が車両Vの内輪側の側方となるライトサイドカメラ4−Rを「メイン」と重み付けする。これにより「メイン」と重み付けしたカメラ4の主な撮像範囲内に検知対象領域DRを収めることができる。一方で、検知対象領域DRは写るかもしれないが、主な撮像範囲内には収められない可能性が高いフロントカメラ4−Fを「サブ」と重み付けする。なお、主な撮像範囲とは、カメラ4の撮像映像において検知処理を精度よく行うことができる範囲を指す。これは、たとえば画像の中央付近などである。
そして、検知制御部12dは、ライトサイドカメラ4−R,フロントカメラ4−Fそれぞれの撮像範囲によってカバーされた各領域の撮像映像をかかる重み付けに応じて用いさせ、検知部12eに物体を検知させる。
重み付けに応じて用いさせる、とは具体的には、検知部12eが物体を検知する際、複数のカメラ4の撮像映像それぞれの検出結果を統合するときの信頼度を変えるとよい。たとえば「メイン」と重み付けされたカメラ4の撮像映像に基づく検出結果の信頼度を、「サブ」と重み付けされたカメラ4の撮像映像に基づく検出結果よりも高く設定するなどである。
また、複数のカメラ4の撮像映像それぞれの検出処理を行う際の順序を変えるとよい。たとえば、「メイン」と重み付けされたカメラ4の撮像映像は、「サブ」と重み付けされたカメラ4の撮像映像より先に検出処理を行うなどである。
また、複数のカメラ4の撮像映像それぞれの検出処理を行う際の頻度を変えるとよい。たとえば、「メイン」と重み付けされたカメラ4の撮像映像は、「サブ」と重み付けされたカメラ4の撮像映像より高い頻度に検出処理を行うなどである。具体的には、「メイン」の重み付けの場合は毎フレーム検出を行い、「サブ」の重み付けの時は数フレームおきの検出にするなどである。
また、設定する重みとして例えばゼロなどを設定することもできる。ゼロと設定されたカメラ4の撮像映像は、検知部12eにおいて物体の検出に用いない処理としてもよい。この場合は、換言すると、検知部12eにおいて物体の検出に用いるカメラ4と用いないカメラ4とを設定する、と言うこともできる。たとえば図3Aの場合、レフトサイドカメラ4−Lやバックカメラ4−Bには検知対象領域DRが写らない可能性が高い。そのため、検知部12eでは検出に用いない、としても支障がない。またフロントカメラ4−Fのように「サブ」と設定したカメラ4も、検知対象領域DRを主な撮像範囲に収められない可能性が高いため、検出に用いない、としてもよい。
また、図3Bに示すように、角度算出部12cによって算出された進入角度θが大きくなったが、未だ所定の角度より小さいたとえば「20°≦θ<50°」である場合を考える。この場合も、検知制御部12dは、ライトサイドカメラ4−Rを「メイン」と重み付けし、フロントカメラ4−Fを「サブ」と重み付けする。
なお、図3Bの場合は、図3Aの場合に比べて、ライトサイドカメラ4−R,フロントカメラ4−Fそれぞれの撮像範囲によってカバーされる各領域は、時計回りに回転することとなる。そして、検知制御部12dは、図3Aの場合と同様に、かかる各領域の撮像映像を前述の重み付けに応じて用いさせ、検知部12eに物体を検知させる。
また、図3Cに示すように、角度算出部12cによって算出された進入角度θが所定の角度を超えて直角に近くなる場合を考える。たとえば進入角度θが「50°≦θ<80°」であった場合、検知制御部12dは、今度はフロントカメラ4−Fを「メイン」と重み付けし、ライトサイドカメラ4−Rを「サブ」と重み付けする。つまり、進入角度θが直角に近づいて検知対象領域DRが車両Vの前方に来た場合、主な撮像範囲が車両V正面となるフロントカメラ4−Fを「メイン」と重み付けする。これにより、「メイン」と重み付けしたカメラ4の主な撮像範囲内に検知対象領域DRを収めることができる。一方で、検知対象領域DRは写るかもしれないが、主な撮像範囲内には収められない可能性が高いライトサイドカメラ4−Rを「サブ」と重み付けする。
無論、図3Cの場合は、図3Bの場合に比べて、ライトサイドカメラ4−R,フロントカメラ4−Fそれぞれの撮像範囲によってカバーされる各領域は、さらに時計回りに回転することとなる。そして、検知制御部12dは、図3Aおよび図3Bの場合と同様に、かかる各領域の撮像映像を前述の重み付けに応じて用いさせ、検知部12eに物体を検知させる。
また、図3Dに示すように、角度算出部12cによって算出された進入角度θが直角に近いたとえば「80°≦θ<120°」であった場合、検知制御部12dは、フロントカメラ4−Fを「メイン」と重み付けし、ライトサイドカメラ4−Rおよびレフトサイドカメラ4−Lを「サブ」と重み付けする。
言うまでもなく、図3Dの場合は、図3Cの場合に比べて、ライトサイドカメラ4−R,フロントカメラ4−Fそれぞれの撮像範囲によってカバーされる各領域は、さらに時計回り回転することとなる。また、レフトサイドカメラ4−Lの撮像範囲によってカバーされる領域が加わることとなる。そして、検知制御部12dは、図3A〜図3Cの場合と同様に、かかる各領域の撮像映像を前述の重み付けに応じて用いさせ、検知部12eに物体を検知させる。
ここで、所定の角度は、どちらのカメラ4の主な撮像範囲に検知対象領域DRが主として写るかに基づいて決定するとよい。たとえば、上記の説明では一例として所定の角度を50°とした。これは50°を境にライトサイドカメラ4−Rの主な撮像範囲よりもフロントカメラ4−Fの主な撮像範囲に検知対象領域DRが主に写るようになる、と考えてもよい。所定の角度は、カメラ4の光学系などに基づき事前に設定しておくとよい。また検知対象領域DRと車両Vとの距離によって変化するようにしてもよい。
なお、実施形態に係る検知条件の変更の具体例は、図3A〜図3Dに示したものに限られない。次に、変形例に係る検知条件の変更の具体例について、図4A〜図4Cを用いて説明する。図4A〜図4Cは、変形例に係る検知条件の変更の具体例を示す図(その1)〜(その3)である。
ところで、検知部12eは、物体を検知するに際し、決定部12bによって決定された検知対象領域DRがカメラ4の撮像映像において該当する領域(以下、「該当領域AR」と言う)を抽出し、かかる該当領域ARにおいて物体の位置や速度ベクトルといった物体の特徴点を抽出することとなる。しかし、かかる特徴点の抽出において、該当領域AR全体に一律の定数を用いることは処理効率を低下させる一因となりうる。
そこで、図4Aに示すように、たとえば該当領域ARのうち、領域端、すなわち物体がカメラ4の撮像範囲に新たに写り込んでくる領域に相当するエリアAR−1に対し、重点的に特徴点を抽出するようにすれば、処理効率を向上させることができる。具体的には、図4Aに示すように、検知制御部12dは、自転車B等の物体が進入してくるエリアAR−1の重み付けを大きくし、かかるエリアAR−1に対し、検知部12eに重点的に特徴点を抽出させることができる。
また、移動する物体は、たとえば横ベクトルの動きが多ければ検知しやすい。そこで、図4Bに示すように、検知制御部12dが、横ベクトルの動きが多い映像を撮像したカメラ4を、進入角度θに応じた「メイン」として選定するようにしてもよい。これにより、移動物を検知しやすくすることが可能となる。
また、図4Cに示すように、検知制御部12dは、たとえば右折時において進入角度θが0°から120°へと変化するのに応じ、各カメラ4の検知強度を変化させるようにしてもよい。前述の説明では、2つのカメラ4に対して検知強度として「メイン」と「サブ」の2段階の重み付けを設定する処理を行った。これに対して、たとえば図4Cに示すように、検知制御部12dは、右折時において進入角度θが0°から120°へと変化するのに応じ、フロントカメラ4−Fの検知強度を「弱」→「中」→「強」と変化させてもよい。
また、検知制御部12dは、ライトサイドカメラ4−Rについては、その検知強度を「中」→「強」→「強」と変化させてもよい。また、検知制御部12dは、レフトサイドカメラ4−Lについては、その検知強度を「弱」→「中」→「強」と変化させてもよい。
なお、先の例とは異なり、進入角度θが直角に近い状態でも、側方カメラであるライトサイドカメラ4−R、および、レフトサイドカメラ4−Lの検知強度を高く設定しておいてもよい。たとえば検知対象領域DRが横断歩道の場合、横断歩道の入口および出口など、フロントカメラ4−Fでは撮像範囲の端に来るような前側方の物体検知を行うためである。
なお、検知強度は、上述したが「信頼度」と言い換えてもよい。また、「優先度」といってもよい。かかる検知強度は、たとえばカメラ4それぞれの撮像映像に基づく検知結果を総合判定する際の係数として用いることができ、これにより、進入角度θに応じて精度よく物体を検知するのに資することができる。
次に、実施形態に係る車載装置10が実行する処理手順について、図5を用いて説明する。図5は、実施形態に係る車載装置10が実行する処理手順を示すフローチャートである。
図5に示すように、まず取得部12aが走行状況を取得する(ステップS101)。そして、決定部12bが、取得された走行状況に応じて検知対象領域DRを決定する(ステップS102)。
そして、角度算出部12cが、決定された検知対象領域DRおよび走行状況に基づいて、検知対象領域DRに対する進入角度θを算出する(ステップS103)。そして、検知制御部12dが、算出された進入角度θに応じて検知条件を変更する(ステップS104)。
そして、検知部12eが、検知制御部12dの変更した検知条件に応じて物体を検知すし(ステップS105)、ステップS101からの処理を繰り返す。
上述してきたように、実施形態に係る車載装置10は、車両Vに搭載された複数のカメラ4の撮像映像に基づいて車両Vの周辺の物体を検知する車載装置10であって、取得部12aと、決定部12bと、角度算出部12cと、検知制御部12dと、検知部12eとを備える。取得部12aは、車両Vの走行状況を取得する。決定部12bは、取得部12aによって取得された走行状況に応じて物体の検知対象領域DRを決定する。角度算出部12cは、決定部12bによって決定された検知対象領域DRおよび走行状況に応じて、検知対象領域DRに対する車両Vの進入角度θを算出する。検知制御部12dは、角度算出部12cによって算出された進入角度θに応じて、物体の検知に関する検知条件を変更する。検知部12eは、検知制御部12dによって変更された検知条件およびカメラ4の撮像映像に基づいて物体を検知する。
したがって、実施形態に係る車載装置10によれば、物体の検知精度を向上させることができる。
また、角度算出部12cは、検知対象領域DRの延在方向と、車両Vの進行方向とがなす角度を進入角度θとして算出する。
したがって、実施形態に係る車載装置10によれば、車両Vの右左折時において車両Vの移動方向に存在する物体を精度よく検知することが可能となる。
また、検知制御部12dは、カメラ4それぞれの撮像範囲および進入角度θに基づいて、カメラ4の撮像映像それぞれに対して、検知部12eが物体を検知するときの重み付けをする。
したがって、実施形態に係る車載装置10によれば、主な撮像範囲内に検知対象領域DRを収めることができるカメラ4を「メイン」と重み付けしたり、検知対象領域DRは写るかもしれないが、主な撮像範囲内には検知対象領域DRを収められない可能性が高いカメラ4を「サブ」と重み付けしたりするなど、検知対象領域DRの撮像に適した検知条件設定を行うことができる。
また、検知制御部12dは、カメラ4それぞれの撮像映像を比較して、相対的に横ベクトルの動きが多い撮像映像を撮像したカメラ4を選定する。
したがって、実施形態に係る車載装置10によれば、移動する物体の検知精度を向上させることが可能となる。
また、検知制御部12dは、カメラ4の撮像映像において検知対象領域DRに該当する領域のうちの領域端に相当するエリアAR−1について、検知部12eに重点的に物体の特徴点を抽出させる。
したがって、実施形態に係る車載装置10によれば、処理効率よく移動する物体を検知させることが可能となる。
また、検知制御部12dは、進入角度θが直角に近づくに連れて車両Vの前方を主な撮像範囲とするカメラ4の検知強度を上げる。
したがって、実施形態に係る車載装置10によれば、検知対象領域DRに対する車両Vの移動方向が直角となるに連れて検知対象領域DRの撮像に最適となるフロントカメラ4−Fの検知強度を上げることにより、物体の検知精度を向上させることができる。
また、検知制御部12dは、進入角度θが所定の角度より小さい場合は、車両Vの前方を主な撮像範囲とするカメラ4の検知強度よりも、内輪側となる車両Vの側方を撮像範囲とするカメラ4の検知強度を上げる。
したがって、実施形態に係る車載装置10によれば、検知対象領域DRが車両Vの側方に位置する場合は、かかる場合の検知対象領域DRの撮像に最適となるライトサイドカメラ4−Rまたはレフトサイドカメラ4−Lの検知強度を上げることにより、物体の検知精度を向上させることができる。
なお、上述した実施形態では、右折時を例に挙げたが、左折時についても右折時とは左右対称となるだけで、他は同様に上述した実施形態を適用することができる。
また、上述した実施形態では、交差点を例に挙げたが、無論、公道からのコンビニエンスストア等への進入時や、駐車場内での移動時等、様々なシーンで上述した実施形態を適用することができる。
また、上述した実施形態では、カメラ4が4個設けられることとしたが、複数であればよく、2個または3個であってもよいし5個以上であってもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
1 車載システム
4 カメラ
4−B バックカメラ
4−F フロントカメラ
4−L レフトサイドカメラ
4−R ライトサイドカメラ
10 車載装置
11a ナビ情報
12a 取得部
12b 決定部
12c 角度算出部
12d 検知制御部
12e 検知部
20 車両制御装置
DR 検知対象領域
V 車両
θ 進入角度

Claims (9)

  1. 車両に搭載された複数のカメラの撮像映像に基づいて前記車両の周辺の物体を検知する車載装置であって、
    前記車両の走行状況を取得する取得部と、
    前記取得部によって取得された前記走行状況に応じて物体の検知対象領域を決定する決定部と、
    前記決定部によって決定された前記検知対象領域および前記走行状況に応じて、前記検知対象領域に対する前記車両の進入角度を算出する角度算出部と、
    前記角度算出部によって算出された前記進入角度に応じて、物体の検知に関する検知条件を変更する検知制御部と、
    前記検知制御部によって変更された前記検知条件および前記カメラの撮像映像に基づいて物体を検知する検知部と
    を備えることを特徴とする車載装置。
  2. 前記角度算出部は、
    前記検知対象領域の延在方向と、前記車両の進行方向とがなす角度を前記進入角度として算出する
    ことを特徴とする請求項1に記載の車載装置。
  3. 前記検知制御部は、
    前記カメラそれぞれの撮像範囲および前記進入角度に基づいて、前記カメラの撮像映像それぞれに対して、前記検知部が物体を検知するときの重み付けをする
    ことを特徴とする請求項1または2に記載の車載装置。
  4. 前記検知制御部は、
    前記カメラそれぞれの撮像映像を比較して、相対的に横ベクトルの動きが多い撮像映像を撮像した前記カメラを選定する
    ことを特徴とする請求項1、2または3に記載の車載装置。
  5. 前記検知制御部は、
    前記カメラの撮像映像において前記検知対象領域に該当する領域のうちの領域端に相当するエリアについて、前記検知部に重点的に物体の特徴点を抽出させる
    ことを特徴とする請求項1〜4のいずれか一つに記載の車載装置。
  6. 前記検知制御部は、
    前記進入角度が直角に近づくに連れて前記車両の前方を主な撮像範囲とする前記カメラの検知強度を上げる
    ことを特徴とする請求項1〜5のいずれか一つに記載の車載装置。
  7. 前記検知制御部は、
    前記進入角度が所定の角度より小さい場合は、前記車両の前方を主な撮像範囲とする前記カメラの検知強度よりも、内輪側となる前記車両の側方を撮像範囲とする前記カメラの検知強度を上げる
    ことを特徴とする請求項1〜6のいずれか一つに記載の車載装置。
  8. 請求項1〜7のいずれか一つに記載の車載装置と、
    複数の前記カメラを含む、前記走行状況を示すセンサ情報を出力可能な車載センサと
    を備えることを特徴とする車載システム。
  9. 車両に搭載された複数のカメラの撮像映像に基づいて前記車両の周辺の物体を検知する車載装置を用いた周辺監視方法であって、
    前記車両の走行状況を取得する取得工程と、
    前記取得工程によって取得された前記走行状況に応じて物体の検知対象領域を決定する決定工程と、
    前記決定工程によって決定された前記検知対象領域および前記走行状況に応じて、前記検知対象領域に対する前記車両の進入角度を算出する角度算出工程と、
    前記角度算出工程によって算出された前記進入角度に応じて、物体の検知に関する検知条件を変更する検知制御工程と、
    前記検知制御工程によって変更された前記検知条件および前記カメラの撮像映像に基づいて物体を検知する検知工程と
    を含むことを特徴とする周辺監視方法。
JP2019064655A 2019-03-28 2019-03-28 車載装置、車載システムおよび周辺監視方法 Active JP7195200B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019064655A JP7195200B2 (ja) 2019-03-28 2019-03-28 車載装置、車載システムおよび周辺監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019064655A JP7195200B2 (ja) 2019-03-28 2019-03-28 車載装置、車載システムおよび周辺監視方法

Publications (2)

Publication Number Publication Date
JP2020166409A true JP2020166409A (ja) 2020-10-08
JP7195200B2 JP7195200B2 (ja) 2022-12-23

Family

ID=72716192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019064655A Active JP7195200B2 (ja) 2019-03-28 2019-03-28 車載装置、車載システムおよび周辺監視方法

Country Status (1)

Country Link
JP (1) JP7195200B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022070524A1 (ja) 2020-09-30 2022-04-07 富士フイルム株式会社 圧電積層体及び圧電素子
WO2024069689A1 (ja) * 2022-09-26 2024-04-04 日産自動車株式会社 運転支援方法及び運転支援装置
DE102023210600A1 (de) 2022-10-31 2024-05-02 Mitsubishi Electric Corporation Objekterkennungsvorrichtung, objekterkennungsverfahren und programm

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146217A (ja) * 2007-12-14 2009-07-02 Hitachi Ltd ステレオカメラ装置
JP2010086406A (ja) * 2008-10-01 2010-04-15 Fujitsu Ten Ltd 画像認識装置および画像認識方法
JP2012014527A (ja) * 2010-07-01 2012-01-19 Toyota Motor Corp 歩行者検知装置
JP2012123470A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 物体検出装置及び物体検出方法
JP2014222421A (ja) * 2013-05-14 2014-11-27 株式会社デンソー 運転支援装置
JP2015170233A (ja) * 2014-03-10 2015-09-28 日立オートモティブシステムズ株式会社 複数の移動体との衝突回避システム
JP2017097522A (ja) * 2015-11-20 2017-06-01 株式会社東芝 情報伝達装置、情報伝達方法およびプログラム
US20180162387A1 (en) * 2016-12-08 2018-06-14 Hyundai Motor Company Vehicle and method for controlling thereof for collision avoidance
JP2018165098A (ja) * 2017-03-28 2018-10-25 マクセル株式会社 ヘッドアップディスプレイ装置
CN109070799A (zh) * 2016-04-14 2018-12-21 日产自动车株式会社 移动体周围显示方法及移动体周围显示装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146217A (ja) * 2007-12-14 2009-07-02 Hitachi Ltd ステレオカメラ装置
JP2010086406A (ja) * 2008-10-01 2010-04-15 Fujitsu Ten Ltd 画像認識装置および画像認識方法
JP2012014527A (ja) * 2010-07-01 2012-01-19 Toyota Motor Corp 歩行者検知装置
JP2012123470A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 物体検出装置及び物体検出方法
JP2014222421A (ja) * 2013-05-14 2014-11-27 株式会社デンソー 運転支援装置
JP2015170233A (ja) * 2014-03-10 2015-09-28 日立オートモティブシステムズ株式会社 複数の移動体との衝突回避システム
JP2017097522A (ja) * 2015-11-20 2017-06-01 株式会社東芝 情報伝達装置、情報伝達方法およびプログラム
CN109070799A (zh) * 2016-04-14 2018-12-21 日产自动车株式会社 移动体周围显示方法及移动体周围显示装置
US20180162387A1 (en) * 2016-12-08 2018-06-14 Hyundai Motor Company Vehicle and method for controlling thereof for collision avoidance
JP2018165098A (ja) * 2017-03-28 2018-10-25 マクセル株式会社 ヘッドアップディスプレイ装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022070524A1 (ja) 2020-09-30 2022-04-07 富士フイルム株式会社 圧電積層体及び圧電素子
WO2024069689A1 (ja) * 2022-09-26 2024-04-04 日産自動車株式会社 運転支援方法及び運転支援装置
DE102023210600A1 (de) 2022-10-31 2024-05-02 Mitsubishi Electric Corporation Objekterkennungsvorrichtung, objekterkennungsverfahren und programm

Also Published As

Publication number Publication date
JP7195200B2 (ja) 2022-12-23

Similar Documents

Publication Publication Date Title
JP6838248B2 (ja) 情報処理装置
JP6648411B2 (ja) 処理装置、処理システム、処理プログラム及び処理方法
JP6611353B2 (ja) 画像処理装置、外界認識装置
JP5421072B2 (ja) 接近物体検知システム
US10864906B2 (en) Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object
JP7027737B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10229505B2 (en) Motion determination system and method thereof
US10162357B2 (en) Distributed computing among vehicles
JPWO2016181618A1 (ja) 監視対象領域設定装置および監視対象領域設定方法
JP2020166409A (ja) 車載装置、車載システムおよび周辺監視方法
JP2022142165A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
EP3888977A1 (en) Image processing device, imaging device, moving body and image processing method
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
WO2022244356A1 (en) Light interference detection during vehicle navigation
WO2017208601A1 (ja) 画像処理装置、外界認識装置
JP2015210584A (ja) 画像処理装置
JP2018073275A (ja) 画像認識装置
JP7031157B2 (ja) 物体検出方法及び物体検出装置
JP6718025B2 (ja) 車両周辺の小物体領域を識別する装置及び方法
KR101730348B1 (ko) 차량 속도를 이용한 지능형 운전자 보조 시스템의 제어 방법
JP2005092516A (ja) 車載用移動体検出装置
KR102448164B1 (ko) 차량용 레이더 제어 장치 및 방법
JP7117922B2 (ja) 周辺認識装置及び車載カメラシステム
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP2005018573A (ja) 車載用移動体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221213

R150 Certificate of patent or registration of utility model

Ref document number: 7195200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150