JP2022157399A - 画像処理装置および画像処理方法、車両用制御装置、プログラム - Google Patents
画像処理装置および画像処理方法、車両用制御装置、プログラム Download PDFInfo
- Publication number
- JP2022157399A JP2022157399A JP2021061592A JP2021061592A JP2022157399A JP 2022157399 A JP2022157399 A JP 2022157399A JP 2021061592 A JP2021061592 A JP 2021061592A JP 2021061592 A JP2021061592 A JP 2021061592A JP 2022157399 A JP2022157399 A JP 2022157399A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- partial
- rule
- distortion correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 121
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000012937 correction Methods 0.000 claims abstract description 104
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
【課題】魚眼カメラから得られる広範な撮影画像を、運転支援または自動運転のための認識処理に有効に用いるための技術を提供する。【解決手段】歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像に基づいて、車両の運転支援または自動運転のための外界認識を行う画像処理装置は、歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、撮影画像の設定された部分領域に歪み補正処理を適用することにより歪みが補正された部分画像を取得する。画像処理装置は、車両の周囲においてカーブミラーが検出された場合に、車両の所定の方向に対応する部分領域が歪み補正処理の対象として優先的に設定されるように、上記規則を変更する。【選択図】 図7
Description
本発明は、画像処理装置および画像処理方法、車両用制御装置、プログラムに関する。
車両に魚眼カメラを搭載し、魚眼カメラにより撮影された広範囲な画像を運転支援に利用することが提案されている。例えば、特許文献1では、全周囲カメラ(魚眼カメラ)による撮影画像を用いてアラウンドビューを生成してモニタに表示することで、駐車支援を行う構成が記載されている。また、特許文献2では、魚眼カメラ等の車載センサの画像を用いて、車両の周囲に存在する他車両、自転車、歩行者、障害物等との相対距離や相対速度を検出するシステムが記載されている。
しかしながら、魚眼カメラから得られた撮影画像は一般に歪みが大きく、そのままでは運転支援制御や自動運転制御のための、高度な認識処理(例えば、AIを用いた認識処理)に用いることができない。そこで、魚眼カメラによる撮影画像について歪み補正を行い、歪み補正された画像を用いて認識処理などを行うことが考えられる。例えば、撮影画像の中央を歪み補正の中心として歪み補正処理を行い、歪み補正処理後の画像を認識処理に用いることが考えられる。しかしながら、歪み補正処理後の画像であっても、撮影画像の中心から離れた部分では歪みが大きくなってしまう。このため、認識処理には魚眼カメラにより広範な撮影画像が得られたとしても、その一部(歪み補正を中心とした所定範囲の画像)しか用いることができず、広範な撮影画像を有効に活用することができない。
本発明は、魚眼カメラから得られる広範な撮影画像を、運転支援または自動運転のための認識処理に有効に用いるための技術を提供する。
本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像に基づいて、車両の運転支援または自動運転のための外界認識を行う画像処理装置であって、
歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、前記撮影画像の前記設定された部分領域に前記歪み補正処理を適用することにより歪みが補正された部分画像を取得する補正手段と、
前記車両の周囲においてカーブミラーを検出する検出手段と、
前記検出手段によりカーブミラーが検出された場合に、前記車両の所定の方向に対応する部分領域が前記歪み補正処理の対象として優先的に設定されるように前記規則を変更する変更手段と、を備える。
歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像に基づいて、車両の運転支援または自動運転のための外界認識を行う画像処理装置であって、
歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、前記撮影画像の前記設定された部分領域に前記歪み補正処理を適用することにより歪みが補正された部分画像を取得する補正手段と、
前記車両の周囲においてカーブミラーを検出する検出手段と、
前記検出手段によりカーブミラーが検出された場合に、前記車両の所定の方向に対応する部分領域が前記歪み補正処理の対象として優先的に設定されるように前記規則を変更する変更手段と、を備える。
本発明によれば、魚眼カメラから得られる広範な撮影画像を、運転支援または自動運転のための認識処理に有効に用いることができる。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
図1は、本発明の一実施形態に係る車両1のブロック図である。図1において、車両1の概略が平面図と側面図とで示されている。車両1は一例としてセダンタイプの四輪の乗用車である。車両1はこのような四輪車両であってもよいし、二輪車両や他のタイプの車両であってもよい。
本実施形態の車両1は、例えばパラレル方式のハイブリッド車両である。この場合、車両1の駆動輪を回転させる駆動力を出力する走行駆動部であるパワープラント6は、内燃機関、モータおよび自動変速機を含むことができる。モータは車両1を加速させる駆動源として利用可能であると共に減速時等において発電機としても利用可能である(回生制動)。
車両1は、車両1を制御する車両用制御装置2(以下、単に制御装置2と呼ぶ)を含む。制御装置2は車内ネットワークにより通信可能に接続された複数のECU(Electronic Control Unit)20~29を含む。各ECUは、CPU(Central Processing Unit)等のプロセッサ(コンピュータ)、半導体メモリ等のメモリ、外部デバイスとのインタフェース等を含む。メモリにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ECUはプロセッサ、メモリおよびインタフェース等を複数備えていてもよい。例えば、ECU20は、プロセッサ20aとメモリ20bとを備える。メモリ20bに格納されたプログラムを含む命令をプロセッサ20aが実行することによって、ECU20による処理が実行される。これに代えて、ECU20は、ECU20による処理を実行するためのASIC(Application Specific Integrated Circuit)等の専用の集積回路を備えてもよい。他のECUについても同様である。
以下、各ECU20~29が担当する機能等について説明する。なお、ECUの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、統合したりすることが可能である。
ECU20は、車両1の自動走行に関わる制御を実行する。自動運転においては、車両1の操舵と、加減速の少なくともいずれか一方を自動制御する。ECU20による自動走行は、運転者による走行操作を必要としない自動走行(自動運転とも呼ばれうる)と、運転者による走行操作を支援するための自動走行(運転支援とも呼ばれうる)とを含んでもよい。
ECU21は、電動パワーステアリング装置3を制御する。電動パワーステアリング装置3は、ステアリングホイール31に対する運転者の運転操作(操舵操作)に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置3は操舵操作をアシストしたり、前輪を自動操舵したりするための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両1の運転状態が自動運転の場合、ECU21は、ECU20からの指示に対応して電動パワーステアリング装置3を自動制御し、車両1の進行方向を制御する。
ECU22および23は、車両の周囲状況を検知する検知ユニットの制御および検知結果の情報処理を行う。車両1は、車両の周囲状況を検知する検知ユニットとして、1つの標準カメラ40と、4つの魚眼カメラ41~44とを含む。標準カメラ40ならびに魚眼カメラ42および44はECU22に接続されている。魚眼カメラ41および43はECU23に接続されている。ECU22および23は、標準カメラ40及び魚眼カメラ41~44が撮影した画像を解析することにより、物標の輪郭や、道路上の車線の区画線(白線等)を抽出可能である。
魚眼カメラ41~44とは、魚眼レンズが取り付けられたカメラのことである。以下、魚眼カメラ41の構成について説明する。他の魚眼カメラ41~44も同様の構成を有してもよい。魚眼カメラ41の画角は、標準カメラ40の画角よりも広い。そのため、魚眼カメラ41は、標準カメラ40よりも広い範囲を撮影可能である。魚眼カメラ41によって撮影された画像は、標準カメラ40によって撮影された画像と比較して大きな歪みを有する。そのため、ECU23は、魚眼カメラ41によって撮影された画像を解析する前に、当該画像に対して歪みを軽減するための変換処理(以下、「歪み補正処理」という)を行ってもよい。一方、ECU22は、標準カメラ40によって撮影された画像を解析する前に、当該画像に対して歪み補正処理を行わなくてもよい。このように、標準カメラ40は、歪み補正処理の対象とならない画像を撮影する撮影装置であり、魚眼カメラ41は、歪み補正処理の対象となる画像を撮影する撮影装置である。標準カメラ40のかわりに、歪み補正処理の対象とならない画像を撮影する他の撮影装置、例えば広角レンズや望遠レンズが取り付けられたカメラが使用されてもよい。
標準カメラ40は、車両1の前部中央に取り付けられており、車両1の前方の周囲状況を撮影する。魚眼カメラ41は、車両1の前部中央に取り付けられており、車両1の前方の周囲状況を撮影する。図1では、標準カメラ40と魚眼カメラ41とが水平方向に並んでいるように示されている。しかし、標準カメラ40および魚眼カメラ41の配置はこれに限られず、例えばこれらは垂直方向に並んでいてもよい。また、標準カメラ40と魚眼カメラ41との少なくとも一方は、車両1のルーフ前部(例えば、フロントウィンドウの車室内側)に取り付けられてもよい。魚眼カメラ42は、車両1の右側部中央に取り付けられており、車両1の右方の周囲状況を撮影する。魚眼カメラ43は、車両1の後部中央に取り付けられており、車両1の後方の周囲状況を撮影する。魚眼カメラ44は、車両1の左側部中央に取り付けられており、車両1の左方の周囲状況を撮影する。
車両1が有するカメラの種類、個数および取り付け位置は、上述の例に限られない。また、車両1は、車両1の周囲の物標を検知したり、物標との距離を測距したりするための検知ユニットとして、ライダ(Light Detection and Ranging)やミリ波レーダを含んでもよい。
ECU22は、標準カメラ40ならびに魚眼カメラ42および44の制御および検知結果の情報処理を行う。ECU23は、魚眼カメラ41および43の制御および検知結果の情報処理を行う。車両の周囲状況を検知する検知ユニットを2系統に分けることによって、検知結果の信頼性を向上できる。
ECU24は、ジャイロセンサ5、GPSセンサ24b、通信装置24cの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ5は車両1の回転運動を検知する。ジャイロセンサ5の検知結果や、車輪速等により車両1の進路を判定することができる。GPSセンサ24bは、車両1の現在位置を検知する。通信装置24cは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ECU24は、メモリに構築された地図情報のデータベース24aにアクセス可能であり、ECU24は現在地から目的地へのルート探索等を行う。ECU24、地図データベース24a、GPSセンサ24bは、いわゆるナビゲーション装置を構成している。
ECU25は、車車間通信用の通信装置25aを備える。通信装置25aは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。
ECU26は、パワープラント6を制御する。パワープラント6は車両1の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ECU26は、例えば、アクセルペダル7Aに設けた操作検知センサ7aにより検知した運転者の運転操作(アクセル操作あるいは加速操作)に対応してエンジンの出力を制御したり、車速センサ7cが検知した車速等の情報に基づいて変速機の変速段を切り替えたりする。車両1の運転状態が自動運転の場合、ECU26は、ECU20からの指示に対応してパワープラント6を自動制御し、車両1の加減速を制御する。
ECU27は、方向指示器8(ウィンカ)を含む灯火器(ヘッドライト、テールライト等)を制御する。図1の例の場合、方向指示器8は車両1の前部、ドアミラーおよび後部に設けられている。
ECU28は、入出力装置9の制御を行う。入出力装置9は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置91は運転者に対して音声により情報を報知する。表示装置92は運転者に対して画像の表示により情報を報知する。表示装置92は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル(例えば緊急度)に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。入力装置93は運転者が操作可能な位置に配置され、車両1に対する指示を行うスイッチ群であるが、音声入力装置も含まれてもよい。
ECU29は、ブレーキ装置10やパーキングブレーキ(不図示)を制御する。ブレーキ装置10は例えばディスクブレーキ装置であり、車両1の各車輪に設けられ、車輪の回転に抵抗を加えることで車両1を減速あるいは停止させる。ECU29は、例えば、ブレーキペダル7Bに設けた操作検知センサ7bにより検知した運転者の運転操作(ブレーキ操作)に対応してブレーキ装置10の作動を制御する。車両1の運転状態が自動運転の場合、ECU29は、ECU20からの指示に対応してブレーキ装置10を自動制御し、車両1の減速および停止を制御する。ブレーキ装置10やパーキングブレーキは車両1の停止状態を維持するために作動することもできる。また、パワープラント6の変速機がパーキングロック機構を備える場合、これを車両1の停止状態を維持するために作動することもできる。
図2を参照して、標準カメラ40および魚眼カメラ41~44の撮影範囲について説明する。図2(a)は、各カメラの水平方向の撮影範囲を示し、図2(b)は車両1の右側部に魚眼カメラ42の垂直方向の撮影範囲を示し、図2(c)は車両1の後部に取り付けられた魚眼カメラ43の垂直方向の撮影範囲を示す。
まず、図2(a)を参照して、車両1の平面図(すなわち、車両1の水平方向)における撮影範囲について説明する。標準カメラ40は、撮影範囲200に含まれる風景を撮影する。標準カメラ40の撮影中心200Cは、車両1の真正面を向いている。標準カメラ40の水平方向の画角は、90°未満であってもよく、例えば45°程度または30°程度であってもよい。
魚眼カメラ41は、撮影範囲201に含まれる風景を撮影する。魚眼カメラ41の撮影中心201Cは、車両1の真正面を向いている。魚眼カメラ42は、撮影範囲202に含まれる風景を撮影する。魚眼カメラ42の撮影中心202Cは、車両1の右方の真横を向いている。魚眼カメラ43は、撮影範囲203に含まれる風景を撮影する。魚眼カメラ43の撮影中心203Cは、車両1の真後ろを向いている。魚眼カメラ44は、撮影範囲204に含まれる風景を撮影する。魚眼カメラ44の撮影中心204Cは、車両1の左方の真横を向いている。魚眼カメラ41~44の水平方向の画角は、例えば90°よりも大きくてもよく、150°よりも大きくてもよく、180°よりも大きくてもよく、例えば180°程度であってもよい。図2(a)は、魚眼カメラ41~44の水平方向の画角が180°となる例を示している。
撮影範囲201は、車両1の左斜め前方にある領域201Lと、車両1の真正面にある領域201Fと、車両1の右斜め前方にある領域201Rとに分割されうる。撮影範囲202は、車両1の右斜め前方にある領域202Lと、車両1の右方の真横にある領域202Fと、車両1の右斜め後方にある領域202Rとに分割されうる。撮影範囲203は、車両1の右斜め後方にある領域203Lと、車両1の真後ろにある領域203Fと、車両1の左斜め後方にある領域203Rとに分割されうる。撮影範囲204は、車両1の右斜め後方にある領域204Lと、車両1の左方の真横にある領域204Fと、車両1の左斜め前方にある領域204Rとに分割されうる。撮影範囲201は、3つの領域201L、201F、および201Rに均等に(すなわち、各領域の画角が等しくなるように)分割されてもよい。他の撮影範囲202~204についても均等に3分割されてもよい。
標準カメラ40および魚眼カメラ41~44が上述のような撮影範囲200~204を有することによって、車両1の真正面及び4つの斜め方向は、2つの別個のカメラの撮影範囲に含まれる。具体的に、車両1の真正面は、標準カメラ40の撮影範囲200と、魚眼カメラ41の撮影範囲201の領域201Fとの両方に含まれる。車両1の右斜め前方は、魚眼カメラ41の撮影範囲201の領域201Rと、魚眼カメラ42の撮影範囲202の領域202Lとの両方に含まれる。車両1の他の3つの斜め方向についても同様である。
続いて、図2(b)及び図2(c)を参照して、車両1の垂直方向における撮影範囲について説明する。図2(b)では、魚眼カメラ42の垂直方向の撮影範囲について説明し、図2(c)では、魚眼カメラ43の垂直方向の撮影範囲について説明する。他の魚眼カメラ41および44の垂直方向の撮影範囲についても同様であってもよい。
魚眼カメラ41~44の垂直方向の画角は、例えば90°よりも大きくてもよく、150°よりも大きくてもよく、180°よりも大きくてもよく、例えば180°程度であってもよい。図2(b)および(c)は、魚眼カメラ41~44の垂直方向の画角が180°となる例を示している。また、魚眼カメラ42の撮影中心202Cと魚眼カメラ43の撮影中心203Cは、地面に平行な方向よりも下側(地面の側)を向いている。これにかえて、魚眼カメラ43の撮影中心203Cは、地面に平行な方向を向いていてもよいし、地面に平行な方向よりも上側(地面とは反対側)を向いていてもよい。また、魚眼カメラ41~44の撮影中心201C~204Cが、垂直方向において、互いに異なる方向を向いていてもよい。
図3を参照して、魚眼カメラ41~44によって撮影された画像の歪み補正処理について説明する。画像300は、魚眼カメラ43によって撮影された車両1の右方の風景の画像である。図3に示されるように、画像300は、特に周辺部分において大きな歪みを有する。
魚眼カメラ43に接続されているECU22は、画像300に対して歪み補正処理を行う。具体的に、ECU22は、画像300内の1点を補正中心点301として設定する。ECU22は、画像300から、補正中心点301を中心とする矩形の領域302を切り出す。ECU22は、この領域302に対して歪み補正処理を行うことによって、歪みが軽減された画像303を生成する。歪み補正処理は、補正中心点301に近い位置ほど歪みが軽減され、補正中心点301から遠い位置では歪みが軽減されないか、歪みが増大される。そこで、一部の実施形態において、ECU22は、車両1の周囲の環境のうち、着目したい領域内に補正中心点301を設定し、この領域について歪みが軽減した画像を生成する。
次に、標準カメラ40と魚眼カメラ41~44からの撮影画像を用いて周囲環境認識処理を行うための機能構成を説明する。なお、周囲環境認識処理による認識結果は、自動運転制御または運転支援制御に用いられ得る。図4は、本実施形態による、撮影画像を用いた周囲環境認識処理のための画像処理を行う機能構成例を示すブロック図である。図4に示される各機能は、ECU20,22,23のそれぞれを構成する1つ以上のプロセッサがメモリに格納されたプログラムを実行することにより実現されてもよいし、専用のハードウエアにより実現されてもよいし、それらの協働により実現されてもよい。また、機能ブロックの構成、各機能ブロックがどのECUによって実現されるかなどは、図4に示された構成に限られないことは言うまでもない。例えば、外界認識部441a~441eによる処理の一部あるいはすべてが運転制御部401で実現されてもよい。
標準カメラ40、左右の魚眼カメラ42,44による撮影画像はECU22に供給される。ECU22において、外界認識部441eは、標準カメラ40からの撮影画像に外界認識処理を行い、車線の区画線、道路標識、他の車両、カーブミラー(道路反射鏡、traffic convex mirror)、人などの種々の物体を抽出する。外界認識部441eにおける各種物体の抽出には、例えば、人工知能(AI)や機械学習による判定処理等が用いられ得る。上述したように、標準カメラ40からの撮影画像は、歪みが少ないため、外界認識部441eが認識処理を行うのに先立って歪み補正を行う必要がない。
ECU22において、歪み補正部421aは、魚眼カメラ42の撮影画像に対して図3により上述したような歪み補正処理を行う。歪み補正部421aは、部分領域指定部412により指定された補正中心点を中心とする矩形領域(以下、指定された部分領域という)について歪み補正処理を行い、歪み補正処理後の部分画像を外界認識部441aに出力する。外界認識部441aは、歪み補正部421aにより歪みが補正された部分画像に対して、外界認識部441eと同様の外界認識処理を行い、各種物体、標識を抽出する。
魚眼カメラ42は広範囲の空間を撮影することができるが、取得される撮影画像は大きな歪みを含み、そのままではAIなどを用いた外界認識処理に適さない。そこで、魚眼カメラ42からの撮影画像は、外界認識部441aに供給される前に、歪み補正部421aにより歪み補正処理を受けるようにしている。外界認識部441aは、歪み補正部421aにより歪みが除去された画像を用いて外界認識処理を行うため、精度よく各種物体、標識を抽出することができる。歪み補正部421aは、部分領域指定部412からの指示により、魚眼カメラ42が撮影する映像のフレームごとに、順次に補正中心(すなわち部分領域)を移動させて歪み補正を行い、歪みが補正された部分画像を出力する。このように、広範な画像において部分領域を移動させながら、部分領域について歪み補正された部分画像を取得することで、結果として広範な撮影範囲における広範な領域について歪みのない画像を得ることができる。したがって、魚眼カメラ42により撮影される広範囲な領域の画像について、高精度な外界認識処理を行うことが可能となる。
図5(a)、(b)は、通常時における部分領域の移動の制御例を説明する図である。通常時とは、例えば、周囲環境認識の結果、特に注意を向けるべき方向が存在しないと判定されている状態である。図5(a)に示されるように、本実施形態では、魚眼カメラ42の画像500において、3つの補正中心点501~503により決定される3つの部分領域511~513のいずれか1つを順次に選択することにより、撮影画像における補正対象となる部分領域を移動させる。以下、このような、部分領域の選択の順序を示す情報を規則と称する。また、本実施形態では、図2(a)で示したような、3分割された撮影範囲に対応して部分領域が設定されている。例えば、魚眼カメラ41の撮影範囲のうち、領域201L、201F、201Rの範囲がそれぞれ部分領域511、512、513に対応している。同様に、例えば、魚眼カメラ44の撮影範囲のうち、領域204L、204F、204Rの範囲がそれぞれ部分領域511、512、513に対応している
なお、部分領域の設定は、図5に例示されたものに限られず、例えば、水平方向に4つ以上の部分領域に分割されてもよいし、垂直方向に2段以上の部分領域が存在するように設定されてもよいし、部分領域の一部が他の部分領域の一部と重なってもよい。また、図5では、説明のために、魚眼カメラによる撮影画像における歪み補正処理の対象となる部分領域が模式的に表されている。一般に、歪み補正処理後の画像として矩形の画像を得ようとする場合、撮影画像において対応する部分領域は矩形とはならない。
通常時における補正対象の部分領域の移動は、3つの部分領域511~513が均等に選択されるように行われる。例えば、図5(b)に示されるように、1フレームごとに部分領域511→部分領域512→部分領域513→部分領域511→...のように補正対象として選択される部分領域を切り替える。このような規則によれば、部分領域511~513が3フレームごとに1回ずつ選択される。すなわち、各部分領域が均等な頻度で補正対象に選択され、歪み補正後の部分画像が外界認識処理に提供されることになる。なお、どの部分領域を選択するかは、後述の部分領域指定部412により指示される。また、本実施形態では、通常時において各部分領域が均等に選択されるようにしたが、これに限られるものではない。また、魚眼カメラ41~44からのすべての撮影画像について同じ規則が適用される必要はなく、それぞれ独立に規則が適用されてもよい。例えば、前方の魚眼カメラ41に関しては、正面の部分領域512の選択される頻度が高くなるように通常時の規則が設定され、他の魚眼カメラ42~44に関しては、各部分領域が均等に選択されるように通常時の規則が設定されてもよい。
図4に戻り、歪み補正部421bと外界認識部441bは、魚眼カメラ44の撮影画像に対して、上述したような歪み補正処理と外界認識処理を行う。すなわち、歪み補正部421bは、魚眼カメラ44により撮影された画像のうち、部分領域指定部412により指定された部分領域について歪み補正処理を行う。外界認識部441bは、歪み補正部421bにより歪みが補正された部分画像に対して外界認識処理を行い、各種物体、標識を抽出する。
また、ECU23において、歪み補正部421cは、魚眼カメラ41により得られた画像のうち、部分領域指定部412により指定された部分領域について歪み補正処理を行う。外界認識部441cは、歪み補正部421cにより補正された画像について上述した外界認識処理を行う。同様に、歪み補正部421dは、魚眼カメラ43により得られた画像に対して上述した歪み処理を行い、外界認識部441dは、歪み補正部421dにより補正された画像について上述した外界認識処理を行う。以下、歪み補正部421a~421dを総称する場合は歪み補正部421と記載し、外界認識部441a~441dを総称する場合は外界認識部441と記載する。
ECU20において、運転制御部401は、外界認識部441から提供される認識結果に基づいて、運転支援や自動運転を制御する。規則設定部411は、外界認識部441から提供される認識結果に基づいて注視すべき方向を判定し、魚眼カメラによる撮影画像から部分領域を選択するための規則を変更、設定する。部分領域指定部412は、規則設定部411が設定した規則に従って、歪み補正部421に対して、歪み補正処理の対象として選択すべき部分領域を指定する。
以上のように、本実施形態の制御装置2では、歪み補正の対象となる部分領域を移動させながら歪み補正処理を行うことで、魚眼カメラから得られる広範囲な画像を、AIなどを用いた外界認識処理に用いることを可能としている。一方、上述のように、外界認識処理の対象となる画像は、魚眼カメラの1つのフレーム全体ではなく、1つのフレームの画像から選択された部分画像である。例えば、図4に示した規則の例では、3つの部分領域の各々が外界認識処理の対象となる頻度は3フレームに1回となる。これに対して、周囲環境によっては車両1の特定の方向を注視すべき場合がある。そのような場合、注視すべき方向に対応する部分領域が外界認識処理の対象となる頻度を高くすることが好ましい。例えば、交差点への進入時、その際に直進、右折、左折のいずれの操作が行われるか(運転者のウィンカ操作、ハンドル操作により判定され得る)に応じて、注視すべき方向が変化する。したがって、このような周囲環境と運転操作に基づいて注視すべき方向に対応する部分領域が外界認識処理の対象となる頻度を高くすることが好ましい。そこで、本実施形態の規則設定部411は、周囲環境に応じて特定の部分領域を優先するように規則を変更し、これにより歪み補正部421において特定の部分領域が選択される頻度を大きくする。その結果、周囲環境に応じた注視すべき方向の画像が優先的に得られるので、より適切な運転支援、自動運転の制御を実現できる。
一般に、カーブミラーは、物体が存在することなどを運転者が確認しにくい場所を映すように設置されている。したがって、カーブミラーが設置された場所では、そのカーブミラーが向いている方向についてより多くの注意を向ける必要がある。そこで、本実施形態の規則設定部411は、外界認識処理によってカーブミラーの存在が検出された場合に、そのカーブミラーの方向に対応した部分領域が歪み補正処理の対象となる頻度を高くするように、上述した部分領域を移動の順番を示す規則を変更する。
図6は、本実施形態による、外界認識処理の手順を説明するフローチャートである。S601において、規則設定部411は、外界認識部441から得られる外界認識結果および/または運転者による運転操作(例えば、ウインカ操作/ハンドル操作)に基づいて部分領域を選択するための規則を設定する。S601の処理の詳細は、図7のフローチャートの参照により後述する。S602において、部分領域指定部412は、歪み補正部421に対して、S601で設定された規則に従って補正対象の部分領域を順次に指定する。
S611において、歪み補正部421aは、魚眼カメラ42から取得される画像のうちの、部分領域指定部412により指定された部分領域の画像について歪み補正処理を施し、当該部分領域の歪みが低減された部分画像(平面画像)を得る。S612において、外界認識部441aは、歪み補正部421aにより取得された部分画像について外界認識処理を実行し、車線の区画線、道路標識、他の車両、カーブミラー、人などの種々の物体を抽出する。ここで、カーブミラーの検出には、AIが用いられてもよいし、機械学習による判定処理が用いられてもよい。S613において、外界認識部441aは、運転支援制御または自動運転制御のために、抽出された物体の情報を運転制御部401に提供する。なお、上記では歪み補正部421aと外界認識部441aの処理を説明したが、歪み補正部421b~421d、外界認識部441b~441dも同様の処理を行う。
S603において、運転制御部401は、外界認識部441から得られる外界認識結果から車両1の周辺環境を認識し、その認識結果に基づいて自動運転または運転支援の制御を行う。
図7は、規則設定部411による、部分領域の移動の規則を設定するための処理を示すフローチャートである。S701において、規則設定部411は、外界認識結果および運転操作に基づいて、部分領域の移動の規則として通常の規則を設定できるか否かを判定する。通常の規則を設定できる場合とは、外界認識部441による認識結果に基づいて特に注視する方向が存在せず、車両の周囲の各方向を均等にチェックすればよいと判断されている状態である。他方、外界認識部441による認識結果に基づいて特定の方向をより注視する必要が発生したと判断された場合は、規則設定部411は通常の規則を設定できないと判断する。特定の方向をより注視する必要が発生する状況とは、例えば、外界認識部441からの認識結果から、交差点、カーブミラー、狭路におけるすれ違い、運転者によるウィンカレバーの操作などが検出された場合などがあげられる。
S701で通常の規則を設定できると判断された場合、処理はS711へ進む。S711において、規則設定部411は、例えば図5(b)で説明したような通常の規則(各部分領域が均等な頻度で選択される規則)を設定する。この結果、S602において、部分領域指定部412は、魚眼カメラ41~44が接続されている歪み補正部421a~421dのそれぞれに対して、図5で説明したような規則に則って部分領域を指定する。
他方、S701で通常の規則を設定できないと判断された場合(注視すべき方向が存在すると判断された場合)、処理はS702へ進む。S702において、規則設定部411は、外界認識部441による外界認識処理でカーブミラーが抽出されたか否かを判定する。例えば、外界認識部441により検出された物体のうち、カーブミラーである確率が所定値以上の物体が存在すると、規則設定部411は、カーブミラーが検出されたと判定する。カーブミラーが抽出されていない場合(S702でNO)には、カーブミラーの検出以外の要因で規則を変更する必要があると判断されている。そのため、処理はS712へ進み、規則設定部411は、運転制御部401が外界認識処理に基づいて検出した周囲環境、運転操作に基づいて規則を変更する。例えば、S712では、周囲環境認識結果や運転者の運転操作に基づいて決定された注視方向に対応する部分領域が優先的に設定されるように、すなわち、注視方向に対応する部分領域の選択頻度が高くなるように、規則が変更される。
カーブミラーが検出されたと判定された場合(S702でYES)、S703において、規則設定部411は、外界認識処理により抽出されたカーブミラーの位置、形状に基づいて、カーブミラーの鏡面の向きを判定する。例えば、(1)規則設定部411が、カーブミラーの設置位置に基づいて鏡面の方向を判断する。具体的に、図10(a)に示されるように、検出されたカーブミラー901の設置位置が、車両1が進行している車線902の中央よりも右側にあれば鏡面は車両1の進行方向に対して左方向を向いていると判断され得る。同様に、車線の中央よりも左側にカーブミラーがあれば、その鏡面は車両の進行方向に対して右方向を向いていると判断され得る。或いは、例えば、(2)鏡面を表す外形(楕円形)と鏡面を支持する支柱との位置関係に基づいて鏡面の方向を判断する。この方法では、例えば、図10(b)に示されるように、カーブミラー911にいて、鏡面に対応する楕円912の中心線よりも右側に支柱913があれば、その鏡面は左側を向いていると判断され得る。同様に、カーブミラー921のように、鏡面に対応する楕円922の中心線よりも左側に支柱923があれば鏡面は右側を向いていると判断され得る。
もちろん、カーブミラーの方向の判定方法は、上述した(1)、(2)の方法に限られるものではなく、種々の判定方法を用いることができる。また、複数の判定方法が組み合わせられてもよい。例えば、(1)の判定方法と(2)の判定方法のそれぞれで、鏡面が左を向いている確率を示すスコアと鏡面が右を向いている確率を示すスコアを計算し、合計スコアが高い方の向きを鏡面の向きに決定してもよい。合計スコアは、例えば、カーブミラーの位置が車線中央から離れるほど判定された方向に対するスコアを高くし、鏡面に対応する楕円の中心と支柱との距離が大きくなるほど判定された方向に対するスコアを高くして、各方向のスコアを合計することで得られる。また、カーブミラーの方向は1つである必要はなく、カーブミラーが道路の両側に検出された場合は、カーブミラーの鏡面は、左側と右側を向いていると判定される。
なお、カーブミラーの判定に全てのカメラからの撮影画像が用いられる必要はない。例えば、後方の魚眼カメラ43からの撮影画像においてカーブミラーが検出されても、注視すべき方向は影響を受けない。そこで、車両1の前方を撮影する標準カメラ40からの撮影画像と、前方の魚眼カメラ41からの撮影画像のみがカーブミラーの検出に用いられるようにしてもよい。
S704~S706において、規則設定部411は、S703で判定されたカーブミラーの向きに応じて規則を変更する。まず、カーブミラーの鏡面の向きが左向きと判定された場合、S704において、規則設定部411は、車両1の左前方に対応する部分領域の優先度を高くした規則を設定する。ここで、図8を用いて、本実施形態による車両1の左右前方、左右後方について説明する。車両1の車幅を略2等分する線811と車両1の車長を略2等分する線812により4つの区域A~Dが形成され得る。本実施形態では、区域Aを右前方、区域Bを右後方、区域Cを左後方、区域Dを左前方と定義する。そして、例えば、各魚眼カメラの撮影範囲について設定されている複数の部分領域のうち、区域Dを含む面積が最も大きい部分領域が、左前方に対応する部分領域として用いられる。例えば、魚眼カメラ41に関して左前方に対応する部分領域は領域201Lであり、魚眼カメラ44に関して左前方に対応する部分領域は領域204Rである。なお、左右前方、左右後方の定義は、上記に限られるものではなく、例えば、線812の位置は、車長を2等分する位置よりも前後してよい。
S704において、規則設定部411は、例えば、前方の魚眼カメラ41からの撮影画像において設定される部分領域を図9(a)に示されるように移動させるような規則を設定する。図9(a)の例では、部分領域511→部分領域512→部分領域511→部分領域513→...の順に部分領域が指定される規則が示されている。この規則によれば、前方の魚眼カメラ41の撮影範囲のうち、車両1の左前方に対応する部分領域511(領域201L)が歪み補正処理の対象となる頻度が4フレームに2回となる。すなわち、図5に示した規則における頻度(3フレームに1回)と比べて、部分領域511が歪み補正処理の対象となる頻度が増加している。同様に、車体左側の魚眼カメラ44についても、車両1の左前方に対応する部分領域が指定される頻度が高くなるように規則が設定される。左側の魚眼カメラ44による撮影画像では、右側の部分領域513が車両1の左前方に対応する。そこで、規則設定部411は、図9(b)に示されるように歪み補正部421cのための規則を設定する。これにより、部分領域513(領域204R)の歪み補正処理の対象となる頻度が増加する。すなわち、魚眼カメラ44による撮影画像のうちの車両1の前方に対応する部分画像が優先的に選択される。なお、車両1の左前方を注視することに寄与する部分領域が含まれていない右側の魚眼カメラ42と後方の魚眼カメラ43については通常の規則が適用される。
S703でカーブミラーの鏡面の向きが右向きであると判定された場合、S705において、規則設定部411は、車両1の右前方に対応する部分領域の優先度を高くした規則を設定する。例えば、規則設定部411は、前方の魚眼カメラ41のための歪み補正部421cと右側の魚眼カメラ42のための歪み補正部421dに対し、車両1の右前方に対応する部分領域が指定される頻度が高くなるように規則を設定する。具体例としては、図9(b)に示される規則が前方の魚眼カメラ41(歪み補正部421c)に適用され、図9(a)に示される規則が右側の魚眼カメラ42(歪み補正部421a)に適用される。この場合、車両1の右前方を注視することに寄与する部分領域が含まれていない左側の魚眼カメラ44と後方の魚眼カメラ43については通常の規則が適用され得る。
左向きと右向きの両方のカーブミラーが検出された場合、或いは、カーブミラーは検出されたものの鏡面の方向を判定できなかった場合、処理はS706に進む。S706において、規則設定部411は、S705で説明した左前方を注視する規則と、S706で説明した右前方を注視する規則の両方を用いた規則を設定する。この場合、前方の魚眼カメラ41に対応する規則では、部分領域511と部分領域513の歪み補正処理の対象となる頻度を上げる必要がある。そこで、例えば、部分領域511→部分領域513→部分領域511→部分領域513→部分領域512→...を繰り返すようにしてもよい。このようにすると、部分領域511が指定される頻度と部分領域513が指定される頻度はそれぞれ2回/5フレームとなり、通常の規則(図5)により指定される頻度(1回/3フレーム)よりも高くなる。なお、左前方の注視と右前方の注視のいずれにも寄与しない後方の魚眼カメラ43については、通常の規則が適用される。
以上のような実施形態によれば、魚眼カメラにより撮影された画像の部分領域がひずみ補正処理されて部分画像として提供される。画像全体よりも小さい領域において歪み補正処理が行われるため、提供される部分画像は、その全域にわたって歪みが除去されており、高精度な認識処理を実現することができる。その結果、魚眼カメラにより撮影された車両1の全周にわたって、高精度な認識処理が可能になる。また、設置されたカーブミラーの方向に対応した部分領域が優先的に認識処理に用いられるため、注視すべき方向についてより迅速な認識が実現され、より効果的、かつ、適切な運転支援制御、自動運転制御が実現され得る。すなわち、カーブミラーの検出に応じて移動の規則を制御することで、注視が必要な横道などの状況を簡易に推定して、注目すべき領域を設定することができる。
なお、上記実施形態は、カーブミラーの鏡面方向の検出に基づいて注視すべき方向を特定し、特定された方向に基づいて周辺認識に用いられる部分領域の優先度を高くするという思想を実現するための一具体例を示したものである。したがって、左右前方やそれらに対応する部分領域の定義、それらを周辺認識に適用するための選択の規則は実施形態で説明したものに限定されない。例えば、上記実施形態では、部分領域を選択するための規則として、1フレームごとに部分領域を移動させたがこれに限られるものではない。同じ部分領域を2回以上連続して選択して、その部分領域が選択される頻度が増加するようにしてもよい。
また、実施形態では、通常の規則と特定の方向を注視する場合の規則とで、同じ部分領域の組み合わせ(例えば、部分領域511~513)を用いているがこれに限られるものではない。通常の規則と特定の方向を注視する場合の規則とで異なる部分領域の組み合わせが用いられてもよい。例えば、注視する方向に対応する任意の部分領域が追加されてもよい。具体的には、車両1の左前方を注視する場合に、図9(a)において部分領域511と部分領域512の間に新たな部分領域を設定し、4つの部分領域からなるグループを用いて規則が設定されてもよい。或いは、そのような新たな部分領域の追加に伴って、注視方向から遠い既存の部分領域(例えば部分領域513)がグループから削除されてもよい。すなわち、新たな部分領域と既存の部分領域を入れ替えてもよい。さらに、例えば、図2(b)、(c)のように、撮影中心が下方を向いている場合に、車両1の左前方を注視する場合の規則として、垂直方向(上方向)に移動した部分領域が設定されてもよい。これにより、車両1の左前方についてより遠方の状況まで認識することができる。
また、上記実施形態では、カーブミラーの方向を判定して注視方向を決定したがこれに限られるものではない。一般に、カーブミラーが設置されている状況ではその左方向または右方向の少なくとも一方が注視領域になる。したがって、カーブミラーが検出された場合(S702でYESの場合)に、S703の方向の判定を省略して、直ちに車両1の左前方と右前方の両方を注視すべき方向としてS706の処理を実行するようにしてもよい。
なお、図7のフローチャートが繰り返されることにより、カーブミラーの検出により変更された規則は、カーブミラーが検出されなくなるまで継続される。但し、これに限られるものではなく、例えば、前方の標準カメラ40の画角からカーブミラーが消えたことをもって、規則を通常の規則に戻すようにしてもよい。
<実施形態のまとめ>
上記実施形態は、少なくとも以下の実施形態を開示する。
上記実施形態は、少なくとも以下の実施形態を開示する。
1.歪み補正が必要な画像を撮影する撮影装置(41~44)から得られる撮影画像に基づいて、車両の運転支援または自動運転のための外界認識を行う画像処理装置(421,441)であって、
歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、前記撮影画像の前記設定された部分領域に前記歪み補正処理を適用することにより歪みが補正された部分画像を取得する補正手段と(421)、
前記車両の周囲においてカーブミラーを検出する検出手段と(441、411)、
前記検出手段によりカーブミラーが検出された場合に、前記車両の所定の方向に対応する部分領域が前記歪み補正処理の対象として優先的に設定されるように前記規則を変更する変更手段(411,412)と、を備える画像処理装置。
上記実施形態によれば、カーブミラーの検出に応じた注視方向に対応する部分領域の画像が優先的に取得されるため、道路状況に適した注視方向について高頻度でかつ高精度に物体の検出を行える。このため、運転支援制御、自動運転制御において、適切な制御を行える。
歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、前記撮影画像の前記設定された部分領域に前記歪み補正処理を適用することにより歪みが補正された部分画像を取得する補正手段と(421)、
前記車両の周囲においてカーブミラーを検出する検出手段と(441、411)、
前記検出手段によりカーブミラーが検出された場合に、前記車両の所定の方向に対応する部分領域が前記歪み補正処理の対象として優先的に設定されるように前記規則を変更する変更手段(411,412)と、を備える画像処理装置。
上記実施形態によれば、カーブミラーの検出に応じた注視方向に対応する部分領域の画像が優先的に取得されるため、道路状況に適した注視方向について高頻度でかつ高精度に物体の検出を行える。このため、運転支援制御、自動運転制御において、適切な制御を行える。
2.また、上記実施形態では、前記検出手段は、前記補正手段により歪み補正された部分領域の画像に基づいてカーブミラーを検出する。
この実施形態によれば、歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像をカーブミラーの検出に用いることができ、撮影画像を有効利用できる。
この実施形態によれば、歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像をカーブミラーの検出に用いることができ、撮影画像を有効利用できる。
3.また、上記実施形態では、前記検出手段は、歪み補正の対象とならない画像を撮影する撮影装置により撮影された画像に基づいてカーブミラーを検出する。
この実施形態によれば、例えば、標準カメラからの撮影画像をカーブミラーの検出に用いることができ、より高頻度にカーブミラーの検出が行える。
この実施形態によれば、例えば、標準カメラからの撮影画像をカーブミラーの検出に用いることができ、より高頻度にカーブミラーの検出が行える。
4.また、上記実施形態では、前記変更手段は、前記車両の左前方と右前方の少なくとも一方に対応する少なくとも一つの部分領域が前記歪み補正の対象として選択される頻度が高くなるように前記規則を変更する。
この実施形態によれば、カーブミラーが検出された道路状況において、注視すべき方向に対応した領域の画像を高頻度に得ることができ、より適切かつ迅速な運転支援制御や自動運転制御が可能になる。
この実施形態によれば、カーブミラーが検出された道路状況において、注視すべき方向に対応した領域の画像を高頻度に得ることができ、より適切かつ迅速な運転支援制御や自動運転制御が可能になる。
5.また、上記実施形態では、
前記検出手段は、さらに検出されたカーブミラーが映す方向を検出し、
前記変更手段は、前記検出されたカーブミラーが映す方向に対応した部分領域の前記歪み補正の対象として選択される頻度が高くなるように前記規則を変更する。
この実施形態によれば、カーブミラーが映す方向に対応する領域について画像が高頻度に取得されるとともに、その他の領域についてはカーブミラーの検出の影響を受けないようにすることができる。このため、不必要に部分領域の選択頻度が上がってしまうことが回避され得る。
前記検出手段は、さらに検出されたカーブミラーが映す方向を検出し、
前記変更手段は、前記検出されたカーブミラーが映す方向に対応した部分領域の前記歪み補正の対象として選択される頻度が高くなるように前記規則を変更する。
この実施形態によれば、カーブミラーが映す方向に対応する領域について画像が高頻度に取得されるとともに、その他の領域についてはカーブミラーの検出の影響を受けないようにすることができる。このため、不必要に部分領域の選択頻度が上がってしまうことが回避され得る。
6.また、上記実施形態では、前記検出手段は、カーブミラーの存在する位置が、車両が進行している車線の中央よりも左であるか右であるかに基づいて、カーブミラーが映す方向を検出する。
7.また、上記実施形態では、前記検出手段は、カーブミラーの鏡面に対応する楕円と、前記鏡面を支持する支柱との位置関係に基づいて、カーブミラーが映す方向を検出する。
7.また、上記実施形態では、前記検出手段は、カーブミラーの鏡面に対応する楕円と、前記鏡面を支持する支柱との位置関係に基づいて、カーブミラーが映す方向を検出する。
これらの実施形態によれば、比較的簡易に、かつ、正確にカーブミラーの方向を検出することができる。
8.また、上記実施形態では、
前記変更手段により変更されていない規則は、それぞれ位置が異なる、予め設定された複数の部分領域のうちから1つずつを選択する順序を示す規則であり、
前記変更手段は、前記複数の部分領域のうちの前記所定の方向に対応する少なくとも1つの部分領域の選択される頻度が高くなるように前記規則を変更する。
この実施形態によれば、規則が変更されても、同じ部分領域の集合から選択されるので、処理コストを抑えることができる。
前記変更手段により変更されていない規則は、それぞれ位置が異なる、予め設定された複数の部分領域のうちから1つずつを選択する順序を示す規則であり、
前記変更手段は、前記複数の部分領域のうちの前記所定の方向に対応する少なくとも1つの部分領域の選択される頻度が高くなるように前記規則を変更する。
この実施形態によれば、規則が変更されても、同じ部分領域の集合から選択されるので、処理コストを抑えることができる。
9.また、上記実施形態において、
前記変更手段により変更されていない規則は、それぞれ位置が異なる、予め設定された複数の部分領域のうちから1つずつを選択する順序を示す規則であり、
前記変更手段により変更された規則は、前記所定の方向に対応し前記複数の部分領域のいずれとも異なる部分領域を含む部分領域のグループから、前記所定の方向に対応する少なくとも1つの部分領域の選択される頻度が高くなるように部分領域を選択する規則である。
この実施形態によれば、カーブミラーの検出に応じた注視方向に対して、より柔軟に部分領域を設定することができる。
前記変更手段により変更されていない規則は、それぞれ位置が異なる、予め設定された複数の部分領域のうちから1つずつを選択する順序を示す規則であり、
前記変更手段により変更された規則は、前記所定の方向に対応し前記複数の部分領域のいずれとも異なる部分領域を含む部分領域のグループから、前記所定の方向に対応する少なくとも1つの部分領域の選択される頻度が高くなるように部分領域を選択する規則である。
この実施形態によれば、カーブミラーの検出に応じた注視方向に対して、より柔軟に部分領域を設定することができる。
10.また、上記実施形態において、前記部分領域のグループは、前記所定の方向に対応し前記複数の部分領域のいずれとも異なる部分領域を前記複数の部分領域に加えることにより、または、前記複数の部分領域のいずれかと前記異なる部分領域を入れ替えることにより構成される。
この実施形態によれば、カーブミラーの検出に応じた注視方向に対して、より柔軟に部分領域を設定することができる。
この実施形態によれば、カーブミラーの検出に応じた注視方向に対して、より柔軟に部分領域を設定することができる。
11.また、上記実施形態によれば、前記歪み補正が必要な画像を撮影する撮影装置は魚眼カメラである。
上記実施形態によれば、魚眼カメラの広範な撮影範囲を有効に利用することができ、設置されるカメラの台数、それに伴う画像処理系を減らすことができる。このことは、車両用制御装置の省電力化に寄与し得る。
上記実施形態によれば、魚眼カメラの広範な撮影範囲を有効に利用することができ、設置されるカメラの台数、それに伴う画像処理系を減らすことができる。このことは、車両用制御装置の省電力化に寄与し得る。
12.また、上記実施形態によれば
前記画像処理装置は、前記車両の全周を撮影するように配置された、前記歪み補正が必要な画像を撮影する複数の撮影装置と接続され、
前記変更手段は、前記複数の撮影装置のうち前記所定の方向を撮影範囲に含む撮影装置に関して前記規則を変更する。
上記実施形態によれば、車両の全周について撮影画像に基づく周辺環境の認識を行うことができるとともに、カーブミラーの検出時には、注視すべきと判断される方向に対応する領域の画像を高頻度に取得することができる。
前記画像処理装置は、前記車両の全周を撮影するように配置された、前記歪み補正が必要な画像を撮影する複数の撮影装置と接続され、
前記変更手段は、前記複数の撮影装置のうち前記所定の方向を撮影範囲に含む撮影装置に関して前記規則を変更する。
上記実施形態によれば、車両の全周について撮影画像に基づく周辺環境の認識を行うことができるとともに、カーブミラーの検出時には、注視すべきと判断される方向に対応する領域の画像を高頻度に取得することができる。
13.また、上記実施形態は、以下の車両用制御装置を開示する。すなわち、
上記の1項から12項のいずれかに記載された画像処理装置と、
前記補正手段により取得される、歪みが補正された部分画像に基づいて周辺環境を認識する認識手段と、
前記認識手段により認識された周辺環境に基づいて、運転支援、または、自動運転のための制御を行う制御手段と、を備える車両用制御装置。
この実施形態によれば、カーブミラーの検出に応じて、より迅速かつ適切な運転支援、自動運転の制御を実現する車両用制御装置が提供される。
上記の1項から12項のいずれかに記載された画像処理装置と、
前記補正手段により取得される、歪みが補正された部分画像に基づいて周辺環境を認識する認識手段と、
前記認識手段により認識された周辺環境に基づいて、運転支援、または、自動運転のための制御を行う制御手段と、を備える車両用制御装置。
この実施形態によれば、カーブミラーの検出に応じて、より迅速かつ適切な運転支援、自動運転の制御を実現する車両用制御装置が提供される。
14.また、上記実施形態は、
歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像に基づいて、車両の運転支援または自動運転のための外界認識を行う画像処理方法であって、
歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、前記撮影画像の前記設定された部分領域に前記歪み補正処理を適用することにより歪みが補正された部分画像を取得する補正工程と、
前記車両の周囲においてカーブミラーを検出する検出工程と、
前記検出工程によりカーブミラーが検出された場合に、前記車両の所定の方向に対応する部分領域が前記歪み補正処理の対象として優先的に設定されるように前記規則を変更する変更工程と、を備える画像処理方法を開示する。
上記実施形態によれば、カーブミラーの検出に応じた注視方向に対応する部分領域の画像が優先的に取得されるため、道路状況に適した注視方向について高頻度でかつ高精度に物体の検出を行える。このため、運転支援制御、自動運転制御において、適切な制御を行える。
歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像に基づいて、車両の運転支援または自動運転のための外界認識を行う画像処理方法であって、
歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、前記撮影画像の前記設定された部分領域に前記歪み補正処理を適用することにより歪みが補正された部分画像を取得する補正工程と、
前記車両の周囲においてカーブミラーを検出する検出工程と、
前記検出工程によりカーブミラーが検出された場合に、前記車両の所定の方向に対応する部分領域が前記歪み補正処理の対象として優先的に設定されるように前記規則を変更する変更工程と、を備える画像処理方法を開示する。
上記実施形態によれば、カーブミラーの検出に応じた注視方向に対応する部分領域の画像が優先的に取得されるため、道路状況に適した注視方向について高頻度でかつ高精度に物体の検出を行える。このため、運転支援制御、自動運転制御において、適切な制御を行える。
15.さらに、上記実施形態は、コンピュータを、上述した画像処理装置または車両用制御装置の各手段として機能させるためのプログラムを開示する。
例えば、車両制御装置が備えるECUによって上記プログラムが実行されることにより、カーブミラーの検出に応じた注視方向に対応する部分領域の画像が優先的に取得されるようになり、道路状況に適した注視方向について高頻度でかつ高精度に物体の検出が実現され得る。
例えば、車両制御装置が備えるECUによって上記プログラムが実行されることにより、カーブミラーの検出に応じた注視方向に対応する部分領域の画像が優先的に取得されるようになり、道路状況に適した注視方向について高頻度でかつ高精度に物体の検出が実現され得る。
以上、発明の実施形態について説明したが、発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
1 車両、2 車両用制御装置、20~29 ECU、40 標準カメラ、41~44 魚眼カメラ、421 歪み補正部、441 外界認識部、401 運転制御部、411 規則設定部、412 部分領域設定部
Claims (15)
- 歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像に基づいて、車両の運転支援または自動運転のための外界認識を行う画像処理装置であって、
歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、前記撮影画像の前記設定された部分領域に前記歪み補正処理を適用することにより歪みが補正された部分画像を取得する補正手段と、
前記車両の周囲においてカーブミラーを検出する検出手段と、
前記検出手段によりカーブミラーが検出された場合に、前記車両の所定の方向に対応する部分領域が前記歪み補正処理の対象として優先的に設定されるように前記規則を変更する変更手段と、を備えることを特徴とする画像処理装置。 - 前記検出手段は、前記補正手段により歪み補正された部分領域の画像に基づいてカーブミラーを検出することを特徴とする請求項1に記載の画像処理装置。
- 前記検出手段は、歪み補正の対象とならない画像を撮影する撮影装置により撮影された画像に基づいてカーブミラーを検出することを特徴とする請求項1または2に記載の画像処理装置。
- 前記変更手段は、前記車両の左前方と右前方の少なくとも一方に対応する少なくとも一つの部分領域が前記歪み補正の対象として選択される頻度が高くなるように前記規則を変更することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記検出手段は、さらに検出されたカーブミラーが映す方向を検出し、
前記変更手段は、前記検出されたカーブミラーが映す方向に対応した部分領域の前記歪み補正の対象として選択される頻度が高くなるように前記規則を変更することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 - 前記検出手段は、カーブミラーの存在する位置が、車両が進行している車線の中央よりも左であるか右であるかに基づいて、カーブミラーが映す方向を検出することを特徴とする請求項5に記載の画像処理装置。
- 前記検出手段は、カーブミラーの鏡面に対応する楕円と、前記鏡面を支持する支柱との位置関係に基づいて、カーブミラーが映す方向を検出することを特徴とする請求項5または6に記載の画像処理装置。
- 前記変更手段により変更されていない規則は、それぞれ位置が異なる、予め設定された複数の部分領域のうちから1つずつを選択する順序を示す規則であり、
前記変更手段は、前記複数の部分領域のうちの前記所定の方向に対応する少なくとも1つの部分領域の選択される頻度が高くなるように前記規則を変更することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 前記変更手段により変更されていない規則は、それぞれ位置が異なる、予め設定された複数の部分領域のうちから1つずつを選択する順序を示す規則であり、
前記変更手段により変更された規則は、前記所定の方向に対応し前記複数の部分領域のいずれとも異なる部分領域を含む部分領域のグループから、前記所定の方向に対応する少なくとも1つの部分領域の選択される頻度が高くなるように部分領域を選択する規則であることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 前記部分領域のグループは、前記所定の方向に対応し前記複数の部分領域のいずれとも異なる部分領域を前記複数の部分領域に加えることにより、または、前記複数の部分領域のいずれかを前記異なる部分領域で代替することにより構成されることを特徴とする請求項9に記載の画像処理装置。
- 前記歪み補正が必要な画像を撮影する撮影装置は魚眼カメラであることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
- 前記画像処理装置は、前記車両の全周を撮影するように配置された、前記歪み補正が必要な画像を撮影する複数の撮影装置と接続され、
前記変更手段は、前記複数の撮影装置のうち前記所定の方向を撮影範囲に含む撮影装置に関して前記規則を変更することを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。 - 請求項1乃至12のいずれか1項に記載の画像処理装置と、
前記補正手段により取得される、歪みが補正された部分画像に基づいて周辺環境を認識する認識手段と、
前記認識手段により認識された周辺環境に基づいて、運転支援、または、自動運転のための制御を行う制御手段と、を備えることを特徴とする車両用制御装置。 - 歪み補正が必要な画像を撮影する撮影装置から得られる撮影画像に基づいて、車両の運転支援または自動運転のための外界認識を行う画像処理方法であって、
歪み補正処理の対象となる部分領域を規則に従って移動させて設定し、前記撮影画像の前記設定された部分領域に前記歪み補正処理を適用することにより歪みが補正された部分画像を取得する補正工程と、
前記車両の周囲においてカーブミラーを検出する検出工程と、
前記検出工程によりカーブミラーが検出された場合に、前記車両の所定の方向に対応する部分領域が前記歪み補正処理の対象として優先的に設定されるように前記規則を変更する変更工程と、を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至12のいずれか1項に記載された画像処理装置または請求項13に記載された車両用制御装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021061592A JP2022157399A (ja) | 2021-03-31 | 2021-03-31 | 画像処理装置および画像処理方法、車両用制御装置、プログラム |
CN202210284585.9A CN115147787A (zh) | 2021-03-31 | 2022-03-22 | 图像处理装置以及图像处理方法、车辆用控制装置、存储介质 |
US17/703,937 US20220318960A1 (en) | 2021-03-31 | 2022-03-24 | Image processing apparatus, image processing method, vehicle control apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021061592A JP2022157399A (ja) | 2021-03-31 | 2021-03-31 | 画像処理装置および画像処理方法、車両用制御装置、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022157399A true JP2022157399A (ja) | 2022-10-14 |
Family
ID=83405657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021061592A Pending JP2022157399A (ja) | 2021-03-31 | 2021-03-31 | 画像処理装置および画像処理方法、車両用制御装置、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220318960A1 (ja) |
JP (1) | JP2022157399A (ja) |
CN (1) | CN115147787A (ja) |
-
2021
- 2021-03-31 JP JP2021061592A patent/JP2022157399A/ja active Pending
-
2022
- 2022-03-22 CN CN202210284585.9A patent/CN115147787A/zh active Pending
- 2022-03-24 US US17/703,937 patent/US20220318960A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN115147787A (zh) | 2022-10-04 |
US20220318960A1 (en) | 2022-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210365750A1 (en) | Systems and methods for estimating future paths | |
KR101579100B1 (ko) | 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량 | |
KR101949358B1 (ko) | 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량 | |
US11287879B2 (en) | Display control device, display control method, and program for display based on travel conditions | |
WO2019008764A1 (ja) | 駐車支援方法及び駐車支援装置 | |
WO2018180579A1 (ja) | 撮像制御装置、および撮像制御装置の制御方法、並びに移動体 | |
JP2006236094A (ja) | 障害物認識システム | |
JP6595647B2 (ja) | 走行制御装置、車両および走行制御方法 | |
US20230245468A1 (en) | Image processing device, mobile object control device, image processing method, and storage medium | |
JP7244562B2 (ja) | 移動体の制御装置及び制御方法並びに車両 | |
US20220311921A1 (en) | Control device, operation method for control device, and storage medium | |
WO2022153896A1 (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
JP2022157399A (ja) | 画像処理装置および画像処理方法、車両用制御装置、プログラム | |
JP7122394B2 (ja) | 撮像部制御装置 | |
JP7181956B2 (ja) | 移動体の制御装置及び制御方法並びに車両 | |
WO2020036044A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
US20220319191A1 (en) | Control device and control method for mobile object, and storage medium | |
JP2022148585A (ja) | 車両並びにその制御装置及び制御方法 | |
JP2022149731A (ja) | 制御装置、制御装置の動作方法及びプログラム | |
JP7298323B2 (ja) | 外部環境認識装置 | |
CN115195752A (zh) | 驾驶辅助装置 | |
JP2018039295A (ja) | 表示装置の表示方法及び表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231128 |