JP2022140026A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2022140026A
JP2022140026A JP2021040660A JP2021040660A JP2022140026A JP 2022140026 A JP2022140026 A JP 2022140026A JP 2021040660 A JP2021040660 A JP 2021040660A JP 2021040660 A JP2021040660 A JP 2021040660A JP 2022140026 A JP2022140026 A JP 2022140026A
Authority
JP
Japan
Prior art keywords
vehicle
image
image processing
processing apparatus
mask filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021040660A
Other languages
English (en)
Inventor
裕司 安井
Yuji Yasui
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2021040660A priority Critical patent/JP2022140026A/ja
Priority to CN202210187271.7A priority patent/CN115131749A/zh
Priority to US17/685,007 priority patent/US20220292686A1/en
Publication of JP2022140026A publication Critical patent/JP2022140026A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1523—Matrix displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/25—Optical features of instruments using filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/349—Adjustment of brightness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】車両の内部から撮影される撮影画像に基づいて、車両の外部の移動物体を適切に認識可能とする画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】方法は、車両の内部に対応する領域および外部に対応する領域を含む画像を撮影する撮影手段と、撮影手段により撮影された画像を所定の時間間隔で複数、取得する取得手段と、取得手段により取得された複数の画像における変化量に基づいて、撮影手段により撮影された画像のうち車両の内部に対応する領域をマスクするためのマスクフィルタを生成する生成手段と、生成手段により生成されたマスクフィルタを記憶する記憶手段とを備える画像処理装置であって、マスクフィルタを用いてマスキング処理が行われた画像に対して各種の画像処理を行う。【選択図】図５

Description

本発明は、撮影手段により撮影された画像を処理する画像処理装置、画像処理方法およびプログラムに関する。
車両に搭載されたカメラによる撮像画像に対して様々な処理が行われる。特許文献１には、サイドミラーから視野を後方に向けて取り付けられた撮像手段により撮像された画像において、各画素の輝度又は色相のばらつきの大きさが所定の閾値以下であることに基づいて処理範囲から除外することが記載されている。特許文献２には、サイドミラー近傍に配置された撮像部により撮像された撮像画像中の車体部分と一致するようにマスク画像を生成し、運転者の他車に対する視認性をより適切に向上させることが記載されている。特許文献３には、フロントウインドウ周辺に設置され自車両の前方を撮像する車載カメラによって撮像された画像に経路案内のための図形を重畳表示させることが記載されている。
一方、画像処理については、画像上から移動体を除去し、路面背景のみを抽出した路面背景画像を作成することや（特許文献４）、物体認識処理において重要度の高い領域における輝度の重要度を相対的に高くし、重要度の高い領域ほど最適な輝度となるように調整することが知られている（特許文献５）。
特開２０１６－２２４６４９号公報 特開２０１６－１１１５０９号公報 特開２００７－３１５８６１号公報 特開２００３－２９６７０９号公報 特開２０１９－１３９４７１号公報
しかしながら、いずれの特許文献でも、車両の内部から撮影され車両の内部及び外部を含む撮影画像に基づいて、車両の外部の移動物体を適切に認識可能とすることについては言及されていない。
本発明は、車両の内部から撮影される撮影画像に基づいて、車両の外部の移動物体を適切に認識可能とする画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
本発明に係る画像処理装置は、車両の内部に対応する領域および外部に対応する領域を含む画像を撮影する撮影手段と、前記撮影手段により撮影された画像を所定の時間間隔で複数、取得する取得手段と、前記取得手段により取得された複数の画像における変化量に基づいて、前記撮影手段により撮影された画像のうち前記車両の内部に対応する領域をマスクするためのマスクフィルタを生成する生成手段と、前記生成手段により生成された前記マスクフィルタを記憶する記憶手段とを備えることを特徴とする。
本発明に係る画像処理方法は、車両の内部に対応する領域および外部に対応する領域を含む画像を撮影する撮影手段を備える画像処理装置において実行される画像処理方法であって、前記撮影手段により撮影された画像を所定の時間間隔で複数、取得する取得工程と、前記取得工程において取得された複数の画像における変化量に基づいて、前記撮影手段により撮影された画像のうち前記車両の内部に対応する領域をマスクするためのマスクフィルタを生成する生成工程と、前記生成工程において生成された前記マスクフィルタを記憶部に記憶させる記憶工程とを有することを特徴とする。
本発明に係るプログラムは、車両の内部に対応する領域および外部に対応する領域を含む画像を撮影する撮影手段により撮影された画像を所定の時間間隔で複数、取得する取得手段、前記取得手段により取得された複数の画像における変化量に基づいて、前記撮影手段により撮影された画像のうち前記車両の内部に対応する領域をマスクするためのマスクフィルタを生成する生成手段、前記生成手段により生成された前記マスクフィルタを記憶する記憶手段、としてコンピュータを機能させる。
本発明によれば、車両の内部から撮影される撮影画像に基づいて、車両の外部の移動物体を適切に認識可能とすることができる。
車両用制御装置の構成を示す図である。 制御ユニットの機能ブロックを示す図である。 ドライブレコーダとインジケータを説明するための図である。 ドライブレコーダによる撮像画像を示す図である。 表示制御処理を示すフローチャートである。 マスクフィルタ生成処理を示すフローチャートである。 表示制御処理を示すフローチャートである。 平均化フレーム画像とマスクフィルタを説明するための図である。 マスク済み画像を用いた物体検出を説明するための図である。 車両の周囲に歩行者が認識された様子を示す図である。 リスク対象となる物体の判断を説明するための図である。 リスク対象となる物体の判断を説明するための図である。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
［第１実施形態］
図１は、本発明の一実施形態に係る車両用制御装置（走行制御装置）のブロック図であり、車両１を制御する。図１において、車両１はその概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。
図１の制御装置は、制御ユニット２を含む。制御ユニット２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０～２９を含む。各ＥＣＵは、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。また、図１の制御装置の構成は、プログラムに係る発明を実施するコンピュータとなり得る。
以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合することが可能である。
ＥＣＵ２０は、車両１の運転支援および自動運転に関わる制御を実行する。運転支援においては、車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。自動運転においては、車両１の操舵と、加減速の双方を自動制御する。
ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は、操舵操作をアシストしたり、あるいは、前輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。
ＥＣＵ２２および２３は、車両の周囲状況を検知する検知ユニット４１～４３の制御および検知結果の情報処理を行う。検知ユニット４１は、車両１の前方を撮影するカメラであり（以下、カメラ４１と表記する場合がある。）、本実施形態の場合、車両１のルーフ前部でフロントウィンドウの車室内側に取り付けられる。カメラ４１が撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線（白線等）を抽出可能である。
検知ユニット４２は、Light Detection and Ranging（LIDAR）であり、車両１の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、検知ユニット４２は５つ設けられており、車両１の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。検知ユニット４３は、ミリ波レーダであり（以下、レーダ４３と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、レーダ４３は５つ設けられており、車両１の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に一つずつ設けられている。
ＥＣＵ２２は、一方のカメラ４１と、各検知ユニット４２の制御および検知結果の情報処理を行う。ＥＣＵ２３は、他方のカメラ４１と、各レーダ４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラやレーダ等、種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。
ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は、車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報、気象情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、記憶デバイスに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は、現在地から目的地へのルート探索等を行う。なお、データベース２４ａには、上記の交通情報や気象情報などのデータベースが構築されても良い。
ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。通信装置２５ａは、各種の通信機能を有し、例えば、専用狭域通信（ＤＳＲＣ：Dedicated Short Range Communication）機能やセルラー通信機能を有する。通信装置２５ａは、送受信アンテナを含むＴＣＵ（Telematics Communication Unit）として構成されても良い。ＤＳＲＣは、単方向又は双方向の狭域～中域における通信機能であり、車両間、路車間の高速なデータ通信を可能とする。
ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は、車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替える。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。
ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図１の例の場合、方向指示器８は、車両１の前部、ドアミラーおよび後部に設けられている。
ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は、運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は、運転者に対して音声により情報を報知する。表示装置９２は、運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席正面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせてもよい。また、表示装置９２は、ナビゲーション装置を含む。
入力装置９３は、運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群であるが、音声入力装置も含まれてもよい。
ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は、例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは、車両１の停止状態を維持するために作動することができる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。
ＥＣＵ２０が実行する車両１の運転支援に関わる制御について説明する。運転支援においては、ＥＣＵ２０は車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。自動制御の際、ＥＣＵ２０はＥＣＵ２２および２３から車両１の周囲状況に関する情報（外界情報）を取得し、取得した情報に基づきＥＣＵ２１、ＥＣＵ２６および２９に指示して、車両１の操舵、加減速を制御する。なお、車両１の操舵と加減速の双方がＥＣＵ２０によって制御される場合であっても、運転者に周辺やシステムの状態の監視を要求する場合には、運転支援に関わる制御として実行される。上記では、ＥＣＵ２０が車両１の運転支援に関わる制御を実行する場合を説明したが、ＥＣＵ２０が車両１の自動運転に関わる制御を実行する場合もある。この場合、ＥＣＵ２０は、運転者により目的地と自動運転が指示されると、ＥＣＵ２４により探索された案内ルートにしたがって、目的地へ向けて車両１の走行を自動制御する。この場合も運転支援に関わる制御を実行する場合と同様、ＥＣＵ２０はＥＣＵ２２および２３から車両１の周囲状況に関する情報（外界情報）を取得し、取得した情報に基づきＥＣＵ２１、ＥＣＵ２６および２９に指示して、車両１の操舵、加減速を制御する。本実施形態は、ＥＣＵ２０が車両１の運転支援に関わる制御を実行する場合と、ＥＣＵ２０が車両１の自動運転に関わる制御を実行する場合の双方に適用され得る。
図２は、制御ユニット２の機能ブロックを示す図である。制御部２００は、図１の制御ユニット２に対応し、外界認識部２０１、自己位置認識部２０２、車内認識部２０３、行動計画部２０４、駆動制御部２０５、デバイス制御部２０６を含む。各ブロックは、図１に示す１つのＥＣＵ、若しくは、複数のＥＣＵにより実現される。
外界認識部２０１は、外界認識用カメラ２０７及び外界認識用センサ２０８からの信号に基づいて、車両１の外界情報を認識する。ここで、外界認識用カメラ２０７は、例えば図１のカメラ４１であり、外界認識用センサ２０８は、例えば図１の検知ユニット４２、４３である。外界認識部２０１は、外界認識用カメラ２０７及び外界認識用センサ２０８からの信号に基づいて、例えば、交差点や踏切、トンネル等のシーン、路肩等のフリースペース、他車両の挙動（速度や進行方向）を認識する。自己位置認識部２０２は、ＧＰＳセンサ２１１からの信号に基づいて車両１の現在位置を認識する。ここで、ＧＰＳセンサ２１１は、例えば、図１のＧＰＳセンサ２４ｂに対応する。
車内認識部２０３は、車内認識用カメラ２０９及び車内認識用センサ２１０からの信号に基づいて、車両１の搭乗者を識別し、また、搭乗者の状態を認識する。車内認識用カメラ２０９は、例えば、車両１の車内の表示装置９２上に設置された近赤外カメラであり、例えば、搭乗者の視線の方向を検出する。また、車内認識用センサ２１０は、例えば、搭乗者の生体信号を検知するセンサである。車内認識部２０３は、それらの信号に基づいて、搭乗者の居眠り状態、運転以外の作業中の状態、であることなどを認識する。
行動計画部２０４は、外界認識部２０１、自己位置認識部２０２による認識の結果に基づいて、最適経路、リスク回避経路など、車両１の走行経路を計画する走行計画を実行する。行動計画部２０４は、例えば、交差点や踏切等の開始点や終点に基づく進入判定、他車両の挙動予測に基づく行動計画を行う。駆動制御部２０５は、行動計画部２０４による行動計画に基づいて、駆動力出力装置２１２、ステアリング装置２１３、ブレーキ装置２１４を制御する。ここで、駆動力出力装置２１２は、例えば、図１のパワープラント６に対応し、ステアリング装置２１３は、図１の電動パワーステアリング装置３に対応し、ブレーキ装置２１４は、ブレーキ装置１０に対応する。
デバイス制御部２０６は、制御部２００に接続されるデバイスを制御する。例えば、デバイス制御部２０６は、スピーカ２１５を制御し、警告やナビゲーションのためのメッセージ等、所定の音声メッセージを出力させる。また、例えば、デバイス制御部２０６は、表示装置２１６を制御し、所定のインタフェース画面を表示させる。表示装置２１６は、例えば表示装置９２に対応する。また、例えば、デバイス制御部２０６は、ナビゲーション装置２１７を制御し、ナビゲーション装置２１７での設定情報を取得する。
制御部２００は、図２に示す以外の機能ブロックを適宜含んでも良く、例えば、通信装置２４ｃを介して取得した地図情報に基づいて目的地までの最適経路を算出する最適経路算出部を含んでも良い。また、制御部２００が、図２に示すカメラやセンサ以外から情報を取得しても良く、例えば、通信装置２５ａを介して他の車両の情報を取得するようにしても良い。また、制御部２００は、ＧＰＳセンサ２１１だけでなく、車両１に設けられた各種センサからの検知信号を受信する。例えば、制御部２００は、車両１のドア部に設けられたドアの開閉センサやドアロックの機構センサの検知信号を、ドア部に構成されたＥＣＵを介して受信する。それにより、制御部２００は、ドアのロック解除や、ドアの開閉動作を検知することができる。
本実施形態では、車両１には、ドライブレコーダ２１８が取り付けられている。ドライブレコーダ２１８は、車両１に内蔵されている構成でも良いし、後付けで取り付けられた構成でも良い。本実施形態では、ドライブレコーダ２１８は、図３に示すように、例えば、フロントガラスの上部且つルームミラーの裏側に取り付けられる。ドライブレコーダ２１８は、例えば、センサ２２２により車両１に対する閾値以上の衝撃をトリガとして、カメラ２２１で撮影された動画像データを記憶部２２３に記憶する。図２では、ドライブレコーダ２１８は、カメラ２２１が内蔵された構成として示されているが、本体とカメラ２２１とが分離されたセパレート型として構成されても良い。
制御部２２０は、プロセッサやメモリを含み、ドライブレコーダ２１８を統括的に制御する。例えば、制御部２２０は、センサ２２２からの検知信号に基づいて、カメラ２２１での撮像を開始したり、撮像画像データを記憶部２２３に格納する。本実施形態の動作は、例えば、制御部２２０のプロセッサがメモリに記憶されているプログラムを読み出して実行することにより実現される。即ち、制御部２２０及びドライブレコーダ２１８は、発明を実施するコンピュータとなり得る。
カメラ２２１は、図３に示すように、ドライブレコーダ２１８の前面に構成されたカメラ３０１と、ドライブレコーダ２１８の後面に構成されたカメラ３０２とを含む。カメラ３０１は、車両１の前方を撮像可能な広角カメラであり、カメラ３０２は、車両の後方を撮像可能な魚眼カメラである。魚眼カメラとして、例えば水平に設置された一つの魚眼カメラが用いられても良い。また、魚眼カメラとしては、例えば画角が２２０～２４０度である魚眼カメラが用いられる。図３では、図示上、カメラ３０１とカメラ３０２が各１つずつ示されているが、各複数構成されても良い。 図４の画像４０１は、カメラ３０１により撮像された画像の一例を示す。図４の画像４０２、４０３、４０４は、カメラ３０２により撮像された画像の一例を示す。図４に示すように、画像４０２、４０３、４０４には、車両１の内部の画像と、車窓から見える外部の風景画像とが含まれている。画像４０２はドライブレコーダ２１８の右後方が撮像された画像を示し、画像４０３は、ドライブレコーダ２１８の左後方が撮像された画像を示す。また、画像４０４は、ドライブレコーダ２１８の後方が撮像された画像を示す。カメラ２２１は、撮像した画像データを所定のフレームレートで制御部２２０に送信し、制御部２２０は、送信された画像データに基づいて、ＭＰ４等の所定フォーマットで作成された動画ファイルの形式で記憶部２２３に格納する。
センサ２２２は、例えば、加速度センサやモーションセンサ、ＧＰＳセンサを含む。制御部２２０は、センサ２２２からの検知信号に基づいて車両１の位置情報、車速情報、加速度情報、時刻情報等を取得し、取得した各情報に基づいてカメラ２２１の撮像制御、撮像された画像の表示制御を行う。
記憶部２２３は、例えばＳＤカードであり、所定容量の動画像データを記憶可能に構成されている。また、本実施形態においては、記憶部２２３は、後述する生成されたマスクフィルタを記憶する。表示部２２４は、例えば液晶モニタであり、設定画面等、各種ユーザインタフェース画面を表示する。また、ドライブレコーダ２１８は、ナビゲーション装置２１７と連携するように構成されても良い。例えば、ナビゲーション装置２１７で表示された画面上での設定操作により、ドライブレコーダ２１８の設定が行われても良い。通信インタフェース２２５は、車両１の制御部２００や各電装ユニットとの間での通信を可能とする。例えば、ドライブレコーダ２１８は、Ｂｌｕｅｔｏｏｔｈ（登録商標）／ＷｉＦｉ（登録商標）により、制御部２００やブレーキ装置２１４との間の通信を可能とする。また、ドライブレコーダ２１８は、車両１の制御部２００や各電装ユニット以外の装置、例えば、ドライバが保持するスマートフォン等の携帯端末と通信可能なように構成されても良い。
インジケータ２１９は、図３に示すようにダッシュボード上部に設けられ、車両１周辺の８方向それぞれに対応する表示領域を個別にＬＥＤ等で点灯可能に構成されている。車両１周辺の８方向とは、図１１及び図１２に示すように、車両１の前方（Ｆ）、前右方（ＦＲ）、前左方（ＦＬ）、右方（Ｒ）、左方（Ｌ）、後方（Ｂ）、後右方（ＢＲ）、後左方（ＢＬ）である。インジケータ２１９の表面のガラス状の円領域は、上記８方向に分割されており、各領域には、例えば黄色／赤色の可変ＬＥＤ３０４が埋め込まれている。ＬＥＤ３０４が発光することにより、ドライバからは、そのＬＥＤ３０４に対応する扇型の部分が発光しているように見える。ドライブレコーダ２１８は、通信インタフェース２２５を介してインジケータ２１９と通信可能である。例えば、ドライブレコーダ２１８は、カメラ２２１の撮像画像データに基づいて車両１の外部のリスク対象物を判断し、リスク対象物が存在する方向に対応するＬＥＤ３０４を所定色に発光させる。リスク対象物の判断については後述する。ドライブレコーダ２１８は、図２に示す以外の機能ブロックを適宜含んでも良く、例えば、音を入力するためのマイクを含んでも良い。
本実施形態では、ドライブレコーダ２１８により撮影された画像に基づいて、車両１の外部のリスク対象物を判断し、その判断結果をドライバ等の搭乗者に報知する。ドライブレコーダ２１８は、車両１の前方のみならず、車両１の内部を撮影している。そのため、ドライブレコーダ２１８により撮影された画像には、車両１の内部のみならず、車窓から見える外部の風景も含まれている。本実施形態では、ドライブレコーダ２１８により撮影された画像のそのような特長に基づいて、車両１の前方のみならず、側後方のリスク対象物を判断する。また、その際、ドライブレコーダ２１８により撮影された画像のうち、後述する処理によって車窓から見える外部の風景を適切に特定することができる。
図５は、本実施形態におけるドライブレコーダ２１８の表示制御処理を示すフローチャートである。図５の処理は、例えば、ドライブレコーダ２１８の制御部２２０のプロセッサがメモリに記憶されたプログラムを読み出して実行することにより実現される。図５の処理は、例えば、ドライバが車両１に搭乗して運転を開始する際に開始される。また、ドライバがドライブレコーダ２１８の設定画面において、車両１の外部のリスク対象物の報知をドライブレコーダ２１８により行うことを設定し、その設定をトリガとして図５の処理が開始されても良い。
Ｓ１０１において、制御部２２０は、車両１が走行中であるか否かを判定する。例えば、制御部２２０は、センサ２２２からの検知信号やカメラ２２１の撮像画像データに基づいて、車両１が走行中であるか否かを判定する。車両１が走行中であると判定された場合、Ｓ１０２に進み、車両１が走行中でないと判定された場合、Ｓ１０９に進む。車両１が走行中でないと判定された場合とは、例えば、交差点での一時停車を含む。本実施形態では、Ｓ１０１において車両１が走行中であるか否かを判定するが、種種の車両情報の条件に基づいて判定が行われても良い。例えば、車両１の速度が所定値以下であるか否かに基づいてＳ１０１の判定が行われても良い。Ｓ１０２では、マスクフィルタの生成が行われる。
図６は、Ｓ１０２のマスクフィルタ生成の処理を示すフローチャートである。Ｓ２０１において、制御部２２０は、カメラ２２１からのフレーム画像データを取得する。Ｓ２０２において、制御部２２０は、所定数のフレーム画像データを取得したか否かを判定し、所定数のフレーム画像データを取得していないと判定された場合、Ｓ２０３において所定時間の経過を待ち、Ｓ２０１で再度、フレーム画像データを取得する。Ｓ２０３の所定時間は、フレームレートに対応する。即ち、Ｓ２０１～Ｓ２０３の処理により、所定の時間間隔で所定数のフレーム画像データが時系列に取得される。Ｓ２０２の後、Ｓ２０４において、制御部２２０は、Ｓ２０１～Ｓ２０３で取得された所定数のフレーム画像データに基づいて、平均化画像データを作成する。
そして、Ｓ２０５において、制御部２２０は、フレーム画像データの取得を終了するか否かを判定する。例えば、制御部２２０は、マスクフィルタを生成するために十分な平均化画像データが作成されたと判定された場合に、フレーム画像データの取得を終了すると判定する。この判定基準については後述する。Ｓ２０５でフレーム画像データの取得を終了しないと判定された場合、Ｓ２０３において所定時間の経過を待ち、Ｓ２０１で再度、フレーム画像データを取得する。
図８は、Ｓ２０１～Ｓ２０５の動作を説明するための図である。図８では、カメラ３０２により、ドライブレコーダ２１８の左後方が撮影された画像を示している。フレーム画像８０１～８０４は、カメラ３０２により所定の時間間隔で時系列に撮像されたフレーム画像を示す。フレーム画像８０１は、フレーム画像取得時刻ｋ－３においてＳ２０１で取得されたフレーム画像である。フレーム画像８０２は、Ｓ２０３で所定時間経過後のフレーム画像取得時刻ｋ－２においてＳ２０１で取得されたフレーム画像である。フレーム画像８０３は、Ｓ２０３で所定時間経過後のフレーム画像取得時刻ｋ－１においてＳ２０１で取得されたフレーム画像である。フレーム画像８０４は、Ｓ２０３で所定時間経過後のフレーム画像取得時刻ｋで取得されたフレーム画像である。即ち、所定時間の経過に伴って、Ｓ２０１でフレーム画像８０１～８０４が順に取得されている。なお、ここでは、Ｓ２０２で判定される所定数を「２」とする。また、各フレーム画像は、例えばＲＧＢ画像として説明し、画素値は、ＲＧＢ各値として表される。制御部２２０は、フレーム画像８０１～８０４を順に用いて平均化画像を作成する。即ち、制御部２２０は、所定数取得されたフレーム画像の各画素についてＲＧＢ各値の平均値を算出する。
例えば、フレーム画像８０１とフレーム画像８０２が取得されると、Ｓ２０２で所定数のフレーム画像が取得されたと判定され、フレーム画像８０１とフレーム画像８０２を用いてＳ２０４で平均化画像が作成される。そして、Ｓ２０３を経てＳ２０１でフレーム画像８０３が取得されると、Ｓ２０２で所定数のフレーム画像が取得されたと判定される。即ち、既にＳ２０４で作成された平均化画像と、今回のＳ２０１で取得されたフレーム画像８０３との２つのフレーム画像が取得されたことにより、Ｓ２０２で所定数のフレーム画像が取得されたと判定される。そして、既にＳ２０４で作成された平均化画像とフレーム画像８０３を用いてＳ２０４で平均化画像が作成される。
そして、Ｓ２０３を経てＳ２０１でフレーム画像８０４が取得されると、Ｓ２０２で所定数のフレーム画像が取得されたと判定される。即ち、既にＳ２０４で作成された平均化画像と、今回のＳ２０１で取得されたフレーム画像８０４と２つのフレーム画像が取得されたことにより、Ｓ２０２で所定数のフレーム画像が取得されたと判定される。そして、既にＳ２０４で作成された平均化画像とフレーム画像８０４を用いてＳ２０４で平均化画像が作成される。
即ち、本実施形態では、所定時間間隔で取得されるフレーム画像について、所定数ごとの各画素値の移動平均が算出される。平均化画像８０５は、上記の場合に、フレーム画像８０４が取得されたときに作成された平均化画像を示している。図６の処理により作成される平均化画像の画素値には、以下のような傾向が表れる。
フレーム画像８０１～８０４に示されるように、画像内は、車内空間を撮影した領域と、車窓から見える外部の風景を撮影した領域とを含んでいる。車内空間を撮影した領域には、例えば、シートやドアの画像が含まれ、車窓から見える外部の風景を撮影した領域には、例えば、外部の歩行者や外部の車両の画像が含まれている。ここで、車内空間を撮影した領域の画像は、撮影対象物の時間変化がほぼないとみなせるので、時間経過に伴うフレーム画像に渡って各画素の画素値はほぼ一定の画素値となる。一方、車窓から見える外部の風景を撮影した領域の画像は、撮影対象物は時間経過に伴ってランダムに変化していくので、フレーム画像８０１～８０４に渡って各画素の画素値のばらつきは大きくなる。このような傾向があることから、平均化画像内の車内空間を撮影した領域における画素値は、撮影対象物に基づく画素値となる。一方、平均化画像内の車窓から見える外部の風景を撮影した領域における画素値は、最大値もしくは最小値に近づいていく。例えば、平均化の際の加算によっては、ＲＧＢ画素値の最大値＝（２５５、２５５、２５５）の白色に近づいていく（白色化）。また、例えば、平均化の際の加算によっては、ＲＧＢ画素値の最小値＝（０、０、０）の黒色に近づいていく。本実施形態では、平均化画像内の車窓から見える外部の風景を撮影した領域における画素値は、最大値に近づいていくものとして説明する。
図８の平均化画像８０５内の領域８０６は、Ｓ２０４の平均化画像の作成が繰り返し行われていくことによって白色化されたことを示している。なお、図８の平均化画像８０５では、完全に白色化されている状態を示しているが、Ｓ２０４の処理回数によっては、完全に白色化されていない状態があり得る。
Ｓ２０５のフレーム画像データの取得終了の判断基準として、例えば、白色化とみなせるＲＧＢ値を閾値として定めておき、ＲＧＢ値が変動している領域（例えば、領域８０６）について、そのＲＧＢ値が閾値以上となった場合に白色化されたと判断し、フレーム画像データの取得を終了すると判定しても良い。閾値は、例えば、ランダムに色が出現する画素の重ね合わせの回数と、白色化との関係を予め定めておくことによって決定されるようにしても良い。
Ｓ２０６において、制御部２２０は、Ｓ２０４で作成された平均化画像に対して二値化処理を行う。二値化を行う際の画素値の閾値は、Ｓ２０５で用いられた閾値と同じでも良いし、異なっていても良い。例えば、Ｓ２０５での白色化とみなすための閾値をＳ２０６での二値化のための閾値よりも大きくしても良い。そのような構成により、外部の風景の領域と、マスキング処理の対象となる車内空間を撮影した領域とをより適切に特定することができる。
図８の二値化画像８０７は、Ｓ２０６で二値化処理が行われたフレーム画像を示している。例えば、二値化画像８０７に示されるように、領域８０６に対応する領域は値「０」として、それ以外の領域は値「１」として二値化される。Ｓ２０７において、制御部２２０は、Ｓ２０６で二値化処理が行われた二値化画像８０７のうち、値「１」に対応する領域に基づいてマスクフィルタを生成し、記憶部２２３に格納する。その後、図６の処理を終了する。
再び、図５を参照する。Ｓ１０２でマスクフィルタが生成された後、Ｓ１０３において、制御部２２０は、カメラ２２１で撮像された画像データに対して、Ｓ１０２で生成されたマスクフィルタによりマスキング処理を行う。図９のマスク済み画像９０１は、Ｓ１０２で生成されたマスクフィルタによりマスキング処理が行われた画像を示す。マスク済み画像９０１に示すように、車窓から見える外部の風景以外の画像がマスキング処理された状態となっている。そして、Ｓ１０４において、制御部２２０は、マスク済み画像９０１に対して画像処理を行う。ここで、行われる画像処理は、後段の移動物体を適切に検出するための画像処理であり、例えば、明度調整である。即ち、マスク済み画像９０１には、車窓から見える外部の風景が撮影されているため、そのときの環境によっては、例えば画像の一部に白飛びが生じて階調が失われている可能性がある。階調が失われてしまうと、移動物体の検出においては、検出すべき物体を検出できなくなってしまう可能性がある。そこで、本実施形態では、マスク済み画像９０１に対してレベル補正やトーンカーブの調整を行い、階調が失われることを防ぐ。
Ｓ１０４では、例えば、以下のような画像処理が行われても良い。制御部２２０は、マスク済み画像９０１内のマスキング処理されていない領域（即ち、車窓から見える外部の風景）における明度分布を検出する。この検出結果は、各明度に対する画素数のヒストグラム分布として抽出されるものである。そして、制御部２２０は、その明度分布が、明度最小値側に偏っていたり、明度最大値側に偏っている場合には、最小値から最大値までに渡って分布するよう偏りを解消する。その結果、マスク済み画像９０１内のマスキング処理されていない領域の明度が改善され、移動物体の検出を適切に行うことができる。
Ｓ１０５において、制御部２２０は、マスク済み画像９０１に基づいて物体検出を行う。なお、物体検出では、例えば、歩行者や自転車等の移動物体（交通参加者）を検出可能に学習されたニューラルネットワークが用いられる。検出済み画像９０２では、移動物体として歩行者９０３が検出されている。ここで用いられるニューラルネットワークは、Ｓ１０４の画像処理の条件に対応する画像、例えば所定の明度分布の画像を用いて学習されたニューラルネットワークである。
本実施形態では、マスク済み画像９０１に示されるように、車内空間がマスキング処理された画像データを用いて、移動物体の検出が行われる。車内空間には、動く物体が存在する可能性があり、例えば窓部近辺に吊るした飾り物などが振動で揺れることがあり得る。マスキング処理されていない画像データを用いた場合、そのような物体が車外の歩行者や自転車等の移動物体として誤って検出されてしまう可能性がある。しかしながら、本実施形態では、カメラ２２１からのフレーム画像データに基づいて、車窓から見える外部の風景以外の領域がマスキング処理されるため、上記のような車内空間での物体を車外の移動物体として誤って検出してしまうことを防ぐことができる。
Ｓ１０６において、制御部２２０は、Ｓ１０５で検出された物体について、車両１からの方向及び距離を検出する。例えば、制御部２２０は、時間経過に伴う複数のフレーム画像データを用いたオプティカルフローや、画像上でのオブジェクトの水平方向位置、オブジェクトの検出ボックスの大きさに基づいて、移動物体の方向及び距離を検出しても良い。
図１０は、車両１の移動に伴い、フレーム画像１００１とフレーム画像１００２が取得された場合を示す図である。制御部２２０は、フレーム画像１００１から歩行者１００３を検出し、フレーム画像１００２から歩行者１００４を検出している。そして、制御部２２０は、フレーム画像１００１とフレーム画像１００２を取得したときに、図１０の下段に示すように、車両１に対して歩行者１０１１と歩行者１０１２とが位置することを認識する。歩行者１０１１、１０１２はそれぞれ、歩行者１００２、１００４に対応している。
Ｓ１０７において、制御部２２０は、車両１の車両情報に基づいて、Ｓ１０５で検出された移動物体のうち、リスク対象となる移動物体（リスク対象物）を判断する。例えば、制御部２２０は、車両１および移動物体の各挙動に基づいて、リスク対象物を判断する。車両１が直進している場合、制御部２２０は、車両１の右側方及び左側方の撮影画像から認識された移動物体の移動方向および推定速度と、車両１の車速とから衝突するリスクを判断し、リスクが高いと判断された移動物体をリスク対象物として判断する。また、車両１が旋回している場合には、リスク対象物の判断対象領域を旋回方向に限定する。
図１１は、図１０の下段に示すように制御部２２０が移動物体を認識し、車両１が左方向に旋回していく場合を示す図である。その場合、制御部２２０は、リスク抽出範囲１１０１をＳ１０７の判断の対象領域とする。図１１に示すように、車両１が左方向に旋回していく方向と歩行者１０１２の移動方向とが重なる。さらに、制御部２２０は、車両１の車速と歩行者１０１２の推定速度から、時間経過に伴って車両１と歩行者１０１２とが衝突するリスクが高いと判断する場合、歩行者１０１２をリスク対象物として判断する。一方、車両１が左方向に旋回していく方向と歩行者１０１１の移動方向とは互いに重なる。しかしながら、制御部２２０は、車両１の車速と歩行者１０１１の推定速度から、車両１と歩行者１０１１とが衝突するリスクは極めて低いと判断する場合、制御部２２０は、歩行者１０１１をリスク対象物として判断しない。
図１２は、図１０の下段に示すように制御部２２０が移動物体を認識し、車両１が右方向に旋回していく場合を示す図である。その場合、制御部２２０は、リスク抽出範囲１２０１をＳ１０７の判断の対象領域とする。つまり、歩行者１０１１及び１０１２に対してはリスク対象物の判断は行われない。このように、車両１の旋回方向に応じて、Ｓ１０７の判断の対象領域を限定するので、制御部２２０の処理負荷を軽減することができる。
Ｓ１０８において、制御部２２０は、Ｓ１０７における判断結果に基づいて表示制御を行う。
図７は、Ｓ１０８の表示制御の処理を示すフローチャートである。Ｓ３０１において、制御部２２０は、インジケータ２１９の表示領域を特定する。例えば、制御部２２０は、Ｓ１０６及びＳ１０７でリスク対象物として判断された移動物体の方向・距離に基づいて、インジケータ２１９の８分割された表示領域の中から、表示対象の領域を特定する。ここで、８分割された表示領域とは、前方（Ｆ）、前右方（ＦＲ）、前左方（ＦＬ）、右方（Ｒ）、左方（Ｌ）、後方（Ｂ）、後右方（ＢＲ）、後左方（ＢＬ）である。例えば、図１１に示すように、歩行者１０１２がリスク対象物として判断された場合には、制御部２２０は、インジケータ２１９の８分割された表示領域のうち、前左方に該当する表示領域を特定する。
Ｓ３０２において、制御部２２０は、Ｓ３０１で特定された表示領域の表示形態を決定する。その際、制御部２２０は、リスク対象物および車両１の各挙動に基づいて、表示領域の表示形態を決定する。例えば、リスク対象物と車両１とのＴＴＣ（Time to Collision）が閾値より小さい場合には、緊急を表す赤色ＬＥＤを点灯すると決定する。一方、ＴＴＣが閾値より大きい場合には、注意を表す黄色ＬＥＤを点灯すると決定する。
Ｓ３０３において、制御部２２０は、Ｓ３０１で特定された表示領域を、Ｓ３０２で決定された表示形態で表示するようインジケータ２１９を制御する。Ｓ３０３の後、図７の処理を終了する。
Ｓ３０１での表示領域の特定、およびＳ３０２での表示形態の決定は、上記に限られない。例えば、リスク対象物の位置が前方である場合、Ｓ３０１及びＳ３０２において制御部２２０は、インジケータ２１９の８分割された表示領域すべてを表示領域として特定し、赤色ＬＥＤを点灯するとして決定する。そのような構成により、特にリスクが高いと認識される領域にリスク対象物が存在した場合には、その警告表示の程度を大きくすることができる。
また、制御部２２０は、制御部２００からの情報にさらに基づいて、Ｓ３０１での表示領域の特定、およびＳ３０２での表示形態の決定を行うようにしても良い。例えば、制御部２２０は、制御部２００の車内認識部２０３からの送信されたドライバの視線の方向の情報を用いて、Ｓ３０１及びＳ３０２の処理を行う。例えば、ドライバの視線の方向とリスク対象物とが所定時間一致していた場合には、そのリスク対象物に対応する表示領域の表示を行わないようにしても良い。そのような構成により、インジケータ２１９の表示のために、既にリスク対象物に向けているドライバの注意を低減させてしまうことを防ぐことができる。
また、Ｓ１０８及び図７の表示制御の処理は、インジケータ２１９に対してだけでなく、表示部２２４や表示装置２１６、ナビゲーション装置２１７に対して行われても良い。その場合、図１１や図１２に示すような、リスク対象物の方向・距離を識別可能な警告画面を表示するようにしても良い。
以上のように、Ｓ１０１で車両１が走行中であると判定された場合、Ｓ１０２でマスクフィルタが生成される。一方、交差点での一時停止など、Ｓ１０１で車両１が走行中でないと判定された場合には、Ｓ１０９において、制御部２２０は、記憶部２２３に既に記憶されているマスクフィルタが存在するか否かを判定する。そして、既に記憶されているマスクフィルタが存在すると判定された場合、Ｓ１１０において、制御部２２０は、そのマスクフィルタを取得し、以降の処理を行う。一方、既に記憶されているマスクフィルタが存在しないと判定された場合、図５の処理を終了する。その場合、再度、Ｓ１０１からの処理を繰り返すようにしても良い。
このように、本実施形態によれば、例えば車両１が目的地に到着するまでの間、ドライブレコーダによる撮影画像を用いて、車両１の外部の移動物体（リスク対象物）を適切に検出することができる。また、その検出結果に基づいて、移動物体の位置に関する情報の表示制御を行うことができる。その結果、車両１の制御部２００における処理負荷を軽減することができる。なお、車両１の外部の移動物体の検出および表示制御を、ドライブレコーダ２１８の撮影画像を用いて実行するか否かをドライブレコーダ２１８の設定画面において設定可能としても良い。また、そのような設定を車両１の目的地までの移動を開始する前でも、もしくは途中においても実行可能としても良い。また、本実施形態で説明したドライブレコーダ２１８の処理の少なくとも一部を、制御部２００により実現するようにしても良い。例えば、制御部２２０は、図５のＳ１０４の画像処理まで行われた画像データを制御部２００に提供し、Ｓ１０５～Ｓ１０７の処理を制御部２００が実行するようにしてリスク対象物の検出をより精度よく行うようにしても良い。例えば、車両１が旋回する場合においても、旋回方向と逆側方のリスク対象物の判断を行うようにしても良い。
本実施形態では、カメラ２２１で撮像された画像データに対して、Ｓ１０２で生成されたマスクフィルタによりマスキング処理を行う構成を説明した。なお、複数の画像間の画素値の変化量に基づく構成であるならば、他の構成によりマスキング処理が行われても良い。例えば、数秒間に渡って順次撮像された複数の撮像画像において、画素値の変化の分散が所定値より低い領域（車内空間を撮影した領域に対応）をマスクすることによりマスキング処理を行う構成でも良い。その場合においても、本実施形態と同様の効果を奏することができる。
＜実施形態のまとめ＞
上記実施形態の画像処理装置は、車両の内部に対応する領域および外部に対応する領域を含む画像を撮影する撮影手段（２２１）と、前記撮影手段により撮影された画像を所定の時間間隔で複数、取得する取得手段（２２０、Ｓ１０２）と、前記取得手段により取得された複数の画像における変化量に基づいて、前記撮影手段により撮影された画像のうち前記車両の内部に対応する領域をマスクするためのマスクフィルタを生成する生成手段（２２０、Ｓ１０２）と、前記生成手段により生成された前記マスクフィルタを記憶する記憶手段（２２３）とを備える。
そのような構成により、例えばドライブレコーダ２１８の撮像画像に基づいて、外部のリスク対象物を適切に検出することができる。
また、前記生成手段は、前記取得手段により取得された複数の画像から得られる平均化画像に基づいて、前記マスクフィルタを生成する。また、前記生成手段は、前記取得手段により取得された前記複数の画像それぞれの各画素の画素値について、時系列に沿って移動平均を行うことにより前記平均化画像を取得する。また、前記生成手段は、前記平均化画像に対して二値化処理を行うことにより、前記マスクフィルタを生成する。また、画像処理装置は、前記記憶手段に記憶された前記マスクフィルタを用いて、前記撮影手段により撮影された画像に対してマスキング処理を行う処理手段（２２０、Ｓ１０３）をさらに備える。
そのような構成により、例えばドライブレコーダ２１８の撮影画像のうち、車両の内部に対応する領域を適切にマスキング処理するためのマスクフィルタを生成することができる。
また、前記処理手段によりマスキング処理が行われた画像に対して画像処理（Ｓ１０４）を行う。また、前記画像処理は、明度調整を含む。
そのような構成により、マスキング処理された画像を、外部の移動物体を検出するための適切な画像とすることができる。
また、画像処理手段は、前記処理手段によりマスキング処理が行われた画像に基づいて、前記車両の外部の移動体を検出する検出手段（２２０、Ｓ１０５）、をさらに備える。
そのような構成により、例えばドライブレコーダ２１８の撮影画像を用いて、車両の外部の歩行者を適切に検出することができる。
また、画像処理手段は、前記検出手段による検出結果に基づいて表示手段（２２４、２１９、２１７）を制御する表示制御手段（２２０、Ｓ１０８）、をさらに備える。また、前記表示制御手段は、前記検出手段により検出された前記移動体の前記車両に対する位置に関する情報を表示するよう前記表示手段を制御する。
そのような構成により、例えばドライブレコーダ２１８の撮影画像を用いて、移動物を警告表示することができる。
また、前記表示手段は、前記画像処理装置の外部に構成される。また、前記表示手段は、インジケータ（２１９）である。そのような構成により、例えばドライブレコーダ２１８の撮影画像を用いて、インジケータを表示制御することができる。
また、画像処理装置は、前記表示手段（２２４）、をさらに備える。そのような構成により、例えばドライブレコーダ２１８の撮影画像を用いて、ドライブレコーダ２１８上で移動物を警告表示することができる。
また、前記取得手段は、前記車両が走行している間に、前記撮影手段により撮影された画像を前記所定の時間間隔で複数、取得する。
そのような構成により、撮影手段により所定のフレームレートで撮影されるフレーム画像を用いることができる。
また、前記画像処理装置は、ドライブレコーダ（２１８）である。そのような構成により、ドライブレコーダ２１８上で本実施形態の動作を実現することができる。
発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
１ 車両： ２ 制御ユニット： ２０、２１、２２、２３、２４、２５、２６、２７、２８、２９ ＥＣＵ： ２００、２２０ 制御部： ２１８ ドライブレコーダ： ２１９ インジケータ

Claims (17)

  1. 車両の内部に対応する領域および外部に対応する領域を含む画像を撮影する撮影手段と、
    前記撮影手段により撮影された画像を所定の時間間隔で複数、取得する取得手段と、
    前記取得手段により取得された複数の画像における変化量に基づいて、前記撮影手段により撮影された画像のうち前記車両の内部に対応する領域をマスクするためのマスクフィルタを生成する生成手段と、
    前記生成手段により生成された前記マスクフィルタを記憶する記憶手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記生成手段は、前記取得手段により取得された複数の画像から得られる平均化画像に基づいて、前記マスクフィルタを生成することを特徴とする請求項１に記載の画像処理装置。
  3. 前記生成手段は、前記取得手段により取得された前記複数の画像それぞれの各画素の画素値について、時系列に沿って移動平均を行うことにより前記平均化画像を取得することを特徴とする請求項２に記載の画像処理装置。
  4. 前記生成手段は、前記平均化画像に対して二値化処理を行うことにより、前記マスクフィルタを生成することを特徴とする請求項２又は３に記載の画像処理装置。
  5. 前記記憶手段に記憶された前記マスクフィルタを用いて、前記撮影手段により撮影された画像に対してマスキング処理を行う処理手段、をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
  6. 前記処理手段によりマスキング処理が行われた画像に対して画像処理を行うことを特徴とする請求項５に記載の画像処理装置。
  7. 前記画像処理は、明度調整を含むことを特徴とする請求項６に記載の画像処理装置。
  8. 前記処理手段によりマスキング処理が行われた画像に基づいて、前記車両の外部の移動体を検出する検出手段、をさらに備えることを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
  9. 前記検出手段による検出結果に基づいて表示手段を制御する表示制御手段、をさらに備えることを特徴とする請求項８に記載の画像処理装置。
  10. 前記表示制御手段は、前記検出手段により検出された前記移動体の前記車両に対する位置に関する情報を表示するよう前記表示手段を制御することを特徴とする請求項９に記載の画像処理装置。
  11. 前記表示手段は、前記画像処理装置の外部に構成されることを特徴とする請求項９又は１０に記載の画像処理装置。
  12. 前記表示手段は、インジケータであることを特徴とする請求項１１に記載の画像処理装置。
  13. 前記表示手段、をさらに備えることを特徴とする請求項９又は１０に記載の画像処理装置。
  14. 前記取得手段は、前記車両が走行している間に、前記撮影手段により撮影された画像を前記所定の時間間隔で複数、取得することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
  15. 前記画像処理装置は、ドライブレコーダであることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
  16. 車両の内部に対応する領域および外部に対応する領域を含む画像を撮影する撮影手段を備える画像処理装置において実行される画像処理方法であって、
    前記撮影手段により撮影された画像を所定の時間間隔で複数、取得する取得工程と、
    前記取得工程において取得された複数の画像における変化量に基づいて、前記撮影手段により撮影された画像のうち前記車両の内部に対応する領域をマスクするためのマスクフィルタを生成する生成工程と、
    前記生成工程において生成された前記マスクフィルタを記憶部に記憶させる記憶工程と、
    を有することを特徴とする画像処理方法。
  17. 車両の内部に対応する領域および外部に対応する領域を含む画像を撮影する撮影手段により撮影された画像を所定の時間間隔で複数、取得する取得手段、
    前記取得手段により取得された複数の画像における変化量に基づいて、前記撮影手段により撮影された画像のうち前記車両の内部に対応する領域をマスクするためのマスクフィルタを生成する生成手段、
    前記生成手段により生成された前記マスクフィルタを記憶する記憶手段、
    としてコンピュータを機能させるためのプログラム。
JP2021040660A 2021-03-12 2021-03-12 画像処理装置、画像処理方法およびプログラム Pending JP2022140026A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021040660A JP2022140026A (ja) 2021-03-12 2021-03-12 画像処理装置、画像処理方法およびプログラム
CN202210187271.7A CN115131749A (zh) 2021-03-12 2022-02-28 图像处理装置、图像处理方法以及计算机可读取存储介质
US17/685,007 US20220292686A1 (en) 2021-03-12 2022-03-02 Image processing apparatus, image processing method, and computer-readable storage medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021040660A JP2022140026A (ja) 2021-03-12 2021-03-12 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2022140026A true JP2022140026A (ja) 2022-09-26

Family

ID=83193916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021040660A Pending JP2022140026A (ja) 2021-03-12 2021-03-12 画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20220292686A1 (ja)
JP (1) JP2022140026A (ja)
CN (1) CN115131749A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11851060B2 (en) * 2020-03-15 2023-12-26 Ron Zass Controlling vehicles in response to windows

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112012029290B1 (pt) * 2010-05-19 2020-02-04 Siemens Sas método de segurança de uma transmissão à distância de uma imagem de um objeto, dispositivo para detecção e sistema de segurança de uma transmissão à distância de uma imagem de vídeo
KR101774692B1 (ko) * 2016-05-16 2017-09-04 현대자동차주식회사 에어백 제어 장치 및 방법
KR101851155B1 (ko) * 2016-10-12 2018-06-04 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
JP2020182139A (ja) * 2019-04-26 2020-11-05 ソニー株式会社 撮像システム及び撮像素子
JP7300349B2 (ja) * 2019-09-04 2023-06-29 株式会社デンソーテン 画像記録システム、画像提供装置、および、画像提供方法
US20220377275A1 (en) * 2019-10-30 2022-11-24 Sony Group Corporation Imaging device, display device, and imaging system

Also Published As

Publication number Publication date
US20220292686A1 (en) 2022-09-15
CN115131749A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN109789778B (zh) 自动泊车辅助装置以及包括其的车辆
CN107499307B (zh) 自动停车辅助装置以及包括该自动停车辅助装置的车辆
KR101949438B1 (ko) 차량용 디스플레이 장치 및 이를 포함하는 차량
CN106205175B (zh) 用于车辆的显示设备和车辆
EP3184365B1 (en) Display device for vehicle and control method thereof
KR101741433B1 (ko) 운전자 보조 장치 및 그 제어방법
CN104115198B (zh) 车辆合流辅助系统和方法
US10887568B2 (en) Image processing apparatus, and image processing method
WO2016186039A1 (ja) 自動車周辺情報表示システム
CN109716415B (zh) 车辆控制装置、车辆控制方法以及移动体
US11180164B2 (en) Vehicle control apparatus, vehicle, and control method
CN109715467B (zh) 车辆控制装置、车辆控制方法以及可移动体
KR101962348B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
CN113170080A (zh) 信息处理设备、信息处理方法和程序
JP2005202787A (ja) 車両用表示装置
KR101822896B1 (ko) 운전자 보조 장치 및 그 제어방법
US11052822B2 (en) Vehicle control apparatus, control method, and storage medium for storing program
US20220292686A1 (en) Image processing apparatus, image processing method, and computer-readable storage medium storing program
JP2015106395A (ja) 信号情報提示装置
JP7116670B2 (ja) 走行制御装置、制御方法およびプログラム
KR20170087618A (ko) 차량용 디스플레이 장치 및 그 동작 방법
JP2023111474A (ja) 車両制御装置
CN117440902A (zh) 车辆用报告控制装置以及车辆用报告控制方法
JP2023005580A (ja) 移動体制御装置、移動体制御方法、およびプログラム
JP2022154208A (ja) 画像処理装置、画像処理システム、および、画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231128