JP2017520133A - 車両周辺イメージ生成装置および方法 - Google Patents

車両周辺イメージ生成装置および方法 Download PDF

Info

Publication number
JP2017520133A
JP2017520133A JP2016560769A JP2016560769A JP2017520133A JP 2017520133 A JP2017520133 A JP 2017520133A JP 2016560769 A JP2016560769 A JP 2016560769A JP 2016560769 A JP2016560769 A JP 2016560769A JP 2017520133 A JP2017520133 A JP 2017520133A
Authority
JP
Japan
Prior art keywords
bird
eye view
image
vehicle
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016560769A
Other languages
English (en)
Inventor
ジョン−ピョ イ，
ジョン−ピョ イ，
チェウォン−ウ リュウ，
チェウォン−ウ リュウ，
サン−グ キム，
サン−グ キム，
ジェ−ホン パク，
ジェ−ホン パク，
ソク−キオン クウォン，
ソク−キオン クウォン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wise Automotive Corp
SL Corp
Original Assignee
Wise Automotive Corp
SL Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wise Automotive Corp, SL Corp filed Critical Wise Automotive Corp
Publication of JP2017520133A publication Critical patent/JP2017520133A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両周辺イメージ生成装置および方法が開示される。【解決手段】本発明の車両周辺イメージ生成装置は、車両周辺を撮影するカメラ部で生成された撮影イメージをカメラ部を視点に投影した地面座標系のデータに変換する鳥瞰図イメージ生成部、前の鳥瞰図イメージが生成された後、車両の移動した領域を抽出して移動した領域の鳥瞰図である移動領域鳥瞰図イメージを生成する移動領域鳥瞰図イメージ生成部、前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを過去のイメージである移動領域鳥瞰図イメージと合成する合成鳥瞰図イメージ生成部、現在のイメージである後の鳥瞰図イメージと過去のイメージである移動領域鳥瞰図イメージを区分するためにイメージを補正して補正された合成鳥瞰図イメージを生成する合成鳥瞰図イメージ補正部を含む。【選択図】 図２

Description

本発明は、車両周辺イメージ生成装置および方法（ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＰＥＲＩＰＨＥＲＡＬ ＩＭＡＧＥ ＧＥＮＥＲＡＴＩＯＮ ＯＦ ＶＥＨＩＣＬＥ）に関する。特に、車両後方のイメージを取得してモニタ上にディスプレイするに際し、過去のイメージと現在のイメージとを区分するための車両周辺イメージ生成装置および方法に関する。
一般的に、車両は、車体に装備したエンジンなどの原動機を動力源として道路などを走行し、人間や貨物を運んだり各種作業を行う装置であり、車両の運転者は走行方向を注視しながら車両を安全に運転する。
しかし、車両が駐車をするなど後進する場合においては、車両の運転者は車両の後方である走行方向を注視しにくい。したがって、車両の後方をディスプレイするための装置として、車両の後ろに設けられたカメラからのイメージをモニタにそのまま出力するディスプレイ装置が知られている。
特に、韓国公開特許第２００８−００２４７７２号では、カメラから伝達された入力映像を鳥瞰図に変換する技術により、モニタ上にディスプレイされたイメージから車両と駐車区画との間の相対的な位置をより明確に把握できる技術を開示している。
ただし、前記技術では、カメラの現在視野に存在しない対象をディスプレイできないという限界がある。例えば、車両の駐車のために後進する時、すでに車両が通り過ぎた空間に存在する駐車線（現在視野外）はディスプレイできない問題がある。
したがって、カメラの現在視野外の対象をディスプレイするためのイメージを生成できる技術が必要である。そこで、カメラの現在視野外の対象をディスプレイするために過去に車両で撮影したイメージを現在のイメージと合成する技術が公開された。ただし、この場合、過去のイメージと現在のイメージとを区分せず、運転者が過去のイメージを盲目的に信頼してしまって、車両の事故が発生する場合が数多くある。
したがって、現在のカメラに撮影される現在のイメージと、現在のカメラに撮影されない過去のイメージとを区分できる技術が必要である。これとともに、車両の現在状態で危険物体を感知する技術を越えて、車両の現在の回転角度を抽出して、現在の回転角度で進行し続ける時、近く衝突の危険があるかを判断して、モニタに危険表示を提供できる技術が必要な状態である。
本発明の目的は、カメラにより互いに異なる時間に撮影した車両周辺のイメージに対する鳥瞰図を整合して、カメラの現在視野外の対象をディスプレイする一方で、整合された鳥瞰図イメージにおいて現在のイメージと過去のイメージとを区分して表示することを可能にすることである。
また、本発明の目的は、車両に位置した超音波センサを介して、前記車両が周辺の物体と衝突危険のある領域である車両周辺の危険領域を、整合された鳥瞰図イメージに表示することを可能にすることである。
さらに、本発明の目的は、車両に位置したステアリングホイールセンサを介して、前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記車両が周辺の物体と衝突危険のある領域である車両周辺の危険領域を、整合された鳥瞰図イメージに表示することを可能にすることである。
上記の目的を達成するための、本発明に係る車両周辺イメージ生成装置は、車両に位置して周辺を撮影するカメラ部から生成された撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成する鳥瞰図イメージ生成部と、前記鳥瞰図イメージ生成部によって前の鳥瞰図イメージが生成された後、前記車両の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成する移動領域鳥瞰図イメージ生成部と、前記前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを、過去のイメージである移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成する合成鳥瞰図イメージ生成部と、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するためにイメージを補正して、補正された合成鳥瞰図イメージを生成する合成鳥瞰図イメージ補正部とを含む。
この時、前記移動領域鳥瞰図イメージ生成部は、前記車両に位置したホイールスピードセンサを介して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、車両の移動した領域を抽出することができる。
この時、前記合成鳥瞰図イメージ補正部は、前記過去のイメージである移動領域鳥瞰図イメージを映像処理する過去イメージ映像処理部を含むことができる。
この時、前記過去イメージ映像処理部は、前記過去のイメージである移動領域鳥瞰図イメージに対して、色相調整、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくとも１つの処理を行うことができる。
この時、前記過去イメージ映像処理部は、前記過去のイメージである移動領域鳥瞰図イメージを、過去の時点に基づいて段階別に異なって映像処理を行うことができる。
この時、前記過去イメージ映像処理部は、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線を映像処理することができる。
この時、前記過去イメージ映像処理部は、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線以外の残りを映像処理して前記駐車線を映し出すことができる。
この時、前記合成鳥瞰図イメージ補正部は、前記車両の衝突可能性に対応して、前記合成鳥瞰図イメージに危険領域を表示する危険領域映像処理部を含むことができる。
この時、前記危険領域映像処理部は、前記車両に位置した少なくとも１つの超音波センサを介して感知された物体と前記車両との距離に対応して、前記合成鳥瞰図イメージを補正することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することができる。
この時、前記危険領域映像処理部は、前記車両に位置したステアリングホイールセンサを介して前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記合成鳥瞰図イメージを補正することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することができる。
また、上記の目的を達成するための、本発明に係る車両周辺イメージ生成方法は、鳥瞰図イメージ生成部によって、車両に位置して周辺を撮影するカメラ部から生成された撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成するステップと、移動領域鳥瞰図イメージ生成部によって、前記鳥瞰図イメージを生成するステップで前の鳥瞰図イメージが生成された後、前記車両の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成するステップと、合成鳥瞰図イメージ生成部によって、前記前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを、過去のイメージである移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成するステップと、合成鳥瞰図イメージ補正部によって、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するためにイメージを補正して、補正された合成鳥瞰図イメージを生成するステップとを含む。
この時、前記移動領域鳥瞰図イメージを生成するステップは、前記車両に位置したホイールスピードセンサを介して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、車両の移動した領域を抽出することができる。
この時、前記補正された合成鳥瞰図イメージを生成するステップは、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップを含むことができる。
この時、前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記過去のイメージである移動領域鳥瞰図イメージに対して、色相調整、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくとも１つの処理を行うことができる。
この時、前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記過去のイメージである移動領域鳥瞰図イメージを、過去の時点に基づいて段階別に異なって映像処理を行うことができる。
この時、前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線を映像処理することができる。
この時、前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線以外の残りを映像処理して前記駐車線を映し出すことができる。
この時、前記補正された合成鳥瞰図イメージを生成するステップは、前記車両の衝突可能性に対応して、前記合成鳥瞰図イメージに危険領域を表示するステップを含むことができる。
この時、前記危険領域を表示するステップは、前記車両に位置した少なくとも１つ以上の超音波センサを介して感知された物体と前記車両との距離に対応して、前記補正された合成鳥瞰図イメージを生成することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することができる。
この時、前記危険領域を表示するステップは、前記車両に位置したステアリングホイールセンサを介して前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記補正された合成鳥瞰図イメージを生成することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することができる。
本発明によれば、カメラにより互いに異なる時間に撮影した車両周辺のイメージに対する鳥瞰図を整合して、カメラの現在視野外の対象をディスプレイするが、整合された鳥瞰図イメージにおいて現在のイメージと過去のイメージとを区分して表示することができる。
また、本発明によれば、車両に位置した超音波センサを介して、前記車両が周辺の物体と衝突危険のある領域である車両周辺の危険領域を、整合された鳥瞰図イメージに表示することができる。
さらに、本発明によれば、車両に位置したステアリングホイールセンサを介して、前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記車両が周辺の物体と衝突危険のある領域である車両周辺の危険領域を、整合された鳥瞰図イメージに表示することができる。
図１は、本発明に係る車両周辺イメージ生成装置の主要部分を示す概略図である。 図２は、本発明に係る車両周辺イメージ生成装置のブロック図である。 図３は、本発明に係る車両周辺イメージ生成装置により行われる座標変換での位置関係を示す図である。 図４は、本発明に係る車両周辺イメージ生成装置の概念を説明するための図である。 図５は、本発明に係る車両周辺イメージ生成装置の一実施形態により生成された車両の左後輪に対するホイールパルスを示す図である。 図６は、本発明に係る車両周辺イメージ生成装置の一実施形態により生成された車両の右後輪に対するホイールパルスを示す図である。 図７は、本発明に係る車両周辺イメージ生成装置の一実施形態により車両の移動した領域を抽出する方法を説明するための図である。 図８は、本発明に係る車両周辺イメージ生成装置において合成鳥瞰図イメージを補正する前の様子を説明するための図である。 図９は、本発明に係る車両周辺イメージ生成装置において合成鳥瞰図イメージを補正する前の様子を説明するための図である。 図１０は、本発明に係る車両周辺イメージ生成装置の合成鳥瞰図イメージ補正部の一実施形態である。 図１１は、本発明に係る車両周辺イメージ生成装置の一実施形態に係るディスプレイ部の出力画面である。 図１２は、本発明に係る車両周辺イメージ生成装置の一実施形態に係るディスプレイ部の出力画面である。 図１３は、本発明に係る車両周辺イメージ生成装置の一実施形態に係るディスプレイ部の出力画面である。 図１４は、本発明に係る合成鳥瞰図イメージ補正部の危険領域映像処理部の概念を説明するための図である。 図１５は、本発明に係る合成鳥瞰図イメージ補正部の危険領域映像処理部の動作原理を説明するための図である。 図１６は、本発明に係る合成鳥瞰図イメージ補正部の危険領域映像処理部の動作原理を説明するための図である。 図１７は、本発明に係る車両周辺イメージ生成方法のフローチャートである。
以下、本発明を添付した図面を参照して詳細に説明する。ここで、繰り返される説明、本発明の要旨を不必要にあみまいにし得る公知の機能、および構成に関する詳細な説明は省略する。
本発明の実施形態は、当業界における平均的な知識を有する者に本発明をより完全に説明するために提供されるものである。
したがって、図面における要素の形状および大きさなどは、より明確な説明のために誇張されることがある。
本発明に係る車両周辺イメージ生成装置の基本システム構成について、図１および図２を参照して説明する。
図１は、本発明に係る車両周辺イメージ生成装置の主要部分を示す概略図である。図２は、本発明に係る車両周辺イメージ生成装置のブロック図である。
図１を参照して説明すれば、本発明に係る車両周辺イメージ生成装置１００は、車両１に位置して周辺５を撮影するカメラ部１１０から生成された撮影イメージを、前記カメラ部１１０を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成する鳥瞰図イメージ生成部１２０と、前記鳥瞰図イメージ生成部１２０によって前の鳥瞰図イメージが生成された後、前記車両１の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成する移動領域鳥瞰図イメージ生成部１３０と、前記前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを、過去のイメージである移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成する合成鳥瞰図イメージ生成部１４０と、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するためにイメージを補正して、補正された合成鳥瞰図イメージを生成する合成鳥瞰図イメージ補正部１５０とを含む。
また、前記車両１に位置し、前記補正された合成鳥瞰図イメージをディスプレイするディスプレイ部１６０をさらに含むことができる。
さらに、前記車両１に少なくとも１つ以上の超音波センサ１７０を含み、前記車両周辺の物体を感知することができる。
また、前記車両１にステアリングホイールセンサ１８０を含み、前記車両１の回転角度を抽出することができる。
この時、前記鳥瞰図イメージ生成部１２０、移動領域鳥瞰図イメージ生成部１３０、合成鳥瞰図イメージ生成部１４０および合成鳥瞰図イメージ補正部１５０は、本発明に係る車両周辺イメージ生成装置１００の主要部分であって、マイクロコンピュータを含んだ、イメージデータの処理を行うための電子装置であり、カメラ部１と一体に構成される。
前記カメラ部１１０は、車両１に位置して周辺５を撮影することにより、撮影イメージを生成する機能を行う。
図１に示されているように、前記カメラ部１１０は、車両１の後方に設けられ、少なくとも１つ以上のカメラ（例えば、ＣＣＤカメラ）を含む。
前記鳥瞰図イメージ生成部１２０は、前記カメラ部１１０から撮影されて生成された撮影イメージを、前記カメラ部１１０を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成する機能を行う。
前記カメラ部１１０によって撮影されて生成された撮影イメージを鳥瞰図イメージに変換する方法は、後述するように関連する技術が使用される。ここで、通常の透視変換（Ｐｅｒｓｐｅｃｔｉｖｅ ｃｏｎｖｅｒｓｉｏｎ）の逆処理を行うことにより、地面上のイメージ（例えば、駐車空間表示）の位置が鳥瞰図イメージとして取得される。
図３は、本発明に係る車両周辺イメージ生成装置により行われる座標変換での位置関係を示す図である。
具体的には、図３に示されているように、地面上のイメージの位置データがカメラ部１１０の位置Ｒから焦点距離ｆを有するスクリーン平面Ｔ上に投影される方式で透視変換が実行される。
より詳細に説明すれば、カメラ部１１０がＺ軸上のポイントＲ（０，０，Ｈ）に位置して、見下ろす角度τで地面（ｘ−ｙ座標平面）上にイメージをモニタリングすると仮定する。したがって、ここでは、下記数式１に示されているように、スクリーン平面Ｔ上に２次元座標（α，β）が地面平面上の座標（鳥瞰図座標）に変換（逆透視変換）される。
Figure 2017520133
すなわち、前記数式１を用いることにより、投影された映像を（鳥瞰図イメージを示す）、前記ディスプレイ部１６０のスクリーンに対するイメージに変換して、これをディスプレイ部１６０上にディスプレイすることができる。
以下、図４を参照して、本発明に係る車両周辺イメージ生成装置の概念を説明する。
図４を参照して説明すれば、Ｔ時点での車両２００と、前記Ｔ時点から一定時間経過後のＴ＋１時点での車両２００’が示されている。
前記Ｔ時点での車両２００で生成された鳥瞰図イメージを前の鳥瞰図イメージ１０といい、前記Ｔ＋１時点での車両２００’で生成された鳥瞰図イメージを後の鳥瞰図イメージ２０という。
この時、前記前の鳥瞰図イメージ１０と前記後の鳥瞰図イメージ２０は、共通した領域に対する鳥瞰図イメージ３０が存在する。すなわち、Ｔ時点と、Ｔ＋１時点で共通に撮影されて生成された鳥瞰図イメージである。
また、前記Ｔ＋１時点での車両２００’の側面から眺めると、前記前の鳥瞰図イメージ１０中の、前記共通した領域に対する鳥瞰図イメージ３０を除いた部分は、過去の鳥瞰図イメージ４０になる。
前記過去の鳥瞰図イメージ４０とは、Ｔ＋１時点での車両２００’の後方にあるカメラ部１１０の視野外の対象である。すなわち、現在時点のＴ＋１時点では撮影されない対象を意味する。
本発明に係る車両周辺イメージ生成装置１００は、前記Ｔ＋１時点での車両２００’の内部のディスプレイ部１６０によってディスプレイされるイメージに、前記過去の鳥瞰図イメージ４０を含むことを前提とする。すなわち、カメラ部１１０の現在視野に存在する後の鳥瞰図イメージ２０と、前記過去の鳥瞰図イメージ４０とを合成してディスプレイするのである。このように合成されたイメージを合成鳥瞰図イメージという。
このように合成鳥瞰図イメージをディスプレイする場合において、過去の鳥瞰図イメージ４０とカメラ部１１０の現在視野に存在する後の鳥瞰図イメージ２０である現在のイメージとを区分することが必要である。すなわち、過去のイメージは、Ｔ時点での車両２００の位置を基準として生成されたイメージであるので、Ｔ＋１の時点では信頼度がやや低下し得るからである。
例えば、Ｔ時点で出現しない移動物体がＴ＋１時点で出現したとしても、ディスプレイ部１６０上には前記移動物体がディスプレイされないので、事故の危険が存在する。
したがって、運転者がディスプレイ部１６０を見つめるに際し、過去のイメージと現在のイメージとを区分できなければならないのである。
また、前記過去の鳥瞰図イメージ４０を正確に抽出するためには、前記車両の移動した領域を抽出しなければならない。前記過去の鳥瞰図イメージ４０は、前記車両の移動した領域を抽出することで算出されるので、移動領域鳥瞰図イメージという。
したがって、前記合成鳥瞰図イメージとは、前記Ｔ時点で撮影されて前の鳥瞰図イメージ１０が生成された後、Ｔ＋１時点で撮影されて生成された後の鳥瞰図イメージ２０と、前記移動領域鳥瞰図イメージとを合成したイメージである。
以下、前記車両の移動した領域を抽出する方法について具体的に説明する。
前記移動領域鳥瞰図イメージ生成部１３０は、前記鳥瞰図イメージ生成部１２０によって前の鳥瞰図イメージが生成された後、前記車両の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成する機能を行う。
具体的には、図４を参照すれば、Ｔ時点での車両２００のディスプレイ部１６０には前の鳥瞰図イメージ１０がディスプレイされ、Ｔ＋１時点での車両２００’のディスプレイ部１６０には過去の鳥瞰図イメージ車両２００’が存在する場合、前記車両２００’のディスプレイ部１６０には過去の鳥瞰図イメージ４０と後の鳥瞰図イメージ２０がともにディスプレイされる。これを合成鳥瞰図イメージとしたことは上述した。
前記後の鳥瞰図イメージ２０は、現在時点のＴ＋１時点での車両２００’に位置したカメラ部１１０によって撮影されたイメージの鳥瞰図である。
このように、前記合成イメージを生成するためには、過去の鳥瞰図イメージ４０を抽出しなければならないが、これは、前記前の鳥瞰図イメージから抽出される。具体的には、Ｔ時点での車両２００がＴ＋１時点になった時まで移動した領域を抽出するのである。前記移動した領域を抽出するためには、前記前の鳥瞰図イメージ１０と前記後の鳥瞰図イメージ２０とを対比して、前記前の鳥瞰図イメージ１０から、前記第２鳥瞰図と一致する共通領域を差し引いた領域４０を、前記車両の移動した領域として算定する方法である。
前記車両の移動した領域として推定する他の方法としては、前記車両から提供される車両の速度および移動方向を含む車両の運行情報に基づいて、車両の移動した領域を抽出する方法がある。
具体的には、車両から提供される車両の速度および移動方向を含む車両の運行情報に基づいて、速度情報およびステアリングホイール情報に応じて予め設定された単位ピクセル数だけを移動した領域として算定するのである。
例えば、車両の速度が１０Ｋｍで、ステアリングホイールの角度が１０度の場合、ピクセルを走行方向に予め設定された単位ピクセル（例えば、２０ピクセル）だけ移動させ、ステアリングホイールの方向に応じて左側または右側方向に予め設定された単位ピクセル（例えば、１０ピクセル）だけ移動させる方法により移動した領域を算定するのである。
また、前記車両の移動した領域として推定する他の方法としては、前記車両に位置したホイールスピードセンサを介して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、車両の移動した領域を抽出する方法があり、図５〜図７を参照して説明する。
図５は、本発明に係る車両周辺イメージ生成装置の一実施形態により生成された車両の左後輪に対するホイールパルスを示す図である。図６は、本発明に係る車両周辺イメージ生成装置の一実施形態により生成された車両の右後輪に対するホイールパルスを示す図である。図７は、本発明に係る車両周辺イメージ生成装置の一実施形態により車両の移動した領域を抽出する方法を説明するための図である。
前記ホイールスピードセンサは、車両に位置し、前記車両の左輪および右輪の動きに応じてホイールパルス信号を生成する。
前記車両の前輪は、前記車両の後輪とは異なり、回転するように構成されているので、前記車両の移動した距離を正確に抽出するに際しては、前記車両の後輪を活用することがより効果的である。
したがって、前記ホイールスピードセンサを説明するにあたり、後輪を中心に説明する。ただし、この説明が前記ホイールスピードセンサにおける後輪のみを権利範囲に限定するわけではない。
図５を参照して説明すれば、前記車両の左後輪に対するホイールパルス信号を時間の変化に応じて確認することができる。この時、前記ホイールパルス信号の周期ごとに１ずつカウントをし、１周期ごとに動いた距離は０．０２１７ｍである。
同じく、図６を参照して説明すれば、前記車両の右後輪に対するホイールパルス信号を時間の変化に応じて確認することができる。この時、前記ホイールパルス信号の周期ごとに１ずつカウントをし、１周期ごとに動いた距離は０．０２１７ｍである。
具体的には、図５および図６をともに参照すれば、Ｔ時点での左後輪に対するホイールパルス信号は、３回の周期がカウントされてカウント３の値を有するが、Ｔ時点での右後輪に対するホイールパルス信号は、５回の周期がカウントされてカウント５の値を有する。
すなわち、同一時間移動した距離は右後輪がより多いことを確認することができる。これは、車両が後進することを前提に、ステアリングホイールを時計方向に回転した状態として後進していると判断することができる。
図５および図６で示された左後輪および右後輪に対するホイールパルスに基づいて、車両の移動距離を下記数式２〜４を用いて抽出することができる。
Figure 2017520133
前記数式２において、Ｋ１は、内側後輪の移動距離を意味する。例えば、車両１がステアリングホイールを時計方向に回転した状態で後進する場合には、右後輪が内側後輪になるのであり、車両１がステアリングホイールを半時計方向に回転した状態で後進する場合には、左後輪が内側後輪になるのである。
また、ＷＰｏｕｔは、外側後輪のホイールパルスカウント値を意味し、ＷＰｒｅｓは、ホイールパルス信号のＲｅｓｏｌｕｔｉｏｎであって、１周期の信号あたりに動いた距離（０．０２１７ｍ）を意味する。すなわち、前記ＷＰｒｅｓは、定数（０．０２１７）であり、前記ホイールスピードセンサの種類および設定に応じて変化できる値である。
さらに、ｔは、時間を意味するが、車両が移動する前を意味し、Δｔは、車両が移動する間にかかる時間を意味する。
Figure 2017520133
前記数式３において、Ｋ２は、外側後輪の移動距離を意味する。例えば、車両１がステアリングホイールを時計方向に回転した状態で後進する場合には、左後輪が外側後輪になるのであり、車両１がステアリングホイールを半時計方向に回転した状態で後進する場合には、右後輪が外側後輪になるのである。
また、ＷＰｏｕｔは、外側後輪のホイールパルスカウント値を意味し、ＷＰｒｅｓは、ホイールパルス信号のＲｅｓｏｌｕｔｉｏｎであって、１周期の信号あたりに動いた距離（０．０２１７ｍ）を意味する。すなわち、前記ＷＰｒｅｓは、定数（０．０２１７）であり、前記ホイールスピードセンサの種類および設定に応じて変化できる値である。
さらに、ｔは、時間を意味するが、車両が移動する前を意味し、Δｔは、車両が移動する間にかかる時間を意味する。
Figure 2017520133
前記数式４において、Ｋは、車軸の移動距離を意味する。ここで、前記車軸の移動距離とは、車両の移動距離と同じ意味である。
また、Ｋ１は、内側後輪の移動距離を意味し、Ｋ２は、外側後輪の移動距離を意味する。すなわち、車両の移動距離である車軸の移動距離は、車両の内側後輪の移動距離と、車両の外側後輪の移動距離との平均値になる。
したがって、前記移動距離抽出部１３１は、前記数式２〜４により前記車両１の移動距離を抽出することができる。
前記抽出された移動距離を活用して、前記車両１の回転半径および移動した位置座標を抽出する方法について説明する。
図７は、本発明に係る車両周辺イメージ生成装置の一実施形態により車両の移動した領域を抽出する方法を説明するための図である。
図７を参照すれば、車両１の現在位置６は、左後輪と右後輪との中間になり、これは、車軸の現在中心位置と同じ意味である。また、前記車両１の移動した後の位置７は、移動した位置における車両の左後輪と右後輪との中間になることを確認することができる。
前記左後輪および右後輪の相互間のホイールパルスの差に基づいて、前記車両の回転半径を抽出する方法について、下記数式５〜８を用いる。
Figure 2017520133
前記数式５において、Ｋ１は、内側後輪の移動距離を意味し、Ｒは、車両の回転半径を意味する。具体的には、車軸の回転半径を意味する。
Ｗは、車幅を意味する。具体的には、左後輪と右後輪との間の距離を意味する。また、Δθ（ｔ）は、ｔ時間の間の車両角度の変化量を意味する。
Figure 2017520133
前記数式６において、Ｋ２は、外側後輪の移動距離を意味し、Ｒは、車両の回転半径を意味する。具体的には、車軸の回転半径を意味する。
また、Ｗは車幅を意味し、Δθ（ｔ）は、ｔ時間の間の車両角度の変化量を意味する。
Figure 2017520133
前記数式７において、Ｋ２は、外側後輪の移動距離を意味し、Ｋ１は、内側後輪の移動距離を意味する。また、Ｗは、車幅を意味し、Δθ（ｔ）は、ｔ時間の間の車両角度の変化量を意味する。
Figure 2017520133
前記数式８は、前記数式７を、ｔ時間の間の車両角度の変化量であるΔθ（ｔ）に関してまとめた数式である。すなわち、前記数式５で求めたＫ２から、前記数式６で求めたＫ１を差し引いた値を、既定の車両の幅であるＷで割ると、ｔ時間の間の車両角度の変化量であるΔθ（ｔ）を求めることができる。
したがって、Ｋ１、Ｋ２、Δθ（ｔ）およびＷ値をすべて知ることができたので、前記数式５または数式６に代入すると、車両の回転半径であるＲ値を求めることができる。
前記抽出された回転半径および抽出された移動距離に基づいて、前記車両の移動した位置を抽出する方法については、下記数式９〜１７を用いる。
Figure 2017520133
前記数式９において、ｘｃ（ｔ）は、回転中心のｘ座標の位置を意味し、ｘ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｘ座標の位置を意味する。前記車軸の現在中心位置とは、左後輪と右後輪との中間になることを上記で説明した。また、θ（ｔ）は、現在の車両の角度を意味する。
Figure 2017520133
前記数式１０において、ｙｃ（ｔ）は、回転中心のｙ座標の位置を意味し、ｙ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｘ座標の位置を意味する。また、θ（ｔ）は、現在の車両の角度を意味する。
Figure 2017520133
前記数式１１において、ｘ‘（ｔ）は、回転中心を原点とした時の車軸の現在中心位置中のｘ座標の位置を意味し、ｘ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｘ座標の位置を意味する。また、θ（ｔ）は、現在の車両の角度を意味する。
Figure 2017520133
前記数式１２において、ｙ’（ｔ）は、回転中心を原点とした時の車軸の現在中心位置中のｙ座標の位置を意味し、ｙ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｙ座標の位置を意味する。また、θ（ｔ）は、現在の車両の角度を意味する。
Figure 2017520133
前記数式１３において、ｘ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のＸ座標の位置を意味し、ｙ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｙ座標の位置を意味する。
また、Δθ（ｔ）は、ｔ時間の間の車両角度の変化量を意味し、ｘ’（ｔ）は、回転中心を原点とした時の車軸の現在中心位置中のｘ座標の位置を意味し、ｙ’（ｔ）は、回転中心を原点とした時の車軸の現在中心位置中のｙ座標の位置を意味する。すなわち、前記数式１３は、Δｔだけ時間が経過する間に車軸が移動して、回転中心を原点とした時の、移動した車軸の中心位置を算出する回転変換式である。
Figure 2017520133
前記数式１４において、ｘ（ｔ＋Δｔ）は、車軸の移動後の中心位置中のＸ座標の位置を意味する。すなわち、絶対的な位置の値を意味するのであり、回転中心を原点として考慮していない状態の位置である。また、ｘ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のＸ座標の位置を意味し、ｘｃ（ｔ）は、回転中心のｘ座標の位置を意味する。
Figure 2017520133
前記数式１５において、ｙ（ｔ＋Δｔ）は、車軸の移動後の中心位置中のｙ座標の位置を意味する。すなわち、絶対的な位置の値を意味するのであり、回転中心を原点として考慮していない状態の位置である。また、ｙ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｙ座標の位置を意味し、ｙｃ（ｔ）は、回転中心のｙ座標の位置を意味する。
Figure 2017520133
前記数式１６は、前記数式１４に対して、前記数式９〜１３を代入してまとめたものであって、車軸の移動後の中心位置中のＸ座標の位置であるｘ（ｔ＋Δｔ）を求めることができる最終式になる。
Figure 2017520133
前記数式１７は、前記数式１５に対して、前記数式９〜１３を代入してまとめたものであって、車軸の移動後の中心位置中のｙ座標の位置であるｙ（ｔ＋Δｔ）を求めることができる最終式になる。したがって、前記車両の移動した領域を抽出することができるのである。
前記合成鳥瞰図イメージ生成部１４０は、図４に示された前の鳥瞰図イメージ１０が生成された後に撮影されて生成された後の鳥瞰図イメージ２０を、前記移動領域鳥瞰図イメージである過去の鳥瞰図イメージ４０と合成する機能を行う。
したがって、運転者は、車両が後進して車両がＴ＋１時点２００’に存在する時にも、カメラ部１１０に撮影されない部分に対する鳥瞰図イメージ４０を見ることができるのである。
前記合成鳥瞰図イメージ補正部１５０は、現在のイメージである後の鳥瞰図イメージと、過去のイメージである移動領域鳥瞰図イメージとを区分するためにイメージを補正して、補正された合成鳥瞰図イメージを生成する機能を行う。
具体的には、前記移動領域鳥瞰図イメージ生成部１３０から生成された移動領域鳥瞰図イメージを補正することができる。
すなわち、前記合成鳥瞰図イメージ生成部１４０で合成鳥瞰図イメージを生成する前に前記過去のイメージである移動領域鳥瞰図イメージを補正することにより、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分する方法である。したがって、現在のイメージと過去のイメージとが区分された状態で、合成鳥瞰図イメージ生成部１４０によって合成鳥瞰図イメージが生成される。
さらに他の方法としては、前記合成鳥瞰図イメージ生成部１４０から生成された合成鳥瞰図イメージを補正する方法を例に挙げることができる。
この場合には、前記合成鳥瞰図イメージ生成部１４０によって合成鳥瞰図イメージが生成された後に、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するように前記合成鳥瞰図イメージを補正する方法である。したがって、現在のイメージと過去のイメージとが区分されていない状態で、合成鳥瞰図イメージ生成部１４０によって合成鳥瞰図イメージが生成されると、前記合成鳥瞰図イメージ補正部１５０によって前記合成鳥瞰図イメージを補正することにより、前記現在のイメージと過去のイメージとを区分することができるのである。
図８は、車両に位置したカメラ部１１０を介して撮影されて生成された撮影イメージを、ディスプレイ部１１０が出力した画面である。
図９は、合成鳥瞰図イメージであって、前記合成鳥瞰図イメージ補正部１５０によって補正される前の状態である。
具体的には、前記合成鳥瞰図イメージには、前記車両２００’に位置したカメラ部１１０の視野に存在する現在の鳥瞰図イメージ２０が存在し、前記カメラ部１１０の視野外に存在する過去の鳥瞰図イメージ４０が存在する。
この場合、前記過去の鳥瞰図イメージ４０は仮想のイメージであるので、信頼度がやや低下する。したがって、過去の時点に存在していなかった物体が、現在存在しても、ディスプレイ部１６０ではディスプレイされない。
したがって、前記過去の鳥瞰図イメージ４０と前記現在のイメージ２０とを区分することが、前記合成鳥瞰図イメージ補正部１５０で行われる。
図１０は、本発明に係る車両周辺イメージ生成装置の合成鳥瞰図イメージ補正部の一実施形態である。図１１〜図１３は、本発明に係る車両周辺イメージ生成装置の一実施形態に係るディスプレイ部の出力画面である。
図１０を参照すれば、前記合成鳥瞰図イメージ補正部１５０は、過去イメージ映像処理部１５１と、危険領域映像処理部１５２とを含む。
以下、前記過去イメージ映像処理部１５１について具体的に説明する。
前記過去イメージ映像処理部１５１は、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージを検出して、前記過去のイメージである移動領域鳥瞰図イメージを映像処理する機能を行う。
すなわち、前記合成鳥瞰図イメージには、過去のイメージである移動領域鳥瞰図イメージが含まれているため、前記合成鳥瞰図イメージから前記過去のイメージである移動領域鳥瞰図イメージを検出することが先行される。
この時、前記過去イメージ映像処理部１５１は、検出された前記過去のイメージである移動領域鳥瞰図イメージに対して、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくともいずれか１つの処理を行うことができる。
具体的には、図１１を参照すれば、過去のイメージである移動領域鳥瞰図イメージを黒白処理したことを確認することができる。
このように、過去のイメージに特殊効果を処理すると、運転者は過去のイメージと現在のイメージとを区分することが容易になって、車両の事故を未然に防ぐことができるという利点があるのである。
また、前記過去イメージ映像処理部１５１は、前記過去のイメージである移動領域鳥瞰図イメージを、過去の時点に基づいて段階別に異なって、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくともいずれか１つの処理を行うことができる。
例えば、前記過去のイメージである移動領域鳥瞰図イメージを過去の時点に応じて段階別に区分した後、長い過去に相当するほどぼやけて処理したり、モザイク処理を強くする方法がある。これにより、運転者は、現在のイメージと過去のイメージとを区分すること以外にも、前記過去のイメージを過去の程度に応じて段階別に認知することができるのである。
また、前記過去イメージ映像処理部１５１は、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線を映像処理することができる。
具体的には、前記駐車線に対して、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくともいずれか１つの処理を行う方法がある。
また、前記過去イメージ映像処理部１５１は、前記過去のイメージである移動領域鳥瞰図イメージ中の前記駐車線以外の残りをノイズ処理して、前記駐車線を映し出すこともできる。
図１２を参照すれば、前記過去のイメージである移動領域鳥瞰図イメージ中に駐車線のみをディスプレイして運転者が駐車線を明確に認知できるようにし、前記駐車線以外には他の情報がないことが分かるので、前記過去のイメージである移動領域鳥瞰図イメージ４０を信頼しないように誘導することができる。
他の実施形態として、図１３を参照すれば、前記過去のイメージである移動領域鳥瞰図イメージ４０に、警告表示４１を追加する方法がある。すなわち、運転者に過去のイメージであることを明確に知らせることができる。
さらに他の実施形態として、前記合成鳥瞰図イメージに、前記車両と視野角度を示すＶ型ラインを描写することにより、前記過去の鳥瞰図イメージ４０と前記現在のイメージ２０とを区分するように設計することができる。
以下、前記危険領域映像処理部１５２について具体的に説明する。
前記危険領域映像処理部１５２は、前記車両の衝突可能性に対応して、前記合成鳥瞰図イメージを補正することにより、前記合成鳥瞰図イメージに危険領域を表示する機能を行う。
すなわち、前記車両が他の物体と衝突する恐れがあるかの危険性を判断し、衝突する危険があると判断される場合には、前記合成鳥瞰図イメージに別途の危険領域を表示して運転者にディスプレイすることにより、車両の事故を未然に防ぐことができるのである。
図１４を参照すれば、過去のイメージである移動領域鳥瞰図イメージ４０には危険領域４２が表示される。
この時、前記車両が他の物体と衝突する恐れがあるかを判断する方法としては、車両に位置した超音波センサを用いる方法と、車両に位置したステアリングホイールセンサを用いる方法とがあり、具体的な適用方法は、図１４を引き続き参照して後述する。
前記危険領域映像処理部１５２は、前記車両に位置した少なくとも１つ以上の超音波センサ１７０を介して感知された物体２１と前記車両との距離に対応して、前記合成鳥瞰図イメージを補正することにより、前記合成鳥瞰図イメージに存在する車両の前方または側面に危険領域４２を表示することができる。
具体的には、前記車両に位置した少なくとも１つ以上の超音波センサを介して感知された物体と前記車両との距離に対応して、前記補正された合成鳥瞰図イメージを生成することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することができる。
すなわち、前記車両に位置した少なくとも１つ以上の超音波センサ１７０が前記車両の周辺に存在する物体２１を感知すると、前記車両が前記物体２１と衝突される可能性があると判断する。もちろん、前記車両と前記物体２１との距離が近いほど衝突可能性は高くなる。
この時、前記合成鳥瞰図イメージを補正して、前記合成鳥瞰図イメージの車両の前方または側面に危険領域４２を表示することにより、運転者に危険性を知らせる機能をするのである。
すなわち、従来技術では、カメラ部１１０の視野に存在するイメージ（例えば、車両後方）にのみ、危険領域を表示していたが、本発明の実施形態によれば、前記カメラ部１１０の視野外に存在する合成鳥瞰図イメージの車両の前方または側面に危険領域を表示することにより、運転者に危険性を知らせることができるのである。
前記危険領域４２を表示する他の実施形態として、前記車両の前方から右側方に連携されるように危険領域４２を表示してもよいし、前記車両の前方から左側方に連携されるように危険領域を表示することができる。
具体的には、前記超音波センサ１７０を介して感知された物体２１と前記車両とが近くにあれば、前記危険領域を表示する時、より大きなイメージを用いたり、より濃いカラーのイメージを活用することにより、運転者がより容易に認知できるように誘導することができる。
逆に、前記超音波センサ１７０を介して感知された物体２１と前記車両とが一定距離以上離れていて、前記車両の衝突可能性が低くなった場合には、前記危険領域を表示する時、より小さなイメージを用いたり、より薄いカラーのイメージを活用することができる。
前記超音波センサ１７０で感知された物体２１と前記車両との距離は、前記車両が移動するに伴って変更されるため、前記危険領域４２の表示はリアルタイムに変更できるように設計することができる。
例えば、前記車両が前記感知された物体２１に向かって近づいている場合、前記危険領域４２の表示は、前記車両と前記感知された物体２１との距離に対応してリアルタイム変更できるようにするのである。
また、前記危険領域映像処理部１５２は、前記車両に位置したステアリングホイールセンサ１８０を介して前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記合成鳥瞰図イメージを補正することにより、前記合成鳥瞰図イメージの車両の前方または側面に危険領域４２を表示することができる。
より具体的には、前記車両に位置したステアリングホイールセンサを介して前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記補正された合成鳥瞰図イメージを生成することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することができる。
すなわち、従来技術では、カメラ部１１０の視野に存在するイメージ（例えば、車両後方）にのみ、危険領域を表示していたが、本発明の実施形態によれば、前記カメラ部１１０の視野外に存在する合成鳥瞰図イメージの車両の前方または側面に危険領域を表示することにより、運転者に危険性を知らせることができるのである。
具体的には、前記車両に位置したステアリングホイールセンサ１８０を介して前記車両のステアリングホイールが回転する角度を抽出し、前記ステアリングホイール４が回転する角度に応じて前記車両の回転角度を抽出した後、前記車両の回転角度を考慮して、前記車両の衝突危険性を判断する。
前記車両の衝突危険性とは、前記車両の回転角度を考慮して判断するのである。
図１４を引き続き参照すれば、車両に搭乗した運転者がステアリングホイール４を半時計方向に回転して後進する場合、前記ステアリングホイールセンサ１８０を介して車両の回転角度を抽出することにより、車両の右側方に危険領域４２を表示するのである。
逆に、車両に搭乗した運転者がステアリングホイール４を時計方向に回転して後進する場合、前記ステアリングホイールセンサ１８０を介して車両の回転角度を抽出することにより、車両の左側方に危険領域を表示するはずである。
また、前記運転者が、ステアリングホイール４の方向を変えたり、前記ステアリングホイール４の角度を変更する場合には、リアルタイムに表示された危険領域４２が変更されるように設計することができる。これとともに、車両の進行方向に応じて、表示された危険領域４２が変更されてもよい。
例えば、車両が車両に搭乗した運転者がステアリングホイール４を半時計方向に回転して後進する場合、車両の前方または右側方に危険領域４２を表示することになるが、この時、前記車両が進行方向を変えて前進する場合には、前記表示された危険領域４２を除去することができるのである。
前記危険領域４２を表示するさらに他の実施形態として、前記車両の前方から右側方に連携されるように危険領域４２を表示してもよいし、前記車両の前方から左側方に連携されるように危険領域を表示することができる。
図１５〜図１６を参照して、前記ステアリングホイールセンサを介して車両の回転角度を抽出する動作原理について説明する。図１５は、車両のステアリングホイールセンサを説明するための図である。図１６は、車両の左前輪および右前輪それぞれの回転角度を説明するための図である。
図１５を参照すれば、車両１のステアリングホイール４の最大角度を確認することができる。具体的には、半時計方向に５３５度（すなわち、−５３５度）、時計方向に５３５度まで回転が可能である。前記ステアリングホイール４の角度を感知するためには、前記車両１に位置したステアリングホイールセンサが活用される。
図１６を参照すれば、車両の左前輪２および右前輪２’の角度を確認することができる。この時、外側の最大角度（φout max ）は３３度であり、内側最大角度（φin max ）は３９度である。ただし、車両１の種類および技術発展に応じて、前記外側最大角度および内側最大角度は変化できる。
具体的には、前記ステアリングホイールセンサ１８０を介して前記車両のステアリングホイール４の回転角度を感知し、前記ステアリングホイール４の回転角度に基づいて、前記車両の左前輪２および右前輪２’それぞれの回転角度を算出することができる。
すなわち、前記ステアリングホイール４の角度を感知した後に、感知されたステアリングホイール４の角度に基づいて、前記車両１の前輪２，２’の角度を算出することができる。
前記車両１の前輪２，２’の角度を算出する具体的な方法は、下記数式を用いる。
Figure 2017520133
Figure 2017520133
前記数式１８および１９において、φout は、回転する車両１の前輪外側の角度であり、φin は、回転する車両１の前輪内側の角度である。また、φout max は、外側最大角度で３３度であり、φin max は、内側最大角度で３９度である。
具体的には、前記車両１が前記ステアリングホイール４を時計方向に回転して後進する場合には、左前輪２から内側角度を算出し、右前輪２’から外側角度を算出することになり、前記車両１が前記ステアリングホイール４を半時計方向に回転して後進する場合には、右前輪２’から内側角度を算出し、左前輪２から外側角度を算出することになるのである。
また、Ｗdata は、前記ステアリングホイールセンサ１８０から取得した値を意味するので、−５３５度〜５３５度の範囲を有する。
したがって、前記ステアリングホイールセンサ１８０は、前記車両の回転角度を算出することができる。
以下、本発明に係る車両周辺イメージ生成方法について説明する。前記本発明に係る車両周辺イメージ生成装置と重複する説明は省略する。
図１７は、本発明に係る車両周辺イメージ生成方法のフローチャートである。
図１７を参照すれば、本発明に係る車両周辺イメージ生成方法は、車両に位置したカメラ部を介して周辺を撮影することにより、撮影イメージを生成するステップＳ１００と、前記撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成するステップＳ１１０と、前記鳥瞰図イメージを生成するステップで前の鳥瞰図イメージが生成された後、前記車両の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成するステップＳ１２０と、前記前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを、過去のイメージである移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成するステップＳ１３０と、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するために前記合成鳥瞰図イメージを補正して、補正された合成鳥瞰図イメージを生成するステップＳ１４０とを含む。
この時、前記補正された合成鳥瞰図イメージを生成するステップＳ１４０の後に、前記車両に位置したディスプレイ部を介して、前記補正された合成鳥瞰図イメージをディスプレイするステップＳ１５０をさらに含むことができる。
以上、本発明に係る車両周辺イメージ生成装置および方法は、上記のように説明された実施形態の構成と方法が限定されて適用されるのではなく、上記の実施形態は多様な変形が可能となるように各実施形態の全部または一部が選択的に組み合わされて構成されてもよい。
また、ＷＰ ｉｎ は、内側後輪のホイールパルスカウント値を意味し、ＷＰｒｅｓは、ホイールパルス信号のＲｅｓｏｌｕｔｉｏｎであって、１周期の信号あたりに動いた距離（０．０２１７ｍ）を意味する。すなわち、前記ＷＰｒｅｓは、定数（０．０２１７）であり、前記ホイールスピードセンサの種類および設定に応じて変化できる値である。
前記数式１０において、ｙｃ（ｔ）は、回転中心のｙ座標の位置を意味し、ｙ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｙ座標の位置を意味する。また、θ（ｔ）は、現在の車両の角度を意味する。
前記数式１３において、ｘ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｘ座標の位置を意味し、ｙ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｙ座標の位置を意味する。
前記数式１４において、ｘ（ｔ＋Δｔ）は、車軸の移動後の中心位置中のｘ座標の位置を意味する。すなわち、絶対的な位置の値を意味するのであり、回転中心を原点として考慮していない状態の位置である。また、ｘ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｘ座標の位置を意味し、ｘｃ（ｔ）は、回転中心のｘ座標の位置を意味する。
前記数式１６は、前記数式１４に対して、前記数式９〜１３を代入してまとめたものであって、車軸の移動後の中心位置中のｘ座標の位置であるｘ（ｔ＋Δｔ）を求めることができる最終式になる。

Claims (20)

  1. 車両に位置して周辺を撮影するカメラ部から生成された撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成する鳥瞰図イメージ生成部と、
    前記鳥瞰図イメージ生成部によって前の鳥瞰図イメージが生成された後、前記車両の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成する移動領域鳥瞰図イメージ生成部と、
    前記前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを、過去のイメージである移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成する合成鳥瞰図イメージ生成部と、
    前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するためにイメージを補正して、補正された合成鳥瞰図イメージを生成する合成鳥瞰図イメージ補正部とを含むことを特徴とする車両周辺イメージ生成装置。
  2. 前記移動領域鳥瞰図イメージ生成部は、前記車両に位置したホイールスピードセンサを介して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、車両の移動した領域を抽出することを特徴とする請求項１に記載の車両周辺イメージ生成装置。
  3. 前記合成鳥瞰図イメージ補正部は、前記過去のイメージである移動領域鳥瞰図イメージを映像処理する過去イメージ映像処理部を含むことを特徴とする請求項１に記載の車両周辺イメージ生成装置。
  4. 前記過去イメージ映像処理部は、前記過去のイメージである移動領域鳥瞰図イメージに対して、色相調整、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくとも１つの処理を行うことを特徴とする請求項３に記載の車両周辺イメージ生成装置。
  5. 前記過去イメージ映像処理部は、前記過去のイメージである移動領域鳥瞰図イメージを、過去の時点に基づいて段階別に異なって映像処理を行うことを特徴とする請求項３に記載の車両周辺イメージ生成装置。
  6. 前記過去イメージ映像処理部は、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線を映像処理することを特徴とする請求項３に記載の車両周辺イメージ生成装置。
  7. 前記過去イメージ映像処理部は、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線以外の残りを映像処理して前記駐車線を映し出すことを特徴とする請求項３に記載の車両周辺イメージ生成装置。
  8. 前記合成鳥瞰図イメージ補正部は、前記車両の衝突可能性に対応して、前記合成鳥瞰図イメージに危険領域を表示する危険領域映像処理部を含むことを特徴とする請求項１に記載の車両周辺イメージ生成装置。
  9. 前記危険領域映像処理部は、前記車両に位置した少なくとも１つの超音波センサを介して感知された物体と前記車両との距離に対応して、前記合成鳥瞰図イメージを補正することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することを特徴とする請求項８に記載の車両周辺イメージ生成装置。
  10. 前記危険領域映像処理部は、前記車両に位置したステアリングホイールセンサを介して前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記合成鳥瞰図イメージを補正することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することを特徴とする請求項８に記載の車両周辺イメージ生成装置。
  11. 鳥瞰図イメージ生成部によって、車両に位置して周辺を撮影するカメラ部から生成された撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成するステップと、
    移動領域鳥瞰図イメージ生成部によって、前記鳥瞰図イメージを生成するステップで前の鳥瞰図イメージが生成された後、前記車両の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成するステップと、
    合成鳥瞰図イメージ生成部によって、前記前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを、過去のイメージである移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成するステップと、
    合成鳥瞰図イメージ補正部によって、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するためにイメージを補正して、補正された合成鳥瞰図イメージを生成するステップとを含むことを特徴とする車両周辺イメージ生成方法。
  12. 前記移動領域鳥瞰図イメージを生成するステップは、前記車両に位置したホイールスピードセンサを介して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、車両の移動した領域を抽出することを特徴とする請求項１１に記載の車両周辺イメージ生成方法。
  13. 前記補正された合成鳥瞰図イメージを生成するステップは、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップを含むことを特徴とする請求項１１に記載の車両周辺イメージ生成方法。
  14. 前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記過去のイメージである移動領域鳥瞰図イメージに対して、色相調整、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくとも１つの処理を行うことを特徴とする請求項１３に記載の車両周辺イメージ生成方法。
  15. 前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記過去のイメージである移動領域鳥瞰図イメージを、過去の時点に基づいて段階別に異なって映像処理を行うことを特徴とする請求項１３に記載の車両周辺イメージ生成方法。
  16. 前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線を映像処理することを特徴とする請求項１３に記載の車両周辺イメージ生成方法。
  17. 前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線以外の残りを映像処理して前記駐車線を映し出すことを特徴とする請求項１３に記載の車両周辺イメージ生成方法。
  18. 前記補正された合成鳥瞰図イメージを生成するステップは、前記車両の衝突可能性に対応して、前記合成鳥瞰図イメージに危険領域を表示するステップを含むことを特徴とする請求項１１に記載の車両周辺イメージ生成方法。
  19. 前記危険領域を表示するステップは、前記車両に位置した少なくとも１つ以上の超音波センサを介して感知された物体と前記車両との距離に対応して、前記補正された合成鳥瞰図イメージを生成することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することを特徴とする請求項１８に記載の車両周辺イメージ生成方法。
  20. 前記危険領域を表示するステップは、前記車両に位置したステアリングホイールセンサを介して前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記補正された合成鳥瞰図イメージを生成することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することを特徴とする請求項１８に記載の車両周辺イメージ生成方法。
JP2016560769A 2014-04-04 2015-04-03 車両周辺イメージ生成装置および方法 Pending JP2017520133A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140040633A KR101611194B1 (ko) 2014-04-04 2014-04-04 차량 주변 이미지 생성 장치 및 방법
KR10-2014-0040633 2014-04-04
PCT/KR2015/003394 WO2015152691A2 (ko) 2014-04-04 2015-04-03 차량 주변 이미지 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
JP2017520133A true JP2017520133A (ja) 2017-07-20

Family

ID=54241408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016560769A Pending JP2017520133A (ja) 2014-04-04 2015-04-03 車両周辺イメージ生成装置および方法

Country Status (8)

Country Link
US (1) US20170144599A1 (ja)
EP (1) EP3128738A4 (ja)
JP (1) JP2017520133A (ja)
KR (1) KR101611194B1 (ja)
CN (1) CN107079081A (ja)
BR (1) BR112016023013A2 (ja)
MX (1) MX2016012999A (ja)
WO (1) WO2015152691A2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026450B2 (en) * 2015-03-31 2018-07-17 Jaguar Land Rover Limited Content processing and distribution system and method
US10576892B2 (en) * 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle
CN106080390A (zh) * 2016-06-07 2016-11-09 深圳市灵动飞扬科技有限公司 车辆行进全景系统及其方法
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
US10150414B2 (en) * 2016-07-08 2018-12-11 Ford Global Technologies, Llc Pedestrian detection when a vehicle is reversing
KR101949961B1 (ko) * 2016-11-15 2019-02-21 주식회사 와이즈오토모티브 운전 보조 장치 및 방법
KR20180062820A (ko) * 2016-12-01 2018-06-11 주식회사 와이즈오토모티브 차량의 운전 보조 장치 및 방법
JP6743732B2 (ja) * 2017-03-14 2020-08-19 トヨタ自動車株式会社 画像記録システム、画像記録方法、画像記録プログラム
US10654570B2 (en) 2017-06-05 2020-05-19 International Business Machines Corporation Vehicular alert system
KR102057216B1 (ko) 2017-10-30 2019-12-18 주식회사 케이티앤지 에어로졸 생성 장치 및 에어로졸 생성 장치용 히터 조립체
CN107945575A (zh) * 2017-11-20 2018-04-20 深圳市中通视际实业有限公司 一种车辆监控装置及其方法
CN108985271B (zh) * 2018-08-16 2021-10-08 大连民族大学 磁力模型的感兴趣行人判定方法
CN108961838B (zh) * 2018-08-16 2020-09-22 大连民族大学 道路行人分类系统
CN109375620B (zh) * 2018-10-12 2020-06-02 深圳市今天国际智能机器人有限公司 利用单个光电传感器控制舵轮返回原点的方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002274304A (ja) * 2001-03-21 2002-09-25 Nissan Motor Co Ltd 駐車位置設定装置
JP2005173899A (ja) * 2003-12-10 2005-06-30 Nissan Motor Co Ltd 周囲状況表示装置
JP2007088577A (ja) * 2005-09-20 2007-04-05 Denso Corp 車両周辺画像処理システム
JP2007102798A (ja) * 2006-10-11 2007-04-19 Denso Corp 車両周辺監視システム
JP2007288282A (ja) * 2006-04-12 2007-11-01 Toyota Motor Corp 車両周辺監視装置
JP2011016484A (ja) * 2009-07-10 2011-01-27 Mitsubishi Electric Corp 運転支援装置
JP2012066615A (ja) * 2010-09-21 2012-04-05 Aisin Seiki Co Ltd 運転支援装置
JP2013026801A (ja) * 2011-07-20 2013-02-04 Aisin Seiki Co Ltd 車両周辺監視システム
JP2014036326A (ja) * 2012-08-08 2014-02-24 Honda Motor Co Ltd 俯瞰画像表示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3275668B2 (ja) * 1995-11-21 2002-04-15 三菱電機株式会社 映像監視システム
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
DE10109680B4 (de) * 2000-02-29 2009-02-26 Aisin Seiki K.K., Kariya Einparkhilfsgerät und Einparkhilfsverfahren für ein Fahrzeug
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3886376B2 (ja) * 2001-12-26 2007-02-28 株式会社デンソー 車両周辺監視システム
KR101143176B1 (ko) 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
KR101393918B1 (ko) * 2008-07-08 2014-05-13 현대자동차주식회사 차량 전방위 감시 시스템
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
US20100259371A1 (en) * 2009-04-10 2010-10-14 Jui-Hung Wu Bird-View Parking Aid Apparatus with Ultrasonic Obstacle Marking and Method of Maneuvering the same
KR101071666B1 (ko) * 2010-03-02 2011-10-11 (주) 엔네비솔루션 회전각 센서를 이용한 주차 유도 시스템 및 방법
KR101295618B1 (ko) * 2011-12-09 2013-08-12 주식회사 와이즈오토모티브 사각 지대 표시 장치 및 방법
JP5790335B2 (ja) * 2011-09-01 2015-10-07 株式会社デンソー 車両周辺画像表示制御装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002274304A (ja) * 2001-03-21 2002-09-25 Nissan Motor Co Ltd 駐車位置設定装置
JP2005173899A (ja) * 2003-12-10 2005-06-30 Nissan Motor Co Ltd 周囲状況表示装置
JP2007088577A (ja) * 2005-09-20 2007-04-05 Denso Corp 車両周辺画像処理システム
JP2007288282A (ja) * 2006-04-12 2007-11-01 Toyota Motor Corp 車両周辺監視装置
JP2007102798A (ja) * 2006-10-11 2007-04-19 Denso Corp 車両周辺監視システム
JP2011016484A (ja) * 2009-07-10 2011-01-27 Mitsubishi Electric Corp 運転支援装置
JP2012066615A (ja) * 2010-09-21 2012-04-05 Aisin Seiki Co Ltd 運転支援装置
JP2013026801A (ja) * 2011-07-20 2013-02-04 Aisin Seiki Co Ltd 車両周辺監視システム
JP2014036326A (ja) * 2012-08-08 2014-02-24 Honda Motor Co Ltd 俯瞰画像表示装置

Also Published As

Publication number Publication date
WO2015152691A2 (ko) 2015-10-08
EP3128738A2 (en) 2017-02-08
KR101611194B1 (ko) 2016-04-11
BR112016023013A2 (pt) 2017-10-10
KR20150115488A (ko) 2015-10-14
EP3128738A4 (en) 2017-06-28
WO2015152691A3 (ko) 2017-02-02
US20170144599A1 (en) 2017-05-25
MX2016012999A (es) 2017-10-12
CN107079081A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
JP2017520133A (ja) 車両周辺イメージ生成装置および方法
JP2017517174A (ja) 車両周辺イメージ生成装置および方法
US10970568B2 (en) Vehicular vision system with object detection
JP5190712B2 (ja) 障害物検出装置
JP5067632B2 (ja) 鳥瞰画像生成装置
KR101243108B1 (ko) 차량의 후방 영상 표시 장치 및 방법
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
KR101093316B1 (ko) 차량주행중 영상정합 방법 및 그 시스템
JP6171593B2 (ja) 視差図からの対象追跡方法及びシステム
JP2008227646A (ja) 障害物検知装置
JP3301421B2 (ja) 車両周囲状況提示装置
JP6398675B2 (ja) 画像生成装置
JP2008048094A (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP4932293B2 (ja) 障害物認識装置
JP5541099B2 (ja) 道路区画線認識装置
JP7029350B2 (ja) 画像処理装置および画像処理方法
KR101664297B1 (ko) 차량용 어라운드 뷰 모니터링 시스템 및 그 방법
JP2012256159A (ja) 接近物検知装置および接近物検知方法
JP4685050B2 (ja) 表示装置
JP2010056975A (ja) リアカメラによる物体検知方式
JP2010128795A (ja) 障害物検出装置
JP5529058B2 (ja) 立体物検知装置および立体物検知方法
JP4584277B2 (ja) 表示装置
JP2011131740A (ja) 車両の運転支援装置
JP2009262881A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171017

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180612