JP2018014616A - 表示制御装置、方法、プログラム及び表示制御システム - Google Patents

表示制御装置、方法、プログラム及び表示制御システム Download PDF

Info

Publication number
JP2018014616A
JP2018014616A JP2016142990A JP2016142990A JP2018014616A JP 2018014616 A JP2018014616 A JP 2018014616A JP 2016142990 A JP2016142990 A JP 2016142990A JP 2016142990 A JP2016142990 A JP 2016142990A JP 2018014616 A JP2018014616 A JP 2018014616A
Authority
JP
Japan
Prior art keywords
video data
parking
unit
display
auxiliary line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016142990A
Other languages
English (en)
Other versions
JP6790543B2 (ja
Inventor
山田 哲
Satoru Yamada
哲 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2016142990A priority Critical patent/JP6790543B2/ja
Priority to PCT/JP2017/009370 priority patent/WO2018016119A1/ja
Priority to CN201780005012.5A priority patent/CN108476307A/zh
Publication of JP2018014616A publication Critical patent/JP2018014616A/ja
Priority to US16/185,570 priority patent/US20190082123A1/en
Application granted granted Critical
Publication of JP6790543B2 publication Critical patent/JP6790543B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0275Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】路面の形状に対応したリアルタイム性の高い駐車補助線を表示させるための表示制御装置、方法、プログラム及び表示制御システムを提供する。
【解決手段】表示制御装置10は、車両の駐車を補助するための駐車補助線を車両の駐車方向の路面に向けて描画部20に描画させる描画制御部103と、駐車補助線の描画範囲を含む駐車方向が撮影された映像データを取得する映像データ取得部104と、映像データの中から路面上の駐車補助線の形状を抽出する抽出部105と、抽出した駐車補助線の形状を映像データに重畳表示させた表示映像データを生成する映像生成部106と、表示映像データを表示部40に表示させる表示制御部107と、を備える。
【選択図】図1

Description

本発明は、表示制御装置、方法、プログラム及び表示制御システムに関する。
近年、車両の後退時に、後方カメラが撮影した後方映像に対して、後退動作の軌跡を予測したものであるガイドラインを重畳描画することで、安全かつ的確に後退駐車を誘導する装置が普及している。ここで、特許文献1では、他車両などの立体的な構造物の認識をし易くするために、立体物にガイド線を重畳させない処理を行い、ガイド線を表示している。
特開2010−136289号公報
しかしながら、特許文献1にかかる技術では、路面の凹凸には対応困難であるとともに、画像処理の負担も大きいため、後退時の後方映像表示であってもリアルタイム性に欠けるという問題点がある。
本発明は、上述の課題に鑑みてなされたものであり、路面の形状に対応したリアルタイム性の高い駐車補助線を表示させるための表示制御装置、方法、プログラム及び表示制御システムを提供することを目的とする。
本発明の第1の態様は、車両の駐車を補助するための駐車補助線を前記車両の駐車方向の路面に向けて描画部に描画させる描画制御部と、前記駐車補助線の描画範囲を含む前記駐車方向が撮影された映像データを取得する映像データ取得部と、前記映像データの中から前記路面上の前記駐車補助線の形状を抽出する抽出部と、前記抽出した駐車補助線の形状を前記映像データに重畳表示させた表示映像データを生成する映像生成部と、前記表示映像データを表示部に表示させる表示制御部と、を備える、表示制御装置を提供する。
本発明の第2の態様は、車両の駐車を補助するための駐車補助線を前記車両の駐車方向の路面に向けて描画するステップと、前記駐車補助線の描画範囲を含む前記駐車方向が撮影された映像データを取得するステップと、前記映像データの中から前記路面上の前記駐車補助線の形状を抽出するステップと、前記抽出した駐車補助線の形状を前記映像データに重畳表示させた表示映像データを生成するステップと、前記表示映像データを表示するステップと、を有する表示制御方法を提供する。
本発明の第3の態様は、車両の駐車を補助するための駐車補助線を前記車両の駐車方向の路面に向けて描画部に描画させる処理と、前記駐車補助線の描画範囲を含む前記駐車方向が撮影された映像データを取得する処理と、前記映像データの中から前記路面上の前記駐車補助線の形状を抽出する処理と、前記抽出した駐車補助線の形状を前記映像データに重畳表示させた表示映像データを生成する処理と、前記表示映像データを表示部に表示させる処理と、をコンピュータに実行させる表示制御プログラムを提供する。
本発明の第4の態様は、表示制御装置に加えて、前記描画制御部の制御に応じて前記車両の駐車方向の路面に向けて駐車補助線を描画する描画部、前記映像データ取得部に映像データを供給する撮像部、及び前記表示制御部の制御に応じて前記映像生成部が生成した表示映像データを表示する表示部、のうち少なくともいずれかを備える、表示制御システムを提供する。
本発明により、路面の形状に対応したリアルタイム性の高い駐車補助線を表示させるための表示制御装置、方法、プログラム及び表示制御システムを提供することができる。
本実施の形態1にかかる車両に搭載された表示制御装置および表示制御システムの構成を示すブロック図である。 本実施の形態1にかかる描画制御部と描画部の内部構成を示すブロック図である。 本実施の形態1にかかる描画部と後方カメラの配置の例を示す図である。 本実施の形態1にかかる表示制御装置を搭載した車両の運転室内における表示部の例を示す図である。 本実施の形態1にかかる駐車補助線の描画処理の流れを説明するためのフローチャートである。 本実施の形態1にかかる駐車補助線の描画の例を示す図である。 本実施の形態1にかかる表示処理の流れを説明するためのフローチャートである。 本実施の形態1にかかる表示部の表示例を示す図である。 本実施の形態1にかかる表示部の表示例を示す図である。 本実施の形態2にかかる車両に搭載された表示制御装置の構成を示すブロック図である。
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
<発明の実施の形態1>
図1は、本実施の形態1にかかる車両1に搭載された表示制御装置10および表示制御システム100の構成を示すブロック図である。表示制御システム100は、表示制御装置10に加えて、描画部20と、撮像部である後方カメラ30と、表示部40との少なくともいずれかを備える構成である。車両1には、表示制御装置10と、描画部20と、後方カメラ30と、表示部40とが利用可能に備えられる。各々の構成要素は車両1に組み込まれていてもよく、車両から取り外して可搬可能な構成であってもよい。表示制御装置10は、描画部20と、後方カメラ30と、表示部40とに接続される。表示制御装置10は、後退動作検出部101と、操舵情報取得部102と、描画制御部103と、映像データ取得部104と、抽出部105と、映像生成部106と、表示制御部107とを備える。
後退動作検出部101は、車両1の後退動作を検出する。例えば、後退動作検出部101は、CAN(Control Area Network)等からリバースギアを選択した情報を取得して、車両1が後退動作状態であるか否かを判定する。後退動作検出部101は、後退動作状態であると判定した場合、その旨を示す後退動作情報を描画制御部103へ通知する。操舵情報取得部102は、CAN等からの信号を取得して車両1のステアリングの操舵角情報を取得する。尚、操舵角情報は、操舵角度に加えて操舵方向の情報も含む。操舵情報取得部102は、取得した操舵角情報を描画制御部103へ通知する。特に、操舵情報取得部102は、車両1の停止時または後退動作時におけるステアリングの操舵角情報を取得する。
描画制御部103は、後退動作情報及び操舵角情報を取得し、描画部20を制御する。すなわち、描画制御部103は、駐車補助線を車両1の駐車方向の路面に向けて描画部20に描画させる。ここで、本実施の形態1にかかる描画制御部103は、描画部20に対して可視光のレーザ光を車両1の駐車方向の路面に走査させることで駐車補助線を描画させる。そして、描画制御部103は、描画部20に複数の縦横線を含む駐車補助線を描画させることが望ましい。これにより、路面の凹凸が精度良く認識できる。また、描画制御部103は、描画部20に駐車補助線を格子状に描画させると良い。これにより、細かい段差等の目視が容易となる。
映像データ取得部104は、後方カメラ30からの映像データを取得する。映像データは、後方カメラ30により駐車補助線の描画範囲を含む駐車方向が撮影された映像データである。尚、ここでは、駐車方向とは車両1の後方となる。
抽出部105は、映像データの中から路面上に描画された駐車補助線の形状を抽出する。映像生成部106は、抽出した駐車補助線の形状を映像データに重畳表示させた表示映像データを生成する。表示制御部107は、表示映像データを表示部40に表示させる。
後方カメラ30は、車両の後方に設置され、可視光を撮像可能なカメラである。表示部40は、車両1の運転者が運転席から目視可能な画面等である。
尚、表示制御装置10は、汎用的なコンピュータ装置で実現可能である。その場合、表示制御装置10は、図示しない構成としてCPU(Central Processing Unit)等の制御装置と、外部との入出力を行うインタフェースと、記憶装置とを少なくとも備えるものとする。この場合、記憶装置は図示しない構成として、本発明の実施の形態にかかる表示制御方法が実装された表示制御プログラムを記憶しているものとする。そして、制御装置が記憶装置に格納された表示制御プログラムを読み込み、実行する。これにより、表示制御装置10は、上記インタフェースを適宜用いて本実施の形態にかかる後退動作検出部101、操舵情報取得部102、描画制御部103、映像データ取得部104、抽出部105、映像生成部106及び表示制御部107等として動作する。
図2は、本実施の形態1にかかる描画制御部103と描画部20の内部構成を示すブロック図である。描画制御部103は、情報取得部1031と、ガイド線生成部1032と、レーザ光制御部1033と、走査制御部1034とを備える。また、描画部20は、レーザ光源部201と、走査ミラー部202とを備える。情報取得部1031は、後退動作検出部101から後退動作情報、及び、操舵情報取得部102から操舵角情報を取得する。ガイド線生成部1032は、後退動作情報及び操舵角情報を用いて、車両1が駐車枠内に駐車することを補助するためのガイド線を生成する。ガイド線生成部1032が生成するガイド線とは、走査ミラー部202によるレーザ光の走査中に、レーザ光制御部1033がレーザ光源部201に指示するレーザ光の点灯によってガイド線を描画させるための、レーザ光を点灯および消灯させるタイミングの情報である。ここで、ガイド線とは、駐車補助線、予想進路線又は予想軌跡線などと言い換えることもできる。レーザ光制御部1033は、ガイド線生成部1032で生成されたガイド線に基づいてレーザ光で路面上に描画させるために、レーザ光源部201を制御する。走査制御部1034は、後退動作情報に基づいて走査ミラー部202の走査開始または走査終了などの制御を行う。
レーザ光源部201は、可視光のレーザ光の光源であり、レーザ光制御部1033からの指示に応じてレーザ光を照射する。走査ミラー部202は、レーザ光源部201から照射されたレーザ光を反射させ、路面上に駐車補助線を描画させる。また、走査ミラー部202は、走査制御部1034からの制御信号に応じて後述する走査軌跡を描くようにミラーを動作させる。尚、描画部20は、透過型又は反射型の液晶素子を用いたプロジェクタであってもよい。
図3は、本実施の形態1にかかる描画部20と後方カメラ30の、車両1における配置の例を示す図である。図3に示すように、後方カメラ30の撮影範囲は、描画部20の描画範囲を含む領域であるものとする。
図4は、本実施の形態1にかかる表示制御装置10を搭載した車両1の運転室内における表示部40の例を示す図である。車両1の運転室内は一般的な構成であり、ステアリングホイール46、ダッシュボード43、ウィンドシールド42、センターコンソール48、車両の走行速度やエンジン回転数などを表示するクラスターパネル45、などを備える。近年、センターコンソール48には、ナビゲーション画面などを表示するセンター表示部47が設けられていることも多い。さらに、車両1には、ウィンドシールド42のうちクラスターパネル45の上部に虚像44が表示されるヘッドアップディスプレイ(Head Up Display)を設けているものとする。尚、ヘッドアップディスプレイは、コンバイナ型であってもよく、この場合は、虚像44はコンバイナ44と置き換えてもよい。リヤビューモニタ41は、一般的な車両における後方確認用のリヤビューミラーと同様の位置、すなわち、ウィンドシールド42の上部中央付近に配置されている。
ここで、本実施の形態1にかかる表示部40は、リヤビューモニタ41、ヘッドアップディスプレイ44、クラスターパネル45、又は、センター表示部47等のいずれかであってもよい。または、本実施の形態1にかかる表示部40は、表示制御部107からの有線又は無線の信号を受け付けるモバイル端末、タブレット端末等の携帯型端末装置であってもよい。
尚、表示制御装置10は、センターコンソール48に含まれるマイクロコンピュータ、車両1に搭載されたコンピュータ装置(不図示)等、又は、上述した携帯型端末装置であってもよい。
尚、車両1は、表示制御システム100と言うこともできる。その場合、表示制御システム100は、表示制御装置10に加えて、少なくとも描画部20と、後方カメラ30と、表示部40とのいずれかを備えるものであればよい。同様に、表示制御装置10は、少なくとも描画制御部103と、映像データ取得部104と、抽出部105と、映像生成部106と、表示制御部107とを備えるものであればよい。
図5は、本実施の形態1にかかる駐車補助線の描画処理の流れを説明するためのフローチャートである。まず、後退動作検出部101は、CANなどからリバースギアを選択した情報を取得し、車両1が後退動作状態となったことを検出し(S11)、後退動作情報として描画制御部103へ通知する。次に、操舵情報取得部102は、CANなどからステアリングホイール46の操舵角情報を取得し(S12)、操舵角情報を描画制御部103へ通知する。その後、描画制御部103は、後退動作情報及び操舵角情報に基づいて、車両1の駐車方向の路面へ駐車補助線を描画させるように、描画部20を制御する
図6は、本実施の形態1にかかる駐車補助線の描画の例を示す図である。描画部20は、走査ミラー部202が反射したレーザ光が走査軌跡51を走査可能となるように走査ミラー部202を搖動させ、描画制御部103の制御に応じてレーザ光源部201を点灯及び消灯を繰り返すことで、駐車区画線52及び53の間に駐車できるように、駐車補助線54を路面上に描画する。つまり、描画部20は、可視光のレーザ光を車両1の駐車方向の路面に走査させることで駐車補助線を描画する。また、描画部20は、複数の縦横線を含む前記駐車補助線を描画する。また、描画部20は、前記駐車補助線を格子状に描画する。
図7は、本実施の形態1にかかる表示処理の流れを説明するためのフローチャートである。まず、後方カメラ30は、描画部20が描画した駐車補助線54を含む路面の周辺を撮影する。そして、映像データ取得部104は、後方カメラ30により撮影された映像データを取得する(S21)。次に、抽出部105は、映像データの中から路面上の駐車補助線の形状を抽出する(S22)。このとき、路面に凹凸等がある場合には、ステップS13で描画された形状とは異なる形状として抽出される。そして、映像生成部106は、ステップS22で抽出された駐車補助線の形状を、ステップS21で取得された映像データ内の駐車補助線の描画箇所に重畳描画して表示用の表示映像データを生成する(S23)。その後、表示制御部107は、ステップS23で生成された表示映像データを表示部40に表示させるように制御する(S24)。
ステップS22における路面上の駐車補助線の形状抽出は、レーザ光が可視光レーザである場合は、映像データ取得部104が取得した映像データから可視光レーザの波長成分を抽出するとともに、エッジ検出処理など既存の抽出処理などを行うことで、駐車補助線を抽出する。映像データ取得部104が取得した映像データには、可視光レーザの波長成分と同一の波長成分を有する様々な情報が含まれるため、後方カメラ30の撮影範囲における駐車補助線が描画される範囲を予め特定した上で、駐車補助線の形状抽出を行ってもよい。
図8は、本実施の形態1にかかる表示部40の表示例を示す図である。ここでは、路面に凹凸が少ないため、駐車補助線541がステップS13で描画された駐車補助線54と同等の形状に表示されることを示す。
図9は、本実施の形態1にかかる表示部40の他の表示例を示す図である。ここでは、路面に凹凸が目立つため、駐車補助線542がステップS13で描画された駐車補助線54とは異なる形状に表示され、運転者が段差543を認識し易いことを示す。
ここで、特許文献1では、上述したように立体物にはガイド線を重畳させない処理を行っているため、画像処理の負担が大きく、後方カメラにより撮影された映像データの画面表示においてリアルタイム性に欠ける可能性がある。一方、本実施の形態1では、路面上に走査したガイド線を含む映像から二次元化されたガイド線の形状をそのまま抽出し、表示用の映像データに重畳させている。そのため、本実施の形態1は、特許文献1等と比べて画像処理の負担が小さく、表示部40への表示映像データの表示の遅延が少なく、映像データのリアルタイム性を確保できる。さらに、路面の凹凸が反映されたガイド線を画面に表示することができるため、運転者が凹凸を認識することが容易である。
また、ガイド線を描画するためのレーザ光が可視光である場合には、路面に描画されるガイド線を路面上で目視可能であるため、特に夜間などにおいては、車両1の周囲の他者に車両が後退することや進行方向を警告することができる。
但し、レーザ光が可視光であっても昼間の晴天時等には、後方カメラにより撮影された映像データをそのまま表示部40に表示するだけでは、運転者にとってガイド線の把握は困難である。そこで、本実施の形態1にかかる映像生成部106は、抽出部105により抽出した駐車補助線の形状を、映像データ取得部104により取得した映像データ内の路面とは異なる色で重畳して表示することで、路面の凹凸が反映されたガイド線を明瞭に表示することができる。
尚、映像生成部106は、抽出した駐車補助線の形状に段差が含まれる場合に、段差を強調して表示させて表示映像データを生成するとよい。抽出した駐車補助線の形状における段差に該当する形状は、抽出した駐車補助線の形状の方向が非連続的となる部分や途切れ部分を抽出するなどの処理により段差が存在することを検出する。図9においては、段差543の存在により駐車補助線542が段差543を構成する面にも描画されることで、抽出した駐車補助線の形状がクランク形状のように非連続的となっている。抽出した駐車補助線の形状における段差に該当する形状の検出は、抽出した駐車補助線の形状と路面が平面であると仮定したときに描画されることを想定した駐車補助線の形状との対比で検出してもよい。これにより、運転者が路面の段差をより容易に認識できる。特に、車高の低い車両の運転者にとっては利便性が高いといえる。
<発明の実施の形態2>
本発明の実施の形態2は、上述した実施の形態1の変形例であり、描画するレーザ光に赤外線を用いるものである。
図10は、本実施の形態2にかかる表示制御装置10aおよび表示制御システム100aの構成を示すブロック図である。図10は、図1と比べて、描画部20、後方カメラ30、映像データ取得部104、抽出部105及び映像生成部106が、それぞれ、描画部20a、後方カメラ30a、描画制御部103a、映像データ取得部104a、抽出部105a及び映像生成部106aに置き換わったものである。尚、その他の構成は図1と同等であるため、適宜、説明を省略する。
描画部20aは、図2のレーザ光源部201に相当する構成が赤外線のレーザ光の光源となったものである。そのため、本実施の形態2にかかる描画制御部103aは、描画部20aに対して赤外光のレーザ光を車両1の駐車方向の路面に走査させることで駐車補助線を描画させるものといえる。
後方カメラ30aは、可視光カメラ31と、赤外線カメラ32とを備える。つまり、後方カメラ30aは、可視光及び赤外光を撮像可能なカメラである。尚、赤外線カメラ32は、可視光カメラ31と同等の構成から赤外線除去フィルタを除いたものや、一つのカメラで可視光および赤外光の双方を撮影可能なカメラであってもよい。
映像データ取得部104aは、後方カメラ30aにより撮影された映像データを取得する。このとき、映像データ取得部104aは、可視光映像と赤外光映像とを分離取得可能なものとしてもよい。抽出部105aは、映像データ取得部104aが取得した赤外光による映像データの中から路面上の駐車補助線の形状を抽出する。映像生成部106aは、抽出部105aが抽出した駐車補助線の形状を、映像データ取得部104aが取得した可視光の映像データに重畳表示させる。
このように、レーザ光が赤外光である場合、後方カメラ30aによる映像データを分離して取得するため、昼間であっても夜間であっても適切に駐車補助線を抽出できる。
<その他の発明の実施の形態>
尚、上述した実施の形態1及び2では車両の後退動作時について説明したが、本実施の形態はこれに限定されない。つまり、本実施の形態は、車両の前進動作時、例えば、前進での駐車時にも適用可能である。その場合、図1の後方カメラ30や図10の後方カメラ30aを前方カメラに置き換えればよい。また、上述した実施の形態1及び2では、操舵角情報に基づいた駐車補助線を描画することとして説明したが、操舵角情報を用いずに直進または想定される最大操舵角に対応する駐車補助線を描画することとしてもよい。
以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
また、上述の車載装置の任意の処理は、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているOS(Operating System)もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。
1 車両
10 表示制御装置
100 表示制御システム
101 後退動作検出部
102 操舵情報取得部
103 描画制御部
104 映像データ取得部
105 抽出部
106 映像生成部
107 表示制御部
20 描画部
30 後方カメラ
40 表示部

Claims (11)

  1. 車両の駐車を補助するための駐車補助線を前記車両の駐車方向の路面に向けて描画部に描画させる描画制御部と、
    前記駐車補助線の描画範囲を含む前記駐車方向が撮影された映像データを取得する映像データ取得部と、
    前記映像データの中から前記路面上の前記駐車補助線の形状を抽出する抽出部と、
    前記抽出した駐車補助線の形状を前記映像データに重畳表示させた表示映像データを生成する映像生成部と、
    前記表示映像データを表示部に表示させる表示制御部と、
    を備える、表示制御装置。
  2. 前記描画制御部は、前記描画部に対して可視光のレーザ光を前記車両の駐車方向の路面に走査させることで前記駐車補助線を描画させ、
    前記映像データ取得部は、可視光を撮像可能なカメラにより撮影された前記映像データを取得する、
    請求項1に記載の表示制御装置。
  3. 前記描画制御部は、前記描画部に対して赤外光のレーザ光を前記車両の駐車方向の路面に走査させることで前記駐車補助線を描画させ、
    前記映像データ取得部は、可視光及び赤外光を撮像可能なカメラにより撮影された前記映像データを取得し、
    前記抽出部は、前記映像データ取得部が取得した赤外光による前記映像データの中から前記路面上の前記駐車補助線の形状を抽出し、
    前記映像生成部は、前記抽出した前記駐車補助線の形状を前記映像データ取得部が取得した可視光の映像データに重畳表示させる、
    請求項1に記載の表示制御装置。
  4. 前記描画制御部は、前記描画部に複数の縦横線を含む前記駐車補助線を描画させる、
    請求項1から3のいずれか1項に記載の表示制御装置。
  5. 前記描画制御部は、前記描画部に前記駐車補助線を格子状に描画させる
    請求項4に記載の表示制御装置。
  6. 前記映像生成部は、前記抽出した前記駐車補助線の形状に段差が含まれる場合に、前記段差を強調して表示させて前記表示映像データを生成する
    請求項1から5のいずれか1項に記載の表示制御装置。
  7. 前記映像生成部は、前記抽出した前記駐車補助線の形状を、前記映像データ内の路面とは異なる色で重畳表示させて前記表示映像データを生成する
    請求項1から6のいずれか1項に記載の表示制御装置。
  8. 前記車両の低速動作時における前記車両のステアリングの操舵角情報を取得する操舵情報取得部をさらに備え、
    前記描画制御部は、前記車両のステアリングの操舵角情報に基づく前記駐車補助線を前記車両の駐車方向の路面に向けて前記描画部に描画させる、
    請求項1から7のいずれか1項に記載の表示制御装置。
  9. 車両の駐車を補助するための駐車補助線を前記車両の駐車方向の路面に向けて描画するステップと、
    前記駐車補助線の描画範囲を含む前記駐車方向が撮影された映像データを取得するステップと、
    前記映像データの中から前記路面上の前記駐車補助線の形状を抽出するステップと、
    前記抽出した駐車補助線の形状を前記映像データに重畳表示させた表示映像データを生成するステップと、
    前記表示映像データを表示するステップと、
    を有する表示制御方法。
  10. 車両の駐車を補助するための駐車補助線を前記車両の駐車方向の路面に向けて描画部に描画させる処理と、
    前記駐車補助線の描画範囲を含む前記駐車方向が撮影された映像データを取得する処理と、
    前記映像データの中から前記路面上の前記駐車補助線の形状を抽出する処理と、
    前記抽出した駐車補助線の形状を前記映像データに重畳表示させた表示映像データを生成する処理と、
    前記表示映像データを表示部に表示させる処理と、
    をコンピュータに実行させる表示制御プログラム。
  11. 請求項1から8のいずれか1項に記載の表示制御装置と、
    前記描画制御部の制御に応じて前記車両の駐車方向の路面に向けて駐車補助線を描画する描画部、前記映像データ取得部に映像データを供給する撮像部、及び前記表示制御部の制御に応じて前記映像生成部が生成した表示映像データを表示する表示部、のうち少なくともいずれかを備える、表示制御システム。
JP2016142990A 2016-07-21 2016-07-21 表示制御装置、方法、プログラム及び表示制御システム Active JP6790543B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016142990A JP6790543B2 (ja) 2016-07-21 2016-07-21 表示制御装置、方法、プログラム及び表示制御システム
PCT/JP2017/009370 WO2018016119A1 (ja) 2016-07-21 2017-03-09 表示制御装置、方法、プログラム及びシステム
CN201780005012.5A CN108476307A (zh) 2016-07-21 2017-03-09 显示控制装置、方法、程序以及系统
US16/185,570 US20190082123A1 (en) 2016-07-21 2018-11-09 Display control apparatus, method, program, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016142990A JP6790543B2 (ja) 2016-07-21 2016-07-21 表示制御装置、方法、プログラム及び表示制御システム

Publications (2)

Publication Number Publication Date
JP2018014616A true JP2018014616A (ja) 2018-01-25
JP6790543B2 JP6790543B2 (ja) 2020-11-25

Family

ID=60992246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016142990A Active JP6790543B2 (ja) 2016-07-21 2016-07-21 表示制御装置、方法、プログラム及び表示制御システム

Country Status (4)

Country Link
US (1) US20190082123A1 (ja)
JP (1) JP6790543B2 (ja)
CN (1) CN108476307A (ja)
WO (1) WO2018016119A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139273A (ja) * 2018-02-06 2019-08-22 アルパイン株式会社 表示システム
WO2020031912A1 (ja) * 2018-08-06 2020-02-13 株式会社小糸製作所 車両用表示システム及び車両
WO2021199674A1 (ja) * 2020-04-02 2021-10-07 株式会社デンソー 駐車支援装置、駐車支援システム、及び駐車支援方法
JP7559659B2 (ja) 2021-04-08 2024-10-02 トヨタ自動車株式会社 方法、情報処理装置、及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11646549B2 (en) 2014-08-27 2023-05-09 Nuburu, Inc. Multi kW class blue laser system
KR101777518B1 (ko) * 2016-04-07 2017-09-11 엘지전자 주식회사 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량
WO2017189982A1 (en) 2016-04-29 2017-11-02 Nuburu, Inc. Visible laser additive manufacturing
US11612957B2 (en) 2016-04-29 2023-03-28 Nuburu, Inc. Methods and systems for welding copper and other metals using blue lasers
US11639138B2 (en) 2018-08-06 2023-05-02 Koito Manufacturing Co., Ltd. Vehicle display system and vehicle
WO2020107030A1 (en) 2018-11-23 2020-05-28 Nuburu, Inc Multi-wavelength visible laser source
US20230044683A1 (en) * 2021-08-06 2023-02-09 Gentex Corporation Wireless camera hub system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08253059A (ja) * 1995-03-17 1996-10-01 Honda Motor Co Ltd 車両用運転支援システム
JP2003231438A (ja) * 2002-02-07 2003-08-19 Toyota Motor Corp 車両運転支援装置および車両運転支援システム
JP2004182121A (ja) * 2002-12-04 2004-07-02 Matsushita Electric Ind Co Ltd 運転支援装置
JP2006036005A (ja) * 2004-07-27 2006-02-09 Matsushita Electric Ind Co Ltd 予測走行軌跡表示装置
JP2007090938A (ja) * 2005-09-27 2007-04-12 Clarion Co Ltd 路面マーカー照射装置及び駐車支援装置
JP2013017005A (ja) * 2011-07-04 2013-01-24 Calsonic Kansei Corp リアビューカメラ用目安線登録重畳装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136289A (ja) * 2008-12-08 2010-06-17 Denso It Laboratory Inc 運転支援装置及び運転支援方法
KR101798054B1 (ko) * 2011-07-25 2017-12-12 현대모비스 주식회사 레이저 가이드 시스템 및 방법
CN204296563U (zh) * 2014-11-19 2015-04-29 刘文斌 一种可发出光线指示行车路线的行车辅助装置
CN105185160B (zh) * 2015-10-09 2017-11-24 卢庆港 虚拟网格内畸变区域移动趋势识别的路面检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08253059A (ja) * 1995-03-17 1996-10-01 Honda Motor Co Ltd 車両用運転支援システム
JP2003231438A (ja) * 2002-02-07 2003-08-19 Toyota Motor Corp 車両運転支援装置および車両運転支援システム
JP2004182121A (ja) * 2002-12-04 2004-07-02 Matsushita Electric Ind Co Ltd 運転支援装置
JP2006036005A (ja) * 2004-07-27 2006-02-09 Matsushita Electric Ind Co Ltd 予測走行軌跡表示装置
JP2007090938A (ja) * 2005-09-27 2007-04-12 Clarion Co Ltd 路面マーカー照射装置及び駐車支援装置
JP2013017005A (ja) * 2011-07-04 2013-01-24 Calsonic Kansei Corp リアビューカメラ用目安線登録重畳装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139273A (ja) * 2018-02-06 2019-08-22 アルパイン株式会社 表示システム
JP7028536B2 (ja) 2018-02-06 2022-03-02 アルパイン株式会社 表示システム
WO2020031912A1 (ja) * 2018-08-06 2020-02-13 株式会社小糸製作所 車両用表示システム及び車両
CN110803106A (zh) * 2018-08-06 2020-02-18 株式会社小糸制作所 车辆用显示系统、车辆系统及车辆
JPWO2020031912A1 (ja) * 2018-08-06 2021-09-24 株式会社小糸製作所 車両用表示システム及び車両
JP7295863B2 (ja) 2018-08-06 2023-06-21 株式会社小糸製作所 車両用表示システム及び車両
US12083957B2 (en) 2018-08-06 2024-09-10 Koito Manufacturing Co., Ltd. Vehicle display system and vehicle
WO2021199674A1 (ja) * 2020-04-02 2021-10-07 株式会社デンソー 駐車支援装置、駐車支援システム、及び駐車支援方法
JP2021160667A (ja) * 2020-04-02 2021-10-11 株式会社デンソー 駐車支援装置、駐車支援システム、及び駐車支援方法
JP7347307B2 (ja) 2020-04-02 2023-09-20 株式会社デンソー 駐車支援装置、駐車支援システム、及び駐車支援方法
JP7559659B2 (ja) 2021-04-08 2024-10-02 トヨタ自動車株式会社 方法、情報処理装置、及びプログラム

Also Published As

Publication number Publication date
US20190082123A1 (en) 2019-03-14
JP6790543B2 (ja) 2020-11-25
WO2018016119A1 (ja) 2018-01-25
CN108476307A (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
WO2018016119A1 (ja) 表示制御装置、方法、プログラム及びシステム
JP6248836B2 (ja) 運転支援装置
JP5893054B2 (ja) 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP6196444B2 (ja) 周辺車の位置追跡装置及び方法
WO2007037126A1 (ja) ナビゲーション装置、ナビゲート方法および車両
US11040661B2 (en) Image display apparatus
JPWO2011030699A1 (ja) 車両周辺監視装置
JP2018142885A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6805716B2 (ja) 表示装置、表示方法、プログラム
JP5273068B2 (ja) 車両周辺監視装置
WO2021131481A1 (ja) 表示装置、表示方法及び表示プログラム
JP2010195271A (ja) 駐車支援装置及び駐車支援映像の表示方法
JP2008294616A (ja) 運転支援システム及び車両
JP6274936B2 (ja) 運転支援装置
JP4992747B2 (ja) 駐車支援装置及び駐車支援方法
JP6931832B2 (ja) 駐車支援装置および車両
JP2012010002A (ja) 運転支援装置
JP2021066419A (ja) 表示制御装置、表示制御プログラム及び車載システム
JP2016176983A (ja) ヘッドアップディスプレイ装置及び表示方法
JP2021037916A (ja) 表示制御装置及び表示制御プログラム
JP2018148484A (ja) 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
JP5091882B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP6861840B2 (ja) 表示制御装置および表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201019

R150 Certificate of patent or registration of utility model

Ref document number: 6790543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150