JP2018036444A - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
JP2018036444A
JP2018036444A JP2016168692A JP2016168692A JP2018036444A JP 2018036444 A JP2018036444 A JP 2018036444A JP 2016168692 A JP2016168692 A JP 2016168692A JP 2016168692 A JP2016168692 A JP 2016168692A JP 2018036444 A JP2018036444 A JP 2018036444A
Authority
JP
Japan
Prior art keywords
display
image data
captured image
unit
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016168692A
Other languages
English (en)
Inventor
広太 伊藤
Kota Ito
広太 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2016168692A priority Critical patent/JP2018036444A/ja
Priority to EP17188261.6A priority patent/EP3291545B1/en
Priority to CN201710756233.8A priority patent/CN107791951B/zh
Priority to US15/690,355 priority patent/US10489950B2/en
Publication of JP2018036444A publication Critical patent/JP2018036444A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

【課題】車両周辺の表示画像において、動く物体に対する表示情報の追従性を向上させることを課題とする。【解決手段】実施形態の表示制御装置において、画像取得部は、車両の周辺を撮像する撮像部から出力された時系列に複数の撮像画像データを取得する。物体検出部は、前記複数の撮像画像データの各々について物体を検出する。移動算出部は、前記物体の移動方向と移動速度を算出する。表示情報決定部は、前記移動方向と前記移動速度に基づいて、前記複数の撮像画像データの後に前記撮像部から出力される第２の撮像画像データの表示領域における前記物体に対応する表示情報の位置を決定する。表示制御部は、表示部に、前記第２の撮像画像データを表示するとともに、その表示領域上に、前記決定した位置に基づいて前記表示情報を重畳表示する。【選択図】図１０

Description

本発明の実施形態は、表示制御装置に関する。
従来から、車両の表示装置に車両周辺の撮像画像を表示させる技術がある。運転者は、その表示画像を見ることで、車両周辺の状況（例えば、物体（他車両等）の有無等）を知ることができる。また、そのような表示画像に対して、映っている物体に対応する表示情報（例えば、物体を囲む枠）を重畳表示する技術もある。
特許第５２１８９１０号公報
しかしながら、前記した技術において、撮像画像を取得する時間間隔（例えば、３３ｍｓ）に比べて、撮像画像から物体を検出して表示情報の位置を決定するまでの処理時間は長い（例えば前記時間間隔の５倍〜１０倍程度）。そのため、自車と物体の少なくとも一方が移動して、表示画像上で物体が動く場合、物体の動きに対して、表示情報の動きが遅れてしまうという問題がある。
そこで、本発明の課題の一つは、車両周辺の表示画像において、動く物体に対する表示情報の追従性を向上させることである。
実施形態の表示制御装置は、車両の周辺を撮像する撮像部から出力された時系列に複数の撮像画像データを取得する画像取得部と、前記複数の撮像画像データの各々について物体を検出する物体検出部と、前記物体の移動方向と移動速度を算出する移動算出部と、前記移動方向と前記移動速度に基づいて、前記複数の撮像画像データの後に前記撮像部から出力される第２の撮像画像データの表示領域に表される前記物体に対応する表示情報の位置を決定する表示情報決定部と、表示部に、前記第２の撮像画像データを表示するとともに、その表示領域上に、前記決定した位置に基づいて前記表示情報を重畳表示する表示制御部と、を備える。この構成により、例えば、複数の撮像画像データから算出した動く物体の移動方向と移動速度を用いて、物体に対応する表示情報の位置を決定することで、車両周辺の表示画像において、動く物体に対する表示情報の追従性を向上させることができる。
また、前記移動算出部は、前記複数の撮像画像データに基づいて、表示領域における前記物体の動きから、当該表示領域内における前記物体の移動方向と移動速度を算出するようにしてもよい。この構成により、例えば、表示領域における物体の動きから物体の移動方向と移動速度を算出することで、処理が軽く済む。
また、前記移動算出部は、前記複数の撮像画像データに基づいて、前記車両と前記物体との相対的な位置関係を表すための３次元座標空間における前記物体の動きから、前記物体の移動方向と移動速度を算出するようにしてもよい。この構成により、３次元座標空間における物体の動きから物体の移動方向と移動速度を算出することで、物体の移動方向と移動速度をより高精度に算出できる。
また、前記表示情報決定部は、前記移動方向と、前記移動速度と、前記複数の撮像画像データから前記表示情報の位置を決定するのに要する処理時間と、に基づいて、前記表示情報の位置を決定するようにしてもよい。この構成により、例えば、表示情報の位置を決定するのに要する処理時間を用いて表示情報の位置を決定することで、表示情報の位置を処理時間に合わせて決定することができる。
また、前記表示情報は、前記物体を囲う枠であり、前記表示情報決定部は、前記移動方向と前記移動速度に基づいて、前記第２の撮像画像データの表示領域における前記物体に対応する前記枠の位置および大きさを決定し、前記表示制御部は、前記表示部に、前記第２の撮像画像データを表示するとともに、その表示領域上に、前記決定した位置および大きさに基づいて前記枠を重畳表示するようにしてもよい。この構成により、例えば、表示情報として物体を囲う枠を用いるとともに、物体の移動方向と移動速度に基づいて、枠の位置および大きさを決定することで、枠を適切な位置および大きさで表示することができる。
図１は、実施形態の車両の車室の一部が透視された状態の一例を示す斜視図である。 図２は、実施形態の車両の一例を示す平面図（俯瞰図）である。 図３は、実施形態の車両のダッシュボードの一例を車両の後方から見た図である。 図４は、実施形態の車両制御システムの構成の一例を示すブロック図である。 図５は、実施形態のＥＣＵの一例を示す機能構成ブロック図である。 図６は、実施形態において、時系列に複数の撮像画像データから、物体の移動方向と移動速度に基づいて、物体に対応する枠の位置を決定する処理の原理の概要の説明図である。 図７は、比較例（従来技術）において、動く物体と、その物体に対応する枠とを表示した画面例を示す図である。 図８は、実施形態において、動く物体と、その物体に対応する枠とを表示した画面例を示す図である。 図９は、実施形態における画像表示処理の一例を示すフローチャートである。 図１０は、実施形態における枠重畳表示処理の一例を示すフローチャートである。
以下、本発明の実施形態の一例を開示する。以下に示す実施形態の構成、ならびに当該構成によってもたらされる作用、結果、及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうちの少なくとも一つを得ることが可能である。
本実施形態の車両１（自車両）は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
図１は、実施形態の車両１の車室の一部が透視された状態の一例を示す斜視図である。図２は、実施形態の車両１の一例を示す平面図（俯瞰図）である。図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。
操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７等は、これらに限定されない。
また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electro-Luminescence Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。
乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。
モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができ、モニタ装置１１の音声出力装置９と他の音声出力装置の両方から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用される。また、車室２ａ内には、表示装置８とは別の表示装置１２が設けられている。
図３は、実施形態の車両１のダッシュボード２４の一例を車両１の後方から見た図である。図３に例示されるように、表示装置１２は、例えば、ダッシュボード２４の計器盤部２５に設けられ、計器盤部２５の略中央で、速度表示部２５ａと回転数表示部２５ｂとの間に配置されている。表示装置１２の画面の大きさは、表示装置８の画面８ａの大きさよりも小さい。この表示装置１２には、主として車両１の駐車支援に関する情報を示す画像が表示される。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。
また、図１及び図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成される。
図４は、実施形態の車両制御システム１００の構成の一例を示すブロック図である。図４に示すように、車両１は、車両制御システム１００を備える。車両制御システム１００は、表示制御装置を含む。
図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。
操舵システム１３は、ＥＣＵ（Electronic Control Unit）１４等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、例えば二つの車輪３を転舵する。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。
また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜１９０°の範囲を撮影することができる。撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周囲の外部の環境を逐次撮影し、撮影画像データとして出力する。
撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。
ＥＣＵ１４は、撮像部１５で得られた撮像画像データ等に基づいて演算処理や画像処理を実行する（詳細は後記）。
また、図４に例示されるように、車両制御システム１００では、ＥＣＵ１４、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。
車内ネットワーク２３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。
ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Central Processing Unit）、ＲＯＭ１４ｂ（Read Only Memory）、ＲＡＭ１４ｃ（Random Access Memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Solid State Drive、フラッシュメモリ）等を有している。
ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムに従って演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた撮像画像データを用いた画像処理や、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積される。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard Disk Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の他の記憶装置が設けられてもよいし、ＳＳＤ１４ｆ、ＨＤＤ、ＥＥＰＲＯＭ等は、ＥＣＵ１４とは別に設けられてもよい。また、操作部１４ｇは、例えば、押しボタンやスイッチ等で構成され、運転者等によって駐車支援等に関する操作がなされると、操作信号を出力する。
ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（Anti‐lock Brake System）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ:Electronic Stability Control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（Brake By Wire）等である。
ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３（車両１）に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。
舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。
アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。
シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、変速操作部７の可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果を、ブレーキシステム１８を介して取得する。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
本実施形態では、ＥＣＵ１４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示制御装置としての機能の少なくとも一部を実現する。
図５は、実施形態のＥＣＵ１４の一例を示す機能構成ブロック図である。ＥＣＵ１４は、図５に示すように、画像取得部１４１、画像補正部１４２、物体検出部１４３、移動算出部１４４、処理時間算出部１４５、枠決定部１４６、および、記憶部１４７として機能する。記憶部１４７は、ＥＣＵ１４での演算で用いられるデータや、ＥＣＵ１４での演算で算出されたデータを記憶する。なお、以下では、表示画像中の物体に対応する表示情報として、物体を囲む枠を例にとって説明する。
画像取得部１４１は、車両１の周辺を撮像する撮像部１５から出力された時系列に複数の撮像画像データを所定の時間間隔（例えば、３３ｍｓ）で取得する。画像補正部１４２は、画像取得部１４１が取得した撮像画像データについて、視認性向上等のために輝度等の補正を行う。
物体検出部１４３は、画像取得部１４１が取得した時系列に複数の撮像画像データの各々について、特徴量マッチング等の技術に基づいて、物体を検出する。
移動算出部１４４は、物体検出部１４３が検出した物体の移動方向と移動速度を算出する。例えば、移動算出部１４４は、上述した時系列に複数の撮像画像データに基づいて、表示領域における物体の動きから、当該表示領域内における物体の移動方向と移動速度を算出することができる。以下、移動算出部１４４によるこのような処理を「２次元処理」という。
ほかに、例えば、移動算出部１４４は、時系列に複数の撮像画像データに基づいて、車両１と物体との相対的な位置関係を表すための仮想的な３次元座標空間を形成する。そして、移動算出部１４４は、当該３次元座標空間における車両１を基準とした物体の相対的な動きから、物体の移動方向と移動速度を算出してもよい。詳細な例としては、撮像画像データは２次元情報なので、その撮像画像データ中の路面情報を、水平面を定義する条件として用いることで、車両１と物体との相対的な位置関係を３次元座標空間上で表し、物体の移動方向と移動速度を算出することができる。また、例えば、ステレオ画像処理によって、物体の３次元点群を算出する等により、３次元座標空間における物体の動きから物体の移動方向と移動速度を算出してもよい。ここで、ステレオ画像処理とは、同じ被写体が映っていて撮影角度が異なる２つ以上の画像を用いて、三角測量の原理に基づいてその被写体の３次元座標を決定する画像処理技術である。以下、移動算出部１４４によるこれらのような処理を「３次元処理」という。
処理時間算出部１４５は、時系列に複数の撮像画像データから枠の位置を決定するのに要する処理時間を算出する。なお、このような処理時間を算出せず、固定時間（例えば、２００ｍｓ等）を使用してもよい。
枠決定部１４６（表示情報決定部の一例）は、移動算出部１４４が算出した移動方向と移動速度に基づいて、上述した時系列に複数の撮像画像データの後に撮像部１５から出力される第２の撮像画像データの表示領域における物体に対応する枠の位置、大きさを決定する。
また、処理時間算出部１４５が前記処理時間を算出する場合、枠決定部１４６は、移動算出部１４４が算出した移動方向と移動速度と、前記処理時間と、に基づいて、枠の位置、大きさを決定する。
ここで、移動算出部１４４と枠決定部１４６の処理の原理の概要について、図６を参照して説明する。図６は、実施形態において、時系列に複数の撮像画像データから、物体の移動方向と移動速度に基づいて、物体に対応する枠の位置を決定する処理の原理の概要の説明図である。ここでは、移動算出部１４４による「２次元処理」と「３次元処理」のうち、「２次元処理」について説明するが、「３次元処理」についても同様である。
例えば、撮像画像データ６０１と撮像画像データ６０２は、画像取得部１４１によって取得された時系列に複数の撮像画像データを模式的に表したものである。撮像画像データ６０２は、撮像画像データ６０１よりも後（直後）に取得されたものである。移動算出部１４４は、撮像画像データ６０１と撮像画像データ６０２に基づいて、他車両Ｃ１（物体の一例）の移動方向と移動速度を算出する。ここで、移動方向とは、撮像画像データの表示領域上での物体の移動の方向を意味する。また、移動速度とは、撮像画像データの表示領域上での物体の移動の速度を意味する。つまり、撮像画像データ６０１と撮像画像データ６０２の撮像時刻の差と、その間での他車両Ｃ１の移動方向と移動速度、つまり、撮像画像データ６０２に示すベクトルＡ１とに基づいて、他車両Ｃ１の移動方向と移動速度を算出することができる。なお、撮像画像データ６０２における符号Ｃ１Ｐは、撮像画像データ６０１における他車両Ｃ１の位置を示す。
そして、枠決定部１４６は、移動算出部１４４が算出した移動方向と移動速度に基づいて、上述した時系列に複数の撮像画像データ（撮像画像データ６０１、６０２）の後に撮像部１５から出力される第２の撮像画像データ（撮像画像データ６０３）の表示領域に表される物体に対応する枠の位置を決定する。例えば、撮像画像データ６０１と撮像画像データ６０３の撮像時刻の差が、撮像画像データ６０１と撮像画像データ６０２の撮像時刻の差のＮ倍（Ｎは例えば５〜１０程度の数）であるものとする。その場合、実際に撮像画像データ６０３を取得する前に、撮像画像データ６０３における他車両Ｃ１の位置は、符号Ｃ１Ｐで示す位置から、ベクトルＡ１をＮ倍したベクトルＡ２を足した位置と予測できる。したがって、その位置を、他車両Ｃ１に対応する枠の位置として決定することができる。なお、枠の大きさについては、撮像画像データ６０１、６０２における他車両Ｃ１の大きさや、自車から他車両Ｃ１までの距離の変化、他車両Ｃ１の向きの変化等も考慮して、決定することができる。
なお、移動算出部１４４と枠決定部１４６の処理の原理は、これに限定されない。例えば、他車両Ｃ１が旋回移動している場合、まず、移動算出部１４４は、画像取得部１４１から取得した時系列に３枚以上の撮像画像データから、他車両Ｃ１が旋回移動していることを算出する。そして、枠決定部１４６は、他車両Ｃ１がそのまま旋回移動を続けるものとして、上述した第２の撮像画像データの表示領域に表される物体に対応する枠の位置を決定するようにしてもよい。
図４に戻って、表示制御部１４ｄは、表示装置８（表示部）に、上述した第２の撮像画像データを表示するとともに、その表示領域上に、枠決定部１４６が決定した位置、大きさに基づいて枠を重畳表示する。従来は、撮像画像で物体を検知してから枠を重畳する処理を行っていたが、処理時間の分、物体と枠がずれていた。これに対して、本実施形態では、物体を検知してからその物体の移動方向と移動速度を算出し、その移動方向と移動速度を考慮して物体に枠を重畳するので、物体と枠がずれるのを抑止することができる。
次に、図９、図１０を参照して実施形態の処理を説明する前に、実施形態の処理の理解を容易にするために、図７、図８を用いて、比較例（従来技術）における画面例と実施形態における画面例について説明する。図７は、比較例（従来技術）において、動く物体と、その物体に対応する枠とを表示した画面例を示す図である。
図７において、表示装置８に表示される画面７０１は図６における撮像画像データ６０１に対応し、画面７０２は図６における撮像画像データ６０３に対応する。ここで、比較例では、画面７０１に対応する図６の撮像画像データ６０１に基づいて枠の位置を決定するが、その枠を実際に表示する画面７０２では、他車両Ｃ１が移動しているので、他車両Ｃ１に対して枠Ｆ１がずれた位置に表示されてしまう。
一方、図８は、実施形態において、動く物体と、その物体に対応する枠とを表示した画面例を示す図である。表示装置８に表示される画面７０１は図６における撮像画像データ６０１に対応し、画面８０１は図６における撮像画像データ６０３に対応する。ここで、枠決定部１４６は、画面７０１に対応する図６の撮像画像データ６０１と、その直後の図６の撮像画像データ６０２に基づいて枠の位置を決定する。つまり、枠決定部１４６が他車両Ｃ１の移動方向と移動速度を用いて枠の位置を決定することで、その枠を実際に表示する画面８０１において、他車両Ｃ１に対して枠Ｆ２が正しい位置に表示される。
次に、図９、図１０を参照して実施形態の処理を説明する。図９は、実施形態における画像表示処理の一例を示すフローチャートである。図１０は、実施形態における枠重畳表示処理の一例を示すフローチャートである。なお、図９の処理と図１０の処理は並行して実行されるが、例えば、図９の一連の処理（処理一周）に要する時間と比較して、図１０の一連の処理（処理一周）に要する時間は例えばその５〜１０倍程度である。
図９に示すように、画像表示処理では、まず、ステップＳ１１において、画像取得部１４１は、車両１の周辺を撮像する撮像部１５から撮像画像データを取得する。次に、ステップＳ１２において、画像補正部１４２は、画像取得部１４１が取得した撮像画像データについて、視認性向上等のために輝度等の補正を行う。次に、ステップＳ１３において、表示制御部１４ｄは、画像補正部１４２が補正した画像データを表示装置８に表示する。ステップＳ１３の後、ステップＳ１１に戻る。
次に、図１０に示すように、枠重畳表示処理では、まず、ステップＳ２１において、画像取得部１４１は、撮像部１５から時系列に複数の撮像画像データ（例えば図６の撮像画像データ６０１、６０２）を取得する。次に、ステップＳ２２において、物体検出部１４３は、前記複数の撮像画像データの各々について、物体を検出する。
次に、ステップＳ２３において、移動算出部１４４は、物体検出部１４３が検出した物体の移動方向と移動速度を算出する。
次に、ステップＳ２４において、処理時間算出部１４５は、複数の撮像画像データから枠の位置を決定するのに要する処理時間を算出する。なお、このような処理時間を算出せず、以下の処理で固定時間（例えば、２００ｍｓ等）を使用してもよい。
次に、ステップＳ２５において、枠決定部１４６は、移動算出部１４４が算出した移動方向と移動速度と、処理時間算出部１４５が算出した処理時間（または固定時間）に基づいて、上述した時系列に複数の撮像画像データの後に撮像部１５から出力される第２の撮像画像データの表示領域に表される物体に対応する枠の位置、大きさを決定する。
次に、ステップＳ２６において、表示制御部１４ｄは、表示装置８に表示する第２の撮像画像データの表示領域上に、枠決定部１４６が決定した位置、大きさに基づいて枠を重畳表示する（図８の画面８０１）。ステップＳ２６の後、ステップＳ２１に戻る。
このように、本実施形態の表示制御装置によれば、複数の撮像画像データから算出した動く物体の移動方向と移動速度を用いて、物体に対応する枠の位置、大きさを決定することで、車両周辺の表示画像において、動く物体に対する枠の追従性を向上させることができる。つまり、枠の位置を決定する処理を行っている間に物体が移動する距離を予測することで、物体に対して枠を正確な位置に表示することができる。
特に、表示画面上に複数の物体が映っている場合、物体に対して枠の位置が正確でないと、運転者が、物体と枠の対応を誤認識したり、あるいは、物体までの距離を誤認識したりしてしまう可能性がある。しかし、本実施形態の表示制御装置によれば、物体に対して枠を正確な位置に表示することができるので、それらの誤認識を回避することができる。
また、移動算出部１４４が表示領域における物体の動きから当該表示領域内における物体の移動方向と移動速度を算出するようにすれば、処理が軽く済む。
また、移動算出部１４４が３次元座標空間における物体の動きから物体の移動方向と移動速度を算出するようにすれば、物体の移動方向と移動速度をより高精度に算出できる。
また、処理時間算出部１４５が枠の位置を決定するのに要する処理時間を算出し、枠決定部１４６がその処理時間も用いて枠の位置、大きさを決定するようにすれば、枠の位置、大きさをその処理時間に合わせて決定することができる。
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、表示画像中の物体に対応する表示情報として、物体を囲む枠を例にとって説明したが、これに限定されず、例えば、物体に対応する代表点や、物体を指し示す矢印等であってもよい。そのような代表点や矢印の場合、大きさは決定せずに、位置だけを決定するようにしてもよい。
１…車両、１００…車両制御システム、１４１…画像取得部、１４２…画像補正部、１４３…物体検出部、１４４…移動算出部、１４５…処理時間算出部、１４６…枠決定部、１４７…記憶部。

Claims (5)

  1. 車両の周辺を撮像する撮像部から出力された時系列に複数の撮像画像データを取得する画像取得部と、
    前記複数の撮像画像データの各々について物体を検出する物体検出部と、
    前記物体の移動方向と移動速度を算出する移動算出部と、
    前記移動方向と前記移動速度に基づいて、前記複数の撮像画像データの後に前記撮像部から出力される第２の撮像画像データの表示領域に表される前記物体に対応する表示情報の位置を決定する表示情報決定部と、
    表示部に、前記第２の撮像画像データを表示するとともに、その表示領域上に、前記決定した位置に基づいて前記表示情報を重畳表示する表示制御部と、
    を備える表示制御装置。
  2. 前記移動算出部は、前記複数の撮像画像データに基づいて、表示領域における前記物体の動きから、当該表示領域内における前記物体の移動方向と移動速度を算出する、請求項１に記載の表示制御装置。
  3. 前記移動算出部は、前記複数の撮像画像データに基づいて、前記車両と前記物体との相対的な位置関係を表すための３次元座標空間における前記物体の動きから、前記物体の移動方向と移動速度を算出する、請求項１に記載の表示制御装置。
  4. 前記表示情報決定部は、前記移動方向と、前記移動速度と、前記複数の撮像画像データから前記表示情報の位置を決定するのに要する処理時間と、に基づいて、前記表示情報の位置を決定する、請求項１から請求項３のいずれか一項に記載の表示制御装置。
  5. 前記表示情報は、前記物体を囲う枠であり、
    前記表示情報決定部は、前記移動方向と前記移動速度に基づいて、前記第２の撮像画像データの表示領域における前記物体に対応する前記枠の位置および大きさを決定し、
    前記表示制御部は、前記表示部に、前記第２の撮像画像データを表示するとともに、その表示領域上に、前記決定した位置および大きさに基づいて前記枠を重畳表示する、請求項１から請求項４のいずれか一項に記載の表示制御装置。
JP2016168692A 2016-08-31 2016-08-31 表示制御装置 Pending JP2018036444A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016168692A JP2018036444A (ja) 2016-08-31 2016-08-31 表示制御装置
EP17188261.6A EP3291545B1 (en) 2016-08-31 2017-08-29 Display control device
CN201710756233.8A CN107791951B (zh) 2016-08-31 2017-08-29 显示控制装置
US15/690,355 US10489950B2 (en) 2016-08-31 2017-08-30 Display control device for displaying a captured image of a vehicle periphery

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016168692A JP2018036444A (ja) 2016-08-31 2016-08-31 表示制御装置

Publications (1)

Publication Number Publication Date
JP2018036444A true JP2018036444A (ja) 2018-03-08

Family

ID=59761766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016168692A Pending JP2018036444A (ja) 2016-08-31 2016-08-31 表示制御装置

Country Status (4)

Country Link
US (1) US10489950B2 (ja)
EP (1) EP3291545B1 (ja)
JP (1) JP2018036444A (ja)
CN (1) CN107791951B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009007342A1 (de) * 2009-02-04 2010-08-05 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Ermitteln einer geltenden Fahrspurmarkierung
FR3080701B1 (fr) * 2018-04-26 2020-05-15 Transdev Group Systeme de surveillance de la circulation routiere avec affichage d'une image virtuelle d'objets mobiles evoluant dans une portion d'infrastructure routiere
CN113039781A (zh) 2018-11-22 2021-06-25 索尼半导体解决方案公司 图像处理装置、相机系统和图像处理方法
CN109703556B (zh) * 2018-12-20 2021-01-26 斑马网络技术有限公司 驾驶辅助方法及设备
JP7192582B2 (ja) * 2019-03-11 2022-12-20 オムロン株式会社 物体追跡装置および物体追跡方法
JP7359735B2 (ja) * 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318546A (ja) * 2004-03-29 2005-11-10 Fuji Photo Film Co Ltd 画像認識システム、画像認識方法、及び画像認識プログラム
JP2009281989A (ja) * 2008-05-26 2009-12-03 Pioneer Electronic Corp 移動体情報表示装置及び移動体情報表示方法等
JP2010025828A (ja) * 2008-07-22 2010-02-04 Pioneer Electronic Corp 移動体情報表示装置及び移動体情報表示方法等
JP2010171503A (ja) * 2009-01-20 2010-08-05 Clarion Co Ltd 障害物検出表示装置
JP2015115760A (ja) * 2013-12-11 2015-06-22 三菱電機株式会社 映像処理装置、映像処理システムおよび映像処理方法
JP2016001109A (ja) * 2014-06-11 2016-01-07 日産自動車株式会社 車両用表示装置
JP2016088158A (ja) * 2014-10-30 2016-05-23 本田技研工業株式会社 周辺監視装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5218910B1 (ja) 1971-04-16 1977-05-25
US7728909B2 (en) * 2005-06-13 2010-06-01 Seiko Epson Corporation Method and system for estimating motion and compensating for perceived motion blur in digital video
JP5338273B2 (ja) 2008-11-24 2013-11-13 株式会社デンソー 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
JP5218910B2 (ja) 2009-01-09 2013-06-26 トヨタ自動車株式会社 ナイトビジョンシステム
JP5459154B2 (ja) * 2010-09-15 2014-04-02 トヨタ自動車株式会社 車両用周囲画像表示装置及び方法
JP5643617B2 (ja) * 2010-11-18 2014-12-17 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理方法、画像処理システム
US20130054377A1 (en) * 2011-08-30 2013-02-28 Nils Oliver Krahnstoever Person tracking and interactive advertising
CN103136754B (zh) * 2012-10-09 2015-07-29 四川师范大学 一种基于特征块方向微分的图像模糊方向鉴别方法
JP6094266B2 (ja) * 2013-02-28 2017-03-15 アイシン精機株式会社 駐車支援装置、駐車支援方法およびプログラム
JP5942130B2 (ja) * 2013-03-28 2016-06-29 株式会社ジャパンディスプレイ 表示装置
JP5942979B2 (ja) * 2013-12-27 2016-06-29 トヨタ自動車株式会社 車両用情報表示装置及び車両用情報表示方法
JP2015128206A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 編集装置、再生装置、編集方法、再生方法、およびプログラム
WO2015174093A1 (ja) * 2014-05-16 2015-11-19 パナソニックＩｐマネジメント株式会社 車載用表示装置、車載用表示装置の制御方法、プログラム
US10593185B2 (en) * 2015-05-15 2020-03-17 J. Brasch Co., Llc System and method for active monitoring of a person

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318546A (ja) * 2004-03-29 2005-11-10 Fuji Photo Film Co Ltd 画像認識システム、画像認識方法、及び画像認識プログラム
JP2009281989A (ja) * 2008-05-26 2009-12-03 Pioneer Electronic Corp 移動体情報表示装置及び移動体情報表示方法等
JP2010025828A (ja) * 2008-07-22 2010-02-04 Pioneer Electronic Corp 移動体情報表示装置及び移動体情報表示方法等
JP2010171503A (ja) * 2009-01-20 2010-08-05 Clarion Co Ltd 障害物検出表示装置
JP2015115760A (ja) * 2013-12-11 2015-06-22 三菱電機株式会社 映像処理装置、映像処理システムおよび映像処理方法
JP2016001109A (ja) * 2014-06-11 2016-01-07 日産自動車株式会社 車両用表示装置
JP2016088158A (ja) * 2014-10-30 2016-05-23 本田技研工業株式会社 周辺監視装置

Also Published As

Publication number Publication date
US20180061105A1 (en) 2018-03-01
EP3291545B1 (en) 2021-06-09
CN107791951B (zh) 2023-01-17
US10489950B2 (en) 2019-11-26
CN107791951A (zh) 2018-03-13
EP3291545A1 (en) 2018-03-07

Similar Documents

Publication Publication Date Title
JP6015314B2 (ja) 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム
US10018473B2 (en) Vehicle position detecting device
JP6067634B2 (ja) 駐車支援装置および経路決定方法
EP3132997B1 (en) Parking assistance device
JP6094266B2 (ja) 駐車支援装置、駐車支援方法およびプログラム
US10150486B2 (en) Driving assistance device and driving assistance system
US10055994B2 (en) Parking assistance device
JP2017154711A (ja) 駐車支援装置
CN107791951B (zh) 显示控制装置
JP6006765B2 (ja) 運転支援装置
WO2018150642A1 (ja) 周辺監視装置
JP6554866B2 (ja) 画像表示制御装置
WO2018220915A1 (ja) 周辺監視装置
US20200140011A1 (en) Parking assistance apparatus
JP6227514B2 (ja) 駐車支援装置
CN109311423B (zh) 驾驶辅助装置
JP2021062746A (ja) 駐車支援装置
JP2019138655A (ja) 走行支援装置
JP2014000921A (ja) 車両周辺監視装置、車両周辺監視方法およびプログラム
WO2023085228A1 (ja) 駐車支援装置
JP2017069846A (ja) 表示制御装置
JP6601097B2 (ja) 表示制御装置
JP2019018616A (ja) 駐車支援用表示制御装置、駐車支援システム、方法及びプログラム
JP2019022110A (ja) 表示制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210622