JP2022144606A - 警告装置及び警告方法 - Google Patents

警告装置及び警告方法 Download PDF

Info

Publication number
JP2022144606A
JP2022144606A JP2021045681A JP2021045681A JP2022144606A JP 2022144606 A JP2022144606 A JP 2022144606A JP 2021045681 A JP2021045681 A JP 2021045681A JP 2021045681 A JP2021045681 A JP 2021045681A JP 2022144606 A JP2022144606 A JP 2022144606A
Authority
JP
Japan
Prior art keywords
image
range
vehicle
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021045681A
Other languages
English (en)
Other versions
JP2022144606A5 (ja
Inventor
康利 酒井
Yasutoshi Sakai
啓太 林
Keita Hayashi
紘史 谷山
Hiroshi Taniyama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2021045681A priority Critical patent/JP2022144606A/ja
Priority to PCT/JP2021/044063 priority patent/WO2022195970A1/ja
Priority to EP21931713.8A priority patent/EP4310814A1/en
Priority to CN202180088960.6A priority patent/CN116762097A/zh
Publication of JP2022144606A publication Critical patent/JP2022144606A/ja
Priority to US18/235,491 priority patent/US20230391192A1/en
Publication of JP2022144606A5 publication Critical patent/JP2022144606A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B60K2360/178—
    • B60K2360/21—
    • B60K35/22—
    • B60K35/28—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Abstract

【課題】従来の警告装置では、遠赤外線カメラの映像から検出した歩行者等を、適切に車両の運転者に把握させることが難しい問題があった。【解決手段】警告装置１は、車両の進行方向を撮影する遠赤外線カメラ１１が撮影した第１映像を取得する第１映像取得部２１と、遠赤外線カメラ１１と一致する方向を撮影する可視光カメラ１２が撮影した第２映像を取得する第２映像取得部２２と、第１映像取得部が取得した第１映像から、警告対象となるオブジェクトを検出する検出部２３と、検出部２３が警告対象となるオブジェクトを検出した場合、第１映像における第１オブジェクト範囲を特定するとともに、第１オブジェクト範囲に対応する第２映像において検出したオブジェクトを示す範囲である第２オブジェクト範囲を特定する範囲特定部２４と、第２オブジェクト範囲を描画した第２映像を車両の運転者が目視可能な表示部１４に表示させる表示制御部２５と、を有する。【選択図】図１

Description

本発明は、例えば、遠赤外線カメラを用いて、車両の進行方向などに存在する歩行者等を検出し、車両の運転者に警告する警告装置及び警告方法に関する。
近年、車両の進行方向の安全確認のために、可視光カメラでは検出が難しい状況における検出対象物の検出に遠赤外線カメラを用いることが行われている。このような遠赤外線カメラを用いた対象物検出技術の例が特許文献１に開示されている。
特許文献１に記載の認識処理装置は、遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得する映像取得部と、自車両の周囲で駐停車している他車両を検出する他車両検出部と、第１撮影データの他車両に対応する領域の熱分布から、他車両の動作に基づく放熱を検出する熱検出部と、放熱を検出したときに、他車両近傍に対して優先的に人物認識を実行して人物を検出する人物検出部とを備える。
特開２０２０－０２７３８０号公報
しかしながら、遠赤外線カメラは、歩行者等の発する熱の分布を映像として検出するため、車両の運転者は、遠赤外線カメラが検出した歩行者等を車両外に対する目視で確認できない場合がある。このような状況では、歩行者等が赤外線カメラにより検出されているにもかかわらず、車両の運転者は車両外に対する目視で歩行者の位置を確認できないため、表示画像を目視する時間や回数が増えてしまい、目視による進行方向の安全確認に支障が生じることがある。
そこで、本発明の一態様は、車両の進行方向を撮影する遠赤外線カメラが撮影した第１映像を取得する第１映像取得部と、前記遠赤外線カメラと一致する方向を撮影する可視光カメラが撮影した第２映像を取得する第２映像取得部と、前記第１映像取得部が取得した第１映像から、前記車両の運転者に対して警告対象となるオブジェクトを検出する検出部と、前記検出部が警告対象となるオブジェクトを検出した場合、前記第１映像において検出したオブジェクトを示す範囲である第１オブジェクト範囲を特定するとともに、第１オブジェクト範囲に対応する第２映像における第２オブジェクト範囲を特定する範囲特定部と、前記第２オブジェクト範囲を描画した第２映像を前記車両の運転者が目視可能な表示部に表示させる表示制御部と、を有する警告装置である。
また、本発明の別の態様は、車両の進行方向を撮影する遠赤外線カメラが撮影した第１映像を取得する第１映像取得ステップと、前記遠赤外線カメラと一致する方向を撮影する可視光カメラが撮影した第２映像を取得する第２映像取得ステップと、取得した第１映像から、前記車両の運転者に対して警告対象となるオブジェクトを検出する検出ステップと、警告対象となるオブジェクトを検出した場合、前記第１映像において検出したオブジェクトを示す範囲である第１オブジェクト範囲を特定するとともに、第１オブジェクト範囲に対応する第２映像における第２オブジェクト範囲を特定する範囲特定ステップと、前記第２オブジェクト範囲を描画した第２映像を前記車両の運転者が目視可能な表示部に表示させる表示ステップと、を警告装置が実行する警告方法である。
本発明によれば、遠赤外線カメラの映像から検出した歩行者等を、適切に車両の運転者に把握させることができる。
実施の形態１にかかる警告装置のブロック図である。 実施の形態１にかかる警告装置における可視光カメラの撮影範囲と遠赤外線カメラの撮影範囲との違いを説明する図である。 実施の形態１にかかる警告装置における警告表示を説明する図である。 実施の形態１にかかる警告装置の動作を説明する図である。 実施の形態１にかかる警告装置の動作の別の形態を説明する図である。 実施の形態２にかかる警告装置のブロック図である。 実施の形態２にかかる警告装置の動作を説明する図である。
以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
また、以下で説明する機能ブロックの各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各機能（各処理）を、ＣＰＵやメモリ等を有する演算部（例えば、コンピュータ）により実現してもよい。例えば、記憶装置に実施形態における作成方法を行うためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することにより実現してもよい。
これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばハードディスクドライブ）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
実施の形態１
実施の形態１にかかる警告装置１は、遠赤外線カメラが撮影した映像から歩行者等が検出された場合に、表示画面に遠赤外線カメラが撮影した映像と、検出した歩行者等を示す枠線などを表示することで、車両の運転者に警告を行う。
図１に実施の形態１にかかる警告装置１のブロック図を示す。図１に示すように、実施の形態１にかかる警告装置１は、警報制御装置１０、遠赤外線カメラ１１、可視光カメラ１２、認識辞書記憶部１３、表示部１４を有する。警報制御装置１０は、例えば、マイクロコントローラユニット（ＭＣＵ）やＣＰＵ等のプログラムを実行可能な演算装置により実現される。また、マイクロコントローラユニットには、複数の演算部が含まれており、複数の演算部により並列してプログラム内の種々の処理が行えるものであってもよい。警報制御装置１０内で実現される処理ブロックの詳細については後述する。
遠赤外線カメラ１１は、車両の前方、つまり車両の主たる進行方向を撮影するカメラであって、撮影範囲にある物から発せられる遠赤外線を受けて、撮影範囲に存在する物体の温度に応じた濃淡を有する画像、所謂熱画像を出力する。可視光カメラ１２は、遠赤外線カメラ１１と一致する方向を撮影するカメラであって、撮影範囲を可視光により撮影した映像を出力する。遠赤外線カメラ１１と可視光カメラ１２の撮影方向の一致とは、いずれのカメラも、車両の前方を撮影していることを意味する。また、遠赤外線カメラ１１の撮影画角は、可視光カメラ１２の撮影画角より狭いことが多いため、このような場合、可視光カメラ１２の撮影画角の範囲内に、遠赤外線カメラ１１の撮影画角の範囲が含まれる。
認識辞書記憶部１３は、後述する検出部２３において検出する検出対象のオブジェクトの形状などの特徴を機械学習させた認識辞書を記憶する。認識辞書記憶部１３は、例えば、フラッシュメモリ等の不揮発性記憶装置により構成される。表示部１４は、車両の運転者に遠赤外線カメラ１１と可視光カメラ１２の少なくとも一方により撮影される映像を表示するものである。表示部１４は、例えば、車両のダッシュボードに設置されるディスプレイ等が考えられる。
警報制御装置１０は、第１映像取得部２１、第２映像取得部２２、検出部２３、範囲特定部２４、表示制御部２５を有する。警報制御装置１０内の処理ブロックは、プログラムにより実現される処理ブロック、或いは、専用ハードウェアとして実装される処理ブロックである。また、第１映像取得部２１、第２映像取得部２２、検出部２３、範囲特定部２４、表示制御部２５は、警報制御装置１０内の処理、或いは、バスにより相互に情報の連携が可能なように構成される。
第１映像取得部２１は、車両の進行方向を撮影する遠赤外線カメラ１１が撮影した第１映像を取得する。第２映像取得部２２は、可視光カメラ１２が撮影した第２映像を取得する。検出部２３は、第１映像取得部が取得した第１映像から、車両の運転者に対して警告対象となるオブジェクトを検出する。車両の運転者に対して警告対象となるオブジェクトは、例えば、歩行者等の人物、人物が乗車している自転車、動物など、周辺温度との温度分布の差異によって検出される物体である。また、車両の運転者に対して警告対象となるオブジェクトは、上述した物体のうち、車両の進行方向である前方に存在し、車両の走行において注意が必要な位置に存在する物体を対象としてもよい。
範囲特定部２４は、検出部２３が警告対象となるオブジェクトを検出した場合、第１映像における検出したオブジェクトを示す範囲である第１オブジェクト範囲を特定するとともに、第１オブジェクト範囲に対応する第２映像における第２オブジェクト範囲を特定する。範囲特定部２４が特定する第１オブジェクト範囲は、第１映像において検出されたオブジェクトを囲う範囲であり、例えば、矩形の枠線などで示される。矩形の枠線は、検出されたオブジェクトの外形全体を囲う枠線であり、表示画面上におけるオブジェクトの存在に加えて、表示画面上における位置および大きさを示すことができる。第１オブジェクト範囲は、例えば検出したオブジェクトが人物である場合は、検出された人物を囲う縦横比が２：１の矩形の枠線で示される。範囲特定部２４が特定する第２オブジェクト範囲は、第１映像において特定された第１オブジェクト範囲に対して、第２映像において同一の位置を示す範囲であり、例えば、第１オブジェクト範囲を示す枠線と同一形状の枠線などで示される。第１オブジェクト範囲および第２オブジェクト範囲は、上述した形態に限定されず、様々な形態が実施可能である。
表示制御部２５は、第２オブジェクト範囲を示す枠線等を描画した第２映像を車両の運転者が目視可能な表示部１４に表示させる。また、表示制御部２５では、第２映像を表示する際には、彩度またはコントラストを低下させた第２映像に第２オブジェクト範囲を描画させて表示部１４に表示させることが好ましい。このように第２映像の彩度またはコントラストを低下させることで、第２オブジェクト範囲を示す枠線等が第２映像の表示に対して目立つため、車両の運転者が第２オブジェクトの位置を適切に確認することができる。
ここで、遠赤外線カメラ１１と可視光カメラ１２との撮影範囲の違いについて説明する。そこで、図２に実施の形態１にかかる警告装置１における可視光カメラの撮影範囲と遠赤外線カメラの撮影範囲との違いを説明する図を示す。図２に示すように、実施の形態１にかかる警告装置１では、遠赤外線カメラ１１と可視光カメラ１２による撮影範囲は、車両の進行方向であって、一致する方向を撮影する。また、警告装置１では、遠赤外線カメラ１１が撮影する遠赤外線カメラ撮影範囲ＩＲは、可視光カメラ１２が撮影する可視光カメラ撮影範囲ＯＰよりも範囲が狭い。図２に示す例では、可視光カメラ撮影範囲ＯＰの中心と遠赤外線カメラ撮影範囲ＩＲの中心が一致するように設定されている。可視光カメラ撮影範囲ＯＰは、可視光カメラ１２の撮影画角であってもよく、遠赤外線カメラ撮影範囲ＩＲは、遠赤外線カメラ１１の撮影画角であってもよい。可視光カメラ撮影範囲ＯＰの座標は、遠赤外線カメラ撮影範囲ＩＲと一致する範囲において、遠赤外線カメラ撮影範囲ＩＲの座標と対応付けられている。このため、第１映像において特定された第１オブジェクト範囲に基づき、第２映像における第２オブジェクト範囲を特定することができる。
続いて、実施の形態１にかかる警告装置１の動作について説明する。そこで、図３に実施の形態１にかかる警告装置１における警告表示を説明する図を示す。図３に示すように、実施の形態１にかかる警告装置１は、遠赤外線カメラ撮影範囲ＩＲにおいて検出対象のオブジェクトＯＢＪが検出されると、第１オブジェクト範囲ＯＢＪ＿Ｒ１を特定し、可視光カメラ撮影範囲ＯＰ中において第１オブジェクト範囲ＯＢＪ＿Ｒ１に対応する位置の第２オブジェクト範囲ＯＢＪ＿Ｒ２を特定する。そして、可視光カメラ撮影範囲ＯＰの映像である第２映像に第２オブジェクト範囲ＯＢＪ＿Ｒ２を明示する表示を行うことで車両の運転者にオブジェクトＯＢＪがあることを警告する。
上記動作について、フローチャートを用いて説明する。図４に実施の形態１にかかる警告装置１の動作を説明する図を示す。図４に示すように、実施の形態１にかかる警告装置１は、動作を開始すると遠赤外線カメラ１１及び可視光カメラ１２による撮影を開始する（ステップＳ１）。ステップＳ１の動作の開始は、警告装置１を搭載している車両のエンジンなどの動力がオンになった場合などに開始される。また、遠赤外線カメラ１１によるオブジェクト検出を、例えば、夜間やトンネルの中など車両周囲の照度が低いときに行う場合は、照度が夜間やトンネルの中を示す程度に低くなることで開始される。ステップＳ１の開始後または開始と同時に、警告装置１は、検出部２３により、遠赤外線カメラ１１及び第１映像取得部２１が取得する第１映像から遠赤外線カメラ撮影範囲ＩＲ中のオブジェクトＯＢＪの検出を開始する（ステップＳ２）。また、警告装置１は、表示制御部２５により可視光カメラ１２及び第２映像取得部２２が取得する第２映像（例えば、可視光カメラ撮影範囲ＯＰの映像）の表示部１４への表示を開始する（ステップＳ３）。表示部１４に表示される第２映像は、可視光カメラ撮影範囲ＯＰから、遠赤外線カメラ撮影範囲ＩＲに一致する箇所を表示してもよい。
そして、検出部２３が遠赤外線カメラ撮影範囲ＩＲ中にオブジェクトＯＢＪの存在を検出した場合（ステップＳ４のＹＥＳ）、範囲特定部２４により第１オブジェクト範囲ＯＢＪ＿Ｒ１に対応する第２オブジェクト範囲ＯＢＪ＿Ｒ２の位置を特定する（ステップＳ５）。そして、警告装置１は、表示制御部２５により、第２オブジェクト範囲ＯＢＪ＿Ｒ２を示す第２映像を表示部１４に表示する（ステップＳ６）。この第２オブジェクト範囲ＯＢＪ＿Ｒ２を示す第２映像は、遠赤外線カメラ撮影範囲ＩＲからオブジェクトＯＢＪの存在がなくなる等の警告が必要な状態が解消される警告終了条件を満たすまで継続される（ステップＳ７）。そして、警告終了条件が満たされた後、表示制御部２５は、第２オブジェクト範囲ＯＢＪ＿Ｒ２を含まない第２映像を表示部１４に表示する（ステップＳ８）。
そして、実施の形態１にかかる警告装置１は、エンジンが停止される等の動作が終了状態になるまでステップＳ４～Ｓ８の処理を繰り返す。なお、実施の形態１にかかる警告装置１は、ステップＳ４において遠赤外線カメラ撮影範囲ＩＲ中にオブジェクトＯＢＪが検出されない場合、遠赤外線カメラ撮影範囲ＩＲ中にオブジェクトＯＢＪが検出されるまでステップＳ５～Ｓ８は実行せずにオブジェクトＯＢＪの検出処理を継続する（ステップＳ４のＮＯ、ステップＳ９のＮＯ）。
なお、実施の形態１にかかる警告装置１の動作は別の形態も考えられる。そこで、図５に実施の形態１にかかる警告装置１の動作の別の形態を説明する図を示す。図５に示すように、実施の形態１にかかる警告装置１の動作の別の形態は、図４に示したフローチャートにおいて、第２映像を表示するステップＳ３、Ｓ８を、第１映像を表示するステップＳ１０、Ｓ１１に変更したものである。つまり、実施の形態１にかかる警告装置１の動作の別の形態では、オブジェクトＯＢＪの未検出状態において、第１映像を表示部１４に表示する。このように、実施の形態１にかかる警告装置１では、オブジェクトＯＢＪの未検出の期間において、表示部１４に第１映像を表示するか、第２映像を表示するのかは仕様により選択することができる。
上記説明より、実施の形態１にかかる警告装置１では、遠赤外線カメラ撮影範囲ＩＲ中に警告対象のオブジェクトＯＢＪが検出された場合に、第２映像にオブジェクトＯＢＪの存在位置を示す第２オブジェクト範囲ＯＢＪ＿Ｒ２を重ねて表示することで、運転者に知らせるべき警告を運転者にわかりやすく提示する。車両の運転者は、車両外の目視で警告対象のオブジェクトを確認できない場合であっても、車両外の景色と同様の第２映像に第２オブジェクト範囲ＯＢＪ＿Ｒ２が描画されているため、適切に警告対象のオブジェクトの位置を把握することができる。また、運転者に警告対象のオブジェクトの位置を適切に把握させることで、表示画像を目視する時間や回数を減少させ、進行方向の目視に運転者の注意をより多く向けることができる。
実施の形態２
実施の形態２では、実施の形態１にかかる警告装置１の別の形態となる警告装置２について説明する。なお、実施の形態２の説明では、実施の形態１で説明した構成用途と同じ構成要素には実施の形態１と同じ符号を付して説明を省略する。
図６に実施の形態２にかかる警告装置２のブロック図を示す。図６に示すように、実施の形態２にかかる警告装置２は、実施の形態１にかかる警告装置１に車室内撮影カメラ１５を追加し、警報制御装置１０を警報制御装置３０に置き換えたものである。警報制御装置３０は、警報制御装置１０に第３映像取得部２６及び視線検出部２７を追加したものである。
車室内撮影カメラ１５は、車室内の運転者を撮影する。特に車室内撮影カメラ１５は、運転者が表示部１４に向ける視線がわかるように運転者を撮影するように設置される。第３映像取得部２６は、車室内撮影カメラ１５が撮影した映像を取得して視線検出部２７に伝達する。視線検出部２７は、車両の運転者の視線の向きを検出する。そして、表示制御部２５は、検出部２３が警告対象となるオブジェクトを検出した場合、第１オブジェクト範囲を描画した第１映像を表示部に表示させ、車両の運転者が表示部１４を所定時間以上見た場合、または見返した場合、第２オブジェクト範囲を描画した第２映像を表示させる。所定時間とは、例えば３秒などである。また、見返した場合とは、車両の運転者が、第１オブジェクト範囲が描画されている第１映像が表示されている表示部１４を見てから車両の前方を見た後、例えば３秒以内に再度第１オブジェクト範囲が描画されている第１映像が表示されている表示部１４を見た場合などである。
車両の運転者が、第１オブジェクト範囲が描画されている第１映像が表示されている表示部１４を所定時間以上見た場合とは、表示部１４に表示されている第１映像においては、警告対象となるオブジェクトを示す第１オブジェクト範囲が表示されているにも関わらず、車両外の目視で警告対象となるオブジェクトが確認できない場合である。また、車両の運転者が、第１オブジェクト範囲が描画されている第１映像が表示されている表示部１４を見返した場合も同様である。
ここで、図７に実施の形態２にかかる警告装置２の動作を説明する図を示す。図７は、運転者が表示部１４を見返したときのみ第２オブジェクト範囲を描画した第２映像を表示させる場合の警告装置２の動作について説明したものである。
図７に示すように、実施の形態２にかかる警告装置２の動作は、図５に示した実施の形態１にかかる警告装置１の動作にステップＳ２１の動作を追加したものである。ステップＳ２１は、ステップＳ４において検出部２３がオブジェクトＯＢＪを検出した後に行われる。警告装置２では、オブジェクトＯＢＪが未検出状態では表示部１４に遠赤外線カメラ１１により撮影された第１映像が映し出されており、第２オブジェクト範囲ＯＢＪ＿Ｒ２を表示しなくても、運転者がオブジェクトＯＢＪを認識できていれば、第２オブジェクト範囲ＯＢＪ＿Ｒ２を含む第２映像を流す（ステップＳ５～Ｓ７の処理を行う）ことなく、第１映像の表示を継続する（ステップＳ２１）。
上記説明より、実施の形態２にかかる警告装置２では、運転者が第２映像によるオブジェクトＯＢＪの確認が必要となった状態であることが判断された場合に、第２オブジェクト範囲が描画されている第２映像を表示することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
１、２ 警告装置
１０、３０ 警報制御装置
１１ 遠赤外線カメラ
１２ 可視光カメラ
１３ 認識辞書記憶部
１４ 表示部
１５ 車室内撮影カメラ
２１ 第１映像取得部
２２ 第２映像取得部
２３ 検出部
２４ 範囲特定部
２５ 表示制御部
２６ 第３映像取得部
２７ 視線検出部
ＯＰ 可視光カメラ撮影範囲
ＩＲ 遠赤外線カメラ撮影範囲
ＯＢＪ オブジェクト
ＯＢＪ＿Ｒ１ 第１オブジェクト範囲
ＯＢＪ＿Ｒ２ 第２オブジェクト範囲

Claims (5)

  1. 車両の進行方向を撮影する遠赤外線カメラが撮影した第１映像を取得する第１映像取得部と、
    前記遠赤外線カメラと一致する方向を撮影する可視光カメラが撮影した第２映像を取得する第２映像取得部と、
    前記第１映像取得部が取得した第１映像から、前記車両の運転者に対して警告対象となるオブジェクトを検出する検出部と、
    前記検出部が警告対象となるオブジェクトを検出した場合、前記第１映像において検出したオブジェクトを示す範囲である第１オブジェクト範囲を特定するとともに、第１オブジェクト範囲に対応する第２映像における第２オブジェクト範囲を特定する範囲特定部と、
    前記第２オブジェクト範囲を描画した第２映像を前記車両の運転者が目視可能な表示部に表示させる表示制御部と、
    を有する警告装置。
  2. 前記表示制御部は、検出したオブジェクトに基づく警告を行う期間、前記第２オブジェクト範囲を描画した第２映像を前記表示部に表示させる、
    請求項１に記載の警告装置。
  3. 前記車両の運転者の視線の向きを検出する視線検出部をさらに有し、
    前記表示制御部は、前記検出部が警告対象となるオブジェクトを検出した場合、前記第１オブジェクト範囲を描画した前記第１映像を前記表示部に表示させ、前記車両の運転者が前記表示部を所定時間以上見た場合、または見返した場合、前記第２オブジェクト範囲を描画した第２映像を表示させる、
    請求項１に記載の警告装置。
  4. 前記表示制御部は、彩度またはコントラストを低下させた第２映像に前記第２オブジェクト範囲を描画させて前記表示部に表示させる、
    請求項１乃至３のいずれか１項に記載の警告装置。
  5. 車両の進行方向を撮影する遠赤外線カメラが撮影した第１映像を取得する第１映像取得ステップと、
    前記遠赤外線カメラと一致する方向を撮影する可視光カメラが撮影した第２映像を取得する第２映像取得ステップと、
    取得した第１映像から、前記車両の運転者に対して警告対象となるオブジェクトを検出する検出ステップと、
    警告対象となるオブジェクトを検出した場合、前記第１映像において検出したオブジェクトを示す範囲である第１オブジェクト範囲を特定するとともに、第１オブジェクト範囲に対応する第２映像における第２オブジェクト範囲を特定する範囲特定ステップと、
    前記第２オブジェクト範囲を描画した第２映像を前記車両の運転者が目視可能な表示部に表示させる表示ステップと、
    を警告装置が実行する警告方法。
JP2021045681A 2021-03-19 2021-03-19 警告装置及び警告方法 Pending JP2022144606A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021045681A JP2022144606A (ja) 2021-03-19 2021-03-19 警告装置及び警告方法
PCT/JP2021/044063 WO2022195970A1 (ja) 2021-03-19 2021-12-01 警告装置及び警告方法
EP21931713.8A EP4310814A1 (en) 2021-03-19 2021-12-01 Warning device and warning method
CN202180088960.6A CN116762097A (zh) 2021-03-19 2021-12-01 警告装置和警告方法
US18/235,491 US20230391192A1 (en) 2021-03-19 2023-08-18 Warning apparatus and warning method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021045681A JP2022144606A (ja) 2021-03-19 2021-03-19 警告装置及び警告方法

Publications (2)

Publication Number Publication Date
JP2022144606A true JP2022144606A (ja) 2022-10-03
JP2022144606A5 JP2022144606A5 (ja) 2024-02-06

Family

ID=83320099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021045681A Pending JP2022144606A (ja) 2021-03-19 2021-03-19 警告装置及び警告方法

Country Status (5)

Country Link
US (1) US20230391192A1 (ja)
EP (1) EP4310814A1 (ja)
JP (1) JP2022144606A (ja)
CN (1) CN116762097A (ja)
WO (1) WO2022195970A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3877366B2 (ja) * 1997-01-20 2007-02-07 本田技研工業株式会社 車両用ヘッドマウントディスプレイ装置
GB2443664A (en) * 2006-11-10 2008-05-14 Autoliv Dev An infra red object detection system de-emphasizing non relevant hot objects
WO2012073722A1 (ja) * 2010-12-01 2012-06-07 コニカミノルタホールディングス株式会社 画像合成装置
JP6015946B2 (ja) * 2013-03-29 2016-10-26 マツダ株式会社 車両用撮像装置
JP7056458B2 (ja) 2018-08-10 2022-04-19 株式会社Ｊｖｃケンウッド 認識処理装置、認識処理方法及び認識処理プログラム
JP2020043400A (ja) * 2018-09-06 2020-03-19 アイシン精機株式会社 周辺監視装置
JP2021045681A (ja) 2020-12-28 2021-03-25 株式会社三洋物産 遊技機

Also Published As

Publication number Publication date
US20230391192A1 (en) 2023-12-07
EP4310814A1 (en) 2024-01-24
WO2022195970A1 (ja) 2022-09-22
CN116762097A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
US9098928B2 (en) Image-processing system and image-processing method
JP6137081B2 (ja) 車載機器
US11465629B2 (en) Recognition processing apparatus, recognition processing method, and recognition processing program
JP5277974B2 (ja) 運転支援装置
KR101751362B1 (ko) 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
JP2005182306A (ja) 車両用表示装置
JP2009225322A (ja) 車両用情報表示システム
KR101729486B1 (ko) Avm 시스템에서의 사각 지대 감시 방법 및 그 avm 시스템
US11708032B2 (en) Driving support device
WO2020006792A1 (zh) 一种图像处理方法、机构及后视镜
JP2019201268A (ja) 監視システムおよび監視方法
JP2010191793A (ja) 警告表示装置及び警告表示方法
JP2008026998A (ja) 障害物位置算出システム、及び障害物位置算出方法
JP2006341713A (ja) ヘッドライト照射方向変更システム、及びヘッドライト照射方向変更方法
JP2019040354A (ja) 運転支援装置、および運転支援方法
JP2008174028A (ja) 対象物検出システム、及び対象物検出方法
WO2022195970A1 (ja) 警告装置及び警告方法
JP4857159B2 (ja) 車両運転支援装置
JP2011191859A (ja) 車両の周辺監視装置
CN112470465B (zh) 俯瞰图像生成装置以及计算机可读存储介质
JP5617678B2 (ja) 車両用表示装置
JP2009020647A (ja) 立体物検出方法および立体物検出装置
WO2018123547A1 (ja) 車両用視認装置
JP6690312B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2020057981A (ja) 画像作成システム、画像作成装置、及び画像作成装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240129