JP2021005881A - Display control device - Google Patents
Display control device Download PDFInfo
- Publication number
- JP2021005881A JP2021005881A JP2020151631A JP2020151631A JP2021005881A JP 2021005881 A JP2021005881 A JP 2021005881A JP 2020151631 A JP2020151631 A JP 2020151631A JP 2020151631 A JP2020151631 A JP 2020151631A JP 2021005881 A JP2021005881 A JP 2021005881A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- vehicle
- control unit
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
Description
本発明は、表示制御装置に関する。 The present invention relates to a display control device.
従来、例えば車両等の移動体の外部領域の映像を表示する技術が知られている。例えば、特許文献1には、車両に備えられたカメラの映像を表示するモニタへの電源供給を制御する技術が開示されている。 Conventionally, a technique for displaying an image of an external region of a moving body such as a vehicle is known. For example, Patent Document 1 discloses a technique for controlling power supply to a monitor that displays an image of a camera provided in a vehicle.
従来、移動体の外部領域の映像を表示する技術について改善の余地があった。 Conventionally, there has been room for improvement in the technique of displaying an image of an external region of a moving body.
本開示は、移動体の外部領域の映像を表示する技術の利便性を向上させる表示制御装置に関する。 The present disclosure relates to a display control device that improves the convenience of a technique for displaying an image in an external region of a moving body.
本開示の一実施形態に係る表示制御装置は、車両を上方から俯瞰した俯瞰画像と、撮像手段が撮像した前記車両後方の映像と、前記車両の車幅方向に間隔を開けて後方に向かって伸びるガイド画像と、を表示手段の1の画面に同時に表示させ、前記表示手段に、前記車両の右後方又は左後方に存在する障害物の位置に応じて、前記俯瞰画像の右下方又は左下方に第1画像を表示させ、且つ前記映像の右端又は左端であって前記ガイド画像の外側に第2画像を表示させる制御手段、を有する。 The display control device according to the embodiment of the present disclosure includes a bird's-eye view image of the vehicle from above, an image of the rear of the vehicle captured by the imaging means, and the rearward at intervals in the vehicle width direction of the vehicle. The extending guide image and the extended guide image are simultaneously displayed on one screen of the display means, and the display means displays the lower right or lower left of the bird's-eye view image according to the position of an obstacle existing in the right rear or the left rear of the vehicle. The control means for displaying the first image and displaying the second image on the right end or the left end of the image and outside the guide image.
本開示の一実施形態に係る表示制御装置よれば、移動体の外部領域の映像を表示する技術の利便性が向上する。 According to the display control device according to the embodiment of the present disclosure, the convenience of the technique for displaying the image of the external region of the moving body is improved.
以下、本発明の実施形態について、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(表示システム)
図1を参照して、本発明の一実施形態に係る表示システム10について説明する。
(Display system)
A display system 10 according to an embodiment of the present invention will be described with reference to FIG.
図1に示すように、表示システム10は、撮像装置20と、画像処理装置30と、表示装置40と、を備える。撮像装置20および表示システム10の各構成要素は、例えばネットワーク51を介して情報を送受信可能である。ネットワーク51は、例えば無線、有線、またはCAN(Controller Area Network)等を含んでよい。 As shown in FIG. 1, the display system 10 includes an image pickup device 20, an image processing device 30, and a display device 40. Each component of the image pickup apparatus 20 and the display system 10 can transmit and receive information via, for example, a network 51. The network 51 may include, for example, wireless, wired, CAN (Controller Area Network), or the like.
他の実施形態において、表示システム10の一部または全部の構成要素が、1つの装置として一体的に構成されてよい。例えば、撮像装置20または表示装置40に、画像処理装置30を内蔵させる構成等が考えられる。 In other embodiments, some or all of the components of the display system 10 may be integrally configured as one device. For example, an image processing device 30 may be incorporated in the image pickup device 20 or the display device 40.
図2に示すように、撮像装置20、画像処理装置30、および表示装置40は、移動体50に備えられてよい。本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。 As shown in FIG. 2, the image pickup device 20, the image processing device 30, and the display device 40 may be provided in the moving body 50. The "moving body" in the present disclosure may include, for example, a vehicle, a ship, an aircraft, and the like. Vehicles may include, for example, automobiles, industrial vehicles, railroad vehicles, living vehicles, fixed-wing aircraft traveling on runways, and the like. Automobiles may include, for example, passenger cars, trucks, buses, motorcycles, trolley buses and the like. Industrial vehicles may include, for example, industrial vehicles for agriculture and construction. Industrial vehicles may include, for example, forklifts and golf carts. Industrial vehicles for agriculture may include, for example, tractors, cultivators, transplanters, binders, combines, lawnmowers and the like. Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, crane trucks, dump trucks, road rollers and the like. The vehicle may include a vehicle that runs manually. The classification of vehicles is not limited to the above examples. For example, automobiles may include industrial vehicles that can travel on the road. The same vehicle may be included in multiple categories. Vessels may include, for example, marine jets, boats, tankers and the like. Aircraft may include, for example, fixed-wing aircraft, rotorcraft, and the like.
撮像装置20は、移動体50の外部領域を撮像可能である。撮像装置20の位置は、移動体50の内部および外部において任意である。例えば図2に示すように、撮像装置20は、移動体50の後方の外部領域を撮像可能な移動体50の後方に位置する。画像処理装置30の位置は、移動体50内において任意である。表示装置40は、対象者60によって視認可能である。表示装置40の位置は、移動体50において任意である。例えば図2に示すように、表示装置40は、移動体50のダッシュボードの中に位置する。 The image pickup device 20 can take an image of an external region of the moving body 50. The position of the image pickup apparatus 20 is arbitrary inside and outside the moving body 50. For example, as shown in FIG. 2, the image pickup apparatus 20 is located behind the moving body 50 capable of imaging an external region behind the moving body 50. The position of the image processing device 30 is arbitrary within the moving body 50. The display device 40 is visible to the subject 60. The position of the display device 40 is arbitrary in the moving body 50. For example, as shown in FIG. 2, the display device 40 is located in the dashboard of the moving body 50.
(撮像装置)
撮像装置20について詳細に説明する。例えば図1に示すように、撮像装置20は、撮像光学系21と、撮像素子22と、通信部23と、制御部24とを備える。
(Imaging device)
The image pickup apparatus 20 will be described in detail. For example, as shown in FIG. 1, the image pickup apparatus 20 includes an image pickup optical system 21, an image pickup element 22, a communication unit 23, and a control unit 24.
撮像光学系21は、被写体像を結像させる。例えば、撮像光学系21は、絞りおよび1つ以上のレンズを含んでよい。 The imaging optical system 21 forms a subject image. For example, the imaging optics 21 may include an aperture and one or more lenses.
撮像素子22は、2次元配列された複数の画素を有する。撮像素子22は、例えばCCD(Charge Coupled Device)撮像素子またはCMOS(Complementary Metal Oxide Semiconductor)撮像素子を含んでよい。撮像素子22は、撮像光学系21によって結像される被写体像を撮像して、撮像画像を生成可能である。 The image sensor 22 has a plurality of pixels arranged in two dimensions. The image pickup device 22 may include, for example, a CCD (Charge Coupled Device) image pickup device or a CMOS (Complementary Metal Oxide Semiconductor) image pickup device. The image pickup device 22 can take an image of a subject imaged by the image pickup optical system 21 and generate an image pickup image.
通信部23は、外部装置と通信可能な通信インタフェースを含んでよい。通信部23は、ネットワーク51を介して情報の送受信が可能であってよい。外部装置は、例えば画像処理装置30を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP−1211Aに規定されるS端子に対応するコネクタ、EIAJ RC−5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval ConnectorまたはBaby-series N Connector等)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。 The communication unit 23 may include a communication interface capable of communicating with an external device. The communication unit 23 may be able to send and receive information via the network 51. The external device may include, for example, an image processing device 30. The "communication interface" in the present disclosure may include, for example, a physical connector and a wireless communication device. The physical connector may include an electric connector corresponding to transmission by an electric signal, an optical connector corresponding to transmission by an optical signal, and an electromagnetic connector corresponding to transmission by an electromagnetic wave. The electrical connector includes a connector compliant with IEC60603, a connector compliant with the USB standard, a connector corresponding to the RCA terminal, a connector corresponding to the S terminal specified in EIAJ CP-1211A, and a D terminal specified in EIAJ RC-5237. It may include a corresponding connector, a connector conforming to the HDMI® standard, and a connector corresponding to a coaxial cable including a BNC (British Naval Connector or Baby-series N Connector, etc.). Optical connectors may include various connectors according to IEC 61754. The wireless communication device may include a wireless communication device conforming to each standard including Bluetooth (registered trademark) and 802.11. The wireless communication device includes at least one antenna.
制御部24は、1つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、DSP(Digital Signal Processor)および特定用途向けIC(ASIC;Application Specific Integrated Circuit)が含まれてよい。プロセッサには、プログラマブルロジックデバイス(PLD;Programmable Logic Device)が含まれてよい。PLDには、FPGA(Field-Programmable Gate Array)が含まれてよい。制御部24は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってよい。 The control unit 24 includes one or more processors. The "processor" in the present disclosure may include a dedicated processor specialized for a specific process, and a general-purpose processor that executes a specific function by loading a specific program. Dedicated processors may include DSPs (Digital Signal Processors) and application specific integrated circuits (ASICs). The processor may include a programmable logic device (PLD). The PLD may include an FPGA (Field-Programmable Gate Array). The control unit 24 may be either a SoC (System-on-a-Chip) in which one or a plurality of processors cooperate, or a SiP (System In a Package).
制御部24は、撮像装置20全体の動作を制御する。制御部24は、任意のフレームレートで、撮像素子22に撮像画像を生成させてよい。当該フレームレートは、例えば、表示装置40が表示可能なフレームレートに略一致してよい。制御部24は、生成された撮像画像に対して、所定の画像処理を実行してよい。当該画像処理は、例えば露出調整処理、ホワイトバランス処理、および歪み補正処理等を含んでよい。制御部24は、通信部23を介して画像処理装置30へ、撮像画像を出力する。例えば、制御部24は、上述のフレームレートで撮像画像を順次に出力してよい。以下、上述のフレームレートで出力される各撮像画像を、単にフレームともいう。撮像装置20から出力される当該複数の撮像画像を、第1映像ともいう。例えばフレームレートが60fps(Flame per Seconds)である場合、1秒あたり60枚の撮像画像が第1映像として出力される。 The control unit 24 controls the operation of the entire image pickup apparatus 20. The control unit 24 may cause the image pickup device 22 to generate an image pickup image at an arbitrary frame rate. The frame rate may substantially match, for example, a frame rate that can be displayed by the display device 40. The control unit 24 may perform predetermined image processing on the generated captured image. The image processing may include, for example, exposure adjustment processing, white balance processing, distortion correction processing, and the like. The control unit 24 outputs the captured image to the image processing device 30 via the communication unit 23. For example, the control unit 24 may sequentially output captured images at the above-mentioned frame rate. Hereinafter, each captured image output at the above-mentioned frame rate is also simply referred to as a frame. The plurality of captured images output from the imaging device 20 are also referred to as a first image. For example, when the frame rate is 60 fps (Flame per Seconds), 60 captured images per second are output as the first image.
(画像処理装置)
画像処理装置30について詳細に説明する。画像処理装置30は、通信部31と、記憶部32と、制御部33とを備える。
(Image processing device)
The image processing apparatus 30 will be described in detail. The image processing device 30 includes a communication unit 31, a storage unit 32, and a control unit 33.
通信部31は、多様な外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば撮像装置20、表示装置40、移動体50に備えられたECU(Electronic Control UnitまたはEngine Control unit)、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ETC(Electronic Toll Collection System)受信装置、GPS(Global Positioning System)装置、ナビゲーション装置、インターネット上のサーバ、携帯電話等を含んでよい。 The communication unit 31 may include a communication interface capable of communicating with various external devices. The external devices include, for example, an image pickup device 20, a display device 40, an ECU (Electronic Control Unit or Engine Control unit) provided in the moving body 50, a speed sensor, an acceleration sensor, a rotation angle sensor, a steering steering angle sensor, and an engine rotation speed sensor. , Accelerator sensor, brake sensor, illuminance sensor, raindrop sensor, mileage sensor, millimeter wave radar, obstacle detection device using ultrasonic sonar, ETC (Electronic Toll Collection System) receiver, GPS (Global Positioning System) device , Navigation devices, servers on the Internet, mobile phones, etc. may be included.
通信部31は、歩車間通信、路車間通信および車車間通信のための通信インタフェースを含んでよい。通信部31は、日本において提供されるDSRC(Dedicated Short-Range Communication:狭帯域通信システム)およびVICS(登録商標)(Vehicle Information and Communication System)の光ビーコンに対応した受信機を含んでよい。通信部31は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。 The communication unit 31 may include a communication interface for pedestrian-to-vehicle communication, road-to-vehicle communication, and vehicle-to-vehicle communication. The communication unit 31 may include a receiver corresponding to DSRC (Dedicated Short-Range Communication) and VICS (registered trademark) (Vehicle Information and Communication System) optical beacons provided in Japan. The communication unit 31 may include a receiver corresponding to the road traffic information providing system of another country.
通信部31は、外部装置から多様な情報を取得可能であってよい。例えば、通信部31は、移動体情報および環境情報を取得可能であってよい。 The communication unit 31 may be able to acquire various information from an external device. For example, the communication unit 31 may be able to acquire mobile information and environmental information.
移動体情報は、移動体50に関する任意の情報を含んでよい。移動体情報は、例えば移動体50の速度、加速度、旋回重力、傾き、方角、および旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは4輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数および座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体50の位置情報、ならびに移動体50の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、およびターンシグナルを含んでよい。 The mobile information may include arbitrary information about the mobile 50. The moving body information includes, for example, the speed, acceleration, turning gravity, tilt, direction, and turning status of the moving body 50, steering wheel steering angle, cooling water temperature, remaining fuel, remaining battery, battery voltage, and the like. Engine speed, gear position, reverse signal presence / absence, accelerator operation presence / absence, accelerator opening, brake operation presence / absence, brake step, parking brake operation presence / absence, front / rear wheel or four wheel rotation speed difference, tire pressure, damper The amount of expansion and contraction, the space position of the driver's eyes, the number of occupants and the seat position, the seat belt wearing information, the opening and closing of the door, the opening and closing of the window, the temperature inside the car, the presence or absence of air conditioning operation, the set temperature of air conditioning, the air volume of air conditioning , Outside air circulation setting, wiper operation status, driving mode, connection information with external devices, current time, average fuel consumption, instantaneous fuel consumption, lighting status of various lamps, position information of moving body 50, and destination of moving body 50 It may include route information to and from. The various lamps may include, for example, headlamps, fog lamps, back lamps, position lamps, and turn signals.
環境情報は、移動体50の外部環境に関する任意の情報を含んでよい。環境情報は、例えば移動体50の周囲の明るさ、天気、気圧、外気温度、地図情報、交通情報、道路工事情報、走行路の制限速度の一時的な変更、他の車両が検出した対象物、および信号機の点灯状態等を含んでよい。 The environmental information may include arbitrary information about the external environment of the mobile body 50. Environmental information includes, for example, the brightness around the moving object 50, weather, atmospheric pressure, outside air temperature, map information, traffic information, road construction information, temporary change in the speed limit of the driving path, and an object detected by another vehicle. , And the lighting state of the traffic light and the like may be included.
記憶部32は、一時記憶装置および二次記憶装置を含んでよい。記憶部32は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばCD(Compact Disc)、DVD(Digital Versatile Disc)、およびBD(Blu-ray Disc)(登録商標)等を含んでよい。記憶部32は、画像処理装置30の動作に必要な種々の情報およびプログラムを記憶する。 The storage unit 32 may include a temporary storage device and a secondary storage device. The storage unit 32 may be configured by using, for example, a semiconductor memory, a magnetic memory, an optical memory, or the like. The semiconductor memory may include a volatile memory and a non-volatile memory. The magnetic memory may include, for example, a hard disk, magnetic tape, and the like. The optical memory may include, for example, a CD (Compact Disc), a DVD (Digital Versatile Disc), a BD (Blu-ray Disc) (registered trademark), and the like. The storage unit 32 stores various information and programs necessary for the operation of the image processing device 30.
制御部33は、1つ以上のプロセッサを含む。制御部33は、画像処理装置30全体の動作を制御する。 The control unit 33 includes one or more processors. The control unit 33 controls the operation of the entire image processing device 30.
制御部33は、通信部31を介して外部装置から、移動体情報および環境情報を取得してよい。制御部33は、例えば移動体情報に基づいて、移動体50の予測進路を決定してよい。以下、移動体50の予測進路を、第1予測進路ともいう。 The control unit 33 may acquire the mobile body information and the environmental information from the external device via the communication unit 31. The control unit 33 may determine the predicted course of the moving body 50 based on, for example, the moving body information. Hereinafter, the predicted course of the moving body 50 is also referred to as a first predicted course.
制御部33は、通信部31を介して撮像装置20から、第1映像を取得してよい。第1映像は、検出領域と表示領域とを含む。 The control unit 33 may acquire the first image from the image pickup device 20 via the communication unit 31. The first video includes a detection area and a display area.
制御部33は、取得された第1映像上の検出領域内において、検出対象の少なくとも一部を検出してよい。第1映像上の検出領域は、第1映像の各フレームである撮像画像上の少なくとも一部の領域であってよい。第1映像の各フレームは、撮像画像と呼びうる。第1映像上の検出領域は、表示領域より大きくてよい。第1映像上の検出領域は、表示領域を包含してよい。制御部33は、表示領域の内側において検出対象を検出し得る。制御部33は、表示領域の外側であって検出領域の内側において、検出対象を検出し得る。検出領域および表示領域の内側の領域は、第1領域と呼びうる。検出領域の内側であって表示領域の外側の領域は、第2領域と呼び得る。 The control unit 33 may detect at least a part of the detection target in the detection area on the acquired first image. The detection area on the first image may be at least a part area on the captured image which is each frame of the first image. Each frame of the first video can be called a captured image. The detection area on the first image may be larger than the display area. The detection area on the first image may include a display area. The control unit 33 can detect the detection target inside the display area. The control unit 33 can detect the detection target outside the display area and inside the detection area. The area inside the detection area and the display area can be referred to as a first area. The area inside the detection area and outside the display area can be referred to as a second area.
検出対象は、複数の種類の物体を含んでよい。物体の種類は、例えば人、他の移動体、走行路、車線、白線、側溝、歩道、横断歩道、道路標識、交通標識、ガードレール、壁、および信号機等を含んでよい。制御部33が検出可能な検出対象の種類は、これらに限られない。検出対象の少なくとも一部は、例えば第1映像上の検出対象の一部が他の物体の陰に隠れている場合において、当該検出対象の、当該他の物体の陰に隠れていない部分を含んでよい。例えば、制御部33は、第1映像上で歩行者の下半身が障害物の陰に隠れている場合に、当該歩行者の上半身を検出可能であってよい。検出対象の少なくとも一部の検出には、任意の物体検出アルゴリズムが採用可能であってよい。例えば、制御部33は、第1映像の各フレームである撮像画像を用いたパターンマッチングまたは特徴点抽出等のアルゴリズムによって、検出対象の少なくとも一部を検出してよい。 The detection target may include a plurality of types of objects. Types of objects may include, for example, people, other moving objects, runways, lanes, white lines, gutters, sidewalks, pedestrian crossings, road signs, traffic signs, guard rails, walls, traffic lights, and the like. The types of detection targets that can be detected by the control unit 33 are not limited to these. At least a part of the detection target includes a part of the detection target that is not hidden behind the other object, for example, when a part of the detection target on the first image is hidden behind another object. It's fine. For example, the control unit 33 may be able to detect the upper body of the pedestrian when the lower body of the pedestrian is hidden behind an obstacle on the first image. Any object detection algorithm may be adopted for detecting at least a part of the detection target. For example, the control unit 33 may detect at least a part of the detection target by an algorithm such as pattern matching or feature point extraction using the captured image which is each frame of the first video.
制御部33は、第1映像上で検出対象の少なくとも一部が検出されると、第1映像に基づいて、当該検出対象の予測進路を決定してよい。以下、検出対象の予測進路を、第2予測進路ともいう。第2予測進路の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部33は、第1映像の各フレームである撮像画像上の、検出対象の向きおよび位置の変化に基づいて、第2予測進路を決定してよい。 When at least a part of the detection target is detected on the first video, the control unit 33 may determine the predicted course of the detection target based on the first video. Hereinafter, the predicted course to be detected is also referred to as a second predicted course. Any algorithm may be adopted for determining the second predicted course. For example, the control unit 33 may determine the second predicted course based on the change in the direction and position of the detection target on the captured image which is each frame of the first image.
制御部33は、第1映像上で検出対象の少なくとも一部が検出されると、第1映像に基づいて、移動体50および当該検出対象の相対的位置関係を推定してよい。相対的位置関係は、例えば移動体50と検出対象との間の距離、および、移動体50の第1予測進路と検出対象の第2予測進路との重なりの有無等を含んでよい。移動体50と検出対象との間の距離の推定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部33は、第1映像信号の各フレームである撮像画像を用いて、モーションステレオ法によって、移動体50と検出対象との間の距離を推定してよい。他の実施形態において、制御部33は、通信部31を介して外部装置から、移動体50および当該検出対象の相対的位置関係を示す情報を取得してよい。 When at least a part of the detection target is detected on the first video, the control unit 33 may estimate the relative positional relationship between the moving body 50 and the detection target based on the first video. The relative positional relationship may include, for example, the distance between the moving body 50 and the detection target, and whether or not the first predicted course of the moving body 50 and the second predicted course of the detection target overlap. Any algorithm may be adopted for estimating the distance between the moving body 50 and the detection target. For example, the control unit 33 may estimate the distance between the moving body 50 and the detection target by the motion stereo method using the captured image which is each frame of the first video signal. In another embodiment, the control unit 33 may acquire information indicating the relative positional relationship between the moving body 50 and the detection target from the external device via the communication unit 31.
制御部33は、移動体50と検出対象との間の距離が減少する場合、当該距離の減少に対して移動体50と検出対象との何れの寄与が大きいかを判定してよい。当該距離の減少に対する移動体50および検出対象の寄与の決定には、任意のアルゴリズムが採用可能であってよい。一例において、制御部33は、移動体情報に基づいて、移動体50の移動速度を検出してよい。制御部33は、例えば第1映像の各フレームである撮像画像上の検出対象の位置の変化に基づいて、当該検出対象の移動速度を検出してよい。制御部33は、当該距離の減少に対して、移動体50および検出対象のうち何れか移動速度が大きい一方の寄与が大きいと判定してよい。他の例において、制御部33は、移動体50の移動速度が基準値未満である場合、当該距離の減少に対して検出対象の寄与が大きいと判定してよい。制御部33は、移動体50の移動速度が基準値以上である場合、当該距離の減少に対して移動体50の寄与が大きいと判定してよい。当該基準値は、任意に定められてよいが、例えば略ゼロに定められてよい。当該距離の減少に対する移動体50および検出対象の寄与に応じた画像処理装置30の動作の詳細については後述する。 When the distance between the moving body 50 and the detection target decreases, the control unit 33 may determine which of the moving body 50 and the detection target contributes more to the decrease in the distance. Any algorithm may be employed to determine the contribution of the moving object 50 and the detection target to the reduction in the distance. In one example, the control unit 33 may detect the moving speed of the moving body 50 based on the moving body information. The control unit 33 may detect the moving speed of the detection target based on, for example, a change in the position of the detection target on the captured image which is each frame of the first video. The control unit 33 may determine that one of the moving body 50 and the detection target, which has a higher moving speed, contributes more to the decrease in the distance. In another example, when the moving speed of the moving body 50 is less than the reference value, the control unit 33 may determine that the detection target contributes greatly to the decrease in the distance. When the moving speed of the moving body 50 is equal to or higher than the reference value, the control unit 33 may determine that the moving body 50 contributes significantly to the decrease in the distance. The reference value may be arbitrarily set, but may be set to, for example, substantially zero. Details of the operation of the moving body 50 and the image processing device 30 according to the contribution of the detection target to the decrease in the distance will be described later.
制御部33は、第1映像上で検出対象の少なくとも一部が検出されると、第1映像に基づいて、移動体50と当該検出対象とが接触する可能性があるか否かを判定してよい。移動体50と検出対象とが接触する可能性の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部33は、移動体50と検出対象との間の距離が所定の閾値未満であるとの条件、および、当該距離の減少速度が所定の閾値以上であるとの条件の少なくとも一方が満たされる場合、移動体50と検出対象とが接触する可能性があると判定してよい。当該可能性の有無に応じた画像処理装置30の動作の詳細については後述する。 When at least a part of the detection target is detected on the first video, the control unit 33 determines whether or not there is a possibility that the moving body 50 and the detection target may come into contact with each other based on the first video. You can. Any algorithm may be employed to determine the possibility of contact between the moving body 50 and the detection target. For example, the control unit 33 has at least one of a condition that the distance between the moving body 50 and the detection target is less than a predetermined threshold value and a condition that the decreasing speed of the distance is equal to or more than a predetermined threshold value. If it is satisfied, it may be determined that the moving body 50 and the detection target may come into contact with each other. The details of the operation of the image processing device 30 according to the presence or absence of the possibility will be described later.
制御部33は、撮像装置20から取得された第1映像上の表示領域に対応する第2映像を、表示装置40に表示させてよい。具体的には、制御部33は、通信部31を介して、第2映像を表示装置40へ出力してよい。例えば、制御部33は、移動体情報に基づいて移動体50の後進を検出すると、第2映像を表示装置40に表示させてよい。例えば、制御部33は、変速ギアのシフトポジションに基づいて後進を検出し得る。例えば、制御部33は、後進の際に移動体から出力されるリバース信号に基づいて後進を検出し得る。第2映像は、例えば第1映像の各フレームである撮像画像上の表示領域を切り出した映像であってよい。第1映像上の表示領域は、第1映像の各フレームである撮像画像上の少なくとも一部の領域であってよい。表示領域は、検出領域よりも小さくてよい。表示領域は、検出領域に包含されてよい。表示領域の位置、形状、および大きさは、任意に定め得る。制御部33は、表示領域の位置、形状、および大きさを変化させ得る。表示領域の位置、形状、および大きさが変化することによって、例えば表示領域と検出領域とが略一致してもよい。 The control unit 33 may display the second image corresponding to the display area on the first image acquired from the image pickup apparatus 20 on the display device 40. Specifically, the control unit 33 may output the second image to the display device 40 via the communication unit 31. For example, when the control unit 33 detects the reverse movement of the moving body 50 based on the moving body information, the second image may be displayed on the display device 40. For example, the control unit 33 can detect reverse movement based on the shift position of the transmission gear. For example, the control unit 33 can detect the reverse movement based on the reverse signal output from the moving body at the time of the reverse movement. The second image may be, for example, an image obtained by cutting out a display area on the captured image which is each frame of the first image. The display area on the first image may be at least a part of the captured image which is each frame of the first image. The display area may be smaller than the detection area. The display area may be included in the detection area. The position, shape, and size of the display area can be determined arbitrarily. The control unit 33 can change the position, shape, and size of the display area. By changing the position, shape, and size of the display area, for example, the display area and the detection area may substantially match.
制御部33は、種々のマーカを、第2映像に合成して表示装置40に表示させてよい。合成には、上書きおよび混合が含まれる。マーカは、例えば1つ以上の画像を含んでよい。制御部33は、第2映像に重畳するマーカの少なくとも一部の表示態様を、動的に変化させてよい。表示態様は、例えば第2映像上のマーカの少なくとも一部の位置、大きさ、形状、色、および濃淡等を含んでよい。制御部33は、第1映像上で検出された検出対象に対応するマーカを表示する場合、当該検出対象の種類に応じて、当該マーカの表示態様を決定してよい。種々のマーカを表示装置40に表示させる画像処理装置30の動作の詳細については後述する。 The control unit 33 may combine various markers with the second image and display it on the display device 40. Synthesis includes overwriting and mixing. The marker may include, for example, one or more images. The control unit 33 may dynamically change the display mode of at least a part of the markers superimposed on the second image. The display mode may include, for example, the position, size, shape, color, and shade of at least a part of the marker on the second image. When displaying the marker corresponding to the detection target detected on the first video, the control unit 33 may determine the display mode of the marker according to the type of the detection target. Details of the operation of the image processing device 30 for displaying various markers on the display device 40 will be described later.
(表示装置)
表示装置40について詳細に説明する。表示装置40は、例えば液晶ディスプレイおよび有機EL(Electroluminescence)ディスプレイ等を含んでよい。表示装置40は、例えばネットワーク51を介して画像処理装置30から入力される第2映像を表示してよい。表示装置40は、ユーザによる操作を受付可能なタッチスクリーンとして機能してよい。表示装置40は、ユーザによる操作を受付可能なスイッチおよびキーを含んでよい。スイッチは、物理スイッチおよび電子スイッチを含んでよい。キーは、物理キーおよび電子キーを含んでよい。表示装置40は、自装置に対するユーザの操作を受け付けると、当該操作に基づくユーザ入力を画像処理装置30へ送信してよい。
(Display device)
The display device 40 will be described in detail. The display device 40 may include, for example, a liquid crystal display, an organic EL (Electroluminescence) display, and the like. The display device 40 may display a second image input from the image processing device 30 via, for example, the network 51. The display device 40 may function as a touch screen capable of accepting operations by the user. The display device 40 may include switches and keys that can accept operations by the user. The switch may include a physical switch and an electronic switch. The key may include a physical key and an electronic key. When the display device 40 receives the user's operation on its own device, the display device 40 may transmit the user input based on the operation to the image processing device 30.
表示装置40は、移動体50の種々の場所に配置することが可能である。図3Aから図3Eは、移動体50が車両である場合の、表示装置40の配置の例を示す図である。図3Aは、車両のダッシュボード内に格納されたインダッシュボード型の表示装置40aを示す。図3Bは、ダッシュボードの上に配置されたオンダッシュボード型の表示装置40bを示す。図3Bでは、表示装置40bは車両50に組み込まれている。表示装置40bはダッシュボード上に着脱可能に取り付けられていてよい。図3Cは、ルームミラーに内蔵され、必要に応じて映像を表示することが可能な表示装置40cを示す。図4Dは、インスツルメンツパネル内に内蔵された表示装置40dを示す。図4Dにおいて、表示装置40dはスピードメータおよびタコメータ等の計器類に隣接して配置される。一実施形態において、インスツルメンツパネル全体をLCD等の表示装置40dとして、その中にスピードメータおよびタコメータ等の画像と共に第2映像を表示するようにしてよい。図4Eは、携帯型情報端末、例えばタブレット端末を用いた表示装置40eを示す。表示装置40eには、携帯電話のディスプレイを使用しうる。 The display device 40 can be arranged at various locations on the moving body 50. 3A to 3E are diagrams showing an example of arrangement of the display device 40 when the moving body 50 is a vehicle. FIG. 3A shows an in-dashboard type display device 40a stored in the dashboard of the vehicle. FIG. 3B shows an on-dashboard type display device 40b arranged on the dashboard. In FIG. 3B, the display device 40b is incorporated in the vehicle 50. The display device 40b may be detachably mounted on the dashboard. FIG. 3C shows a display device 40c built in the rearview mirror and capable of displaying an image as needed. FIG. 4D shows a display device 40d built in the instruments panel. In FIG. 4D, the display device 40d is arranged adjacent to instruments such as a speedometer and a tachometer. In one embodiment, the entire instrument panel may be used as a display device 40d such as an LCD, and a second image may be displayed in the display device 40d together with images such as a speedometer and a tachometer. FIG. 4E shows a display device 40e using a portable information terminal, for example, a tablet terminal. A mobile phone display can be used as the display device 40e.
図4乃至図18を参照して、画像処理装置30が表示装置40に表示させる第2映像および種々のマーカについて、具体的に説明する。本開示において、映像または画像について「上下方向」および「左右方向」との文言は、当該映像または当該画像における2次元方向に対応する。本開示において、映像または画像について「高さ方向」、「水平方向」、および「奥行き方向」との文言は、当該映像または当該画像が映す空間の3次元方向に対応する。 A second image and various markers displayed on the display device 40 by the image processing device 30 will be specifically described with reference to FIGS. 4 to 18. In the present disclosure, the terms "vertical" and "horizontal" for an image or image correspond to the image or the two-dimensional direction in the image. In the present disclosure, the terms "height direction", "horizontal direction", and "depth direction" for an image or image correspond to the three-dimensional direction of the image or the space in which the image is projected.
(第1例(参考例))
図4は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第1例を示す。図4に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、第1映像上の表示領域62の内側に映っている歩行者63および車両64それぞれを、検出対象として検出してよい。
(First example (reference example))
FIG. 4 shows a first example of the detection region 61 in the first image acquired by the image processing device 30 from the image pickup device 20. In the example shown in FIG. 4, the detection region 61 is longer in the left-right direction than in the up-down direction. The display area 62 is located at the center of the detection area 61 in the left-right direction. The control unit 33 may detect each of the pedestrian 63 and the vehicle 64 reflected inside the display area 62 on the first image as detection targets.
制御部33は、第1映像上の表示領域62の内側で検出された検出対象と、移動体50と、の相対的位置関係に基づいて、1つ以上の条件が満たされているか否かを判定する。1つ以上の条件は、例えば検出対象が移動体50の第1予測進路65内に位置するとの第1条件を含んでよい。1つ以上の条件は、例えば移動体50の第1予測進路65の少なくとも一部と、検出対象の第2予測進路の少なくとも一部と、が重なるとの第2条件を含んでよい。当該1つ以上の条件が満たされると判定された場合、制御部33は、検出対象に対応する所定のマーカを、第2映像に重畳して表示装置40に表示させてよい。所定のマーカは、第1マーカ、第2マーカ、および第3マーカを含んでよい。 The control unit 33 determines whether or not one or more conditions are satisfied based on the relative positional relationship between the detection target detected inside the display area 62 on the first image and the moving body 50. judge. The one or more conditions may include, for example, the first condition that the detection target is located in the first predicted course 65 of the moving body 50. The one or more conditions may include, for example, a second condition that at least a part of the first predicted course 65 of the moving body 50 and at least a part of the second predicted course to be detected overlap. When it is determined that the one or more conditions are satisfied, the control unit 33 may superimpose a predetermined marker corresponding to the detection target on the second image and display it on the display device 40. The predetermined marker may include a first marker, a second marker, and a third marker.
第1例において、制御部33は、歩行者63について当該1つ以上の条件が満たされていると判定し得る。かかる場合、制御部33は、歩行者63に対応するマーカを表示させてよい。制御部33は、車両64について当該1つ以上の条件が満たされていないと判定し得る。かかる場合、制御部33は、車両64に対応するマーカを表示しない。 In the first example, the control unit 33 may determine that the one or more conditions are satisfied for the pedestrian 63. In such a case, the control unit 33 may display a marker corresponding to the pedestrian 63. The control unit 33 may determine that the one or more conditions are not satisfied for the vehicle 64. In such a case, the control unit 33 does not display the marker corresponding to the vehicle 64.
図5は、図4に示す第1映像の表示領域62に対応する第2映像の例を示す。制御部33は、第1映像の表示領域62のアスペクト比と、表示装置40の画面のアスペクト比とが異なる場合、第1映像の表示領域62を切り出した後、表示装置40の画面のアスペクト比に合わせて変形した第2映像を、表示装置40へ出力してよい。図5に示すように、第2映像上に、歩行者63および車両64が映っている。 FIG. 5 shows an example of the second image corresponding to the display area 62 of the first image shown in FIG. When the aspect ratio of the display area 62 of the first image and the aspect ratio of the screen of the display device 40 are different, the control unit 33 cuts out the display area 62 of the first image and then the aspect ratio of the screen of the display device 40. The second image deformed in accordance with the above may be output to the display device 40. As shown in FIG. 5, a pedestrian 63 and a vehicle 64 are shown on the second image.
制御部33は、例えば図4に示す移動体50の第1予測進路65の少なくとも一部を示すガイド線66を、第2映像に重畳させて表示装置40に表示させてよい。制御部33は、例えばステアリングホイールの舵角の変化に応じて、ガイド線66を動的に変化させてよい。 For example, the control unit 33 may superimpose the guide line 66 indicating at least a part of the first predicted course 65 of the moving body 50 shown in FIG. 4 on the second image and display it on the display device 40. The control unit 33 may dynamically change the guide line 66 in response to a change in the steering angle of the steering wheel, for example.
第1映像は、表示領域62に比べて範囲が広い。制御部33は、表示領域62の範囲を変更し得る。制御部33は、第2映像にアイコン画像67を重畳させて表示装置40に表示させてよい。例えば図5に示すアイコン画像67の輪郭67aは、表示領域62の範囲を変更した際の最大範囲を示す。アイコン画像67の白い長方形67bは、表示領域62を示す。図5に示すアイコン画像67は、表示領域62の最大範囲に対する表示領域62の相対的な位置および大きさを示す。 The first image has a wider range than the display area 62. The control unit 33 may change the range of the display area 62. The control unit 33 may superimpose the icon image 67 on the second image and display it on the display device 40. For example, the outline 67a of the icon image 67 shown in FIG. 5 indicates the maximum range when the range of the display area 62 is changed. The white rectangle 67b of the icon image 67 indicates the display area 62. The icon image 67 shown in FIG. 5 shows the relative position and size of the display area 62 with respect to the maximum range of the display area 62.
図6は、例えば第2映像上の歩行者63に重畳されるマーカの例を示す。以下、当該マーカを、第3マーカ68ともいう。第3マーカ68の輪郭線69は、第2映像上で検出された歩行者63の輪郭線に略一致してよい。第3マーカ68の輪郭線69の内側の領域70は、例えば検出対象の種類である「人」に対応する色またはパターンで塗り潰されてよい。制御部33は、第1映像上で歩行者63が検出されると、第2映像上の歩行者63に第3マーカ68を重畳して表示装置40に表示させてよい。かかる構成によれば、対象者60は、第2映像上の歩行者63を容易に視認可能となる。制御部33は、第3マーカ68を表示させてから所定時間が経過すると、当該第3マーカ68を非表示にしてよい。 FIG. 6 shows an example of a marker superimposed on the pedestrian 63 on the second image, for example. Hereinafter, the marker is also referred to as a third marker 68. The contour line 69 of the third marker 68 may substantially coincide with the contour line of the pedestrian 63 detected on the second image. The area 70 inside the contour line 69 of the third marker 68 may be filled with, for example, a color or pattern corresponding to the type of detection target “person”. When the pedestrian 63 is detected on the first image, the control unit 33 may superimpose the third marker 68 on the pedestrian 63 on the second image and display it on the display device 40. According to such a configuration, the subject 60 can easily see the pedestrian 63 on the second image. The control unit 33 may hide the third marker 68 after a predetermined time has elapsed after displaying the third marker 68.
図7は、例えば第2映像上の歩行者63の周辺に重畳される2種類のマーカの例を示す。以下、当該2種類のマーカそれぞれを、第1マーカ71および第2マーカ72ともいう。制御部33は、例えば第3マーカ68を非表示にした後に、第1マーカ71および第2マーカ72を、第2映像に重畳して表示装置40に表示させてよい。 FIG. 7 shows an example of two types of markers superimposed on the periphery of the pedestrian 63 on the second image, for example. Hereinafter, each of the two types of markers will also be referred to as a first marker 71 and a second marker 72. For example, after hiding the third marker 68, the control unit 33 may superimpose the first marker 71 and the second marker 72 on the second image and display them on the display device 40.
制御部33は、第2映像上の歩行者63に追従して、第1マーカ71の位置を移動させてよい。対象者60は、第1マーカ71が歩行者63に追従するので、歩行者63を捕らえやすい。第1マーカ71は、歩行者63の周囲に歩行者63から離れて表示される。対象者60は、第1マーカ71が表示装置40に表示されているときに、歩行者63の振る舞いを把握しやすい。制御部33は、第2映像上の第1マーカ71の重畳位置に対して、第2マーカ72の重畳位置を相対的に変化させてよい。制御部33は、第1マーカ71の位置を基準にして、第2マーカを相対的に移動させてよい。 The control unit 33 may move the position of the first marker 71 following the pedestrian 63 on the second image. Since the first marker 71 follows the pedestrian 63, the subject 60 can easily catch the pedestrian 63. The first marker 71 is displayed around the pedestrian 63 away from the pedestrian 63. The subject 60 can easily grasp the behavior of the pedestrian 63 when the first marker 71 is displayed on the display device 40. The control unit 33 may change the superimposition position of the second marker 72 relative to the superimposition position of the first marker 71 on the second image. The control unit 33 may relatively move the second marker with reference to the position of the first marker 71.
例えば、制御部33は、移動体50と歩行者63との間の距離が減少しているときに、当該距離の減少に対して移動体50の寄与が大きいと判定し得る。かかる場合、制御部33は、第2マーカ72を第1マーカ71に向かって移動させてよい。まず、制御部33は、第1マーカ71から離れた位置に第2マーカ72を表示させる。次に、制御部33は、第1マーカ71との距離が所定距離になるまで、第2マーカ72を第1マーカ71に向かって移動させる。次に、制御部33は、第2マーカ72を消す。次に、制御部33は、再び第1マーカ71から離れた位置に第2マーカ72を表示させ、上述の処理を繰り返す。この例において、第2マーカ72は、第1マーカ71という対象物に向かって移動しているため、対象者60は、第2マーカ72が第1マーカ71に向かって近づいていると理解し得る。 For example, when the distance between the moving body 50 and the pedestrian 63 is decreasing, the control unit 33 can determine that the moving body 50 contributes greatly to the decrease in the distance. In such a case, the control unit 33 may move the second marker 72 toward the first marker 71. First, the control unit 33 displays the second marker 72 at a position away from the first marker 71. Next, the control unit 33 moves the second marker 72 toward the first marker 71 until the distance from the first marker 71 reaches a predetermined distance. Next, the control unit 33 erases the second marker 72. Next, the control unit 33 displays the second marker 72 at a position away from the first marker 71 again, and repeats the above process. In this example, since the second marker 72 is moving toward the object called the first marker 71, the subject 60 can understand that the second marker 72 is approaching the first marker 71. ..
例えば、制御部33は、移動体50と歩行者63との間の距離が減少しているときに、当該距離の減少に対して歩行者63の寄与が大きいと判定し得る。かかる場合、制御部33は、第2マーカ72を第1マーカ71から離れるように移動させてよい。まず、制御部33は、第1マーカ71に近い位置に第2マーカ72を表示させる。次に、制御部33は、第1マーカ71との距離が所定距離になるまで、第2マーカ72を第1マーカ71から離れるように移動させる。次に、制御部33は、第2マーカ72を消す。次に、制御部33は、再び第1マーカ71に近い位置に第2マーカ72を表示させ、上述の処理を繰り返す。この例において、第2マーカ72は、第1マーカ71という対象物から移動しているため、対象者60は、第2マーカ72が第1マーカ71に向かって離れていると理解し得る。 For example, when the distance between the moving body 50 and the pedestrian 63 is decreasing, the control unit 33 can determine that the pedestrian 63 contributes greatly to the decrease in the distance. In such a case, the control unit 33 may move the second marker 72 away from the first marker 71. First, the control unit 33 displays the second marker 72 at a position close to the first marker 71. Next, the control unit 33 moves the second marker 72 away from the first marker 71 until the distance from the first marker 71 reaches a predetermined distance. Next, the control unit 33 erases the second marker 72. Next, the control unit 33 displays the second marker 72 at a position close to the first marker 71 again, and repeats the above process. In this example, since the second marker 72 is moving from the object called the first marker 71, the subject 60 can understand that the second marker 72 is separated toward the first marker 71.
制御部33は、移動体50と歩行者63との間の距離の減少に対する移動体50および歩行者63の寄与の多寡に応じて、第1マーカ71に対する第2マーカ72の移動方向を変更する。対象者60は、第2マーカ72の移動方向に応じて、例えば移動体50が歩行者63に近付いているのか、または歩行者63が移動体50に近付いているのかを識別可能となる。 The control unit 33 changes the moving direction of the second marker 72 with respect to the first marker 71 according to the amount of contribution of the moving body 50 and the pedestrian 63 to the decrease in the distance between the moving body 50 and the pedestrian 63. .. The subject 60 can identify, for example, whether the moving body 50 is approaching the pedestrian 63 or the pedestrian 63 is approaching the moving body 50 according to the moving direction of the second marker 72.
制御部33は、例えば図8に示すように、第2映像上の第1マーカ71を中心として第2マーカ72の拡大または縮小を繰り返してよい。制御部33は、例えば図9に示すように、歩行者63の輪郭線69と同様の形状を有する第1マーカ71および第2マーカ72を第2映像に重畳してよい。制御部33は、当該第1マーカ71を中心として第2マーカ72の拡大または縮小を繰り返してよい。制御部33は、移動体50と歩行者63との間の距離の減少に対する移動体50および歩行者63の寄与の多寡に応じて、第2マーカ72の拡大または縮小を切り替える。 As shown in FIG. 8, for example, the control unit 33 may repeatedly enlarge or reduce the second marker 72 centering on the first marker 71 on the second image. As shown in FIG. 9, for example, the control unit 33 may superimpose the first marker 71 and the second marker 72 having the same shape as the contour line 69 of the pedestrian 63 on the second image. The control unit 33 may repeatedly enlarge or reduce the second marker 72 around the first marker 71. The control unit 33 switches the enlargement or reduction of the second marker 72 according to the amount of contribution of the moving body 50 and the pedestrian 63 to the decrease in the distance between the moving body 50 and the pedestrian 63.
制御部33は、第1マーカ71および第2マーカ72を表示している検出対象と移動体50との間の距離が所定の閾値未満となった場合、新たなマーカを第2映像に重畳してよい。以下、当該新たなマーカを第4マーカともいう。第4マーカは、任意の画像を含んでよい。例えば、第4マーカは、感嘆符「!」を示す画像を含んでよい。かかる構成によれば、例えば第1マーカ71および第2マーカ72を表示している歩行者63と移動体50とが一定程度以上近付くと、第4マーカが第2映像に重畳して表示される。対象者60は、第4マーカによって、例えば歩行者63が移動体50の近傍に位置することを識別可能となる。他の実施形態において、制御部33は、第1マーカ71および第2マーカ72を表示している検出対象と移動体50との間の距離が所定の閾値未満となった場合、当該第1マーカ71および第2マーカ72の表示態様を変化させてよい。制御部33は、例えば、第1マーカ71および第2マーカ72の色を変化させてよい。かかる構成によっても、対象者60は、マーカの色の変化によって、例えば歩行者63が移動体50の近傍に位置することを識別可能となる。 When the distance between the detection target displaying the first marker 71 and the second marker 72 and the moving body 50 is less than a predetermined threshold value, the control unit 33 superimposes a new marker on the second image. You can. Hereinafter, the new marker is also referred to as a fourth marker. The fourth marker may include any image. For example, the fourth marker may include an image indicating an exclamation mark "!". According to this configuration, for example, when the pedestrian 63 displaying the first marker 71 and the second marker 72 and the moving body 50 come closer to each other by a certain degree or more, the fourth marker is superimposed and displayed on the second image. .. The subject 60 can identify, for example, that the pedestrian 63 is located in the vicinity of the moving body 50 by the fourth marker. In another embodiment, when the distance between the detection target displaying the first marker 71 and the second marker 72 and the moving body 50 is less than a predetermined threshold value, the control unit 33 performs the first marker. The display mode of the 71 and the second marker 72 may be changed. The control unit 33 may change the colors of the first marker 71 and the second marker 72, for example. Even with such a configuration, the subject 60 can identify, for example, that the pedestrian 63 is located in the vicinity of the moving body 50 by the change in the color of the marker.
制御部33は、奥行き方向の前後に並んだ2つの検出対象を検知し得る。制御部33は、前後に位置する2つの検出対象のそれぞれに、第1マーカ71および第2マーカ72を表示させてよい。制御部33は、2つの検出対象に対して、異なる第1マーカ71および第2マーカ72を付し得る。例えば、制御部33は、奥側に位置する第1の検出対象に対して、手前側に位置する第2の検出対象に付す第1マーカ71および第2マーカ72より目立たない第1マーカ71および第2マーカ72を付し得る。例えば、制御部33は、手前側に位置する第2の検出対象に付す第1マーカ71および第2マーカ72より、奥側に位置する第1の検出対象に付す第1マーカ71および第2マーカ72の、色を暗く、透過率を高く、線を細くする等の変更をし得る。 The control unit 33 can detect two detection targets arranged in front and behind in the depth direction. The control unit 33 may display the first marker 71 and the second marker 72 on each of the two detection targets located in the front and rear positions. The control unit 33 may attach different first markers 71 and second markers 72 to the two detection targets. For example, the control unit 33 has a first marker 71 and a first marker 71 that are less noticeable than the first marker 71 and the second marker 72 attached to the second detection target located on the front side with respect to the first detection target located on the back side. A second marker 72 may be attached. For example, the control unit 33 has the first marker 71 and the second marker attached to the first detection target located on the back side of the first marker 71 and the second marker 72 attached to the second detection target located on the front side. 72 can be changed such as darkening the color, increasing the transmittance, and thinning the line.
(第2−第4例(参考例))
図10は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第2例を示す。図10に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、第1映像上の表示領域62の内側に映っている歩行者63aと、表示領域62の外側であって検出領域61の内側に映っている歩行者63bおよび63cとを、それぞれ検出対象として検出してよい。歩行者63aに関する制御部33の処理は、例えば図4に示す歩行者63に関する処理と同様である。
(2nd to 4th examples (reference example))
FIG. 10 shows a second example of the detection region 61 in the first image acquired by the image processing device 30 from the image pickup device 20. In the example shown in FIG. 10, the detection region 61 is longer in the left-right direction than in the up-down direction. The display area 62 is located at the center of the detection area 61 in the left-right direction. The control unit 33 separates the pedestrian 63a reflected inside the display area 62 on the first image and the pedestrians 63b and 63c appearing outside the display area 62 and inside the detection area 61, respectively. It may be detected as a detection target. The processing of the control unit 33 relating to the pedestrian 63a is the same as the processing relating to the pedestrian 63 shown in FIG. 4, for example.
制御部33は、検出対象が検出された第1映像上の検出位置が、表示領域62の外側且つ検出領域61の内側である場合、検出対象に対応するマーカを第2映像に重畳して表示装置40に表示させてよい。以下、当該マーカを第5マーカともいう。制御部33は、移動体50と当該検出対象とが接触する可能性があると判定された場合に、第5マーカを表示させてよい。制御部33は、当該検出対象が検出された第1映像上の検出位置が、表示領域62よりも右側にある場合、第5マーカを、第2映像上の右端に重畳して表示装置40に表示させてよい。制御部33は、当該検出対象が検出された第1映像上の検出位置が、表示領域62よりも左側にある場合、第5マーカを、第2映像上の左端に重畳して表示装置40に表示させてよい。 When the detection position on the first image in which the detection target is detected is outside the display area 62 and inside the detection area 61, the control unit 33 superimposes and displays the marker corresponding to the detection target on the second image. It may be displayed on the device 40. Hereinafter, the marker is also referred to as a fifth marker. The control unit 33 may display the fifth marker when it is determined that the moving body 50 and the detection target may come into contact with each other. When the detection position on the first image in which the detection target is detected is on the right side of the display area 62, the control unit 33 superimposes the fifth marker on the right end on the second image on the display device 40. It may be displayed. When the detection position on the first image in which the detection target is detected is on the left side of the display area 62, the control unit 33 superimposes the fifth marker on the left end on the second image on the display device 40. It may be displayed.
第2例において、歩行者63bが検出された検出位置は、表示領域62よりも右側にある。制御部33は、移動体50と歩行者63bとが接触する可能性があると判定し得る。かかる場合、制御部33は、歩行者63bに対応する第5マーカを、第2映像上の右端に重畳して表示装置40に表示させてよい。歩行者63bに対応する第5マーカの詳細については後述する。歩行者63cが検出された検出位置は、表示領域62よりも左側にある。制御部33は、移動体50と歩行者63cとが接触する可能性がないと判定し得る。かかる場合、制御部33は、歩行者63bに対応する第5マーカを表示させなくてよい。 In the second example, the detection position where the pedestrian 63b is detected is on the right side of the display area 62. The control unit 33 can determine that the moving body 50 and the pedestrian 63b may come into contact with each other. In such a case, the control unit 33 may superimpose the fifth marker corresponding to the pedestrian 63b on the right end on the second image and display it on the display device 40. Details of the fifth marker corresponding to the pedestrian 63b will be described later. The detection position where the pedestrian 63c is detected is on the left side of the display area 62. The control unit 33 can determine that there is no possibility that the moving body 50 and the pedestrian 63c come into contact with each other. In such a case, the control unit 33 does not have to display the fifth marker corresponding to the pedestrian 63b.
図11は、図10に示す第1映像の表示領域62に対応する第2映像の例を示す。図11に示すように、第2映像上に歩行者63aが映っている。第2映像上に歩行者63bおよび63cは映っていない。 FIG. 11 shows an example of the second image corresponding to the display area 62 of the first image shown in FIG. As shown in FIG. 11, a pedestrian 63a is shown on the second image. Pedestrians 63b and 63c are not shown on the second image.
図11に示すように、制御部33は、例えば障害物画像74を第2映像に重畳して表示装置40に表示させてよい。障害物画像57は、移動体50に備えられた超音波ソナー等を用いた障害物検出装置の検出結果を示す。障害物画像74は、画像74aと、画像74bと、画像74cとを含み得る。画像74aは、移動体50を上方から俯瞰した画像である。画像74bは、移動体50の左後方に障害物が検出されたことを示す画像である。画像74cは、移動体50の右後方に障害物が検出されたことを示す画像である。障害物検出装置による障害物の検出結果と、制御部33による検出対象の検出結果とは、必ずしも一致しなくてよい。例えば図11に示す例では、障害物画像74は、移動体50の右後方および左後方に、それぞれ障害物が検出されたことを示す。一方、制御部33は、移動体50の左後方に存在する歩行者63cについては、移動体50と接触する可能性がないと判定し得る。かかる場合、制御部33は、歩行者63cに対応する第5マーカを表示させなくてよい。 As shown in FIG. 11, the control unit 33 may superimpose, for example, the obstacle image 74 on the second image and display it on the display device 40. The obstacle image 57 shows the detection result of the obstacle detection device using the ultrasonic sonar or the like provided in the moving body 50. The obstacle image 74 may include image 74a, image 74b, and image 74c. Image 74a is an image of the moving body 50 viewed from above. Image 74b is an image showing that an obstacle has been detected behind the moving body 50. Image 74c is an image showing that an obstacle has been detected behind the moving body 50. The obstacle detection result by the obstacle detection device and the detection result of the detection target by the control unit 33 do not necessarily have to match. For example, in the example shown in FIG. 11, the obstacle image 74 shows that obstacles have been detected in the rear right and the rear left of the moving body 50, respectively. On the other hand, the control unit 33 may determine that the pedestrian 63c existing on the left rear side of the moving body 50 is unlikely to come into contact with the moving body 50. In such a case, the control unit 33 does not have to display the fifth marker corresponding to the pedestrian 63c.
歩行者63bに対応する第5マーカ73の例を図11に示す。第5マーカ73は、アイコン画像73aと、帯画像73bと、を含んでよい。アイコン画像73aは、検出対象の種類である「人」に対応する画像であってよい。アイコン画像73aを視認した対象者60は、第2映像よりも右方に人が存在することを認識可能である。帯画像73bは、例えば第2映像上の上下方向に延びる帯状の画像である。帯画像73bは、例えば検出対象の種類である「人」に対応する色またはパターンで塗り潰されてよい。制御部33は、第2映像上の右端領域73c内において、帯画像73bを移動させてよい。制御部33は、帯画像73bの移動速度および幅を変化させてよい。 An example of the fifth marker 73 corresponding to the pedestrian 63b is shown in FIG. The fifth marker 73 may include an icon image 73a and a band image 73b. The icon image 73a may be an image corresponding to a "person" which is a type of detection target. The subject 60 who visually recognizes the icon image 73a can recognize that a person exists to the right of the second image. The band image 73b is, for example, a band-shaped image extending in the vertical direction on the second image. The band image 73b may be filled with, for example, a color or pattern corresponding to the type of detection target "person". The control unit 33 may move the band image 73b within the right end region 73c on the second image. The control unit 33 may change the moving speed and width of the band image 73b.
第5マーカ73について詳細に説明する。制御部33は、移動体50と歩行者63bとの間の距離に応じて、帯画像73bの幅を決定してよい。例えば、制御部33は、当該距離が近付くほど、帯画像73bの幅を太くしてよい。帯画像73bを視認した対象者60は、帯画像73bの幅に基づいて、移動体50と歩行者63bとの間の距離を認識可能である。 The fifth marker 73 will be described in detail. The control unit 33 may determine the width of the band image 73b according to the distance between the moving body 50 and the pedestrian 63b. For example, the control unit 33 may increase the width of the band image 73b as the distance approaches. The subject 60 who visually recognizes the band image 73b can recognize the distance between the moving body 50 and the pedestrian 63b based on the width of the band image 73b.
制御部33は、移動体50と歩行者63bとの間の距離の減少に対して、例えば移動体50の寄与が大きいと判定し得る。かかる場合、制御部33は、第2映像上の右端領域73c内において、帯画像73bを第1方向に繰り返し移動させる。第1方向は、例えば第2映像上の左右方向において外側から内側に向かう方向であってよい。制御部33は、移動体50と歩行者63bとの間の距離の減少に対して、例えば歩行者63bの寄与が大きいと判定し得る。かかる場合、制御部33は、第2映像上の右端領域73c内において、帯画像73bを第2方向に繰り返し移動させる。第2方向は、例えば第2映像上の左右方向において内側から外側に向かう方向であってよい。帯画像73bを視認した対象者60は、帯画像73bの移動方向に基づいて、移動体50が歩行者63bに近付いているのか、または歩行者63bが移動体50に近付いているのかを認識可能である。 The control unit 33 may determine that, for example, the contribution of the moving body 50 is large to the decrease in the distance between the moving body 50 and the pedestrian 63b. In such a case, the control unit 33 repeatedly moves the band image 73b in the first direction within the right end region 73c on the second image. The first direction may be, for example, a direction from the outside to the inside in the left-right direction on the second image. The control unit 33 may determine that, for example, the pedestrian 63b contributes significantly to the decrease in the distance between the moving body 50 and the pedestrian 63b. In such a case, the control unit 33 repeatedly moves the band image 73b in the second direction within the right end region 73c on the second image. The second direction may be, for example, a direction from the inside to the outside in the left-right direction on the second image. The subject 60 who visually recognizes the band image 73b can recognize whether the moving body 50 is approaching the pedestrian 63b or the pedestrian 63b is approaching the moving body 50 based on the moving direction of the band image 73b. Is.
制御部33は、移動体50と歩行者63bとの間の距離の減少速度に応じて、帯画像73bの移動速度を決定してよい。例えば、当該距離の減少速度が速いほど、帯画像73bの移動速度を速くしてよい。帯画像73bを視認した対象者60は、帯画像73bの移動速度に基づいて、移動体50と歩行者63bとの間の距離の減少速度を認識可能である。 The control unit 33 may determine the moving speed of the band image 73b according to the decreasing speed of the distance between the moving body 50 and the pedestrian 63b. For example, the faster the reduction speed of the distance, the faster the moving speed of the band image 73b may be. The subject 60 who visually recognizes the band image 73b can recognize the decreasing speed of the distance between the moving body 50 and the pedestrian 63b based on the moving speed of the band image 73b.
制御部33は、第5マーカ73を表示させた状態において、例えば所定のユーザ操作に応じたユーザ入力を検出すると、第1映像上の歩行者63bの検出位置が表示領域62の内側に含まれるように表示領域62を変化させてよい。例えば図12に示すように、制御部33は、第1映像上の表示領域62を左右方向に長くし、表示領域62を検出領域61内の右側に寄せてよい。かかる構成によって、例えば図13に示すように、第2映像上に歩行者63bが映る。 When the control unit 33 detects, for example, a user input corresponding to a predetermined user operation in the state where the fifth marker 73 is displayed, the detection position of the pedestrian 63b on the first image is included in the display area 62. The display area 62 may be changed as described above. For example, as shown in FIG. 12, the control unit 33 may extend the display area 62 on the first image in the left-right direction and move the display area 62 to the right side in the detection area 61. With this configuration, for example, as shown in FIG. 13, a pedestrian 63b is projected on the second image.
上述した所定のユーザ操作は、任意のユーザ操作を含んでよい。例えば、上述した所定のユーザ操作は、移動体50のステアリングの舵角を変化させる第1ユーザ操作を含んでよい。第5マーカ73は、第2ユーザ操作を受け付けるGUI(Graphic User Interface)として機能してよい。以下、GUIをインタフェース画像ともいう。かかる場合、上述した所定のユーザ操作は、第2ユーザ操作を含んでよい。 The predetermined user operation described above may include any user operation. For example, the predetermined user operation described above may include a first user operation for changing the steering angle of the moving body 50. The fifth marker 73 may function as a GUI (Graphic User Interface) that accepts a second user operation. Hereinafter, the GUI is also referred to as an interface image. In such a case, the predetermined user operation described above may include a second user operation.
制御部33は、第1映像上の歩行者63bの検出位置が表示領域62の内側に含まれるように、表示領域62を自動的に変化させてよい。この場合、制御部33は、第1映像の検出領域61において歩行者63bが検出されなくなるまで、表示領域62の自動変更を維持し得る。 The control unit 33 may automatically change the display area 62 so that the detection position of the pedestrian 63b on the first image is included inside the display area 62. In this case, the control unit 33 can maintain the automatic change of the display area 62 until the pedestrian 63b is no longer detected in the detection area 61 of the first image.
制御部33は、例えば図13に示すように、表示領域62の変化に応じてアイコン画像67を変化させてよい。 The control unit 33 may change the icon image 67 according to the change of the display area 62, for example, as shown in FIG.
制御部33は、例えば表示装置40に対するピンチイン操作およびピンチアウト操作等に応じて、第1映像上の表示領域62を変化させてよい。例えば図14に示すように、制御部33は、表示領域62を検出領域61に略一致させてよい。かかる場合、例えば図15に示すように、検出領域61内の全ての検出対象が表示装置40に表示される。 The control unit 33 may change the display area 62 on the first image in response to, for example, a pinch-in operation or a pinch-out operation on the display device 40. For example, as shown in FIG. 14, the control unit 33 may substantially match the display area 62 with the detection area 61. In such a case, for example, as shown in FIG. 15, all the detection targets in the detection area 61 are displayed on the display device 40.
(第5例(参考例))
図16は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第5例を示す。図16に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、移動体50の第1予測進路65内に映っている車両64aと、第1予測進路65外に映っている車両64bおよび歩行者63dとを、それぞれ検出対象として検出してよい。
(Fifth example (reference example))
FIG. 16 shows a fifth example of the detection region 61 in the first image acquired by the image processing device 30 from the image pickup device 20. In the example shown in FIG. 16, the detection area 61 is longer in the horizontal direction than in the vertical direction. The display area 62 is located at the center of the detection area 61 in the left-right direction. The control unit 33 may detect the vehicle 64a reflected in the first predicted course 65 of the moving body 50, the vehicle 64b and the pedestrian 63d reflected outside the first predicted course 65, respectively, as detection targets. ..
第5例では、例えば夜間またはトンネル内等、移動体50の外部領域が暗い場合について説明する。移動体50の外部領域が暗い場合、第1映像および第2映像の特性値が低下する場合がある。特性値は、映像の視認性に関する任意のパラメータを含んでよい。例えば、特性値は、例えば映像の輝度値およびコントラスト比のうち少なくとも一方を含んでよい。第2映像の特性値が低下すると、第2映像の視認性が低下し得る。 In the fifth example, a case where the external region of the moving body 50 is dark, such as at night or in a tunnel, will be described. When the external region of the moving body 50 is dark, the characteristic values of the first image and the second image may decrease. The characteristic value may include any parameter related to the visibility of the image. For example, the characteristic value may include, for example, at least one of the brightness value and the contrast ratio of the image. When the characteristic value of the second image is lowered, the visibility of the second image may be lowered.
制御部33は、第2映像上の検出対象に対応する領域に対して、特定画像処理を実行してよい。特定画像処理は、検出対象に対応するマーカを当該領域に重畳する第1処理を含んでよい。以下、当該マーカを第6マーカともいう。第6マーカは、例えば第2映像上の検出対象の輪郭形状に略一致する画像を含んでよい。かかる構成によれば、第2映像上の検出対象に第6マーカが重畳して表示される。このため、対象者60は、第2映像の特性値が低い場合であっても、第2映像上の検出対象を容易に認識可能である。特定画像処理は、第2映像上の検出対象に対応する当該領域の特性値を変化させる第2処理を含んでよい。例えば、制御部33は、第2映像上の当該領域の視認性を向上させるように、当該領域の特性値を変化させてよい。かかる構成によれば、第2映像上の検出対象の視認性が向上する。このため、対象者60は、第2映像の特性値が低い場合であっても、第2映像上の検出対象を容易に認識可能である。 The control unit 33 may execute the specific image processing on the region corresponding to the detection target on the second video. The specific image processing may include a first process of superimposing a marker corresponding to the detection target on the region. Hereinafter, the marker is also referred to as a sixth marker. The sixth marker may include, for example, an image that substantially matches the contour shape of the detection target on the second image. According to such a configuration, the sixth marker is superimposed and displayed on the detection target on the second video. Therefore, the subject 60 can easily recognize the detection target on the second video even when the characteristic value of the second video is low. The specific image processing may include a second process of changing the characteristic value of the region corresponding to the detection target on the second video. For example, the control unit 33 may change the characteristic value of the region so as to improve the visibility of the region on the second image. According to such a configuration, the visibility of the detection target on the second image is improved. Therefore, the subject 60 can easily recognize the detection target on the second video even when the characteristic value of the second video is low.
制御部33は、1つ以上の条件が満たされる場合に、上述の特定画像処理を実行してよい。1つ以上の条件は、検出対象が移動体50の第1予測進路65内に位置するとの条件を含んでよい。1つ以上の条件は、移動体50の第1予測進路65と、検出対象の第2予測進路とが重なるとの条件を含んでよい。1つ以上の条件は、移動体50と検出対象との間の距離が所定の閾値未満であるとの条件を含んでよい。1つ以上の条件は、第2映像の少なくとも一部の領域の特性値が、所定の閾値未満であるとの条件を含んでよい。 The control unit 33 may execute the above-mentioned specific image processing when one or more conditions are satisfied. One or more conditions may include a condition that the detection target is located within the first predicted course 65 of the moving body 50. One or more conditions may include a condition that the first predicted course 65 of the moving body 50 and the second predicted course to be detected overlap. One or more conditions may include a condition that the distance between the moving body 50 and the detection target is less than a predetermined threshold. One or more conditions may include a condition that the characteristic value of at least a part of the second image is less than a predetermined threshold value.
第5例において、制御部33は、車両64a、64b、および歩行者63dそれぞれについて、上述した1つ以上の条件が満たされると判定し得る。かかる場合、制御部33は、例えば図17に示すように、車両64a、64b、および歩行者63dにそれぞれ対応する3つの第6マーカ75a、75b、および75cを、第2映像に重畳して表示装置40に表示させてよい。制御部33は、明るい場所において、検出対象に第6マーカを重ねて表示させてよい。 In the fifth example, the control unit 33 may determine that one or more of the above-mentioned conditions are satisfied for each of the vehicles 64a, 64b, and the pedestrian 63d. In such a case, as shown in FIG. 17, for example, the control unit 33 superimposes and displays the three sixth markers 75a, 75b, and 75c corresponding to the vehicles 64a, 64b, and the pedestrian 63d, respectively, on the second image. It may be displayed on the device 40. The control unit 33 may display the sixth marker superimposed on the detection target in a bright place.
制御部33は、ガイド線66の形状を変更してよい。制御部33は、ガイド線66と検出対象とが重なる領域におけるガイド線66の形状を変更してよい。図18は、ガイド線66の形状例の1つである。図18のガイド線66は、ガイド線66と第6マーカ75aが重なっている領域に、ガイド線が表示されていない。ガイド線66の形状例は、消去に限られず、他のデザイン変更を許容する。デザイン変更には、色の変更、透過率の変更、破線等への種別の変更、線の太さの変更、および点滅等が含まれる。制御部33は、第6マーカが表示されていないときに、ガイド線66の形状を変更してよい。制御部33は、検出対象に第1マーカ71および第2マーカ72を表示しているときに、ガイド線66の形状を変更してよい。 The control unit 33 may change the shape of the guide wire 66. The control unit 33 may change the shape of the guide line 66 in the region where the guide line 66 and the detection target overlap. FIG. 18 is one of the shape examples of the guide wire 66. In the guide line 66 of FIG. 18, the guide line is not displayed in the area where the guide line 66 and the sixth marker 75a overlap. The shape example of the guide wire 66 is not limited to erasing, and other design changes are allowed. Design changes include color changes, transmittance changes, type changes to dashed lines, line thickness changes, blinking, and the like. The control unit 33 may change the shape of the guide line 66 when the sixth marker is not displayed. The control unit 33 may change the shape of the guide line 66 when the first marker 71 and the second marker 72 are displayed on the detection target.
以上述べたように、一実施形態に係る表示システム10によれば、第1映像上で検出された検出対象に応じた多様なマーカが、第2映像に重畳して表示装置40に表示される。マーカを視認する対象者60は、移動体50と検出対象との相対的位置関係を一見して認識可能である。このため、移動体50の外部領域の映像を表示する技術の利便性が向上する。 As described above, according to the display system 10 according to the embodiment, various markers according to the detection target detected on the first image are superimposed on the second image and displayed on the display device 40. .. The target person 60 who visually recognizes the marker can recognize the relative positional relationship between the moving body 50 and the detection target at a glance. Therefore, the convenience of the technique for displaying the image of the external region of the moving body 50 is improved.
以下に図19乃至31を参照して、画像処理装置30が、第1映像上の表示領域にガイド壁画像80およびその他の画像を合成して表示装置40に表示させる種々の映像の例を、具体的に説明する。 Hereinafter, with reference to FIGS. 19 to 31, examples of various images in which the image processing device 30 synthesizes the guide wall image 80 and other images in the display area on the first image and displays them on the display device 40. This will be described in detail.
(第6例)
図19は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第6例を示す。撮像装置20は、車両である移動体50の後方を撮像するように配置されてよい。図19に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。検出領域61は、上下方向に比べて左右方向に長い形状に限られず、正方形、縦長の矩形、円形等種々の形状が可能である。表示領域62は、種々の位置、大きさ、形状が可能である。例えば、表示領域62は検出領域61の中央に位置するとは限られず、左または右に寄っていてもよい。表示領域62は検出領域61の一部に限られず、検出領域61の全部を表示領域62としてよい。制御部33は、表示装置40に対するピンチイン操作およびピンチアウト操作等に応じて、第1映像上の表示領域62を変化させてよい。
(6th example)
FIG. 19 shows a sixth example of the detection region 61 in the first image acquired by the image processing device 30 from the image pickup device 20. The image pickup device 20 may be arranged so as to image the rear of the moving body 50 which is a vehicle. In the example shown in FIG. 19, the detection region 61 is longer in the horizontal direction than in the vertical direction. The display area 62 is located at the center of the detection area 61 in the left-right direction. The detection area 61 is not limited to a shape that is longer in the left-right direction than in the up-down direction, and can have various shapes such as a square, a vertically long rectangle, and a circle. The display area 62 can have various positions, sizes, and shapes. For example, the display area 62 is not necessarily located in the center of the detection area 61 and may be closer to the left or right. The display area 62 is not limited to a part of the detection area 61, and the entire detection area 61 may be used as the display area 62. The control unit 33 may change the display area 62 on the first image according to a pinch-in operation, a pinch-out operation, or the like on the display device 40.
制御部33は、撮像装置20から取得した第1映像上の表示領域に、移動体50の第1予測進路65を示すガイド壁画像80を合成して第2映像を生成する。制御部33は、第2映像にガイド壁画像80を重畳した画像を出力して表示装置40に表示させてよい。ガイド壁画像80は、移動体50が後進するときの予測進路を示すことができる。ガイド壁画像80は、対象者60に対して立体的な印象を与えるマーカである。ガイド壁画像80は、第1映像が映す実空間に配置した、予測進路をガイドする仮想的なガイド壁を、撮像装置20で撮像した場合の第1映像に投影した画像と考えうる。ガイド壁画像80は、対象者60の視野内において、路面から高さ方向に所定の高さまで延びる複数の仮想的な半透明の壁面からなるように視認されうる。ガイド壁画像80は、車両が後進する際に表示装置40に表示されるガイド線を、壁状の表示により立体的に表示したものともいえる。壁状の表示には、面、膜、板等の他の態様による表示を含む。ガイド壁画像80の立体的な表示によって、対象者60は路面上の駐車スペースの位置、障害物等までの距離等を把握することが容易になる。 The control unit 33 synthesizes the guide wall image 80 showing the first predicted course 65 of the moving body 50 with the display area on the first image acquired from the image pickup apparatus 20 to generate the second image. The control unit 33 may output an image in which the guide wall image 80 is superimposed on the second image and display it on the display device 40. The guide wall image 80 can show a predicted course when the moving body 50 moves backward. The guide wall image 80 is a marker that gives a three-dimensional impression to the subject 60. The guide wall image 80 can be considered as an image obtained by projecting a virtual guide wall that guides the predicted course, which is arranged in the real space on which the first image is projected, onto the first image when the image pickup apparatus 20 captures the image. The guide wall image 80 can be visually recognized as being composed of a plurality of virtual translucent wall surfaces extending from the road surface to a predetermined height in the height direction in the field of view of the subject 60. It can be said that the guide wall image 80 is a three-dimensional display of the guide line displayed on the display device 40 when the vehicle moves backward by a wall-shaped display. The wall-shaped display includes a display in other aspects such as a surface, a film, and a plate. The three-dimensional display of the guide wall image 80 makes it easy for the subject 60 to grasp the position of the parking space on the road surface, the distance to an obstacle, or the like.
制御部33は、第1映像の表示領域62内の検出対象を認識しうる。制御部33は、第1映像上の表示領域62の内側であって、第1予測進路65内に映っている検出対象を検出してよい。検出対象を検出した場合、制御部33は認識した検出対象の移動体50側に、仮想的な平面を第1認識壁画像83として合成しうる。第1認識壁画像83は、検出対象が移動したときは、検出対象と共に移動する。 The control unit 33 can recognize the detection target in the display area 62 of the first video. The control unit 33 may detect a detection target that is inside the display area 62 on the first image and is reflected in the first predicted course 65. When the detection target is detected, the control unit 33 can synthesize a virtual plane as the first recognition wall image 83 on the side of the recognized moving body 50 of the detection target. When the detection target moves, the first recognition wall image 83 moves together with the detection target.
図20は、図19に示す第1映像の表示領域62に対応する第2映像の例を示す。ガイド壁画像80は、第2映像の下端から上側に離れて配置される。ガイド壁画像80は、高さ方向および奥行き方向に延びる2つの側壁画像81a、81bを含んでよい。側壁画像81aは、水平方向の左側に位置し、側壁画像81bは水平方向の右側に位置する。2つの側壁画像81aおよび81bの間の領域は、車両である移動体50が通過する第1予測進路65を示す。側壁画像81aおよび81bの間の間隔は、移動体50の車幅を示すように設定されてよい。図20において側壁画像81aおよび81bは、直線的に表示されている。制御部33は、通信部31から移動体情報を取得して、予測される進路に応じて側壁画像81a、81bを湾曲させてよい。この場合、移動体情報は、ステアリングホイールの舵角を含む。 FIG. 20 shows an example of the second image corresponding to the display area 62 of the first image shown in FIG. The guide wall image 80 is arranged away from the lower end of the second image on the upper side. The guide wall image 80 may include two side wall images 81a, 81b extending in the height direction and the depth direction. The side wall image 81a is located on the left side in the horizontal direction, and the side wall image 81b is located on the right side in the horizontal direction. The region between the two side wall images 81a and 81b shows a first predicted course 65 through which the moving body 50, which is a vehicle, passes. The spacing between the side wall images 81a and 81b may be set to indicate the vehicle width of the moving body 50. In FIG. 20, the side wall images 81a and 81b are displayed linearly. The control unit 33 may acquire the moving body information from the communication unit 31 and bend the side wall images 81a and 81b according to the predicted course. In this case, the moving body information includes the steering angle of the steering wheel.
ガイド壁画像80は、高さ方向および水平方向に延び、移動体50からの奥行き方向の距離を示す複数の距離壁画像82a、82b、82cを含んでよい。距離壁画像82a、82b、82cは、側壁画像81aおよび81bの間を連結しうる。図20には3つの距離壁画像82a、82bおよび82cが示されうる。距離壁画像の数は3つに限られず、2つまたは4つ以上とすることができる。距離壁画像82aと82bとの奥行き方向の間隔は、距離壁画像82bと82cとの間の奥行き方向の間隔よりも狭くてよい。距離壁画像82a、82b、82cの高さ方向の長さは、側壁画像81aおよび81bの高さ方向の長さより長く、または、短くしうる。 The guide wall image 80 may include a plurality of distance wall images 82a, 82b, 82c that extend in the height and horizontal directions and indicate the distance in the depth direction from the moving body 50. The distance wall images 82a, 82b, 82c may connect between the side wall images 81a and 81b. FIG. 20 may show three distance wall images 82a, 82b and 82c. The number of distance wall images is not limited to three, but may be two or four or more. The distance between the distance wall images 82a and 82b in the depth direction may be narrower than the distance between the distance wall images 82b and 82c in the depth direction. The length of the distance wall images 82a, 82b, 82c in the height direction may be longer or shorter than the length of the side wall images 81a, 81b in the height direction.
ガイド壁画像80の各側壁画像81a、81bおよび距離壁画像82a、82b、82cの外周には枠が表示されてよい。ガイド壁画像80は、奥行き方向に延びる補助線84a、水平方向に延びる補助線84b、および、高さ方向に延びる補助線84cの少なくとも一種類を含んでよい。ガイド壁画像80は、奥行き方向に延びる補助線84a、水平方向に延びる補助線84b、および、高さ方向に延びる補助線84cの全てを含んでよい。奥行き方向に延びる補助線84aは、側壁画像81a、81bの壁面に表示されうる。水平方向に延びる補助線84bは、距離壁画像82a、82b、82cの壁面に表示されうる。高さ方向に延びる補助線84cは、側壁画像81a、81bおよび距離壁画像82a、82b、82cの壁面に表示されうる。それぞれの補助線84a、84b、84cは、1以上の任意の数表示することができる。補助線84a、84b、84cの補助線が複数の場合、各補助線84a、84b、84cの間の間隔は、等間隔とすることができる。各補助線84a、84b、84cの間の間隔は、路面からの高さ、移動体50からの距離等の条件に応じて異ならせてよい。各側壁画像81a、81bおよび距離壁画像82a、82b、82cの外周に表示される枠は、複数の補助線84a、84b、84cの一部とみなしうる。図20および以下の図において、各補助線84a、84b、84cは、複数存在する場合でも、適宜それぞれ1つのみに符号を付している。 A frame may be displayed on the outer periphery of each side wall image 81a, 81b and the distance wall image 82a, 82b, 82c of the guide wall image 80. The guide wall image 80 may include at least one of an auxiliary line 84a extending in the depth direction, an auxiliary line 84b extending in the horizontal direction, and an auxiliary line 84c extending in the height direction. The guide wall image 80 may include all of the auxiliary lines 84a extending in the depth direction, the auxiliary lines 84b extending in the horizontal direction, and the auxiliary lines 84c extending in the height direction. The auxiliary line 84a extending in the depth direction can be displayed on the wall surface of the side wall images 81a and 81b. The auxiliary line 84b extending in the horizontal direction can be displayed on the wall surface of the distance wall images 82a, 82b, 82c. The auxiliary line 84c extending in the height direction can be displayed on the wall surfaces of the side wall images 81a, 81b and the distance wall images 82a, 82b, 82c. Each auxiliary line 84a, 84b, 84c can display any number of 1 or more. When there are a plurality of auxiliary lines of the auxiliary lines 84a, 84b, 84c, the intervals between the auxiliary lines 84a, 84b, 84c can be equal. The distance between the auxiliary lines 84a, 84b, 84c may be different depending on conditions such as the height from the road surface and the distance from the moving body 50. The frame displayed on the outer periphery of each side wall image 81a, 81b and the distance wall image 82a, 82b, 82c can be regarded as a part of the plurality of auxiliary lines 84a, 84b, 84c. In FIG. 20 and the following figures, even if a plurality of auxiliary lines 84a, 84b, and 84c are present, only one of each is appropriately coded.
距離壁画像82aは、第1映像が映す実空間に写像したとき、他の距離壁画像82b、82cより移動体50に近い第1距離壁画像である。距離壁画像82aは、他の距離壁画像82b、82cと色を異ならせることができる。例えば、距離壁画像82b、82cは、半透明な白色で表示し、距離壁画像82aは半透明な赤色で表示することができる。側壁画像81a、81bは、半透明な白色で表示することができる。上記色の設定は例示であって、側壁画像81a、81bの色は、距離壁画像82b、82cと異なってよい。 The distance wall image 82a is a first distance wall image closer to the moving body 50 than the other distance wall images 82b and 82c when mapped in the real space on which the first image is projected. The distance wall image 82a can be different in color from the other distance wall images 82b, 82c. For example, the distance wall images 82b and 82c can be displayed in translucent white, and the distance wall images 82a can be displayed in translucent red. The side wall images 81a and 81b can be displayed in translucent white. The above color setting is an example, and the colors of the side wall images 81a and 81b may be different from those of the distance wall images 82b and 82c.
側壁画像81a、81bの透過率は、奥行き方向の位置に応じて変化させてよい。側壁画像81a、81bの透過率は、奥行き方向に手前側ほど低く、奥側ほど高くなるように設定しうる。側壁画像81a、81bは、奥行き方向の位置に応じて彩度または明度を異ならせてよい。例えば、奥行き方向の手前側ほど彩度を高くすることができる。画像の彩度は、画像の色の濃さとも言い換えることができる。透過率、彩度、明度、色度等が連続的に変化することは、グラデーションを有するということができる。 The transmittance of the side wall images 81a and 81b may be changed according to the position in the depth direction. The transmittance of the side wall images 81a and 81b can be set to be lower toward the front side and higher toward the back side in the depth direction. The side wall images 81a and 81b may have different saturations or brightnesses depending on their positions in the depth direction. For example, the saturation can be increased toward the front side in the depth direction. The saturation of an image can also be rephrased as the color depth of the image. Continuous changes in transmittance, saturation, lightness, chromaticity, etc. can be said to have a gradation.
距離壁画像82a、82b、82cの透過率は、路面からの高さに応じて変化させてよい。距離壁画像82a、82b、82cの透過率は、路面から高さ方向に離れるほど高くなるように設定しうる。距離壁画像82a、82b、82cは、路面からの高さに応じて、彩度または明度を異ならせてよい。例えば、路面からの高さ方向に離れるほど彩度を低くすることができる。 The transmittance of the distance wall images 82a, 82b, 82c may be changed according to the height from the road surface. The transmittance of the distance wall images 82a, 82b, and 82c can be set to increase as the distance from the road surface increases in the height direction. The distance wall images 82a, 82b, 82c may have different saturations or brightnesses depending on the height from the road surface. For example, the saturation can be reduced as the distance from the road surface increases.
第1距離壁画像である距離壁画像82a上の補助線84b、84cは、他の距離壁画像82b、82cの補助線84b、84cと同じ色としてよい。補助線84a、84b、84cは任意の色とすることができる。例えば、距離壁画像82a以外のガイド壁画像80の壁面の色が白色の場合、補助線84a、84b、84cの色は、これら壁面よりも輝度が高い、または、透過率の低い白色としうる。 The auxiliary lines 84b and 84c on the distance wall image 82a, which is the first distance wall image, may have the same color as the auxiliary lines 84b and 84c of the other distance wall images 82b and 82c. The auxiliary lines 84a, 84b, 84c can be of any color. For example, when the color of the wall surface of the guide wall image 80 other than the distance wall image 82a is white, the color of the auxiliary lines 84a, 84b, 84c may be white having higher brightness or lower transmittance than these wall surfaces.
制御部33は、第1映像の表示領域62内に映っている車両64を検出対象として検出してよい。図20の例において、車両64は第1予測進路65内に位置する。制御部33が検出する検出対象は、車両に限られず、建物、フェンス、道路上の障害物、人、動物等であってよい。検出対象を検出した場合、制御部33は認識した検出対象の移動体50側に第1認識壁画像83を合成しうる。検出対象を検出した場合、制御部33はガイド壁画像80の高さ方向の長さを変更してよい。検出対象を検出した場合、制御部33はガイド壁画像80の高さ方向の長さを短くすることができる。これによって、制御部33は、第1認識壁画像83が表示される場合でも表示を見易くし、且つ、対象者60の注意を検出対象に向けることができる。 The control unit 33 may detect the vehicle 64 displayed in the display area 62 of the first image as a detection target. In the example of FIG. 20, the vehicle 64 is located in the first predicted course 65. The detection target detected by the control unit 33 is not limited to the vehicle, but may be a building, a fence, an obstacle on the road, a person, an animal, or the like. When the detection target is detected, the control unit 33 can synthesize the first recognition wall image 83 on the moving body 50 side of the recognized detection target. When the detection target is detected, the control unit 33 may change the length of the guide wall image 80 in the height direction. When the detection target is detected, the control unit 33 can shorten the length of the guide wall image 80 in the height direction. As a result, the control unit 33 can easily see the display even when the first recognition wall image 83 is displayed, and can direct the attention of the target person 60 to the detection target.
第1予測進路65内に位置する検出対象の第1認識壁画像83は、高さ方向および水平方向に延びる。第1認識壁画像83は、任意の色の不透明または半透明な面として表示されうる。図20において、第1認識壁画像83は、車両64の移動体50側に矩形の形状を有する半透明な面として表示される。第1認識壁画像83の水平方向の幅は、車両64の横幅に対応してよい。第1認識壁画像83の水平方向の幅は、車両64の横幅と略一致させることができる。第1認識壁画像83の高さは、所定の値に設定することができる。第1認識壁画像83の透過率は、路面からの高さ方向に応じて変化させてよい。第1認識壁画像83の透過率は、路面から高さ方向に離れるほど高くなるように設定しうる。また、第1認識壁画像83は、路面からの高さ方向の距離に応じて彩度または明度を異ならせてよい。例えば、路面から高さ方向に離れるほど、彩度を低くすることができる。第1認識壁画像83は、水平方向および高さ方向に延びる補助線を含んでよい。 The first recognition wall image 83 of the detection target located in the first prediction course 65 extends in the height direction and the horizontal direction. The first recognition wall image 83 may be displayed as an opaque or translucent surface of any color. In FIG. 20, the first recognition wall image 83 is displayed as a translucent surface having a rectangular shape on the moving body 50 side of the vehicle 64. The horizontal width of the first recognition wall image 83 may correspond to the horizontal width of the vehicle 64. The horizontal width of the first recognition wall image 83 can be substantially matched with the horizontal width of the vehicle 64. The height of the first recognition wall image 83 can be set to a predetermined value. The transmittance of the first recognition wall image 83 may be changed according to the height direction from the road surface. The transmittance of the first recognition wall image 83 can be set to increase as the distance from the road surface increases in the height direction. Further, the first recognition wall image 83 may have different saturation or brightness depending on the distance in the height direction from the road surface. For example, the farther away from the road surface in the height direction, the lower the saturation can be. The first recognition wall image 83 may include auxiliary lines extending in the horizontal direction and the height direction.
制御部33は、第1認識壁画像83の水平方向に延びる補助線を、第1認識壁画像83の枠内で高さ方向に移動させうる。補助線は、第1認識画像83の枠の下端から現れ、上端で消えるように表示しうる。制御部33は、第1認識壁画像83の水平方向に延びる補助線を高さ方向に移動させることによって、移動体50および車両64との間の相対的な位置および相対的な距離変化の双方、または、何れか一方を表示することができる。例えば、制御部33は、移動体50と車両64との間の距離が狭まりつつあるとき、水平方向に延びる補助線を高さ方向に速く移動させうる。制御部33は、移動体50と車両64との間の距離が近いほど、補助線を高さ方向に速く移動させてよい。制御部33は、検出対象の位置および検出対象からの距離に関わらず、第1認識壁画像83の水平方向に延びる補助線を高さ方向に移動させてよい。 The control unit 33 can move the auxiliary line extending in the horizontal direction of the first recognition wall image 83 in the height direction within the frame of the first recognition wall image 83. The auxiliary line can be displayed so as to appear from the lower end of the frame of the first recognition image 83 and disappear at the upper end. The control unit 33 moves both the relative position and the relative distance change between the moving body 50 and the vehicle 64 in the height direction by moving the auxiliary line extending in the horizontal direction of the first recognition wall image 83 in the height direction. , Or either one can be displayed. For example, the control unit 33 can move the auxiliary line extending in the horizontal direction faster in the height direction when the distance between the moving body 50 and the vehicle 64 is narrowing. The control unit 33 may move the auxiliary line faster in the height direction as the distance between the moving body 50 and the vehicle 64 is shorter. The control unit 33 may move the auxiliary line extending in the horizontal direction of the first recognition wall image 83 in the height direction regardless of the position of the detection target and the distance from the detection target.
第1認識壁画像83の色は、移動体50から車両64迄の奥行き方向の距離に応じて異なる色とすることができる。例えば、図20に示すように、移動体50と車両64との距離が予め定めた距離よりも離れている場合、制御部33は、第1認識壁画像83の色を青色で表示させることができる。移動体50の後進によって、車両64との距離が短くなっていく場合、制御部33は、第1認識壁画像83の色を、青色から黄色、黄色から赤色というように、変化させてよい。 The color of the first recognition wall image 83 can be different depending on the distance in the depth direction from the moving body 50 to the vehicle 64. For example, as shown in FIG. 20, when the distance between the moving body 50 and the vehicle 64 is larger than a predetermined distance, the control unit 33 may display the color of the first recognition wall image 83 in blue. it can. When the distance from the vehicle 64 is shortened due to the backward movement of the moving body 50, the control unit 33 may change the color of the first recognition wall image 83 from blue to yellow and from yellow to red.
移動体50と車両64との間の距離が予め定めた距離以上離れている場合、制御部33は第1認識壁画像83を表示しないことができる。移動体50と車両64とが相対的に近づき予め定めた距離以内となったとき、制御部33は、例えば、第2映像内の車両64を強調表示した後、第1認識壁画像83を表示する。強調表示には、車両64の輪郭線の太線表示、車両64の輪郭線の点滅、車両64の画像の塗りつぶし、等を含む。制御部33は、車両64との間の相対位置の変化に応じて表示態様を変えてよい。例えば、車両64が移動体50から相対的に離れていく場合には、第1認識壁画像83を表示しないことができる。 When the distance between the moving body 50 and the vehicle 64 is greater than or equal to a predetermined distance, the control unit 33 may not display the first recognition wall image 83. When the moving body 50 and the vehicle 64 are relatively close to each other and are within a predetermined distance, the control unit 33 displays, for example, the first recognition wall image 83 after highlighting the vehicle 64 in the second image. To do. The highlighting includes a thick line display of the outline of the vehicle 64, blinking of the outline of the vehicle 64, filling of an image of the vehicle 64, and the like. The control unit 33 may change the display mode according to the change in the relative position with respect to the vehicle 64. For example, when the vehicle 64 moves relatively away from the moving body 50, the first recognition wall image 83 can not be displayed.
図21は、移動体50の後進によって、移動体50と車両64との間の距離が狭まった状態での第2映像の例を示す図である。第1認識壁画像83は赤色で表示される。これにより、対象者60に対して、これ以上後進すれば車両64に衝突する危険性があることを警告することができる。 FIG. 21 is a diagram showing an example of a second image in a state where the distance between the moving body 50 and the vehicle 64 is narrowed due to the backward movement of the moving body 50. The first recognition wall image 83 is displayed in red. As a result, it is possible to warn the target person 60 that there is a risk of colliding with the vehicle 64 if the subject moves backward any further.
制御部33は、検出対象物とガイド壁画像80とが重なる場合、ガイド壁画像80の表示を変更することができる。例えば、図21に示すように、制御部33は、第2映像の車両64と重なるガイド壁画像80を少なくとも部分的に表示させないことができる。より具体的には、制御部33は、車両64と重なり、且つ車両64または第1認識壁画像83よりも奥行き方向に移動体50から離れて位置するガイド壁画像80を、表示装置40に表示させない。このようにすることで、表示装置40は、対象者60に対して画像を見易く且つ直感的に理解しやすく表示することが可能になる。ガイド壁画像80の表示の変更方法は、重なり部分の非表示に限られない。例えば、制御部33は、検出対象物と重なる部分のガイド壁画像80の透過率をより高くすることができる。 When the detection target and the guide wall image 80 overlap, the control unit 33 can change the display of the guide wall image 80. For example, as shown in FIG. 21, the control unit 33 can prevent the guide wall image 80 that overlaps with the vehicle 64 in the second image from being displayed at least partially. More specifically, the control unit 33 displays on the display device 40 a guide wall image 80 that overlaps with the vehicle 64 and is located farther from the moving body 50 in the depth direction than the vehicle 64 or the first recognition wall image 83. I won't let you. By doing so, the display device 40 can display the image on the subject 60 in an easy-to-see and intuitively easy-to-understand manner. The method of changing the display of the guide wall image 80 is not limited to hiding the overlapping portion. For example, the control unit 33 can make the transmittance of the guide wall image 80 of the portion overlapping the detection target object higher.
(変形例)
ガイド壁画像80は、図20、21に示す一例に限られない。図22から図24は、ガイド壁画像80の変形例を示す。
(Modification example)
The guide wall image 80 is not limited to the example shown in FIGS. 20 and 21. 22 to 24 show a modified example of the guide wall image 80.
(第1変形例)
図22に図示する例では、距離壁画像82a、82b、82cの水平方向に延びる補助線84bは、高さ方向において最も低い位置の1つのみを表示しうる。最も低い位置の補助線84bのみを表示した距離壁画像82aは、地表高さの認識を容易にしうる。最も低い位置の補助線84bのみを表示した距離壁画像82aは、認識壁画像との距離の把握を容易にしうる。距離壁画像82a、82b、82cの水平方向の両端には、高さ方向に延びる補助線84cが表示されうる。距離壁画像82a、82b、82cの外周には、下端部に位置する補助線84bと水平方向の両端に位置する高さ方向に延びる補助線84cとが表示されうる。距離壁画像82a、82b、82cは、外周の下端の水平方向に延びる補助線84bおよび左右の両端の高さ方向に延びる補助線84cによって表示してよい。
(First modification)
In the example illustrated in FIG. 22, the horizontally extending auxiliary line 84b of the distance wall images 82a, 82b, 82c can display only one of the lowest positions in the height direction. The distance wall image 82a displaying only the auxiliary line 84b at the lowest position can facilitate the recognition of the ground surface height. The distance wall image 82a displaying only the auxiliary line 84b at the lowest position can easily grasp the distance from the recognition wall image. Auxiliary lines 84c extending in the height direction may be displayed at both ends of the distance wall images 82a, 82b, 82c in the horizontal direction. Auxiliary lines 84b located at the lower end and auxiliary lines 84c extending in the height direction located at both ends in the horizontal direction may be displayed on the outer periphery of the distance wall images 82a, 82b, 82c. The distance wall images 82a, 82b, 82c may be displayed by an auxiliary line 84b extending in the horizontal direction at the lower end of the outer circumference and an auxiliary line 84c extending in the height direction at both the left and right ends.
距離壁画像82a、82b、82cは、半透明な色を有する面を含んで表示しうる。距離壁画像82a、82b、82cは、路面から高さ方向に離れるに従い透過率を高くすること、または、色の濃さを薄くすることができる。移動体50に最も近い距離壁画像82aの外周に位置する補助線84b、84cは、他の補助線と異なる色で表示してよい。異なる色は、例えば赤色とすることができる。また、他の補助線は白色とすることができるがこれに限られない。車両64の手前に表示される第1認識壁画像83は、半透明な任意の色の面として表示され、路面から高さ方向に離れるに従って透過率が高くなるように、または、色の濃さが薄くなるように表示してよい。第1認識壁画像83は上端の境界を視認可能に表示せず、高さ方向に徐々に消えるように表示してよい。 The distance wall images 82a, 82b, 82c can be displayed including a surface having a translucent color. In the distance wall images 82a, 82b, 82c, the transmittance can be increased or the color depth can be reduced as the distance from the road surface in the height direction increases. The auxiliary lines 84b and 84c located on the outer periphery of the distance wall image 82a closest to the moving body 50 may be displayed in a color different from that of the other auxiliary lines. The different colors can be, for example, red. In addition, other auxiliary lines can be white, but are not limited to this. The first recognition wall image 83 displayed in front of the vehicle 64 is displayed as a translucent surface of any color, so that the transmittance increases as the distance from the road surface increases in the height direction, or the color depth increases. May be displayed so that is lighter. The first recognition wall image 83 does not visually display the boundary of the upper end, but may be displayed so as to gradually disappear in the height direction.
図22に示す例では、ガイド壁画像80の側壁画像81a、81bの奥行き方向に延びる補助線84aは、側壁画像81a、81bの上下の端部にそれぞれ2本のみが表示される。下側の補助線84a1は、上側の補助線84a2よりも強調表示されうる。強調表示には、より太い線、より透過率の低い線、より輝度の高い線等を用いて表示することを含む。上側の補助線84a2と下側の補助線84a1とは、同じ表示態様の線としてもよい。同じ態様の線とは、例えば、太さ、透過率、および輝度等において、同様の線である。 In the example shown in FIG. 22, only two auxiliary lines 84a extending in the depth direction of the side wall images 81a and 81b of the guide wall image 80 are displayed at the upper and lower ends of the side wall images 81a and 81b, respectively. The lower auxiliary line 84a 1 may be highlighted more than the upper auxiliary line 84a 2 . Highlighting includes displaying using thicker lines, lines with lower transmittance, lines with higher brightness, and the like. The upper auxiliary line 84a 2 and the lower auxiliary line 84a 1 may be lines having the same display mode. The lines of the same aspect are, for example, lines having the same thickness, transmittance, brightness, and the like.
奥行き方向に延びる補助線84aは、奥行き方向の最も遠い位置で、だんだんと薄くなり消えるような表示方法を用いて表示されてよい。側壁画像81a、81bは、奥行き方向の最も遠い位置の端部が視認できるように表示してよい。 The auxiliary line 84a extending in the depth direction may be displayed at the farthest position in the depth direction by using a display method that gradually becomes thinner and disappears. The side wall images 81a and 81b may be displayed so that the end portion at the farthest position in the depth direction can be visually recognized.
側壁画像81a、81bには、高さ方向に延びる補助線84cが、少なくとも、最も手前側の端部、および、距離壁画像82a、82b、82cと交差する位置に表示されうる。これらの高さ方向に延びる補助線84cは、他の高さ方向に延びる補助線84cよりも強調表示されてよい。高さ方向に延びる補助線84cは、各々の太さが異なってよい。補助線84cは、距離壁画像82aと交差する位置に表示される補助線84cが距離壁画像82b、82cと交差する位置に表示される補助線84cより太く表示しうる。 On the side wall images 81a, 81b, the auxiliary line 84c extending in the height direction may be displayed at least at the frontmost end and at a position intersecting the distance wall images 82a, 82b, 82c. The auxiliary lines 84c extending in these height directions may be highlighted more than the auxiliary lines 84c extending in other height directions. The auxiliary lines 84c extending in the height direction may have different thicknesses. The auxiliary line 84c can be displayed thicker than the auxiliary line 84c displayed at the position where the auxiliary line 84c intersects with the distance wall images 82a and 82c.
(第2変形例)
図23に示すガイド壁画像80は、図22のガイド壁画像80と側壁画像81a、81bが異なる。図23において、ガイド壁画像80の側壁画像81a、81bの奥行き方向に延びる補助線84aは、最も上と最も下のものを含め2本以上が表示されうる。奥行き方向に延びる補助線84aは、高さ方向に最も下に位置する補助線を、他の補助線よりも強調表示してよい。複数の補助線84aは、全て同じ態様の線として表示してよい。図23のガイド壁画像80は、図22のガイド壁画像80で採用しうる透過率の変化、色の変化、および、配色等を採用し得る。
(Second modification)
The guide wall image 80 shown in FIG. 23 is different from the guide wall image 80 of FIG. 22 in the side wall images 81a and 81b. In FIG. 23, two or more auxiliary lines 84a extending in the depth direction of the side wall images 81a and 81b of the guide wall image 80 may be displayed, including the top and bottom ones. The auxiliary line 84a extending in the depth direction may highlight the auxiliary line located at the lowest position in the height direction more than other auxiliary lines. The plurality of auxiliary lines 84a may all be displayed as lines of the same aspect. The guide wall image 80 of FIG. 23 may adopt a change in transmittance, a change in color, a color scheme, and the like that can be adopted in the guide wall image 80 of FIG.
(第3変形例)
図24に示すガイド壁画像80は、図22のガイド壁画像80と側壁画像81a、81bが異なる。図24において、ガイド壁画像80の側壁画像81a、81bの奥行き方向に延びる補助線84aは、下端部に位置する補助線84aのみを表示する。ガイド壁画像80の下端に位置する奥行き方向に延びる補助線84aは、水平方向に延びる補助線84bとともに、第1映像が映す実空間に写像した場合の路面上の線に対応してよい。図24のガイド壁画像80は、図22のガイド壁画像80で採用しうる透過率の変化、色の変化、および、配色等を採用し得る。高さ方向に延びる補助線84cは、各々の太さが異なってよい。補助線84cは、奥行き方向の手前側から奥側に並ぶ補助線84cは、奥側に位置する線ほど細くなってよい。
(Third modification example)
The guide wall image 80 shown in FIG. 24 is different from the guide wall image 80 of FIG. 22 in the side wall images 81a and 81b. In FIG. 24, the auxiliary lines 84a extending in the depth direction of the side wall images 81a and 81b of the guide wall image 80 display only the auxiliary lines 84a located at the lower end. The auxiliary line 84a extending in the depth direction located at the lower end of the guide wall image 80 may correspond to the line on the road surface when mapped to the real space on which the first image is projected, together with the auxiliary line 84b extending in the horizontal direction. The guide wall image 80 of FIG. 24 may adopt a change in transmittance, a change in color, a color scheme, and the like that can be adopted in the guide wall image 80 of FIG. The auxiliary lines 84c extending in the height direction may have different thicknesses. The auxiliary lines 84c are arranged from the front side to the back side in the depth direction, and the auxiliary lines 84c may be thinner as the lines are located on the back side.
図20から24の各図に示したガイド壁画像80において、表示装置40は、補助線84a,84b、84cの一部または全てを表示しなくてもよい。 In the guide wall image 80 shown in each of FIGS. 20 to 24, the display device 40 does not have to display a part or all of the auxiliary lines 84a, 84b, 84c.
(第7例)
図25は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第7例を示す。図25に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。表示領域62は検出領域61の一部に限られず、検出領域61の全部を表示領域62としてよい。
(7th example)
FIG. 25 shows a seventh example of the detection region 61 in the first image acquired by the image processing device 30 from the image pickup device 20. In the example shown in FIG. 25, the detection area 61 is longer in the horizontal direction than in the vertical direction. The display area 62 is located at the center of the detection area 61 in the left-right direction. The display area 62 is not limited to a part of the detection area 61, and the entire detection area 61 may be used as the display area 62.
第7例において移動体50は車両であり、駐車場の駐車スペースに向かって後進しているものとすることができる。撮像装置20は移動体50の後方に位置し、後方を撮像しているものとすることができる。制御部33は、検出領域61から、第1予測進路65外であって表示領域62内に少なくとも部分的に映っている車両64bおよび歩行者63を、それぞれ検出対象として検出してよい。図25に示す例では、制御部33は、移動体50の第1予測進路65内に映っている車両64aについて、奥行き方向の距離が予め定めた距離よりも遠いと判断し検出対象としない。 In the seventh example, the moving body 50 is a vehicle and can be assumed to be moving backward toward the parking space of the parking lot. It can be assumed that the image pickup apparatus 20 is located behind the moving body 50 and is imaging the rear side. From the detection area 61, the control unit 33 may detect the vehicle 64b and the pedestrian 63, which are outside the first predicted course 65 and are at least partially reflected in the display area 62, as detection targets. In the example shown in FIG. 25, the control unit 33 determines that the distance in the depth direction of the vehicle 64a reflected in the first predicted course 65 of the moving body 50 is longer than the predetermined distance, and does not detect it.
図26は、図25に示す第1映像の表示領域62に対応する第2映像の例を示す。制御部33は、第1映像の表示領域62内の検出対象の車両64bおよび歩行者63を認識し、車両64bおよび歩行者63の移動体50側に、それぞれ仮想的な平面である第1認識壁画像83aおよび83bを表示する。第1認識壁画像83aおよび83bは、高さ方向および奥行き方向に延びる側壁画像81a、81bと平行な半透明の面として表示しうる。制御部33は、車両64bおよび歩行者63と移動体50との間の相対位置の距離変化を取得し、距離が短くなる方向に変化している場合だけ側壁画像81a、81bを表示してよい。移動体50と検出対象との間の距離の推定には、前述の如く任意のアルゴリズムが採用しうる。 FIG. 26 shows an example of the second image corresponding to the display area 62 of the first image shown in FIG. The control unit 33 recognizes the vehicle 64b and the pedestrian 63 to be detected in the display area 62 of the first image, and the first recognition which is a virtual plane on the moving body 50 side of the vehicle 64b and the pedestrian 63, respectively. The wall images 83a and 83b are displayed. The first recognition wall images 83a and 83b can be displayed as translucent surfaces parallel to the side wall images 81a and 81b extending in the height direction and the depth direction. The control unit 33 acquires the change in the distance between the vehicle 64b and the pedestrian 63 and the moving body 50, and may display the side wall images 81a and 81b only when the distance changes in the direction in which the distance becomes shorter. .. As described above, any algorithm can be used to estimate the distance between the moving body 50 and the detection target.
制御部33は、検出対象の車両64aおよび歩行者63のガイド壁画像80からの水平方向における距離を推定し、推定された距離に応じて第1認識壁画像83a、83bの表示色を決定してよい。ここで、検出対象とガイド壁画像80との距離とは、ガイド壁画像80の表示する仮想ガイド壁が、第1映像が映す実空間上に存在するとした場合の、検出対象と当該仮想ガイド壁との距離である。制御部33は、ガイド壁画像80を第1映像が映す実空間に写像した位置と検出対象の位置とからそれらの間の第1距離を推定しうる。制御部33は、第1距離に対して閾値を設け、第1認識壁画像83a、83bのそれぞれについて、水平方向の距離が長い方から短い方に順に青色、黄色、赤色等の異なる表示色を用いて表示装置40に表示させてよい。第1認識壁画像83a、83bは、奥行き方向に延びる補助線を有しうる。制御部33は、第1認識壁画像83a、83bの奥行き方向に延びる補助線を、図20の第1認識壁画像83の水平方向に延びる補助線と同様に、第1認識壁画像83の枠内で高さ方向に移動させうる。 The control unit 33 estimates the distance in the horizontal direction from the guide wall image 80 of the vehicle 64a and the pedestrian 63 to be detected, and determines the display colors of the first recognition wall images 83a and 83b according to the estimated distance. You can. Here, the distance between the detection target and the guide wall image 80 is the detection target and the virtual guide wall when the virtual guide wall displayed by the guide wall image 80 exists in the real space on which the first image is projected. Is the distance to. The control unit 33 can estimate the first distance between the position where the guide wall image 80 is mapped in the real space on which the first image is projected and the position of the detection target. The control unit 33 sets a threshold value for the first distance, and for each of the first recognition wall images 83a and 83b, different display colors such as blue, yellow, and red are displayed in order from the longest to the shortest in the horizontal direction. It may be used and displayed on the display device 40. The first recognition wall images 83a and 83b may have auxiliary lines extending in the depth direction. The control unit 33 sets the auxiliary line extending in the depth direction of the first recognition wall images 83a and 83b to the frame of the first recognition wall image 83 in the same manner as the auxiliary line extending in the horizontal direction of the first recognition wall image 83 of FIG. Can be moved in the height direction within.
制御部33は、検出対象の車両64bおよび歩行者63の奥行き方向における位置として、第1の位置を推定する。制御部33は、車両64bおよび歩行者63にそれぞれ対向する側壁画像81aおよび81bの表示を、第1の位置に対応して少なくとも部分的に変更してよい。表示の変更の態様としては、壁表面の色、明度、彩度等の変更、枠線および/または補助線の色、太さ等の変更、またはそれらの組合せ等を含む。例えば、図26において、車両64bに対向する側壁画像81aの一部81a1と、歩行者63に対向する側壁画像81bの一部81b1の表示色が変更される。側壁画像81a、81bの一部は、側壁画像81a、81b上の高さ方向に延びる補助線84cにより区分された領域としてよい。側壁画像81aの一部81a1および側壁画像81bの一部81b1の表示色は、第1距離に応じて異なる色としてよい。制御部33は、検出対象が側壁画像81a、81bの表す長さに比べて大きい障害物であるとき、側壁画像81aまたは81bの全体の表示色を変更してよい。大きい障害物としては、トレーラー等の大型車両、建造物等を挙げることができる。 The control unit 33 estimates the first position as the position in the depth direction of the vehicle 64b and the pedestrian 63 to be detected. The control unit 33 may change the display of the side wall images 81a and 81b facing the vehicle 64b and the pedestrian 63, respectively, at least partially according to the first position. The mode of changing the display includes changing the color, brightness, saturation, etc. of the wall surface, changing the color, thickness, etc. of the border and / or auxiliary line, or a combination thereof. For example, in FIG. 26, the display colors of a part 81a 1 of the side wall image 81a facing the vehicle 64b and a part 81b 1 of the side wall image 81b facing the pedestrian 63 are changed. A part of the side wall images 81a and 81b may be a region divided by an auxiliary line 84c extending in the height direction on the side wall images 81a and 81b. Display color of a portion 81b 1 of the part 81a 1 and the sidewall image 81b of the sidewall image 81a is good as a different color in response to the first distance. When the detection target is an obstacle that is larger than the length represented by the side wall images 81a and 81b, the control unit 33 may change the overall display color of the side wall images 81a or 81b. Examples of large obstacles include large vehicles such as trailers and buildings.
検出対象が移動するとき、制御部33は、当該検出対象の第2予測進路を推定し、当該第2予測進路と側壁画像81a、81bとが交わる位置として第1の位置を推定してよい。制御部33は、第1の位置を、第1映像が映す実空間における第2予測進路と側壁画像81a、81bの実空間への写像との交差する位置として推定することができる。制御部33は、側壁画像81a,81bの表示を第1の位置に対応して少なくとも部分的に変更してよい。この場合も、表示を変更する側壁画像81a、81bの一部81a1、81b1の表示色は、第1距離に応じて異なる色としてよい。制御部33は、検出対象が非常に大きい障害物であるとき、側壁画像81aまたは81bの全体の表示色を変更してよい。 When the detection target moves, the control unit 33 may estimate the second predicted course of the detection target and estimate the first position as the position where the second predicted course and the side wall images 81a and 81b intersect. The control unit 33 can estimate the first position as the position where the second predicted course in the real space on which the first image is projected intersects with the mapping of the side wall images 81a and 81b to the real space. The control unit 33 may change the display of the side wall images 81a and 81b at least partially according to the first position. Also in this case, the display colors of the partial 81a 1 and 81b 1 of the side wall images 81a and 81b whose display is changed may be different colors depending on the first distance. The control unit 33 may change the overall display color of the side wall image 81a or 81b when the detection target is a very large obstacle.
別の表示態様として、制御部33は、第1認識壁画像83a、83bよりも奥行き方向に奥側に位置する側壁画像81a、81bの部分の表示を変更してよい。さらに別の表示態様として、制御部33は、第2予測進路と側壁画像81a、81bとが交わる位置よりも奥行き方向に奥側に位置する側壁画像81a、81bの部分の表示を変更してよい。 As another display mode, the control unit 33 may change the display of the side wall images 81a and 81b located on the back side in the depth direction from the first recognition wall images 83a and 83b. As yet another display mode, the control unit 33 may change the display of the side wall images 81a and 81b located on the back side in the depth direction from the position where the second predicted course and the side wall images 81a and 81b intersect. ..
第1認識壁画像83a、83bの表示は路面からの高さに応じて変化させてよい。第1認識壁画像83a、83bの表示は、第6例の第1認識壁画像83と類似に、路面からの高さに応じて透過率、彩度、または、明度等を異なる値に設定しうる。 The display of the first recognition wall images 83a and 83b may be changed according to the height from the road surface. Similar to the first recognition wall image 83 of the sixth example, the display of the first recognition wall images 83a and 83b is set to different values such as transmittance, saturation, or brightness according to the height from the road surface. sell.
以上のように、表示システム10は、後進の障害となりうる検出対象の距離および/または位置を、ガイド壁画像80および第1認識壁画像83a、83bを用いて空間的且つ立体的に表現できる。また、移動中の検出対象の予測進路から、衝突の危険性がある位置を立体的に表示することができる。このように、表示システム10は、ガイド壁画像80および第1認識壁画像83a、83bを、高さ方向を有する壁(あるいは平面)として表すことにより、検出対象および警告内容の空間的な立体表現が可能とする。これによって、対象者60にとっての表示、警告内容の把握が容易になる。 As described above, the display system 10 can spatially and three-dimensionally express the distance and / or position of the detection target that may be an obstacle to the reverse movement by using the guide wall image 80 and the first recognition wall images 83a and 83b. In addition, the position where there is a risk of collision can be displayed three-dimensionally from the predicted course of the detection target during movement. As described above, the display system 10 represents the guide wall image 80 and the first recognition wall images 83a and 83b as walls (or planes) having a height direction, thereby spatially expressing the detection target and the warning content in a spatial manner. Is possible. This facilitates the display and understanding of the warning content for the target person 60.
(第8例)
図27は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第8例を示す。撮像装置20は、車両である移動体50の後方を撮像するように配置されてよい。図27に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、第1映像上の表示領域62の外側であって、検出領域61の内側の領域である第2領域に映っている歩行者63および車両64bを、それぞれ検出対象として検出してよい。第8例では、制御部33は、表示領域62に映っている車両64aについて、奥行き方向の距離が予め定めた距離よりも遠いと判断し検出対象としない。
(8th example)
FIG. 27 shows an eighth example of the detection region 61 in the first image acquired by the image processing device 30 from the image pickup device 20. The image pickup device 20 may be arranged so as to image the rear of the moving body 50 which is a vehicle. In the example shown in FIG. 27, the detection area 61 is longer in the horizontal direction than in the vertical direction. The display area 62 is located at the center of the detection area 61 in the left-right direction. The control unit 33 detects the pedestrian 63 and the vehicle 64b, which are outside the display area 62 on the first image and are reflected in the second area inside the detection area 61, as detection targets, respectively. Good. In the eighth example, the control unit 33 determines that the distance in the depth direction of the vehicle 64a displayed in the display area 62 is farther than a predetermined distance, and does not set the vehicle 64a as a detection target.
図28は、第1映像が映す実空間において、高さ方向に沿って上側から見た移動体50ならびに検出対象の歩行者63および車両64bの配置を模式的に示した図である。撮像装置20は、実空間における領域F1およびF2に含まれる範囲の被写体を撮像しうる。領域F1および領域F2は、第1映像の検出領域61に対応する。領域F1は、第1映像の表示領域62に対応する第1領域である。領域F2は、第1映像の検出領域61の内側であって表示領域62の外側の第2領域に対応する。 FIG. 28 is a diagram schematically showing the arrangement of the moving body 50 and the pedestrian 63 and the vehicle 64b to be detected as seen from above along the height direction in the real space on which the first image is projected. The image pickup apparatus 20 can image a subject in a range included in the regions F 1 and F 2 in the real space. Area F 1 and area F 2 correspond to the detection area 61 of the first image. The area F 1 is a first area corresponding to the display area 62 of the first image. The area F 2 corresponds to a second area inside the detection area 61 of the first image and outside the display area 62.
図28には、説明のために、第2映像に表示されるガイド壁画像80を、実空間に写像した仮想ガイド壁90が破線により表示されている。仮想側壁91a、91bは、第2映像に表示される側壁画像81a,81bに対応する。仮想距離壁92a、92b、92cは、第2映像に表示される距離壁画像82a,82b,82cに対応する。 In FIG. 28, for the sake of explanation, the virtual guide wall 90, which is a map of the guide wall image 80 displayed in the second image in the real space, is displayed by a broken line. The virtual side walls 91a and 91b correspond to the side wall images 81a and 81b displayed in the second image. The virtual distance walls 92a, 92b, 92c correspond to the distance wall images 82a, 82b, 82c displayed in the second image.
また、図28には、説明のために、移動体50の仮想側壁91a,91bに対する検出対象の水平方向の距離を示す仮想線95l1〜95l5および95r1〜95r5が、破線により示されている。この水平方向の距離は第2距離ともよぶ。仮想線95l1〜95l5は、移動体50の左側に位置する。仮想線95r1〜95r5は、移動体50の右側に位置する。仮想線95l1〜95l5および仮想線95r1〜95r5の間隔は、それぞれ任意に設定できる。仮想線95l1〜95l5および仮想線95r1〜95r5の間隔は、それぞれ等間隔としてよい。制御部33は、第1映像から検出対象がどの仮想線95l1〜95l5および95r1〜95r5に最も近いか、あるいは、仮想線95l1〜95l5および95r1〜95r5のうちどの2つで挟まれた領域内に位置するかを判定することができる。 Further, in FIG. 28, for purposes of explanation, the virtual side wall 91a of the vehicle 50, the virtual line 95l 1 ~95l 5 and 95r 1 ~95r 5 showing the horizontal distance of the detection target with respect to 91b, indicated by dashed lines ing. This horizontal distance is also called the second distance. The virtual lines 95l 1 to 95l 5 are located on the left side of the moving body 50. The virtual lines 95r 1 to 95r 5 are located on the right side of the moving body 50. The intervals between the virtual lines 95l 1 to 95l 5 and the virtual lines 95r 1 to 95r 5 can be set arbitrarily. The intervals between the virtual lines 95l 1 to 95l 5 and the virtual lines 95r 1 to 95r 5 may be equal to each other. The control unit 33 determines which virtual line 95l 1 to 95l 5 and 95r 1 to 95r 5 are closest to be detected from the first video, or which 2 of the virtual lines 95l 1 to 95l 5 and 95r 1 to 95r 5 is detected. It is possible to determine whether or not the image is located in the area sandwiched between the two.
図27の第1映像に対応する第2映像を図29に例示する。第8例において、ガイド壁画像80は、第6例および第7例で説明したものと同様の表示方法を採用しうる。制御部33は、第1映像の第2領域に検出対象が位置する場合、第2映像における検出対象が存在する側の端部に第2認識壁画像89a、89bを合成する。第2認識壁画像89a、89bは、それぞれ高さ方向および奥行き方向に延びる壁部96a、96bと、奥行き方向および水平方向に延びる床部97a、97bを含んでよい。図29において、壁部96a、96bは第2映像の左右の端部の下端から上端まで延びている。壁部96a、96bは、第2映像の左右の端部の全体ではなく一部のみに沿って上下に延在してよい。同様に、床部97a、97bは、第2映像の下端部の全体または一部に沿って左右方向に延在しうる。床部97a,97bは、ガイド壁画像80と第2映像の下端との間に表示されてよい。 A second image corresponding to the first image of FIG. 27 is illustrated in FIG. In the eighth example, the guide wall image 80 may adopt the same display method as that described in the sixth and seventh examples. When the detection target is located in the second region of the first video, the control unit 33 synthesizes the second recognition wall images 89a and 89b at the end of the second video on the side where the detection target exists. The second recognition wall images 89a and 89b may include wall portions 96a and 96b extending in the height direction and the depth direction, and floor portions 97a and 97b extending in the depth direction and the horizontal direction, respectively. In FIG. 29, the wall portions 96a and 96b extend from the lower end to the upper end of the left and right end portions of the second image. The wall portions 96a and 96b may extend vertically along only a part of the left and right ends of the second image, not the entire portion. Similarly, the floor portions 97a and 97b may extend in the left-right direction along the whole or a part of the lower end portion of the second image. The floor portions 97a and 97b may be displayed between the guide wall image 80 and the lower end of the second image.
制御部33は、第2認識壁画像89a、89bを、検出対象の第2距離に応じて表示を変化させてよい。表示の変化は、色、透過率、彩度、明度、大きさ等の変化、および、点滅、移動などの動的な表示方法の変化を含む。例えば、複数の実施形態の1つにおいて、表示の変化は色の変化により表してよい。表示の色は、危険度が高い場合を赤色、危険度が中程度の場合を黄色、危険度が低い場合を青色等としうる。図28に示す歩行者63は、移動体50の仮想側壁91bから水平方向右側の3番目の仮想線95r3上に位置する。この場合、制御部33は、危険度を中程度として、右側の第2認識壁画像89bの色を黄色としうる。また、図28に示す車両64bは、移動体50の仮想側壁91aから水平方向左側の5番目の仮想線95l5よりも離れて位置する。この場合、制御部33は、危険度が低いものと判断して、左側の第2認識壁画像89aの色を青色としうる。複数の実施形態の1つにおいて、表示の変化は、壁部96a、96bに表示される縦方向の補助線96a1、96b1の横方向への動きを含んでよい。制御部33は、第2距離の長さに応じて、壁部96a、96bの動きの速さを変化させてよい。 The control unit 33 may change the display of the second recognition wall images 89a and 89b according to the second distance of the detection target. Changes in display include changes in color, transmittance, saturation, lightness, size, etc., and changes in dynamic display methods such as blinking and movement. For example, in one of a plurality of embodiments, the change in display may be represented by a change in color. The display color may be red when the risk is high, yellow when the risk is medium, blue when the risk is low, and the like. The pedestrian 63 shown in FIG. 28 is located on the third virtual line 95r 3 on the right side in the horizontal direction from the virtual side wall 91b of the moving body 50. In this case, the control unit 33 may set the risk level to medium and the color of the second recognition wall image 89b on the right side to be yellow. Further, the vehicle 64b shown in FIG. 28 is located away from the virtual side wall 91a of the moving body 50 with respect to the fifth virtual line 95l 5 on the left side in the horizontal direction. In this case, the control unit 33 may determine that the risk is low and set the color of the second recognition wall image 89a on the left side to blue. In one of a plurality of embodiments, the change in display may include lateral movement of the vertical auxiliary lines 96a 1 , 96b 1 displayed on the walls 96a, 96b. The control unit 33 may change the speed of movement of the wall portions 96a and 96b according to the length of the second distance.
第2認識壁画像89a、89bは、半透明とすることができる。第2認識壁画像89a、89bの壁部96a、96bは、上下方向に表示特性を変化させてよい。例えば、第2認識壁画像89a、89bの壁部96a、96bは、下部ほど透過率を低くしてよい。また、第2認識壁画像89a、89bは、下部ほど彩度を高くしてよい。第2認識壁画像89aの床部97a、97bは、左右方向に表示特性を変化させてよい。例えば、第2認識壁画像89aの床部97a、97bは、左右の端部ほど透過率が低く、第2映像の中心に向かうほど透過率を高くしてよい。また、第2認識壁画像89aの床部97a、97bは、左右の端部から第2映像の中心に向かうほど彩度を低くしてよい。画像の彩度は、画像の色の濃さとも言い換えることができる。 The second recognition wall images 89a and 89b can be translucent. The display characteristics of the wall portions 96a and 96b of the second recognition wall images 89a and 89b may be changed in the vertical direction. For example, the transmittance of the wall portions 96a and 96b of the second recognition wall images 89a and 89b may be lowered toward the lower part. Further, the second recognition wall images 89a and 89b may be more saturated toward the lower part. The floor portions 97a and 97b of the second recognition wall image 89a may change the display characteristics in the left-right direction. For example, the floor portions 97a and 97b of the second recognition wall image 89a may have a lower transmittance toward the left and right ends and a higher transmittance toward the center of the second image. Further, the floor portions 97a and 97b of the second recognition wall image 89a may be desaturated from the left and right ends toward the center of the second image. The saturation of an image can also be rephrased as the color depth of the image.
制御部33は、検出対象の種別を判断して、当該種別に対応するアイコン画像99a、99bを第2認識壁画像89a、89bの床部97a,97bの上に表示してよい。検出対象の種別は、第1映像から検出される検出対象の画像に基づいて公知の方法で判定することができる。例えば、制御部33は、検出対象の輪郭形状をモデルとなるパターンとマッチングすることによって、物体種別を判定しうる。例えば、歩行者63および車両64bに対しては、それぞれ人および車両を示すアイコンが選択されうる。制御部33は、側壁画像81a、81bを実空間に写像した仮想側壁91a、91bと、実空間における検出対象との、水平方向における距離である第2距離を推定しうる。第2距離は、実空間の仮想線95l1〜95l5、95r1〜95r5を第1映像の検出領域61に写像したそれぞれの線と、各検出対象の画像の位置との関係から判定しうる。制御部33は第2距離に応じて、アイコン画像99a、99bを表示する位置を変更しうる。 The control unit 33 may determine the type of the detection target and display the icon images 99a and 99b corresponding to the type on the floor portions 97a and 97b of the second recognition wall images 89a and 89b. The type of the detection target can be determined by a known method based on the image of the detection target detected from the first video. For example, the control unit 33 can determine the object type by matching the contour shape of the detection target with the pattern that serves as a model. For example, for pedestrian 63 and vehicle 64b, icons indicating people and vehicles can be selected, respectively. The control unit 33 can estimate a second distance, which is a horizontal distance between the virtual side walls 91a and 91b obtained by mapping the side wall images 81a and 81b in the real space and the detection target in the real space. The second distance, each a line virtual line 95l 1 ~95l 5, 95r 1 ~95r 5 of the real space mapped onto the detection area 61 of the first image, determines the relationship between the position of the image of each detected object sell. The control unit 33 can change the position where the icon images 99a and 99b are displayed according to the second distance.
図29に示す第2映像の表示例では、実空間における仮想線95l1〜95l5、95r1〜95r5にそれぞれ対応して、第1距離識別線98l1〜98l5、98r1〜98r5が設けられる。第1距離識別線98l1〜98l5、は、側壁画像81aの左側に位置し、中央から左側に向けて98l1、98l2、98l3、98l4、98l5の順に付番される。98r1〜98r5は、側壁画像81bの右側に位置し、中央から右側に向けて98r1、98r2、98r3、98r4、98r5の順に付番される。第1距離識別線98l1〜98l5、98r1〜98r5は、アイコン画像99a、99bが表示される位置を示すものであって、第2映像中に表示されなくてもよい。 In the display example of the second image shown in FIG. 29, respectively to a virtual line 95l 1 ~95l 5, 95r 1 ~95r 5 corresponds in a real space, a first distance recognition line 98l 1 ~98l 5, 98r 1 ~98r 5 Is provided. The first distance identification lines 98l 1 to 98l 5 are located on the left side of the side wall image 81a and are numbered in the order of 98l 1 , 98l 2 , 98l 3 , 98l 4 , 98l 5 from the center to the left side. 98r 1 to 98r 5 are located on the right side of the side wall image 81b and are numbered in the order of 98r 1 , 98r 2 , 98r 3 , 98r 4 , 98r 5 from the center to the right side. The first distance identification lines 98l 1 to 98l 5 and 98r 1 to 98r 5 indicate the positions where the icon images 99a and 99b are displayed, and may not be displayed in the second video.
図28において、歩行者63は、移動体50の仮想側壁91bから水平方向右側の3番目の仮想線95r3上に位置するので、制御部33は、図29の第2映像において歩行者63のアイコン画像99bを、右側の3番目の第1距離識別線98r3上に配置してよい。図29に示すように、アイコン画像99bは、第2映像上で奥行き方向に延びる第1距離識別線98r3上に、奥行き方向および高さ方向の長さを有する面として、立体的に表示されてよい。立体視したとき、アイコン画像99bは、側壁画像81a、81bおよび第2認識壁画像89a、89bと平行な面として表示されてよい。アイコン画像99bは、第2認識壁画像89bと類似に、第2距離に応じて色、彩度、明度等の表示態様を異ならせてよい。例えば、アイコン画像99bは、黄色で表示しうる。 In FIG. 28, since the pedestrian 63 is located on the third virtual line 95r 3 on the right side in the horizontal direction from the virtual side wall 91b of the moving body 50, the control unit 33 is the pedestrian 63 in the second image of FIG. The icon image 99b may be placed on the third first distance identification line 98r 3 on the right side. As shown in FIG. 29, the icon image 99b is three-dimensionally displayed as a surface having lengths in the depth direction and the height direction on the first distance identification line 98r 3 extending in the depth direction on the second image. You can. When viewed stereoscopically, the icon image 99b may be displayed as a plane parallel to the side wall images 81a and 81b and the second recognition wall images 89a and 89b. Similar to the second recognition wall image 89b, the icon image 99b may have different display modes such as color, saturation, and brightness depending on the second distance. For example, the icon image 99b can be displayed in yellow.
図28において、車両64bは、移動体50の仮想側壁91aから水平方向左側の5番目の仮想線95l5よりも、仮想側壁91aから離れて位置する。この場合、制御部33は、図29の第2映像において車両64bのアイコン画像99aを、左側の第1距離識別線98l5上に配置してよい。または、制御部33は、第2映像を立体的にみたとき第2認識壁画像89aの壁部96aと同一面上に見えるように配置してよい。アイコン画像99aは、アイコン画像99bと類似に、第2距離に応じて表示態様を異ならせることができる。例えば、アイコン画像99aは青色で表示しうる。 In FIG. 28, the vehicle 64b is located farther from the virtual side wall 91a than the fifth virtual line 95l 5 on the left side in the horizontal direction from the virtual side wall 91a of the moving body 50. In this case, the control unit 33 may arrange the icon image 99a of the vehicle 64b in the second image of FIG. 29 on the first distance identification line 98l 5 on the left side. Alternatively, the control unit 33 may be arranged so that when the second image is viewed three-dimensionally, it can be seen on the same surface as the wall portion 96a of the second recognition wall image 89a. Similar to the icon image 99b, the icon image 99a can have a different display mode depending on the second distance. For example, the icon image 99a can be displayed in blue.
移動体50と検出対象との双方または何れか一方が移動することにより、移動体50からみた検出対象の相対的位置が変化したとき、第2認識壁画像89a、89bおよびアイコン画像99a、99bの位置および表示態様は変化する。さらに移動体50が表示領域62に入ると、検出対象は第7例で説明した態様により表示されてよい。図28に示す実空間において、車両64bが、領域F2から領域F1に移動する場合の表示の変化の一例について説明する。 When the relative position of the detection target as seen from the moving body 50 changes due to the movement of both or one of the moving body 50 and the detection target, the second recognition wall images 89a and 89b and the icon images 99a and 99b The position and display mode change. Further, when the moving body 50 enters the display area 62, the detection target may be displayed according to the embodiment described in the seventh example. An example of a change in the display when the vehicle 64b moves from the area F 2 to the area F 1 in the real space shown in FIG. 28 will be described.
はじめに、図28の実空間において、車両64bは仮想線95l5の左側に位置するものとする。このとき、図29の第2映像には、前述のように、第2認識壁画像89aが表示されるとともに、第2認識壁画像89aの床部98aの最も左側にアイコン画像99aが表示される。このとき、第2認識壁画像89aおよびアイコン画像99aは、青色で表示することができる。 First, in the real space of FIG. 28, it is assumed that the vehicle 64b is located on the left side of the virtual line 95l 5 . At this time, as described above, the second recognition wall image 89a is displayed in the second image of FIG. 29, and the icon image 99a is displayed on the leftmost side of the floor portion 98a of the second recognition wall image 89a. .. At this time, the second recognition wall image 89a and the icon image 99a can be displayed in blue.
図28の実空間において、車両64bが、仮想ガイド壁90に向けて近づくに従い、図29の第2映像に表示される第2認識壁画像89aは、表示の態様を変化させる。たとえば、第2認識壁画像89aの色は、青色から黄色、赤色へと順次変化する。同時に、アイコン画像99aは、表示位置を第1距離識別線98l5上から第1距離識別線98l1上に向けて移動する。アイコン画像99aの色は、青色から黄色、赤色へと順次変化してよい。これによって、対象者60は、第2映像に表示されない外部において車両64bが近付きつつあることを認識しうる。また、立体的な表示方法を使用することによって、対象者60は車両64bの接近を空間的に把握することができ、且つ、情報の見落としの虞を低減することが可能になる。 In the real space of FIG. 28, as the vehicle 64b approaches the virtual guide wall 90, the second recognition wall image 89a displayed in the second image of FIG. 29 changes the display mode. For example, the color of the second recognition wall image 89a changes sequentially from blue to yellow to red. At the same time, the icon image 99a moves the display position from the first distance identification line 98l 5 onto the first distance identification line 98l 1 . The color of the icon image 99a may change sequentially from blue to yellow to red. As a result, the subject 60 can recognize that the vehicle 64b is approaching outside, which is not displayed in the second image. Further, by using the three-dimensional display method, the subject 60 can spatially grasp the approach of the vehicle 64b and can reduce the risk of information being overlooked.
車両64bが移動体50に向けて近づいているときに、アイコン画像99aは、画面の中央に向かって移動しうる。対象者60は、アイコン画像99aの移動を介して車両64bの移動方向を認識しうる。 The icon image 99a can move toward the center of the screen when the vehicle 64b is approaching the moving body 50. The subject 60 can recognize the moving direction of the vehicle 64b through the movement of the icon image 99a.
さらに、車両64bが、図28の実空間において、領域F2からF1に入ると、車両64bは第1映像の表示対象領域に入るので、第2映像に含まれ表示装置40に表示される。同時に、第2認識壁画像89aの表示は無くなり、図26に示したように、車両64bのガイド壁画像80側に第1認識壁画像83aが表示される。第2認識壁画像89aが消える際に、制御部33は、対象者60の注意を促すため、第2認識壁画像89aを複数回点滅させてよい。制御部33は、車両64bの移動体50側に第1認識壁画像83aを表示する。さらに、制御部33は、車両64bの第2予測進路を推定し、第2予測進路と側壁画像81a、81bとが交わる位置として第1の位置を推定する。制御部33は、第1の位置を含む側壁画像81aの一部81a1の表示を変化させてよい。制御部33は、例えば側壁画像81aの一部81a1の色を、車両64bが接近するにつれて、青色、黄色および赤色に順次変化させることができる。これによって、対象者60は、車両64bが近付いていること、および、車両64bの第2予測進路が移動体50の第1予測進路65と重なっていることを、容易に把握することが可能になる。 Further, when the vehicle 64b enters the area F 2 to F 1 in the real space of FIG. 28, the vehicle 64b enters the display target area of the first image, and is therefore included in the second image and displayed on the display device 40. .. At the same time, the display of the second recognition wall image 89a disappears, and as shown in FIG. 26, the first recognition wall image 83a is displayed on the guide wall image 80 side of the vehicle 64b. When the second recognition wall image 89a disappears, the control unit 33 may blink the second recognition wall image 89a a plurality of times in order to call the attention of the target person 60. The control unit 33 displays the first recognition wall image 83a on the moving body 50 side of the vehicle 64b. Further, the control unit 33 estimates the second predicted course of the vehicle 64b, and estimates the first position as the position where the second predicted course and the side wall images 81a and 81b intersect. The control unit 33 may change the display of a part 81a 1 of the side wall image 81a including the first position. For example, the control unit 33 can sequentially change the color of a part 81a 1 of the side wall image 81a to blue, yellow, and red as the vehicle 64b approaches. As a result, the subject 60 can easily grasp that the vehicle 64b is approaching and that the second predicted course of the vehicle 64b overlaps with the first predicted course 65 of the moving body 50. Become.
以上述べたように、本開示の複数の実施形態の1つによれば、ガイド壁画像、第1認識壁画像および第2認識壁画像、アイコン画像等の立体的な表示によって、検出対象の位置の空間的把握が容易になる。さらに、本開示の複数の実施形態の1つによれば、それぞれの壁面の表示態様を変化させることによって注意および警告等の情報を理解しやすく提供することができる。また、立体的な表示を用いることによって、情報の見落としの虞を低減することが可能になる。 As described above, according to one of the plurality of embodiments of the present disclosure, the position of the detection target is displayed by three-dimensional display of the guide wall image, the first recognition wall image, the second recognition wall image, the icon image, and the like. It becomes easy to grasp the space of. Further, according to one of the plurality of embodiments of the present disclosure, it is possible to provide information such as cautions and warnings in an easy-to-understand manner by changing the display mode of each wall surface. Further, by using the three-dimensional display, it is possible to reduce the risk of information being overlooked.
(変形例)
図30は、図27の第1映像に対応する第2映像の他の例を示す。図30には、左下部に「ノーマルビュー(Normal View)表示」と「ワイドビュー(Wide View)表示」との間の選択状況を示すビュー表示領域101、102が付加されている。「ノーマルビュー表示」と「ワイドビュー表示」については後述する。図30は、ガイド壁画像80、第2認識壁画像89a、89bおよびアイコン画像99a、99bの表示態様が、図29とは部分的に異なってよい。例えば、図30では、図22と同様の表示態様のガイド壁画像80が表示される。
(Modification example)
FIG. 30 shows another example of the second image corresponding to the first image of FIG. 27. In FIG. 30, view display areas 101 and 102 showing the selection status between the "normal view display" and the "wide view display" are added to the lower left. "Normal view display" and "wide view display" will be described later. In FIG. 30, the display modes of the guide wall image 80, the second recognition wall images 89a and 89b, and the icon images 99a and 99b may be partially different from those in FIG. 29. For example, in FIG. 30, a guide wall image 80 having a display mode similar to that in FIG. 22 is displayed.
第2認識壁画像89a、89bの壁部96a、96bは、高さ方向に延びる1本以上の補助線96a1、96b1を有することができる。図30において壁部96a、96bは複数の補助線96a1、96b1を有しているが、そのうち1つについてのみ符号を付している。第2認識壁画像89a、89bの壁部96a、96bは、検出対象までの距離を色で表し、奥行き方向の手前から奥側に向けて透過率が異なってよい。壁部96a、96bは、高さ方向に透過率が徐々に高くなり、または、濃さが徐々に薄くなり、高さ方向の所定の位置で消えてよい。 The wall portions 96a, 96b of the second recognition wall images 89a, 89b can have one or more auxiliary lines 96a 1 , 96b 1 extending in the height direction. In FIG. 30, the wall portions 96a and 96b have a plurality of auxiliary lines 96a 1 and 96b 1 , but only one of them is coded. The wall portions 96a and 96b of the second recognition wall images 89a and 89b represent the distance to the detection target in color, and the transmittance may be different from the front side to the back side in the depth direction. The wall portions 96a and 96b may gradually increase in transmittance in the height direction or gradually decrease in density and disappear at a predetermined position in the height direction.
制御部33は、壁部96a、96bの透過率または色の濃さ、および、補助線96a1、96a2の変化により、所定の距離範囲内に対象物が存在すること、検出対象物までの距離、または検出対象物までの距離の変化を表示することができる。壁部96a、96bの透過率または色の濃さの変化は、グラデーションの変化ということもできる。例えば、制御部33は、壁部96a、96bの補助線96a1、96a2の移動によって検出対象が所定の距離内に存在していることを表示しうる。制御部33は、壁部96a、96bの手前側の色を最も濃くし、奥行き方向のグラデーションの変化によって検出対象が所定の距離内に存在していることを表示しうる。壁部96a、96bの補助線96a1、96b1および透過率の変化は必須のものではない。制御部33は、壁部96a、96bに補助線96a1、96b1を表示させないことができる。制御部33は、壁部96a、96bに透過率の変化(グラデーション)を持たさないことができる。 The control unit 33 determines that the object exists within a predetermined distance range due to the transmittance or color density of the wall portions 96a and 96b and the change of the auxiliary lines 96a 1 and 96a 2 , and the detection target. The change in distance or distance to the object to be detected can be displayed. The change in the transmittance or the color depth of the wall portions 96a and 96b can also be said to be a change in gradation. For example, the control unit 33 can display that the detection target exists within a predetermined distance by moving the auxiliary lines 96a 1 and 96a 2 of the wall portions 96a and 96b. The control unit 33 darkens the color on the front side of the wall portions 96a and 96b to the darkest, and can display that the detection target exists within a predetermined distance by changing the gradation in the depth direction. Changes in the auxiliary lines 96a 1 , 96b 1 and the transmittance of the wall portions 96a and 96b are not essential. The control unit 33 can prevent the wall portions 96a and 96b from displaying the auxiliary lines 96a 1 and 96b 1 . The control unit 33 may not have a change in transmittance (gradation) in the wall portions 96a and 96b.
第2認識壁画像89a、89bの床部97a、97bには、第1距離識別線98l、98rに加え、それぞれ1本以上の第2距離識別線100l、100rが設けられる。図30において、複数の第2距離識別線100l、100rが存在するが、それぞれ1つのみに符号を付して示している。第1距離識別線98l、98rおよび第2距離識別線100l、100rは、ディスプレイ上に表示されなくてもよい。第1距離識別線98l、98rは、移動体50から検出対象までの水平方向の距離に対応するのに対して、第2距離識別線100l、100rは、奥行き方向の距離に対応することができる。複数の第2距離識別線100l、100rのそれぞれは、側壁画像81a、81b上の高さ方向に延びるそれぞれの補助線84cを実空間に写像した場合の奥行き方向の距離に対応してよい。 In addition to the first distance identification lines 98l and 98r, one or more second distance identification lines 100l and 100r are provided on the floor portions 97a and 97b of the second recognition wall images 89a and 89b, respectively. In FIG. 30, there are a plurality of second distance identification lines 100l and 100r, but only one of each is indicated by a reference numeral. The first distance identification lines 98l, 98r and the second distance identification lines 100l, 100r do not have to be displayed on the display. The first distance identification lines 98l and 98r correspond to the horizontal distance from the moving body 50 to the detection target, whereas the second distance identification lines 100l and 100r can correspond to the distance in the depth direction. .. Each of the plurality of second distance identification lines 100l and 100r may correspond to the distance in the depth direction when the auxiliary lines 84c extending in the height direction on the side wall images 81a and 81b are mapped in the real space.
対象者60は、床部97a、97b上のアイコン画像99a、99bの水平および奥行き方向の位置に応じて、検出対象までの水平方向および奥行き方向の位置を把握することが可能になる。アイコン画像99a、99bとしては、検出対象の種別に応じた立体的な画像が用いられる。床部97a、97bは、側壁画像81a、81bの最も手前側の端部よりも手前側であって、側壁画像81a、81bを延長した線の内側に配置されてよい。第2認識壁画像89a、89bとガイド壁画像80との位置関係は、これに限られず適宜変更することができる。 The subject 60 can grasp the positions in the horizontal and depth directions to the detection target according to the positions of the icon images 99a and 99b on the floors 97a and 97b in the horizontal and depth directions. As the icon images 99a and 99b, three-dimensional images corresponding to the type of detection target are used. The floor portions 97a and 97b may be arranged on the front side of the side wall images 81a and 81b from the foremost end portion and inside the line extending the side wall images 81a and 81b. The positional relationship between the second recognition wall images 89a and 89b and the guide wall image 80 is not limited to this, and can be changed as appropriate.
図30において、表示装置40には「ノーマルビュー(Normal View)表示」と「ワイドビュー(Wide View)表示」との選択状況を示すビュー表示領域101、102が、右下部分に示されている。「ノーマルビュー表示」と「ワイドビュー表示」とは、表示する映像の画角が異なっている。複数の実施形態の1つにおいて、「ノーマルビュー表示」は図4に示した第2映像の表示領域62の画角に対応する。複数の実施形態の1つにおいて、「ワイドビュー表示」は、図4に示した第1映像の検出領域61の画角に対応する。「ワイドビュー表示」は第1映像の検出領域61全体の映像である必要は無く、検出領域61から「第2映像」を包含する画角の映像を切り出したものとしてもよい。図30およびこれより前に示した第2映像は、何れもノーマルビュー表示である。表示中の映像が、「ノーマルビュー表示」と「ワイドビュー表示」との何れであるかは、選択状況を示すビュー表示領域101、102の表示を変えることによって示される。例えば、選択状況を示す領域の表示を変えることには、ビュー表示領域101、102の色を変えること、濃さを変えること、文字の色を変えること等を含む。 In FIG. 30, the display device 40 shows view display areas 101 and 102 showing the selection status of the “normal view display” and the “wide view display” in the lower right portion. .. The angle of view of the displayed image is different between the "normal view display" and the "wide view display". In one of the plurality of embodiments, the "normal view display" corresponds to the angle of view of the display area 62 of the second image shown in FIG. In one of the plurality of embodiments, the "wide view display" corresponds to the angle of view of the detection area 61 of the first image shown in FIG. The "wide view display" does not have to be the entire image of the detection area 61 of the first image, and an image having an angle of view including the "second image" may be cut out from the detection area 61. FIG. 30 and the second video shown before this are both normal view displays. Whether the displayed image is "normal view display" or "wide view display" is indicated by changing the display of the view display areas 101 and 102 indicating the selection status. For example, changing the display of the area indicating the selection status includes changing the colors of the view display areas 101 and 102, changing the darkness, changing the color of characters, and the like.
制御部33は、第1映像の画像を処理した結果に応じて、または、表示装置40等を介して対象者60からの入力を受けて、「ノーマルビュー表示」と「ワイドビュー表示」とを切り替えることができる。例えば、制御部33は、「ノーマルビュー表示」の状態で、検出対象が接近していることを検出したとき、表示する映像を「ワイドビュー表示」に切り替えるようにしてよい。制御部33は、「ワイドビュー表示」の状態で、所定の範囲内に検出対象がないことを検知したとき、表示する映像を「ノーマルビュー表示」に切り替えるようにしてよい。制御部33は、表示装置40がタッチパネル式のスクリーンを備える場合、表示装置40から対象者60が画面上のビュー表示領域101または102の部分をタッチして選択したことを示す信号を受けて、表示を切り替えてよい。 The control unit 33 sets the "normal view display" and the "wide view display" according to the result of processing the image of the first video or by receiving the input from the target person 60 via the display device 40 or the like. You can switch. For example, the control unit 33 may switch the displayed image to the "wide view display" when it detects that the detection target is approaching in the "normal view display" state. When the control unit 33 detects that there is no detection target within a predetermined range in the "wide view display" state, the control unit 33 may switch the displayed image to the "normal view display". When the display device 40 includes a touch panel type screen, the control unit 33 receives a signal from the display device 40 indicating that the target person 60 touches and selects a portion of the view display area 101 or 102 on the screen. You may switch the display.
図31は、図30に示される「ノーマルビュー表示」から、「ワイドビュー表示」に切り替えた映像の一例を示す図である。図31の「ワイドビュー表示」の映像の画角は、図30の「ノーマルビュー表示」の映像の画角よりも水平方向に広い。図31において、図30で表示された「ノーマルビュー表示」の表示範囲外に位置する歩行者63と車両64bとが表示される。また、図31に表示される映像では、図30の「ノーマルビュー表示」に比べ水平方向の画角が広がったので、ガイド壁画像80の左右の側壁画像81aおよび81bの間の間隔が相対的に狭まって表示されている。 FIG. 31 is a diagram showing an example of an image in which the “normal view display” shown in FIG. 30 is switched to the “wide view display”. The angle of view of the image of the "wide view display" of FIG. 31 is wider in the horizontal direction than the angle of view of the image of the "normal view display" of FIG. In FIG. 31, the pedestrian 63 and the vehicle 64b located outside the display range of the “normal view display” displayed in FIG. 30 are displayed. Further, in the image displayed in FIG. 31, the angle of view in the horizontal direction is wider than that in the “normal view display” of FIG. 30, so that the distance between the left and right side wall images 81a and 81b of the guide wall image 80 is relative. It is narrowed down to.
図31では、歩行者63と車両64bとが、表示範囲に入ったことにより、第2認識壁画像89a、89bは消えている。制御部33は、第1映像の検出領域61内の検出対象の車両64bおよび歩行者63を認識し、車両64bおよび歩行者63の移動体50側に、それぞれ仮想的な平面である第1認識壁画像83aおよび83bを表示することができる。制御部33は、検出対象の車両64bおよび歩行者63の奥行き方向における位置を推定する。制御部33は、推定した位置に基づいて、車両64bおよび歩行者63のそれぞれに対向する側壁画像81aおよび81bの表示を変更してよい。図31では、歩行者63および車両64bのそれぞれに対応して、側壁画像81bの一部81b1と、側壁画像81aの一部81a1との表示が変更される。表示の変更には、種々の態様を含む。例えば、表示の変更には色の変更、周囲を囲む補助線の太さの変更、線種の変更、点滅の開始および停止、ならびに点滅周期の変更等を含む。第1認識壁画像83a、83b、および、側壁画像81a、81bの一部81a1、81b1は、図26の例と類似の表示方法および表示態様を採用しうる。 In FIG. 31, the second recognition wall images 89a and 89b have disappeared because the pedestrian 63 and the vehicle 64b have entered the display range. The control unit 33 recognizes the vehicle 64b and the pedestrian 63 to be detected in the detection area 61 of the first image, and the first recognition which is a virtual plane on the moving body 50 side of the vehicle 64b and the pedestrian 63, respectively. Wall images 83a and 83b can be displayed. The control unit 33 estimates the positions of the vehicle 64b and the pedestrian 63 to be detected in the depth direction. The control unit 33 may change the display of the side wall images 81a and 81b facing the vehicle 64b and the pedestrian 63, respectively, based on the estimated position. In FIG. 31, the display of a part 81b 1 of the side wall image 81b and a part 81a 1 of the side wall image 81a is changed corresponding to each of the pedestrian 63 and the vehicle 64b. The modification of the display includes various aspects. For example, changing the display includes changing the color, changing the thickness of the auxiliary line surrounding the periphery, changing the line type, starting and stopping blinking, and changing the blinking cycle. The first recognition wall images 83a, 83b and a part of the side wall images 81a, 81b 81a 1 , 81b 1 may adopt a display method and display mode similar to the example of FIG.
以上図30および図31で示したように、複数の実施形態の一つによれば、撮像装置20により撮像した映像を、表示装置40に画角の異なる「ノーマルビュー表示」と「ワイドビュー表示」との間で切り替えて表示することが可能である。「ノーマルビュー表示」においては、対象者60は、表示される映像の範囲外に位置する検出対象の存在およびその位置を、第2認識壁画像89a、89bおよびアイコン画像99a、99bにより、容易に把握することができる。表示装置40が、「ノーマルビュー表示」から「ワイドビュー表示」へ、自動的にまたは手動で切替ることにより、対象者60は、「ノーマルビュー表示」の映像の範囲外で検出された検出対象を、映像で確認することができる。「ワイドビュー表示」においては、ガイド壁画像80および第1認識壁画像83bの表示により、検出対象との位置関係を立体的に把握することが可能になる。このように、複数の実施形態の1つにおける表示システム10は、対象者に対して、周囲の状況把握と危険性の察知を容易にさせることができる。 As shown in FIGS. 30 and 31, according to one of the plurality of embodiments, the images captured by the imaging device 20 are displayed on the display device 40 in a "normal view display" and a "wide view display" having different angles of view. It is possible to switch between and display. In the "normal view display", the subject 60 can easily determine the existence and the position of the detection target located outside the range of the displayed image by the second recognition wall images 89a and 89b and the icon images 99a and 99b. Can be grasped. When the display device 40 automatically or manually switches from the "normal view display" to the "wide view display", the subject 60 is the detection target detected outside the range of the "normal view display" image. Can be confirmed on the video. In the "wide view display", the guide wall image 80 and the first recognition wall image 83b can be displayed to three-dimensionally grasp the positional relationship with the detection target. As described above, the display system 10 in one of the plurality of embodiments can easily make the target person grasp the surrounding situation and detect the danger.
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を1つに組み合わせたり、あるいは分割したりすることが可能である。 Although the present invention has been described based on the drawings and embodiments, it should be noted that those skilled in the art can easily make various modifications and modifications based on the present disclosure. Therefore, it should be noted that these modifications and modifications are within the scope of the present invention. For example, the functions included in each means, each step, etc. can be rearranged so as not to be logically inconsistent, and a plurality of means, steps, etc. can be combined or divided into one. ..
例えば、上述した実施形態に係る表示システム10の各構成要素および機能は再配置可能であってよい。例えば、画像処理装置30の構成および機能の一部または全部を、撮像装置20および表示装置40の少なくとも一方に包含させてもよい。 For example, each component and function of the display system 10 according to the above-described embodiment may be rearrangeable. For example, a part or all of the configuration and functions of the image processing device 30 may be included in at least one of the image pickup device 20 and the display device 40.
上述の実施形態に係る表示システム10の構成要素の一部は、移動体50の外部に位置してよい。例えば、画像処理装置30等は、携帯電話または外部サーバ等の通信機器として実現され、表示システム10の他の構成要素と有線または無線によって接続されてもよい。 Some of the components of the display system 10 according to the above-described embodiment may be located outside the moving body 50. For example, the image processing device 30 and the like may be realized as a communication device such as a mobile phone or an external server, and may be connected to other components of the display system 10 by wire or wirelessly.
10 表示システム
20 撮像装置
21 撮像光学系
22 撮像素子
23 通信部
24 制御部
30 画像処理装置
31 通信部
32 記憶部
33 制御部
40 表示装置
50 移動体
51 ネットワーク
60 対象者
61 検出領域
62 表示領域
63、63a、63b、63c、63d 歩行者
64、64a、64b 車両
65 第1予測進路
66 ガイド線
67 アイコン画像
68 第3マーカ
69 輪郭線
70 領域
71 第1マーカ
72 第2マーカ
73 第5マーカ
73a アイコン画像
73b 帯画像
73c 右端領域
74 障害物画像
75a、75b、75c 第6マーカ
80 ガイド壁画像
81a、81b 側壁画像
82a、82b、82c 距離壁画像
83、83a、83b 第1認識壁画像
84a、84b、84c 補助線
89a、89b 第2認識壁画像
90 仮想ガイド壁
91a、91b 仮想側壁
92a、92b、92c 仮想距離壁
95l1〜95l5、95r1〜95r5 仮想線
96a、96b 壁部
97a、97b 床部
98l1〜98l5、98r1〜98r5 第1距離識別線
99a、99b アイコン画像
100l、100r 第2距離識別線
101、102 ビュー表示領域
10 Display system 20 Imaging device 21 Imaging optical system 22 Imaging element 23 Communication unit 24 Control unit 30 Image processing device 31 Communication unit 32 Storage unit 33 Control unit 40 Display device 50 Mobile 51 Network 60 Target person 61 Detection area 62 Display area 63 , 63a, 63b, 63c, 63d Pedestrians 64, 64a, 64b Vehicles 65 First predicted course 66 Guide line 67 Icon image 68 Third marker 69 Contour line 70 Area 71 First marker 72 Second marker 73 Fifth marker 73a Icon Image 73b Band image 73c Right end region 74 Obstacle image 75a, 75b, 75c 6th marker 80 Guide wall image 81a, 81b Side wall image 82a, 82b, 82c Distance wall image 83, 83a, 83b First recognition wall image 84a, 84b, 84c Auxiliary line 89a, 89b Second recognition wall image 90 Virtual guide wall 91a, 91b Virtual side wall 92a, 92b, 92c Virtual distance wall 95l 1 to 95l 5 , 95r 1 to 95r 5 Virtual line 96a, 96b Wall 97a, 97b Floor Part 98l 1 to 98l 5 , 98r 1 to 98r 5 First distance identification line 99a, 99b Icon image 100l, 100r Second distance identification line 101, 102 View display area
Claims (15)
前記表示手段に、前記車両の右後方又は左後方に存在する障害物の位置に応じて、前記俯瞰画像の右下方又は左下方に第1画像を表示させ、且つ前記映像の右端又は左端であって前記ガイド画像の外側に第2画像を表示させる制御手段、
を有する表示制御装置。 A bird's-eye view image of the vehicle from above, an image of the rear of the vehicle captured by the imaging means, and a guide image extending rearward at intervals in the vehicle width direction of the vehicle are displayed on one screen of the display means. Display at the same time
The display means displays the first image on the lower right or lower left of the bird's-eye view image according to the position of an obstacle existing on the right rear or the left rear of the vehicle, and is the right end or the left end of the image. Control means for displaying the second image on the outside of the guide image,
Display control device having.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020151631A JP6974564B2 (en) | 2016-12-09 | 2020-09-09 | Display control device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016239449A JP6762863B2 (en) | 2016-12-09 | 2016-12-09 | Imaging equipment, image processing equipment, display systems, and vehicles |
JP2020151631A JP6974564B2 (en) | 2016-12-09 | 2020-09-09 | Display control device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016239449A Division JP6762863B2 (en) | 2016-12-09 | 2016-12-09 | Imaging equipment, image processing equipment, display systems, and vehicles |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021005881A true JP2021005881A (en) | 2021-01-14 |
JP6974564B2 JP6974564B2 (en) | 2021-12-01 |
Family
ID=74098311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020151631A Active JP6974564B2 (en) | 2016-12-09 | 2020-09-09 | Display control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6974564B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011151479A (en) * | 2010-01-19 | 2011-08-04 | Aisin Seiki Co Ltd | Vehicle surrounding monitoring device |
JP2011251681A (en) * | 2011-08-01 | 2011-12-15 | Nissan Motor Co Ltd | Image display device and image display method |
JP2013091331A (en) * | 2010-02-26 | 2013-05-16 | Panasonic Corp | Drive assistance device |
-
2020
- 2020-09-09 JP JP2020151631A patent/JP6974564B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011151479A (en) * | 2010-01-19 | 2011-08-04 | Aisin Seiki Co Ltd | Vehicle surrounding monitoring device |
JP2013091331A (en) * | 2010-02-26 | 2013-05-16 | Panasonic Corp | Drive assistance device |
JP2011251681A (en) * | 2011-08-01 | 2011-12-15 | Nissan Motor Co Ltd | Image display device and image display method |
Also Published As
Publication number | Publication date |
---|---|
JP6974564B2 (en) | 2021-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11961162B2 (en) | Imaging apparatus, image processing apparatus, display system, and vehicle | |
KR102126824B1 (en) | Parking support information display method and parking assist device | |
JP6762863B2 (en) | Imaging equipment, image processing equipment, display systems, and vehicles | |
CA3069114C (en) | Parking assistance method and parking assistance device | |
JP2016043778A (en) | Image display control device and image display system | |
JP6781035B2 (en) | Imaging equipment, image processing equipment, display systems, and vehicles | |
EP3544293B1 (en) | Image processing device, imaging device, and display system | |
JP2021007255A (en) | Imaging device, image processing apparatus, display system, and vehicle | |
KR102023863B1 (en) | Display method around moving object and display device around moving object | |
US11938863B2 (en) | Peripheral image generation device and display control method | |
JP2018085584A (en) | Image processing apparatus, imaging apparatus, and display system | |
JP6974564B2 (en) | Display control device | |
JP7007438B2 (en) | Imaging equipment, image processing equipment, display equipment, display systems, and vehicles | |
JP2021028206A (en) | Display control device, display control method, and display control program | |
JP7296490B2 (en) | Display control device and vehicle | |
JP6759072B2 (en) | Image processing equipment, imaging equipment, and display system | |
JP6712942B2 (en) | Image processing device, imaging device, and display system | |
JP6720063B2 (en) | Image processing device, imaging device, and display system | |
US11830409B2 (en) | Peripheral image display device | |
JP2020128172A (en) | Vehicular display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6974564 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |