JP2017022660A - Display device, display system, and program - Google Patents

Display device, display system, and program Download PDF

Info

Publication number
JP2017022660A
JP2017022660A JP2015140803A JP2015140803A JP2017022660A JP 2017022660 A JP2017022660 A JP 2017022660A JP 2015140803 A JP2015140803 A JP 2015140803A JP 2015140803 A JP2015140803 A JP 2015140803A JP 2017022660 A JP2017022660 A JP 2017022660A
Authority
JP
Japan
Prior art keywords
image
vehicle
unit
display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015140803A
Other languages
Japanese (ja)
Inventor
拓郎 上野
Takuro Ueno
拓郎 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2015140803A priority Critical patent/JP2017022660A/en
Publication of JP2017022660A publication Critical patent/JP2017022660A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a display device, display system, and program capable of reducing discomfort to be given to a user due to the delay of image displaying even when a camera and a display device are wirelessly connected.SOLUTION: A display device 3 is the display device to be mounted on a vehicle 1 and includes; a reception section 33 for receiving an image in the circumference of the vehicle 1 by wireless communication; an acquisition section 33 for acquiring travel information related to the traveling of the vehicle 1; an image segmentation section 31 for segmenting a part of the image on the basis of the travel information; an enlargement section 31 for enlarging the image segmented by the image segmentation section 31; and a display section 34 for displaying the image enlarged by the enlargement section 31.SELECTED DRAWING: Figure 2

Description

本発明は、車両に搭載される表示装置、表示システム及びプログラムに関する。   The present invention relates to a display device, a display system, and a program mounted on a vehicle.

車両等の移動体にカメラを設け、該カメラが撮影した画像を表示装置に表示する技術がある。このカメラと表示装置とを無線により通信接続すると、カメラが撮影してから表示装置が画像を表示するまでの間に、画像表示の遅延が生じやすい。そのため、カメラと表示装置との通信接続は、有線によりなされることが多い。遅延が生じる主たる要因としては、画像の品質確保のために表示装置において行われるバッファリング処理が挙げられる。   There is a technique in which a moving body such as a vehicle is provided with a camera, and an image captured by the camera is displayed on a display device. When the camera and the display device are connected by wireless communication, an image display delay is likely to occur between the time when the camera takes a picture and the time when the display device displays an image. Therefore, the communication connection between the camera and the display device is often made by wire. The main factor causing the delay is a buffering process performed in the display device in order to ensure image quality.

一方で、カメラと表示装置とを無線により接続することとすれば、通信ケーブルを介在させる必要がないため、利便性が向上する。特許文献1では、カメラを含む移動体と、表示装置を含む遠隔操作装置とが無線により接続された遠隔操作システムが開示されている。該遠隔操作システムは、所定時間後の移動体と障害物との距離を予測し、予測結果から生成した所定時間後の障害物の予測画像を、カメラが撮影した画像に重畳して表示装置に表示する。これにより、画像表示の遅延も考慮して障害物の予測画像が表示され、移動体と障害物とが衝突する危険性が軽減される。   On the other hand, if the camera and the display device are connected wirelessly, there is no need to intervene a communication cable, and convenience is improved. Patent Document 1 discloses a remote operation system in which a moving body including a camera and a remote operation device including a display device are connected by radio. The remote operation system predicts the distance between the moving object and the obstacle after a predetermined time, and superimposes the predicted image of the obstacle after the predetermined time generated from the prediction result on the image captured by the camera on the display device. indicate. Thereby, the predicted image of the obstacle is displayed in consideration of the delay of the image display, and the risk of collision between the moving body and the obstacle is reduced.

国際公開第2014/141479号International Publication No. 2014/141479

しかし、特許文献1に係る発明では、障害物の予測画像を重畳して表示装置に表示できるが、カメラが撮影した画像自体は遅延したまま表示装置に表示される。よって、移動体と障害物とが衝突する危険性が軽減されても、画像表示の遅延によりユーザに与える違和感は軽減されていない。   However, in the invention according to Patent Document 1, the predicted image of the obstacle can be superimposed and displayed on the display device, but the image itself captured by the camera is displayed on the display device with a delay. Therefore, even though the risk of collision between the moving body and the obstacle is reduced, the uncomfortable feeling given to the user due to the delay of the image display is not reduced.

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、カメラと表示装置とが無線で接続されている場合であっても、画像表示の遅延によりユーザに与える違和感を軽減することができる表示装置、表示システム及びプログラムを提供することにある。   The present invention has been made in view of such circumstances, and an object of the present invention is to provide a user with a delay in image display even when the camera and the display device are connected wirelessly. It is an object of the present invention to provide a display device, a display system, and a program that can reduce a sense of discomfort.

本発明に係る表示装置は、車両に搭載される表示装置であって、該車両の周囲の画像を無線通信により受信する受信部と、前記車両の走行に関する走行情報を取得する取得部と、該走行情報に基づいて前記画像の一部を切り出す画像切り出し部と、該画像切り出し部が切り出した画像を拡大する拡大部と、該拡大部が拡大した画像を表示する表示部とを備えることを特徴とする。   A display device according to the present invention is a display device mounted on a vehicle, and includes a reception unit that receives an image around the vehicle by wireless communication, an acquisition unit that acquires travel information related to travel of the vehicle, An image cutout unit that cuts out a part of the image based on traveling information, an enlargement unit that enlarges an image cut out by the image cutout unit, and a display unit that displays an image enlarged by the enlargement unit And

本発明に係る表示装置は、前記画像を一時的に記憶する記憶部を備え、前記画像切り出し部は、現時点から所定時間前の時点の画像から、前記走行情報に基づいて該画像の一部を切り出すことを特徴とする。   The display device according to the present invention includes a storage unit that temporarily stores the image, and the image cutout unit extracts a part of the image based on the travel information from an image at a predetermined time before the current time. It is characterized by cutting out.

本発明に係る表示装置は、前記記憶部は、前記走行情報と、前記画像から切り出す領域とを対応付けたテーブルを有し、前記画像切り出し部は、前記走行情報に基づいて前記テーブルを参照することにより、前記画像の一部を切り出すことを特徴とする。   In the display device according to the present invention, the storage unit includes a table in which the travel information is associated with an area cut out from the image, and the image cutout unit refers to the table based on the travel information. Thus, a part of the image is cut out.

本発明に係る表示装置は、前記画像切り出し部は、前記走行情報に基づいて、前記車両が前記所定時間で移動した距離及び方向を算出することにより、現時点の推定車両位置を算出し、算出した前記推定車両位置に基づいて、前記画像の一部を切り出すことを特徴とする。   In the display device according to the present invention, the image cutout unit calculates and calculates a current estimated vehicle position by calculating a distance and a direction in which the vehicle has moved in the predetermined time based on the travel information. A part of the image is cut out based on the estimated vehicle position.

本発明に係る表示装置は、前記走行情報は、前記車両の速度又は操舵角度であることを特徴とする。   The display device according to the present invention is characterized in that the travel information is a speed or a steering angle of the vehicle.

本発明に係る表示装置は、前記画像切り出し部は、前記速度が0km/hである場合に、前記画像の一部を矩形状に切り出すことを特徴とする。   The display device according to the present invention is characterized in that, when the speed is 0 km / h, the image cutout unit cuts out a part of the image into a rectangular shape.

本発明に係る表示装置は、前記画像切り出し部は、前記速度が0km/hでない場合に、前記画像の一部を台形状に切り出すことを特徴とする。   The display device according to the present invention is characterized in that, when the speed is not 0 km / h, the image cutout unit cuts out a part of the image into a trapezoidal shape.

本発明に係る表示装置は、前記画像切り出し部は、前記速度に応じて、前記画像から切り出す位置を変更することを特徴とする。   The display device according to the present invention is characterized in that the image cutout unit changes a position to cut out from the image according to the speed.

本発明に係る表示装置は、前記画像切り出し部は、前記画像の一部を、前記操舵角度に応じて内角の角度を変えた台形状に切り出すことを特徴とする。   In the display device according to the present invention, the image cutout unit cuts out a part of the image into a trapezoidal shape in which an inner angle is changed according to the steering angle.

本発明に係る表示装置は、前記拡大部は、前記表示部が前記画像を表示する表示画面の形状に応じて、前記画像切り出し部が切り出した画像を伸長することで、該画像を拡大することを特徴とする。   In the display device according to the present invention, the enlargement unit enlarges the image by expanding the image cut out by the image cutout unit according to a shape of a display screen on which the display unit displays the image. It is characterized by.

本発明に係る表示装置は、前記表示部が表示する画像に、前記車両の車体の画像を重畳する画像重畳部を備えることを特徴とする。   The display device according to the present invention includes an image superimposing unit that superimposes an image of a vehicle body of the vehicle on an image displayed by the display unit.

本発明に係る表示システムは、上記のいずれかに記載の表示装置と、前記車両の周囲を撮影するカメラと、前記走行情報を検出する車載センサとを備えることを特徴とする。   A display system according to the present invention includes any one of the display devices described above, a camera that captures the surroundings of the vehicle, and an in-vehicle sensor that detects the travel information.

本発明に係るプログラムは、車両に搭載されるコンピュータに、無線通信により送信された該車両の周囲の画像を取得し、前記車両の走行に関する走行情報を取得し、該走行情報に基づいて前記画像の一部を切り出し、切り出した画像を拡大した拡大画像を出力する処理を実行させることを特徴とする。   The program according to the present invention acquires a surrounding image of a vehicle transmitted by wireless communication to a computer mounted on the vehicle, acquires travel information regarding the travel of the vehicle, and the image based on the travel information. A process of outputting a magnified image obtained by cutting out a part of the image and enlarging the clipped image is executed.

本発明によれば、カメラと表示装置とが無線で接続されている場合であっても、画像表示の遅延によりユーザに与える違和感を軽減することができる。   According to the present invention, even when the camera and the display device are connected wirelessly, it is possible to reduce a sense of discomfort given to the user due to a delay in image display.

表示システムの概要を示す模式図である。It is a schematic diagram which shows the outline | summary of a display system. 表示システムのハードウェア群を示すブロック図である。It is a block diagram which shows the hardware group of a display system. テーブルのレコードレイアウトを示す説明図である。It is explanatory drawing which shows the record layout of a table. 表示システムの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of a display system. 画像表示のサブルーチンの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the subroutine of an image display. 車両の速度が0km/hである場合の画像表示を説明するための説明図である。It is explanatory drawing for demonstrating the image display in case the speed of a vehicle is 0 km / h. 車両の速度が0km/hではなく、かつ、車両の操舵角度が0度である場合の画像表示を説明するための説明図である。It is explanatory drawing for demonstrating the image display when the speed of a vehicle is not 0 km / h, and the steering angle of a vehicle is 0 degree | times. 車両の速度が0km/hではない場合の拡大処理の一例を説明するための説明図である。It is explanatory drawing for demonstrating an example of the expansion process in case the speed of a vehicle is not 0 km / h. 車両の速度が0km/hではなく、かつ、車両の操舵角度が0度でない場合の画像表示を説明するための説明図である。It is explanatory drawing for demonstrating the image display when the speed of a vehicle is not 0 km / h, and the steering angle of a vehicle is not 0 degree | times. 表示システムにおける通信処理及び表示処理の関係性を説明するための説明図である。It is explanatory drawing for demonstrating the relationship between the communication process in a display system, and a display process. 実施の形態2に係る画像表示のサブルーチンの処理手順を示すフローチャートである。12 is a flowchart illustrating a processing procedure of an image display subroutine according to the second embodiment. 実施の形態2に係る車両と、カメラの撮影範囲との位置関係を示す概念図である。It is a conceptual diagram which shows the positional relationship of the vehicle which concerns on Embodiment 2, and the imaging range of a camera. 実施の形態3に係る画像の重畳表示を説明するための説明図である。FIG. 10 is an explanatory diagram for explaining superimposed display of an image according to a third embodiment. 実施の形態3に係る画像表示のサブルーチンの処理手順を示すフローチャートである。14 is a flowchart illustrating a processing procedure of an image display subroutine according to the third embodiment. 変形例1に係る車体の強調表示を説明するための説明図である。FIG. 10 is an explanatory diagram for explaining highlight display of a vehicle body according to Modification Example 1. 実施の形態4に係る広範囲撮影モードを説明するための説明図である。FIG. 10 is an explanatory diagram for explaining a wide range shooting mode according to a fourth embodiment. 実施の形態4に係る表示システムの処理手順を示すフローチャートである。10 is a flowchart illustrating a processing procedure of the display system according to the fourth embodiment. 実施の形態5に係る車両のバック運転の様子を示す概念図である。FIG. 9 is a conceptual diagram showing a state of back driving of a vehicle according to a fifth embodiment. 実施の形態5に係る車両の速度の時間変化を示す概念的なグラフである。10 is a conceptual graph showing a temporal change in the speed of a vehicle according to a fifth embodiment.

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図1は、表示システムの概要を示す模式図である。本実施の形態に係る表示システムは、車両後方の画像をモニタに表示する、いわゆるバックモニタに係る表示システムである。符号1は車両である。車両1には、カメラ2及び表示装置3が搭載されている。
Hereinafter, the present invention will be described in detail with reference to the drawings illustrating embodiments thereof.
(Embodiment 1)
FIG. 1 is a schematic diagram showing an overview of a display system. The display system according to the present embodiment is a display system according to a so-called back monitor that displays an image behind the vehicle on a monitor. Reference numeral 1 denotes a vehicle. The vehicle 1 is equipped with a camera 2 and a display device 3.

カメラ2は、例えばCCD(Charge Coupled Device)カメラである。カメラ2は車両1の後部に設置され、車両1の後方を撮影する。   The camera 2 is, for example, a CCD (Charge Coupled Device) camera. The camera 2 is installed at the rear of the vehicle 1 and photographs the rear of the vehicle 1.

表示装置3は、例えば液晶モニタ、スマートフォン、タブレット型情報端末等である。本実施の形態において表示装置3は液晶モニタであるものとし、以下では表示装置3をモニタ3と読み替える。モニタ3は車両1の運転席付近に設置され、本実施の形態に係る車両1後方の画像のほか、種々の画像を表示する。モニタ3は、車両1のダッシュボードに埋め込まれた埋め込み式のモニタであっても、車両1のダッシュボード付近に取り外し可能に取り付けられた取り付け式のモニタであってもよい。   The display device 3 is, for example, a liquid crystal monitor, a smartphone, a tablet information terminal, or the like. In the present embodiment, the display device 3 is assumed to be a liquid crystal monitor, and the display device 3 will be read as the monitor 3 below. Monitor 3 is installed near the driver's seat of vehicle 1 and displays various images in addition to the image behind vehicle 1 according to the present embodiment. The monitor 3 may be an embedded monitor embedded in the dashboard of the vehicle 1 or an attached monitor detachably attached in the vicinity of the dashboard of the vehicle 1.

カメラ2とモニタ3とは有線で接続されておらず、カメラ2とモニタ3との間の通信は無線で行われる。
なお、上記の説明ではカメラ2は車両1の後部に設置され、モニタ3は車両1の運転席付近に設置されているものとしたが、本実施の形態においてカメラ2及びモニタ3の設置位置はこれらの位置に限定されない。カメラ2は、車両1の後方を撮影可能な位置に設置されていればよい。モニタ3は、運転席に座るユーザから視認可能な位置に設置されていればよい。
The camera 2 and the monitor 3 are not connected by wire, and communication between the camera 2 and the monitor 3 is performed wirelessly.
In the above description, the camera 2 is installed at the rear of the vehicle 1 and the monitor 3 is installed in the vicinity of the driver's seat of the vehicle 1, but in this embodiment, the installation positions of the camera 2 and the monitor 3 are It is not limited to these positions. The camera 2 should just be installed in the position which can image | photograph the back of the vehicle 1. FIG. The monitor 3 should just be installed in the position which can be visually recognized from the user sitting in a driver's seat.

図2は、表示システムのハードウェア群を示すブロック図である。車両1は、制御部11、記憶部12、通信部13、速度取得部14、操舵角度取得部15を含む。カメラ2は、制御部21、記憶部22、通信部23、画像入力部24、画像処理部25を含む。モニタ3は、制御部31、記憶部32、通信部33、表示部34を含む。   FIG. 2 is a block diagram illustrating a hardware group of the display system. The vehicle 1 includes a control unit 11, a storage unit 12, a communication unit 13, a speed acquisition unit 14, and a steering angle acquisition unit 15. The camera 2 includes a control unit 21, a storage unit 22, a communication unit 23, an image input unit 24, and an image processing unit 25. The monitor 3 includes a control unit 31, a storage unit 32, a communication unit 33, and a display unit 34.

制御部11は、CPU(Central Processing Unit)又はMPU(Micro-Processing Unit)等の演算処理装置を含む。制御部11は、記憶部12に記憶されたプログラムを読み出して実行することにより、車両1に係る種々の情報処理又は制御処理等を行う。また、制御部11は、車両1の走行に関する走行情報を、通信部13を介してモニタ3に送信する処理を行う。走行情報は、車両1の走行状態を示す情報であり、例えば車両1の速度、操舵角度を含む。   The control unit 11 includes an arithmetic processing device such as a CPU (Central Processing Unit) or an MPU (Micro-Processing Unit). The control unit 11 performs various information processing or control processing related to the vehicle 1 by reading and executing the program stored in the storage unit 12. In addition, the control unit 11 performs processing for transmitting travel information related to travel of the vehicle 1 to the monitor 3 via the communication unit 13. The traveling information is information indicating the traveling state of the vehicle 1 and includes, for example, the speed and steering angle of the vehicle 1.

記憶部12は、RAM(Random Access Memory)、ROM(Read Only Memory)等のメモリ素子を含む。記憶部12は、制御部11が処理を実行するために必要なプログラム又はデータ等を記憶している。また、記憶部12は、制御部11が演算処理を実行するために必要なデータ等を一時的に記憶する。   The storage unit 12 includes memory elements such as a RAM (Random Access Memory) and a ROM (Read Only Memory). The storage unit 12 stores a program or data necessary for the control unit 11 to execute processing. The storage unit 12 temporarily stores data and the like necessary for the control unit 11 to execute arithmetic processing.

通信部13は、例えばアンテナ及び通信処理を実行するために必要な付属回路等を含む。通信部13は、カメラ2、モニタ3等の機器と無線通信を行う。具体的には、車両の自己診断機能として普及しているOBD(On-Board Diagnostics)2の規格のコネクタに、Bluetooth(登録商標)規格の無線機を接続することにより、無線通信を行う。なお、上記の構成は例示であり、通信部13はカメラ2、モニタ3等の機器と無線通信を行うことができればよい。通信部13は制御部11の指令に従って、車両1の走行情報をモニタ3に送信する。   The communication unit 13 includes, for example, an antenna and an attached circuit necessary for executing communication processing. The communication unit 13 performs wireless communication with devices such as the camera 2 and the monitor 3. Specifically, wireless communication is performed by connecting a Bluetooth (registered trademark) standard wireless device to an OBD (On-Board Diagnostics) 2 standard connector that is widely used as a vehicle self-diagnosis function. In addition, said structure is an illustration and the communication part 13 should just be able to perform radio | wireless communication with apparatuses, such as the camera 2 and the monitor 3. FIG. The communication unit 13 transmits travel information of the vehicle 1 to the monitor 3 in accordance with a command from the control unit 11.

速度取得部14は、車両1の速度を測定する車速センサ等を含む。速度取得部14は例えば、トランスミッション等に設けられた車速センサが車両1の車軸の回転数を測定することにより、車両1の速度を取得する。   The speed acquisition unit 14 includes a vehicle speed sensor that measures the speed of the vehicle 1. For example, the speed acquisition unit 14 acquires the speed of the vehicle 1 by measuring the rotational speed of the axle of the vehicle 1 using a vehicle speed sensor provided in a transmission or the like.

操舵角度取得部15は、車両1の操舵角度を測定する操舵センサ等を含む。操舵角度取得部15は例えば、車両1のステアリングシャフトに設けられた操舵センサがステアリングホイールの操舵角度を測定することにより、車両1の操舵角度を取得する。   The steering angle acquisition unit 15 includes a steering sensor that measures the steering angle of the vehicle 1. For example, the steering angle acquisition unit 15 acquires the steering angle of the vehicle 1 by measuring the steering angle of the steering wheel by a steering sensor provided on the steering shaft of the vehicle 1.

制御部21は、車両1に係る制御部11と同様に、CPU又はMPU等を含み、カメラ2に係る種々の情報処理又は制御処理等を行う。制御部21は、後述する画像入力部24が撮影した画像に係る画像データを画像処理部25において処理し、通信部23を介してモニタ3に送信する処理を行う。また、制御部21は、モニタ3側からの要求を受けて、標準の撮影モードよりも撮影範囲を広くした広範囲撮影モードへの切り換えを行う。   The control unit 21 includes a CPU, an MPU, or the like, similarly to the control unit 11 related to the vehicle 1, and performs various information processing or control processing related to the camera 2. The control unit 21 performs processing of processing image data related to an image captured by an image input unit 24 described later in the image processing unit 25 and transmitting the image data to the monitor 3 via the communication unit 23. Further, in response to a request from the monitor 3 side, the control unit 21 switches to the wide-area shooting mode in which the shooting range is wider than the standard shooting mode.

記憶部22は、車両1に係る記憶部12と同様に、RAM、ROM等のメモリ素子を含み、制御部21が処理を実行するために必要なプログラム又はデータ等を記憶している。また、記憶部22は、制御部21が演算処理を実行するために必要なデータ等を一時的に記憶する。   The memory | storage part 22 contains memory elements, such as RAM and ROM, similarly to the memory | storage part 12 which concerns on the vehicle 1, and has memorize | stored the program or data required in order for the control part 21 to perform a process. The storage unit 22 temporarily stores data and the like necessary for the control unit 21 to execute arithmetic processing.

通信部23は、車両1に係る通信部13と同様に、例えばアンテナ及び通信処理を実行するために必要な付属回路等を有し、車両1、モニタ3等の機器と無線通信を行う。通信部23は例えば、無線LAN(Local Area Network)、Bluetooth等の規格に応じた無線通信を行う。通信部23は、制御部21の指令に従って、後述する画像処理部25が出力した画像データを、モニタ3に送信する。また、通信部23は、モニタ3側からの広範囲撮影モードへの切り換えに係る要求信号を受信する。   Similar to the communication unit 13 related to the vehicle 1, the communication unit 23 includes, for example, an antenna and an attached circuit necessary for executing communication processing, and performs wireless communication with devices such as the vehicle 1 and the monitor 3. For example, the communication unit 23 performs wireless communication according to a standard such as a wireless local area network (LAN) or Bluetooth. The communication unit 23 transmits image data output from an image processing unit 25 described later to the monitor 3 in accordance with an instruction from the control unit 21. Further, the communication unit 23 receives a request signal related to switching to the wide-range shooting mode from the monitor 3 side.

画像入力部24は、例えばCCDイメージセンサ等を有し、車両1の後方を撮影する。画像入力部24は、被写体からの反射光を受け、車両1後方の反射光像をイメージセンサに結像させ、RGB(R:Red、G:Green、B:Blue)のアナログ電気信号を出力する。   The image input unit 24 includes, for example, a CCD image sensor and captures the rear of the vehicle 1. The image input unit 24 receives reflected light from a subject, forms a reflected light image behind the vehicle 1 on an image sensor, and outputs RGB (R: Red, G: Green, B: Blue) analog electrical signals. .

画像処理部25は、画像入力部24から入力されるアナログ電気信号を基にデジタル形式の画像データを生成する。生成した画像データは通信部23に出力される。   The image processing unit 25 generates digital image data based on the analog electrical signal input from the image input unit 24. The generated image data is output to the communication unit 23.

制御部31は、車両1に係る制御部11と同様に、CPU又はMPU等を含み、モニタ3に係る種々の情報処理又は制御処理等を行う。また、制御部31は、後述するように、通信部33が受信した画像データを記憶部32に一時的に記憶した後、該画像データに基づいて表示部34に画像を表示する処理を行う。   The control unit 31 includes a CPU, an MPU, or the like, similarly to the control unit 11 related to the vehicle 1, and performs various information processing or control processing related to the monitor 3. Further, as will be described later, the control unit 31 temporarily stores the image data received by the communication unit 33 in the storage unit 32 and then performs a process of displaying an image on the display unit 34 based on the image data.

記憶部32は、車両1に係る記憶部12と同様に、RAM、ROM等のメモリ素子を含む。記憶部32は、制御部31が本実施の形態に係る処理を実行するために必要なプログラムPを有する。記憶部32は、カメラ2から送信された画像データを一時的に格納するバッファ32aを有する。また、記憶部32は、車両1の速度及び操舵角度と、画像上の座標を示す第1〜4座標とを対応付けたテーブル32bを有する。テーブル32bについて、詳しくは後述する。   The memory | storage part 32 contains memory elements, such as RAM and ROM, similarly to the memory | storage part 12 which concerns on the vehicle 1. FIG. The storage unit 32 has a program P necessary for the control unit 31 to execute the processing according to the present embodiment. The storage unit 32 includes a buffer 32 a that temporarily stores the image data transmitted from the camera 2. The storage unit 32 includes a table 32b in which the speed and steering angle of the vehicle 1 are associated with first to fourth coordinates indicating coordinates on the image. Details of the table 32b will be described later.

通信部33は、車両1に係る通信部13と同様に、例えばアンテナ及び通信処理を実行するために必要な付属回路等を有し、車両1、カメラ2等の機器と無線通信を行う。通信部33は例えば、車両1に係る通信部13、カメラ2に係る通信部23等の通信規格に対応して、無線LAN、Bluetooth等の規格の無線通信を行う。通信部33は、カメラ2に係る通信部23から送信された画像データと、車両1に係る通信部13から送信された走行情報とを受信する。また、通信部33は、制御部31の指令に従い、広範囲撮影モードへの切り換えに係る要求信号をカメラ2に送信する。   Similar to the communication unit 13 related to the vehicle 1, the communication unit 33 includes, for example, an antenna and an attached circuit necessary for executing communication processing, and performs wireless communication with devices such as the vehicle 1 and the camera 2. For example, the communication unit 33 performs wireless communication of a standard such as a wireless LAN or Bluetooth corresponding to a communication standard such as the communication unit 13 related to the vehicle 1 and the communication unit 23 related to the camera 2. The communication unit 33 receives the image data transmitted from the communication unit 23 related to the camera 2 and the travel information transmitted from the communication unit 13 related to the vehicle 1. In addition, the communication unit 33 transmits a request signal related to switching to the wide-range shooting mode to the camera 2 in accordance with an instruction from the control unit 31.

表示部34は、例えば液晶ディスプレイ及び該ディスプレイに画像を表示するための駆動回路等を含む。表示部34は、車両1後方の画像を表示する。なお、当該ディスプレイは有機EL(Electro Luminescence)ディスプレイ等であってもよい。   The display unit 34 includes, for example, a liquid crystal display and a drive circuit for displaying an image on the display. The display unit 34 displays an image behind the vehicle 1. The display may be an organic EL (Electro Luminescence) display or the like.

なお、車両1、カメラ2及びモニタ3の構成は上記の構成に限られず、例えばユーザの操作入力を受け付ける入力部等を含んでもよい。   In addition, the structure of the vehicle 1, the camera 2, and the monitor 3 is not restricted to said structure, For example, you may include the input part etc. which receive a user's operation input.

また、本実施の形態において走行情報は、車両1に係る速度取得部14及び操舵角度取得部15が取得することとしたが、走行情報は他のハードウェアから取得することも可能である。例えば、モニタ3又は車両1に加速度センサ、GPS(Global Positioning System)等を設け、これらのハードウェアから取得した情報に基づき、制御部31又は制御部11が速度及び操舵角度を算出することとしてもよい。また例えば、カメラ2が撮影した画像に基づき、制御部31又は制御部21が速度及び操舵角度を算出することとしてもよい。
ただし、走行情報を他のハードウェアから取得する場合、算出処理をする分だけ走行情報の伝送に遅延が生じる可能性が高い。また、取得する走行情報の精度も、車両1に係る速度取得部14及び操舵角度取得部15から取得する場合と比べて劣る可能性が高い。よって、車両1の走行情報は、他のハードウェアからではなく、車両1に係る速度取得部14及び操舵角度取得部15から取得することが好ましい。
In the present embodiment, the travel information is acquired by the speed acquisition unit 14 and the steering angle acquisition unit 15 according to the vehicle 1, but the travel information can also be acquired from other hardware. For example, the monitor 3 or the vehicle 1 may be provided with an acceleration sensor, GPS (Global Positioning System), etc., and the control unit 31 or the control unit 11 may calculate the speed and the steering angle based on information acquired from these hardware. Good. Further, for example, the control unit 31 or the control unit 21 may calculate the speed and the steering angle based on the image captured by the camera 2.
However, when travel information is acquired from other hardware, there is a high possibility that transmission of travel information will be delayed by the amount of calculation processing. In addition, the accuracy of the travel information to be acquired is likely to be inferior compared to the case of acquiring from the speed acquisition unit 14 and the steering angle acquisition unit 15 according to the vehicle 1. Therefore, it is preferable to acquire the travel information of the vehicle 1 not from other hardware but from the speed acquisition unit 14 and the steering angle acquisition unit 15 related to the vehicle 1.

また、本実施の形態において、車両1とモニタ3との間の通信は無線通信であるものとしたが、該通信は有線によって行われてもよい。この場合、車両1及びモニタ3がそれぞれ備えるコネクタを通信ケーブルで接続すればよい。   In the present embodiment, the communication between the vehicle 1 and the monitor 3 is wireless communication. However, the communication may be performed by wire. In this case, the connectors provided in the vehicle 1 and the monitor 3 may be connected with a communication cable.

図3は、テーブル32bのレコードレイアウトを示す説明図である。テーブル32bは、速度列、操舵角度列、第1座標列、第2座標列、第3座標列、第4座標列を有する。速度列は車両1の速度を記憶している。操舵角度列は車両1の操舵角度を記憶している。   FIG. 3 is an explanatory diagram showing a record layout of the table 32b. The table 32b has a speed train, a steering angle train, a first coordinate train, a second coordinate train, a third coordinate train, and a fourth coordinate train. The speed train stores the speed of the vehicle 1. The steering angle column stores the steering angle of the vehicle 1.

第1〜4座標列はそれぞれ、カメラ2が撮影する画像における画像上の座標を記憶している。この座標系は例えば、画像の左上隅を原点とし、画像の右方向の座標をX成分、下方向の座標をY成分とする直交座標系である。第1〜4座標は、この座標系における座標点である。第1座標と第2座標、第2座標と第3座標、第3座標と第4座標、第4座標と第1座標とを直線により繋げると、この直線群は画像上の一定領域を囲むことになる。制御部31は、後述するように該一定領域をテーブル32bから読み出し、読み出した結果に基づいて画像の一定領域を切り出す。
なお、図3における第1〜4座標は説明のため便宜的に座標を取ったものであるが、本実施の形態はこれに限らず、速度及び操舵角度と、画像から切り出す領域とを対応付けることができればよい。また、テーブル32bにおける各設定値は図3に示す値に限るものではなく、より細かな数値間隔で設定してもよい。また、車両1の操舵角度が0度でなくとも速度が0km/hである場合、車両1は移動しないことから、後述する画像の切り出し処理をする上で操舵角度を考慮する必要がない。よって、速度列の数値が0である場合に操舵角度列はブランクとなっている。
Each of the first to fourth coordinate sequences stores the coordinates on the image in the image captured by the camera 2. This coordinate system is, for example, an orthogonal coordinate system in which the upper left corner of the image is the origin, the right coordinate of the image is the X component, and the lower coordinate is the Y component. The first to fourth coordinates are coordinate points in this coordinate system. When the first coordinate and the second coordinate, the second coordinate and the third coordinate, the third coordinate and the fourth coordinate, and the fourth coordinate and the first coordinate are connected by a straight line, the straight line group surrounds a certain area on the image. become. As will be described later, the control unit 31 reads the fixed region from the table 32b, and cuts out the fixed region of the image based on the read result.
The first to fourth coordinates in FIG. 3 are taken for convenience of explanation, but the present embodiment is not limited to this, and the speed and steering angle are associated with the region to be cut out from the image. If you can. Further, the setting values in the table 32b are not limited to the values shown in FIG. 3, but may be set at finer numerical intervals. In addition, when the speed of the vehicle 1 is not 0 degrees and the speed is 0 km / h, the vehicle 1 does not move, and therefore, it is not necessary to consider the steering angle when performing image clipping processing described later. Therefore, when the numerical value of the speed train is 0, the steering angle train is blank.

図4は、表示システムの処理手順を示すフローチャートである。図4に示すフローチャートに基づいて、本実施の形態に係る表示システムの処理動作について説明する。
本実施の形態に係る表示システムは、車両1のバック運転時に、以下の処理を所定間隔で繰り返し実行する。カメラ2は、車両1の後方を撮影する。画像入力部24は、車両1後方の画像の入力を受け付ける(ステップS11)。制御部21は、画像処理部25に、該画像に係るアナログ信号をデジタル信号に変換し、画像データを生成する処理を実行させる(ステップS12)。制御部21は、通信部23を介して画像データをモニタ3に送信する(ステップS13)。
FIG. 4 is a flowchart showing the processing procedure of the display system. The processing operation of the display system according to the present embodiment will be described based on the flowchart shown in FIG.
The display system according to the present embodiment repeatedly executes the following processing at predetermined intervals when the vehicle 1 is back-operated. The camera 2 captures the rear of the vehicle 1. The image input unit 24 receives an input of an image behind the vehicle 1 (step S11). The control unit 21 causes the image processing unit 25 to convert the analog signal related to the image into a digital signal and execute processing for generating image data (step S12). The control unit 21 transmits the image data to the monitor 3 via the communication unit 23 (Step S13).

モニタ3に係る通信部33は、画像データを受信する(ステップS14)。制御部31は、画像データを所定時間(以下、バッファ時間という)だけバッファ32aにバッファリングする(ステップS15)。
なお、バッファ時間は画像の品質を確保するべくバッファリング処理を行うために必要な時間であり、一般には機器毎に定まった固定値を取る。以下で特に言及しない場合には、バッファ時間は固定値であるものとして説明するが、ユーザの設定入力により変更できるものとしてもよい。バッファ時間を変更した場合でも、各実施の形態を適用することができる。
The communication unit 33 related to the monitor 3 receives the image data (step S14). The control unit 31 buffers the image data in the buffer 32a for a predetermined time (hereinafter referred to as buffer time) (step S15).
Note that the buffer time is a time required for performing buffering processing to ensure image quality, and generally takes a fixed value determined for each device. Unless otherwise specified, the buffer time is described as a fixed value, but may be changed by a user's setting input. Each embodiment can be applied even when the buffer time is changed.

車両1に係る制御部11は、速度取得部14及び操舵角度取得部15によって車両1の速度及び操舵角度を取得する(ステップS16)。制御部11は、通信部13を介して速度及び操舵角度を示す走行情報をモニタ3に送信する(ステップS17)。
なお、ステップS16、17は必ずしもステップS15の後である必要はなく、車両1は、継続的に速度及び操舵角度を取得し、モニタ3に送信するようにしてもよい。
The control part 11 which concerns on the vehicle 1 acquires the speed and steering angle of the vehicle 1 by the speed acquisition part 14 and the steering angle acquisition part 15 (step S16). The control unit 11 transmits travel information indicating the speed and the steering angle to the monitor 3 via the communication unit 13 (step S17).
Note that steps S16 and S17 do not necessarily have to be performed after step S15, and the vehicle 1 may continuously acquire the speed and the steering angle and transmit them to the monitor 3.

モニタ3に係る通信部33は、走行情報を受信する(ステップS18)。制御部31は、バッファリングされた画像データ並びに車両1の速度及び操舵角度に基づき、表示部34に車両1後方の画像を表示させる(ステップS19)。   The communication unit 33 related to the monitor 3 receives the travel information (step S18). The control unit 31 causes the display unit 34 to display an image behind the vehicle 1 based on the buffered image data and the speed and steering angle of the vehicle 1 (step S19).

図5は、画像表示のサブルーチンの処理手順を示すフローチャートである。図5に示すフローチャートに基づいて、ステップS19の画像表示のサブルーチンについて説明する。
制御部31は、走行情報に基づいて画像から切り出す領域を決定する(ステップS21)。より詳しくは、テーブル32bを参照し、現時点の速度及び操舵角度に対応する第1〜4座標の値を読み出す。制御部31は、参照した結果に基づいて、現時点からバッファ時間だけ前の時点の画像から、画像の一部を切り出す(ステップS22)。制御部31は、切り出した画像を表示部34に拡大して表示し(ステップS23)、一連の処理を終了する。
FIG. 5 is a flowchart showing a processing procedure of an image display subroutine. Based on the flowchart shown in FIG. 5, the image display subroutine of step S19 will be described.
The control part 31 determines the area | region cut out from an image based on driving | running | working information (step S21). More specifically, referring to the table 32b, the values of the first to fourth coordinates corresponding to the current speed and steering angle are read. Based on the referred result, the control unit 31 cuts out a part of the image from the image at the time point before the current time by the buffer time (step S22). The control unit 31 enlarges and displays the clipped image on the display unit 34 (step S23), and ends the series of processes.

次に、画像の切り出し及び拡大表示について説明する。図6は、車両1の速度が0km/hである場合の画像表示を説明するための説明図である。図6A〜Cはいずれも、車両1がバック運転で駐車場に駐車しようとする場合の、車両1後方の画像である。図6A〜Cにおける4本の白線は駐車場の白線であり、奥のブロック面はブロック塀を示している。図6Aは、現時点でカメラ2が撮影している画像である。図6Bは、現時点でモニタ3が表示可能な画像、つまりバッファリング済みの画像である。また、図6Bにおいて符号65で示す破線領域は、制御部31が該画像から切り出す、切り出し領域を示している。図6Cは、モニタ3に表示される画像である。
なお、図6A〜Cにおいて符号4で示す湾曲した部分は、車両1の車体であり、例えばリアバンパーである。また、以下の説明において、各図の切り出し領域を適宜に総称して符号5で表すこととする。
Next, image clipping and enlarged display will be described. FIG. 6 is an explanatory diagram for explaining image display when the speed of the vehicle 1 is 0 km / h. 6A to 6C are images behind the vehicle 1 when the vehicle 1 is about to park in the parking lot in the back operation. The four white lines in FIGS. 6A to 6C are white lines of the parking lot, and the block surface in the back indicates a block fence. FIG. 6A is an image captured by the camera 2 at the present time. FIG. 6B shows an image that can be displayed on the monitor 3 at the present time, that is, a buffered image. In addition, a broken line area indicated by reference numeral 65 in FIG. 6B indicates a cutout area that the control unit 31 cuts out from the image. FIG. 6C is an image displayed on the monitor 3.
6A to 6C, the curved portion indicated by reference numeral 4 is the vehicle body of the vehicle 1, for example, a rear bumper. Further, in the following description, the cutout regions in the respective drawings are collectively referred to as reference numeral 5 as appropriate.

図6Aと図6Bとを比較すると、図6Aは現時点の画像であり、図6Bはバッファリングが済む前、つまりバッファ時間だけ前の時点の画像であるが、車両1の速度が0km/hであることから、両時点において車両位置は変わらない。よって図6A及び図6Bは、矩形状の切り出し領域65以外は、同一の画像となっている。   Comparing FIG. 6A and FIG. 6B, FIG. 6A is an image at the present time, and FIG. 6B is an image before the buffering is completed, that is, the image at the time before the buffer time, but the speed of the vehicle 1 is 0 km / h. Therefore, the vehicle position does not change at both times. Therefore, FIG. 6A and FIG. 6B are the same images except for the rectangular cut-out area 65.

車両1の速度が0km/hである場合、制御部31はテーブル32bを参照し、画像から切り出す切り出し領域65を決定する(ステップS21)。制御部31は、バッファ時間だけ前の時点の画像(図6B)から、矩形状の切り出し領域65を切り出す(ステップS22)。図6Cに示すように、制御部31は該切り出し領域65の画像を、表示部34のディスプレイに合わせて拡大して表示する(ステップS23)。   When the speed of the vehicle 1 is 0 km / h, the control unit 31 refers to the table 32b and determines a cutout region 65 to be cut out from the image (step S21). The control unit 31 cuts out a rectangular cutout region 65 from the image (FIG. 6B) at the time point before the buffer time (step S22). As shown in FIG. 6C, the control unit 31 enlarges and displays the image of the cutout region 65 in accordance with the display of the display unit 34 (step S23).

ステップS22において切り出した矩形状の画像は、カメラ2が撮影した画像の一部である。この切り出し領域65に係る画像をそのまま表示部34に表示すると、ディスプレイの面積に比べて画像面積が小さくなる。そこで制御部31は、ステップS23において、表示部34のディスプレイに合わせて切り出し領域65を拡大することとしている。   The rectangular image cut out in step S22 is a part of the image captured by the camera 2. When the image related to the cutout area 65 is displayed on the display unit 34 as it is, the image area becomes smaller than the display area. Therefore, in step S23, the control unit 31 enlarges the cutout area 65 in accordance with the display of the display unit 34.

図7は、車両1の速度が0km/hではなく、かつ、車両1の操舵角度が0度である場合の画像表示を説明するための説明図である。図7A〜Cの概要は、図6A〜Cとほぼ同一であるため、各図の概要の説明は省略する。ただし、切り出し領域は符号75で示す。   FIG. 7 is an explanatory diagram for explaining image display when the speed of the vehicle 1 is not 0 km / h and the steering angle of the vehicle 1 is 0 degree. The outline of FIGS. 7A to 7C is almost the same as that of FIGS. However, the cutout area is indicated by reference numeral 75.

図7Aと図7Bとを比較すると、図7Aは現時点の画像であり、図7Bはバッファ時間だけ前の時点の画像であることから、両時点の間に車両1は後方に移動する。よって、図7Aの画像に比べて図7Bの画像は、車両1後方のブロック塀から遠ざかっている。   Comparing FIG. 7A and FIG. 7B, FIG. 7A is an image at the present time, and FIG. 7B is an image at a time point before the buffer time. Therefore, the vehicle 1 moves backward between the two time points. Therefore, compared with the image of FIG. 7A, the image of FIG.

また、図6と図7とを比較すると、車両1の速度が0km/hである場合には、図6A、Bの両時点で車両位置が変わらないが、車両1の速度が0km/hでない場合には、車両1が図7A、Bの両時点の間に後方に移動する。そこで制御部31は、車両1の速度が0km/hである場合には切り出し領域65を矩形状に、車両1の速度が0km/hでない場合には切り出し領域75を台形状に、それぞれ切り出す。これにより、車両1の速度に応じて画像の一部を適切に切り出すことができる。   Further, comparing FIG. 6 with FIG. 7, when the speed of the vehicle 1 is 0 km / h, the vehicle position does not change at both time points of FIGS. 6A and 6B, but the speed of the vehicle 1 is not 0 km / h. In this case, the vehicle 1 moves backward between both time points of FIGS. 7A and 7B. Therefore, the control unit 31 cuts the cutout area 65 into a rectangular shape when the speed of the vehicle 1 is 0 km / h, and cuts out the cutout area 75 into a trapezoid shape when the speed of the vehicle 1 is not 0 km / h. Thereby, a part of an image can be appropriately cut out according to the speed of the vehicle 1.

また、図6と図7とを比較すると、前述のごとく、図6A、Bの両時点の間に車両1は移動しないが、図7A、Bの両時点の間に車両1は後方に移動する。よって、車両1の速度が0km/hでない場合(図7B)の切り出し領域75は、車両1の速度が0km/hである場合(図6B)の切り出し領域65よりも車両1後方の画像領域とすることが適切である。そこで制御部31は、図6Bでは切り出し領域65を車両1の手前側(図中下側)の画像領域とするのに対し、図7Bでは切り出し領域75をより後方の画像領域としている。
なお、速度が大きいほど車両1は後方に移動することから、図7Bにおいて、車両1の速度が大きいほど切り出し領域75の位置はより後方に決定されることとなる。
Further, comparing FIG. 6 with FIG. 7, as described above, the vehicle 1 does not move between both time points in FIGS. 6A and 6B, but the vehicle 1 moves backward between both time points in FIGS. 7A and 7B. . Therefore, the cutout area 75 when the speed of the vehicle 1 is not 0 km / h (FIG. 7B) is an image area behind the cutout area 65 than the cutout area 65 when the speed of the vehicle 1 is 0 km / h (FIG. 6B). It is appropriate to do. Therefore, the control unit 31 sets the cutout area 65 as an image area on the front side (lower side in the figure) of the vehicle 1 in FIG. 6B, whereas the cutout area 75 is set as a rear image area in FIG. 7B.
Since the vehicle 1 moves backward as the speed increases, the position of the cutout region 75 is determined more backward as the speed of the vehicle 1 increases in FIG. 7B.

車両1の速度が0km/hではない場合、制御部31はテーブル32bを参照し、画像から切り出す切り出し領域75を決定する(ステップS21)。制御部31は、現時点からバッファ時間だけ前の時点の画像(図7B)から、台形状の切り出し領域75を切り出す(ステップS22)。図7Cに示すように、制御部31は該切り出し領域75の画像を、表示部34のディスプレイに合わせて拡大して表示する(ステップS23)。   When the speed of the vehicle 1 is not 0 km / h, the control unit 31 refers to the table 32b and determines a cutout region 75 to be cut out from the image (step S21). The control unit 31 cuts out the trapezoidal cutout region 75 from the image (FIG. 7B) at the time before the buffer time from the current time (step S22). As shown in FIG. 7C, the control unit 31 enlarges and displays the image of the cutout region 75 in accordance with the display of the display unit 34 (step S23).

図8は、車両1の速度が0km/hではない場合の拡大処理の一例を説明するための説明図である。図8Aは、台形状の切り出し領域75を単純に拡大した場合を概念的に示している。矩形状の実線部分は表示部34のディスプレイの形状を示し、台形状の破線部分は切り出し領域75を拡大した形状を示している。図8Bは、台形状の切り出し領域75を、表示部34のディスプレイの形状に応じて伸長することにより拡大した場合を概念的に示している。図8Aと同様に、実線部分はディスプレイの形状を、破線部分は切り出し領域75を拡大した形状を示している。図8に基づき、ステップS23の拡大処理について説明する。   FIG. 8 is an explanatory diagram for explaining an example of the enlargement process when the speed of the vehicle 1 is not 0 km / h. FIG. 8A conceptually shows a case where the trapezoidal cutout region 75 is simply enlarged. A rectangular solid line portion indicates the shape of the display of the display unit 34, and a trapezoidal broken line portion indicates a shape obtained by enlarging the cutout region 75. FIG. 8B conceptually shows a case where the trapezoidal cutout region 75 is expanded by extending according to the shape of the display of the display unit 34. Similarly to FIG. 8A, the solid line portion indicates the shape of the display, and the broken line portion indicates a shape in which the cutout region 75 is enlarged. Based on FIG. 8, the enlargement process in step S23 will be described.

前述のごとく、車両1の速度が0km/hではない場合に、切り出し領域75は台形状である。ここで例えば表示部34のディスプレイが矩形状だとすると、図8Aに示すように、切り出し領域75の拡大画像とディスプレイとの間に形状の相違が生じる。そこで本実施の形態においては、車両1の速度が0km/hではない場合に、台形状の切り出し領域75を単純に拡大せず、ディスプレイの形状に応じて伸長することにより拡大する。より詳しくは図8Bに示すように、制御部31は、矩形状のディスプレイに合わせて、切り出し領域75が矩形状となるように伸長する。また、制御部31は、切り出し領域75の長辺及び短辺がディスプレイの長辺及び短辺と等しくなるように伸長する。   As described above, when the speed of the vehicle 1 is not 0 km / h, the cutout region 75 has a trapezoidal shape. Here, if the display of the display unit 34 is rectangular, for example, as shown in FIG. 8A, a difference in shape occurs between the enlarged image of the cutout region 75 and the display. Therefore, in the present embodiment, when the speed of the vehicle 1 is not 0 km / h, the trapezoidal cutout region 75 is not simply expanded, but is expanded by expanding according to the shape of the display. More specifically, as illustrated in FIG. 8B, the control unit 31 extends so that the cutout region 75 has a rectangular shape in accordance with the rectangular display. Further, the control unit 31 extends so that the long side and the short side of the cutout region 75 are equal to the long side and the short side of the display.

なお、上記の拡大処理の内容は一例であり、本実施の形態はこれに限るものではない。画像の拡大処理によってユーザに違和感を与えなければよいため、例えば切り出し領域75の長辺及び短辺をディスプレイの長辺及び短辺と厳密に等しくする必要はない。また、モニタ3のディスプレイが矩形状とは限らないため、ディスプレイの形状に応じて切り出し領域75の拡大画像の形状を適宜に変更してもよい。   Note that the contents of the above enlargement processing are merely examples, and the present embodiment is not limited to this. For example, it is not necessary to make the long side and the short side of the cutout area 75 exactly equal to the long side and the short side of the display because it is not necessary to give the user a sense of incongruity by the image enlargement process. Moreover, since the display of the monitor 3 is not necessarily rectangular, the shape of the enlarged image of the cutout area 75 may be changed as appropriate according to the shape of the display.

図9は、車両1の速度が0km/hではなく、かつ、車両1の操舵角度が0度でない場合の画像表示を説明するための説明図である。図9A〜Cの概要は、図6A〜Cとほぼ同一であるため、各図の概要の説明は省略する。ただし、切り出し領域は符号95で示す。   FIG. 9 is an explanatory diagram for explaining an image display when the speed of the vehicle 1 is not 0 km / h and the steering angle of the vehicle 1 is not 0 degrees. The outline of FIGS. 9A to 9C is almost the same as that of FIGS. However, the cutout area is indicated by reference numeral 95.

図9Aと図9Bとを比較すると、車両1の速度が0km/hではなく、かつ、車両1の操舵角度が0度でないことから、図9A、Bの両時点の間に車両1が蛇行する。よって、図9Aではカメラ2がブロック塀に正対した画像となっているのに対し、図9Bではカメラ2がブロック塀と斜めに向かい合った画像となっている。   Comparing FIG. 9A and FIG. 9B, since the speed of the vehicle 1 is not 0 km / h and the steering angle of the vehicle 1 is not 0 degree, the vehicle 1 meanders between both time points of FIGS. 9A and 9B. . Therefore, in FIG. 9A, the camera 2 is an image directly facing the block wall, whereas in FIG. 9B, the camera 2 is an image facing the block wall diagonally.

図7と図9とを比較すると、図7においては車両1が後方に直進するため、図7Bに示すように、切り出し領域75は上底及び下底が上下の画像枠と平行な台形状とすることが適切である。これに対して図9では、車両1が蛇行しながら後方に移動するため、図9Bに示すように、切り出し領域95を傾かせ、切り出し領域75とは内角の角度を変えた台形状とすることが適切である。このように制御部31は、車両1の速度が0km/hでない場合、車両1の操舵角度に応じて、台形状の切り出し領域5の内角の角度を変えて切り出す。よって、切り出し領域95は切り出し領域75と相似形の台形状になっていない。   7 and FIG. 9, since the vehicle 1 goes straight backward in FIG. 7, as shown in FIG. 7B, the cutout region 75 has a trapezoidal shape in which the upper base and the lower base are parallel to the upper and lower image frames. It is appropriate to do. On the other hand, in FIG. 9, since the vehicle 1 moves backward while meandering, as shown in FIG. 9B, the cutout area 95 is tilted, and the cutout area 75 has a trapezoidal shape with a different internal angle. Is appropriate. As described above, when the speed of the vehicle 1 is not 0 km / h, the control unit 31 cuts out the inner angle of the trapezoidal cutout region 5 according to the steering angle of the vehicle 1. Therefore, the cutout area 95 is not a trapezoidal shape similar to the cutout area 75.

車両1の速度が0km/hではない場合、制御部31はテーブル32bを参照し、画像から切り出す切り出し領域95を決定する(ステップS21)。制御部31は、現時点からバッファ時間だけ前の時点の画像(図9B)から、台形状の切り出し領域95を切り出す(ステップS22)。図9Cに示すように、表示部34は、該切り出し領域95の画像をディスプレイに合わせて拡大して表示する(ステップS23)。より詳しくは、操舵角度が0度である場合と同様に(図8参照)、矩形状のディスプレイに合わせて拡大表示する。   When the speed of the vehicle 1 is not 0 km / h, the control unit 31 refers to the table 32b and determines a cutout area 95 to be cut out from the image (step S21). The control unit 31 cuts out the trapezoidal cutout region 95 from the image (FIG. 9B) at the time point before the buffer time from the current time point (step S22). As shown in FIG. 9C, the display unit 34 enlarges and displays the image of the cutout area 95 in accordance with the display (step S23). More specifically, similarly to the case where the steering angle is 0 degree (see FIG. 8), the enlarged display is performed in accordance with the rectangular display.

図10は、表示システムにおける通信処理及び表示処理の関係性を説明するための説明図である。図10A、Bにおいて、横方向の破線が時間軸を表す。該時間軸において、図中の右方向が正方向である。以下、時間をtで表す。図10では、時間tの進行に沿って、カメラ2が撮影した画像データa、b、c……を次々とモニタ3に送信し、モニタ3が該画像データa、b、c……に基づいて画像を表示していく様子が示されている。図10A、Bにおいて、上の横線がカメラ2を、下の横線がモニタ3を、それぞれ概念的に示す。図10Aは、本実施の形態を適用せず、単にカメラ2とモニタ3とを無線接続する場合を示している。図10Bは、本実施の形態を適用した場合を示している。図10に基づいて、本実施の形態を適用した場合と適用しなかった場合との違いを説明する。なお、画像データの送信は実際には連続的に行われるものであるが、図10においては説明の便宜のため、画像データの送信が行われる様子を離散的に示している。   FIG. 10 is an explanatory diagram for explaining the relationship between communication processing and display processing in the display system. 10A and 10B, a horizontal broken line represents a time axis. On the time axis, the right direction in the figure is the positive direction. Hereinafter, time is represented by t. In FIG. 10, along with the progress of time t, image data a, b, c... Taken by the camera 2 are transmitted to the monitor 3 one after another, and the monitor 3 is based on the image data a, b, c. The way the images are displayed is shown. 10A and 10B, the upper horizontal line conceptually shows the camera 2 and the lower horizontal line conceptually shows the monitor 3. FIG. 10A shows a case where the camera 2 and the monitor 3 are simply wirelessly connected without applying this embodiment. FIG. 10B shows a case where the present embodiment is applied. Based on FIG. 10, the difference between the case where this embodiment is applied and the case where it is not applied will be described. Note that the transmission of image data is actually performed continuously, but FIG. 10 shows the transmission of image data discretely for convenience of explanation.

カメラ2がt=Teにモニタ3へ送信した画像データeについて考える。図10Aの場合、モニタ3は画像データeを、t=Teとほぼ同時に受信する。しかしこの通信は、通信部23と通信部33との間で無線通信により行われるため、モニタ3は画像データeをバッファリングする必要がある。これにより、モニタ3において画像データeに基づき画像が表示される時点は、t=Teからバッファ時間だけ後のt=Thとなる。つまり、Th−Te(バッファ時間)だけ画像表示の遅延が生じる。   Consider image data e transmitted from the camera 2 to the monitor 3 at t = Te. In the case of FIG. 10A, the monitor 3 receives the image data e almost simultaneously with t = Te. However, since this communication is performed by wireless communication between the communication unit 23 and the communication unit 33, the monitor 3 needs to buffer the image data e. As a result, the time point at which an image is displayed on the monitor 3 based on the image data e is t = Th, which is a buffer time after t = Te. That is, image display delay is caused by Th-Te (buffer time).

図10Bにおいて、図10Aの場合と同じく、カメラ2はt=Teに画像データeをモニタ3に送信する。一方で、カメラ2は、t=Teよりバッファ時間だけ前のt=Tbの画像データbもモニタ3に送信している。つまり、Te−Tb=Th−Teである。Te−Tb=Th−Teが成り立つことから、モニタ3は、t=Teにおいて画像データbをバッファリング済みであり、t=Tbの画像を表示可能である。   In FIG. 10B, as in the case of FIG. 10A, the camera 2 transmits the image data e to the monitor 3 at t = Te. On the other hand, the camera 2 also transmits to the monitor 3 the image data b of t = Tb, which is a buffer time before t = Te. That is, Te−Tb = Th−Te. Since Te−Tb = Th−Te holds, the monitor 3 has buffered the image data b at t = Te, and can display an image at t = Tb.

モニタ3は、t=Tbの画像データbを用いて、t=Teに画像の表示を行う。より詳しくは、前述のごとく、走行情報に基づいてテーブル32bを参照する。次に、t=Tbの画像から、参照した結果に基づいて、表示すべき画像の一部、つまり切り出し領域5を切り出す。モニタ3は切り出した画像を、表示部34のディスプレイに合わせて拡大表示する。   The monitor 3 displays an image at t = Te using the image data b at t = Tb. More specifically, as described above, the table 32b is referred to based on the travel information. Next, a part of the image to be displayed, that is, the cutout region 5 is cut out from the image of t = Tb based on the reference result. The monitor 3 enlarges and displays the clipped image in accordance with the display of the display unit 34.

上記のように、本実施の形態を適用しなかった場合(図10A)、t=Thにおいてt=Teの画像が表示される。これに対し、本実施の形態を適用した場合(図10B)、t=Teにおいて、t=Tbの画像の一部が切り出され、t=Teの画像として表示される。   As described above, when this embodiment is not applied (FIG. 10A), an image of t = Te is displayed at t = Th. On the other hand, when this embodiment is applied (FIG. 10B), at t = Te, a part of the image at t = Tb is cut out and displayed as an image at t = Te.

以上より、本実施の形態1によれば、車両1の走行に関する走行情報に基づいて画像の一部を切り出して表示する。これにより、カメラ2とモニタ3とが無線で接続されている場合であっても、画像表示の遅延によりユーザに与える違和感を軽減することができる。   As described above, according to the first embodiment, a part of the image is cut out and displayed based on the travel information related to the travel of the vehicle 1. Thereby, even if the camera 2 and the monitor 3 are connected wirelessly, the uncomfortable feeling given to the user due to the delay of the image display can be reduced.

また、本実施の形態1によれば、車両1の走行情報に基づいて、現時点からバッファ時間だけ前の時点の画像から一部を切り出す。これによりモニタ3は、画像表示の遅延によりユーザに与える違和感を軽減しつつ適切な画像を表示することができる。   Further, according to the first embodiment, a part is cut out from the image at the time point before the buffer time from the current time point based on the travel information of the vehicle 1. Thereby, the monitor 3 can display an appropriate image while reducing the uncomfortable feeling given to the user due to the delay of the image display.

また、本実施の形態1によれば、記憶部32に走行情報と切り出し領域5とを対応付けたテーブル32bを有する。これにより、走行情報に基づいて読み出し処理をすることで切り出し領域5を決定することができる。   Further, according to the first embodiment, the storage unit 32 has the table 32b in which the travel information and the cutout region 5 are associated with each other. Thereby, the cut-out region 5 can be determined by performing the reading process based on the traveling information.

また、本実施の形態1によれば、車両1の走行情報として車両1の速度及び操舵角度を利用する。これにより、適切に走行情報と切り出し領域5とを対応付けることができる。   Further, according to the first embodiment, the speed and steering angle of the vehicle 1 are used as the travel information of the vehicle 1. Thereby, traveling information and the cutout region 5 can be associated with each other appropriately.

また、本実施の形態1によれば、車両1の速度が0km/hである場合は矩形状に、0km/hでない場合は台形状に、画像の一部を切り出す。また、車両1の速度が大きいほど切り出し領域5の位置をより後方に決定する。これにより、車両1の速度に応じて適切に画像の一部を切り出すことができる。   Further, according to the first embodiment, a part of the image is cut out in a rectangular shape when the speed of the vehicle 1 is 0 km / h, and in a trapezoidal shape when the speed is not 0 km / h. Further, the position of the cutout region 5 is determined more backward as the speed of the vehicle 1 is higher. Thereby, a part of an image can be appropriately cut out according to the speed of the vehicle 1.

また、本実施の形態1によれば、車両1の速度が0km/hではなく、操舵角度が0度でない場合に、操舵角度に応じて台形状の切り出し領域5の内角を変えて切り出す。これにより、車両1の操舵角度に応じて適切に画像の一部を切り出すことができる。   Further, according to the first embodiment, when the speed of the vehicle 1 is not 0 km / h and the steering angle is not 0 degree, the internal angle of the trapezoidal cutout region 5 is changed according to the steering angle. Thereby, a part of an image can be appropriately cut out according to the steering angle of the vehicle 1.

また、本実施の形態1によれば、モニタ3は、切り出した画像を拡大して表示する。これにより、切り出し領域5の画像はディスプレイに合わせて整えられ、ユーザに与える違和感を軽減することができる。   Further, according to the first embodiment, the monitor 3 enlarges and displays the clipped image. Thereby, the image of the cut-out area 5 is arranged according to the display, and the uncomfortable feeling given to the user can be reduced.

また、本実施の形態1によれば、モニタ3は、車両1に搭載された速度取得部14及び操舵角度取得部15によって走行情報を取得する。これにより、前述のごとく、走行情報を他のハードウェアによって取得する場合と比べ、情報伝送の遅延、情報精度の劣化等を生じさせない。   Further, according to the first embodiment, the monitor 3 acquires travel information by the speed acquisition unit 14 and the steering angle acquisition unit 15 mounted on the vehicle 1. As a result, as described above, as compared with the case where traveling information is acquired by other hardware, information transmission delay, information accuracy deterioration, and the like are not caused.

なお、本実施の形態において、モニタ3は現時点からバッファ時間だけ前の時点の画像から一部を切り出すこととしたが、本実施の形態はこれに限るものではない。モニタ3は、バッファリング済みの画像を表示することとすれば、遅延を生じさせずに画像表示をできることから、表示する画像は、現時点からバッファ時間以前の画像であればよい。つまり、t=Tb以前の画像を用いてもよい。この場合、バッファ時間ではなく、画像の撮影時点から現時点までの時間に応じて、テーブル32bに記憶する第1〜4座標の設定値を適宜に変更すればよい。   In the present embodiment, the monitor 3 cuts out a part of the image at the time point before the current buffer time, but the present embodiment is not limited to this. If the monitor 3 displays the buffered image, the image can be displayed without causing a delay. Therefore, the image to be displayed may be an image before the buffer time from the present time. That is, an image before t = Tb may be used. In this case, the set values of the first to fourth coordinates stored in the table 32b may be appropriately changed according to the time from the image capturing time to the current time, not the buffer time.

また、上記の説明ではバッファ時間が固定値であることを前提として説明したが、本実施の形態はこれに限るものではなく、ユーザの設定入力によりバッファ時間を変更できるものとしてもよい。この場合、テーブル32bにバッファ時間列を設け、速度、操舵角度及びバッファ時間と、第1〜4座標とを対応付けて記憶する構成とすればよい。   In the above description, the buffer time is assumed to be a fixed value. However, the present embodiment is not limited to this, and the buffer time may be changed by user setting input. In this case, a buffer time sequence may be provided in the table 32b, and the speed, steering angle, buffer time, and first to fourth coordinates may be stored in association with each other.

(実施の形態2)
実施の形態1では、モニタ3はテーブル32bに予め切り出し領域5を設定しておき、テーブル32bを参照した結果に基づいて画像の一部を切り出す形態について述べた。しかしモニタ3は、テーブル32bを参照せず、走行情報に基づく算出処理によって画像のどの部分を切り出すかを求めてもよい。本実施の形態では、モニタ3は走行情報に基づいて現時点の推定車両位置を算出し、算出した推定車両位置に基づいて画像の一部を切り出す形態について述べる。
(Embodiment 2)
In the first embodiment, the monitor 3 sets the cutout area 5 in the table 32b in advance, and cuts out a part of the image based on the result of referring to the table 32b. However, the monitor 3 may obtain which part of the image is to be cut out by the calculation process based on the travel information without referring to the table 32b. In the present embodiment, the monitor 3 calculates a current estimated vehicle position based on the travel information, and describes a form in which a part of the image is cut out based on the calculated estimated vehicle position.

図11は、実施の形態2に係る画像表示のサブルーチンの処理手順を示すフローチャートである。図11で示すフローチャートに基づいて、本実施の形態に係るステップS19の画像表示のサブルーチンについて説明する。なお、実施の形態1と重複する内容については、同一の符号を付して説明を省略する。
制御部31は、車両1の速度が0km/hであるか否かを判定する(ステップS51)。車両1の速度が0km/hである場合(ステップS51:YES)、制御部31は、走行情報に基づいて切り出し領域5を決定する(ステップS52)。具体的には、車両1の速度が0km/hであることから、車両1と、カメラ2の撮影範囲との相対的な位置関係より、切り出し領域5を決定する。ステップS52と、以下のステップS55及び57の処理内容について、より詳しくはまとめて後述する。
FIG. 11 is a flowchart illustrating a processing procedure of an image display subroutine according to the second embodiment. Based on the flowchart shown in FIG. 11, the image display subroutine of step S19 according to the present embodiment will be described. In addition, about the content which overlaps with Embodiment 1, the same code | symbol is attached | subjected and description is abbreviate | omitted.
The control unit 31 determines whether or not the speed of the vehicle 1 is 0 km / h (step S51). When the speed of the vehicle 1 is 0 km / h (step S51: YES), the control unit 31 determines the cutout region 5 based on the travel information (step S52). Specifically, since the speed of the vehicle 1 is 0 km / h, the cutout region 5 is determined based on the relative positional relationship between the vehicle 1 and the shooting range of the camera 2. The processing contents of step S52 and the following steps S55 and 57 will be described later in more detail.

車両1の速度が0km/hでない場合(ステップS51:NO)、制御部31は、車両1の操舵角度が0度であるか否かを判定する(ステップS53)。車両1の操舵角度が0度である場合(ステップS53:YES)、制御部31は、バッファ時間及び速度に基づいて現時点の推定車両位置を算出する(ステップS54)。より詳しくは、車両1の速度に基づいて、車両1がバッファ時間で移動した距離を算出することにより、現時点の推定車両位置を算出する。制御部31は、算出した推定車両位置に基づいて、切り出し領域5を決定する(ステップS55)。   When the speed of the vehicle 1 is not 0 km / h (step S51: NO), the control unit 31 determines whether or not the steering angle of the vehicle 1 is 0 degree (step S53). When the steering angle of the vehicle 1 is 0 degree (step S53: YES), the control unit 31 calculates the current estimated vehicle position based on the buffer time and the speed (step S54). More specifically, the current estimated vehicle position is calculated by calculating the distance traveled by the vehicle 1 in the buffer time based on the speed of the vehicle 1. The control unit 31 determines the cutout region 5 based on the calculated estimated vehicle position (step S55).

操舵角度が0度でない場合(ステップS53:NO)、制御部31は、バッファ時間、速度及び操舵角度に基づいて現時点の推定車両位置を算出する(ステップS56)。より詳しくは、車両1の速度及び操舵角度に基づいて、車両1がバッファ時間で移動した距離及び方向を算出することにより、現時点の推定車両位置を算出する。制御部31は、算出した推定車両位置に基づいて、切り出し領域5を決定する(ステップS57)。   When the steering angle is not 0 degree (step S53: NO), the control unit 31 calculates the current estimated vehicle position based on the buffer time, the speed, and the steering angle (step S56). More specifically, the current estimated vehicle position is calculated by calculating the distance and direction that the vehicle 1 has moved in the buffer time based on the speed and steering angle of the vehicle 1. The control unit 31 determines the cutout region 5 based on the calculated estimated vehicle position (step S57).

図12は、実施の形態2に係る車両1と、カメラ2の撮影範囲との位置関係を示す概念図である。図12に基づき、ステップS52、55及び57の処理内容の一例を示す。
カメラ2は車両1後部の所定位置に設置されていることから、カメラ2の路面からの高さ及び画角は既知とすることができる。ここで路面が水平であるものとすると、カメラ2の高さ及び画角が一定値を取ることから、車両1と、カメラ2の撮影範囲との相対的な位置関係は一定である。よって、カメラ2が設けられた車両1の現時点の推定車両位置を算出することにより、カメラ2が現時点でどの範囲を撮影しているかが推定可能である。これより、バッファ時間だけ前の時点の画像から切り出すべき領域、つまり切り出し領域5を決定することができる。
なお、車両1の速度が0km/hである場合は、バッファ時間において車両1は移動しない。よって、推定車両位置を算出する必要はなく、車両1とカメラ2の撮影範囲との相対的な位置関係から切り出し領域5を決定することができる。
FIG. 12 is a conceptual diagram showing the positional relationship between the vehicle 1 according to the second embodiment and the shooting range of the camera 2. Based on FIG. 12, an example of the processing content of steps S52, 55 and 57 is shown.
Since the camera 2 is installed at a predetermined position at the rear of the vehicle 1, the height and the angle of view of the camera 2 from the road surface can be known. Here, assuming that the road surface is horizontal, the height and angle of view of the camera 2 take a constant value, so that the relative positional relationship between the vehicle 1 and the shooting range of the camera 2 is constant. Therefore, by calculating the current estimated vehicle position of the vehicle 1 provided with the camera 2, it is possible to estimate which range the camera 2 is currently capturing. As a result, it is possible to determine the area to be cut out from the image at the time point before the buffer time, that is, the cut-out area 5.
When the speed of the vehicle 1 is 0 km / h, the vehicle 1 does not move during the buffer time. Therefore, it is not necessary to calculate the estimated vehicle position, and the cutout region 5 can be determined from the relative positional relationship between the vehicle 1 and the shooting range of the camera 2.

なお、上記のステップS52、55及び57の処理内容は一例であり、他の処理方法によって切り出し領域5を決定することも考えられる。例えばカメラ2に、赤外線照射により対象物との距離を測る測距センサ等を設け、車両1後方に係る三次元情報を取得し、モニタ3はこの三次元情報及び推定車両位置に基づいて切り出し領域5を決定することとしてもよい。   In addition, the processing content of said step S52, 55, and 57 is an example, and it can also consider determining the cut-out area | region 5 with another processing method. For example, the camera 2 is provided with a distance measuring sensor or the like for measuring the distance from the object by infrared irradiation, and acquires the three-dimensional information relating to the rear of the vehicle 1. The monitor 3 extracts the cut-out region based on the three-dimensional information and the estimated vehicle position. 5 may be determined.

以上より、実施の形態2によれば、モニタ3は現時点の推定車両位置を算出し、算出した推定車両位置に基づいて画像の一部を切り出す。これにより、記憶部32にテーブル32bを用意せずとも、適切に切り出し領域5を決定することができる。   As described above, according to the second embodiment, the monitor 3 calculates the current estimated vehicle position, and cuts out a part of the image based on the calculated estimated vehicle position. Thereby, the cutout region 5 can be appropriately determined without preparing the table 32b in the storage unit 32.

(実施の形態3)
実施の形態1では、画像表示の遅延によりユーザに与える違和感を軽減するべく、モニタ3が画像の一部を切り出して表示する形態について述べた。本実施の形態では、ユーザに与える違和感をより軽減するべく、モニタ3が表示する画像に車体4の画像を重畳する形態について述べる。
(Embodiment 3)
In the first embodiment, a mode has been described in which the monitor 3 cuts out and displays a part of an image in order to reduce a sense of discomfort given to the user due to a delay in image display. In the present embodiment, a mode in which an image of the vehicle body 4 is superimposed on an image displayed on the monitor 3 will be described in order to further reduce the uncomfortable feeling given to the user.

図13は、実施の形態3に係る画像の重畳表示を説明するための説明図である。図13は、実施の形態1に係る図7に対応する。ただし、切り出し領域は符号135で示す。図13においては説明を容易にするために、車両1の速度は0km/hより大きく、車両1の操舵角度は0度であるものとして説明する。   FIG. 13 is an explanatory diagram for explaining the superimposed display of an image according to the third embodiment. FIG. 13 corresponds to FIG. 7 according to the first embodiment. However, the cutout area is indicated by reference numeral 135. In FIG. 13, for ease of explanation, it is assumed that the speed of the vehicle 1 is greater than 0 km / h and the steering angle of the vehicle 1 is 0 degrees.

図13Aと図13Bとを比較すると、図7と同じく、図13Aは現時点の画像であり、図13Bはバッファ時間だけ前の時点の画像であることから、両時点の間に車両1が後方に移動している。よって、図13Aの画像に比べて図13Bの画像は、車両1後方のブロック塀から遠ざかっている。
また、図13A、Bの両時点の間に車両1が後方に移動することから、その移動距離だけ切り出し領域135の位置を車両1の後方に決定することが適切である。よって、図7Bと同じく、図13Bにおいて切り出し領域135は手前側よりも後方の画像領域となっている。
Comparing FIG. 13A and FIG. 13B, as in FIG. 7, FIG. 13A is an image at the present time, and FIG. 13B is an image at a time point before the buffer time. Has moved. Therefore, compared with the image of FIG. 13A, the image of FIG. 13B is moving away from the block fence behind the vehicle 1.
Further, since the vehicle 1 moves backward between both time points of FIGS. 13A and 13B, it is appropriate to determine the position of the cutout area 135 behind the vehicle 1 by the moving distance. Therefore, as in FIG. 7B, the cutout area 135 in FIG. 13B is an image area behind the near side.

ここで、切り出し領域135に着目すると、図13Bに示すように、切り出し領域135に車体4は含まれない。このように、車両1の速度によっては、車体4が切り出し領域135に含まれる場合と含まれない場合とが生じる。この切り出し領域135をそのまま拡大して表示すると、車両1の速度によって車体4が表示される場合と表示されない場合とが生じる(図6C、図7C参照)。そこで本実施の形態では、ユーザに与える違和感をより軽減するべく、切り出し領域135を拡大表示する場合に併せて車体4の画像を重畳して表示する。   Here, focusing on the cutout area 135, the cutout area 135 does not include the vehicle body 4 as shown in FIG. 13B. As described above, depending on the speed of the vehicle 1, there are cases where the vehicle body 4 is included in the cutout region 135 and is not included. If the cutout area 135 is enlarged and displayed as it is, the vehicle body 4 may be displayed or not displayed depending on the speed of the vehicle 1 (see FIGS. 6C and 7C). Therefore, in the present embodiment, in order to further reduce the uncomfortable feeling given to the user, the image of the vehicle body 4 is superimposed and displayed together with the enlarged display of the cutout area 135.

図13Cは、モニタ3に表示される画像である。図13Cは、実施の形態1に係る図7Cに対応する。図7Cと図13Cとを比較すると、図7Cでは車体4の画像が表示されていないが、図13Cでは車体4の画像が表示されている。このように、本実施の形態に係るモニタ3では、車体4の画像を重畳して表示する   FIG. 13C is an image displayed on the monitor 3. FIG. 13C corresponds to FIG. 7C according to the first embodiment. When FIG. 7C is compared with FIG. 13C, the image of the vehicle body 4 is not displayed in FIG. 7C, but the image of the vehicle body 4 is displayed in FIG. 13C. Thus, on the monitor 3 according to the present embodiment, the image of the vehicle body 4 is superimposed and displayed.

図14は、実施の形態3に係る画像表示のサブルーチンの処理手順を示すフローチャートである。図14に示すフローチャートにもとづいて、本実施の形態に係る画像表示のサブルーチンについて説明する。なお、実施の形態1と重複する内容については同一の符号を付して説明を省略する。   FIG. 14 is a flowchart illustrating a processing procedure of an image display subroutine according to the third embodiment. An image display subroutine according to the present embodiment will be described with reference to the flowchart shown in FIG. In addition, about the content which overlaps with Embodiment 1, the same code | symbol is attached | subjected and description is abbreviate | omitted.

制御部31は、画像の一部を切り出した後(ステップS22)、表示部34のディスプレイに合わせて画像を拡大する(ステップS71)。制御部31は、拡大画像に車体4の画像を重畳して表示する(ステップS72)。より詳しくは、例えば車体4の静止画像を記憶部32に記憶しておく。制御部31は該静止画像を記憶部32から読み出し、拡大画像に車体4の静止画像を重畳して表示する。本実施の形態に係る表示システムは、一連の処理を終了する。   After cutting out a part of the image (step S22), the control unit 31 enlarges the image in accordance with the display of the display unit 34 (step S71). The control unit 31 superimposes and displays the image of the vehicle body 4 on the enlarged image (step S72). More specifically, for example, a still image of the vehicle body 4 is stored in the storage unit 32. The control unit 31 reads the still image from the storage unit 32 and displays the still image of the vehicle body 4 superimposed on the enlarged image. The display system according to the present embodiment ends a series of processes.

なお、本実施の形態において、ステップS71及び72の順序を入れ替えることも可能である。つまり、切り出した画像に車体4の静止画像を重畳した後に、重畳することにより合成された画像全体を拡大することとしてもよい。
また、上記とは異なり車体4の静止画像まで拡大処理をせずに済むように、車体4の静止画像を含むフレーム画像を記憶部32に記憶しておき、該フレーム画像に切り出した画像を重畳した後、切り出した画像部分を拡大することとしてもよい。
In the present embodiment, the order of steps S71 and 72 can be changed. That is, after superimposing a still image of the vehicle body 4 on the clipped image, the entire synthesized image may be enlarged by superimposing.
Further, unlike the above, a frame image including a still image of the vehicle body 4 is stored in the storage unit 32 so that it is not necessary to enlarge the still image of the vehicle body 4, and the clipped image is superimposed on the frame image. After that, the clipped image portion may be enlarged.

以上より、本実施の形態3によれば、車両1の速度が大きい場合であっても、モニタ3には常に車体4が表示される。これにより、ユーザに与える違和感をより軽減することができる。   As described above, according to the third embodiment, the vehicle body 4 is always displayed on the monitor 3 even when the speed of the vehicle 1 is high. Thereby, the uncomfortable feeling given to the user can be further reduced.

(変形例1)
実施の形態3では、ユーザに与える違和感を軽減するべく、モニタ3が表示する画像に車体4の画像を重畳する形態について述べた。変形例1では、ユーザに与える違和感をより軽減するべく、車体4の画像を重畳する部分を、強調して表示する形態について述べる。
(Modification 1)
In the third embodiment, the mode of superimposing the image of the vehicle body 4 on the image displayed on the monitor 3 has been described in order to reduce the uncomfortable feeling given to the user. In the first modification, a mode in which a portion where the image of the vehicle body 4 is superimposed is displayed in an emphasized manner in order to further reduce the uncomfortable feeling given to the user.

図15は、変形例1に係る車体4の強調表示を説明するための説明図である。図15は、実施の形態3に係る図13Cに相当し、モニタ3に表示される画像を示している。図15に示すように、変形例1に係る表示画像では、車体4を示す部分が点滅表示している。なお、点滅している様子はハッチングにより示している。当該点滅表示は、車両1の速度が0km/hでない場合だけでなく、車両1の速度が0km/hである場合も表示される。   FIG. 15 is an explanatory diagram for explaining the highlighted display of the vehicle body 4 according to the first modification. FIG. 15 corresponds to FIG. 13C according to the third embodiment, and shows an image displayed on the monitor 3. As shown in FIG. 15, in the display image according to the first modification, the portion showing the vehicle body 4 is blinking. The blinking state is indicated by hatching. The blinking display is displayed not only when the speed of the vehicle 1 is not 0 km / h but also when the speed of the vehicle 1 is 0 km / h.

実施の形態3によれば、モニタ3は、切り出した画像に車体4の静止画像を重畳して表示する。しかし、車両1の速度が低速である場合は切り出し領域5に車体4が含まれるため、実際の車体4の画像が切り出されることになる。すると、車両1の速度によっては、実際の車体4の画像が表示される場合と、記憶部32に記憶された車体4の静止画像が表示される場合とが生じる。そこで変形例1では、ステップS72の処理に併せて、車体4が表示されるべき画像領域に点滅表示をする。これにより、ユーザは表示画像の内どの部分が車体4を示しているかを容易に把握することができる。   According to Embodiment 3, the monitor 3 superimposes and displays a still image of the vehicle body 4 on the clipped image. However, when the speed of the vehicle 1 is low, the vehicle body 4 is included in the cutout region 5, and thus an actual image of the vehicle body 4 is cut out. Then, depending on the speed of the vehicle 1, there are a case where an actual image of the vehicle body 4 is displayed and a case where a still image of the vehicle body 4 stored in the storage unit 32 is displayed. Therefore, in the first modification, in association with the processing in step S72, the image area where the vehicle body 4 is to be displayed blinks. Thereby, the user can easily grasp which portion of the display image shows the vehicle body 4.

なお、上記の表示態様は点滅表示に限られず、例えば網掛表示、色分け表示等であってもよい。また、車体4を示す部分を囲うようにして、太線表示等をしてもよい。   Note that the above display mode is not limited to blinking display, and may be, for example, shaded display, color-coded display, or the like. Further, a thick line display or the like may be performed so as to surround a portion indicating the vehicle body 4.

以上より、変形例1によれば、車体4の画像を重畳する部分を、強調して表示する。これにより、車両1の速度が変化する場合でも同一表示が同一部分に表示されるため、ユーザに与える違和感をより軽減することができる。   As described above, according to the first modification, the portion where the image of the vehicle body 4 is superimposed is highlighted. Thereby, even when the speed of the vehicle 1 changes, the same display is displayed in the same part, so that the sense of discomfort given to the user can be further reduced.

(実施の形態4)
本実施の形態では、ユーザに与える違和感をより軽減するべく、車両1後方の撮影時にカメラ2を広範囲撮影モードに切り換える形態について述べる。
(Embodiment 4)
In the present embodiment, a mode in which the camera 2 is switched to the wide-area shooting mode when shooting behind the vehicle 1 will be described in order to further reduce the uncomfortable feeling given to the user.

図16は、実施の形態4に係る広範囲撮影モードを説明するための説明図である。図16A、Bはそれぞれ、カメラ2が撮影する画像を示している。図16Aは、カメラ2が広範囲撮影モードになっていない場合の画像である。図16Bは、カメラ2が広範囲撮影モードになっている場合の画像である。   FIG. 16 is an explanatory diagram for explaining a wide-range shooting mode according to the fourth embodiment. FIGS. 16A and 16B show images taken by the camera 2, respectively. FIG. 16A is an image when the camera 2 is not in the wide range shooting mode. FIG. 16B is an image when the camera 2 is in the wide range shooting mode.

図16A、Bを比較すると、図16Bでは、図16Aに比べて撮影範囲が広くなっている。このように、カメラ2を広範囲撮影モードとすると、撮影範囲がより広くなる。   16A and 16B are compared, the image capturing range is wider in FIG. 16B than in FIG. 16A. Thus, when the camera 2 is set to the wide range shooting mode, the shooting range becomes wider.

図17は、実施の形態4に係る表示システムの処理手順を示すフローチャートである。図17で示すフローチャートに基づいて、本実施の形態に係る表示システムの処理動作について説明する。なお、図17において、ステップS11以降の処理は実施の形態1と同様であるため、図示を省略する。
広範囲撮影モードへの切り換えは、以下のように行う。車両1のユーザが、車両1のバック運転を行う。この場合に、モニタ3に係る制御部31は、広範囲撮影モードへの切換に係る要求信号を生成し、該要求信号を、通信部33を介してカメラ2に送信する(ステップS91)。カメラ2に係る通信部23は、該要求信号を受信する(ステップS92)。制御部21は要求信号を読み出し、撮影モードを広範囲撮影モードに切り換える(ステップS93)。本実施の形態に係る表示システムは、ステップS11以降の処理を行う。
FIG. 17 is a flowchart illustrating a processing procedure of the display system according to the fourth embodiment. Based on the flowchart shown in FIG. 17, the processing operation of the display system according to the present embodiment will be described. In FIG. 17, the processing after step S <b> 11 is the same as that in the first embodiment, and thus illustration is omitted.
Switching to the wide-area shooting mode is performed as follows. The user of the vehicle 1 performs the back operation of the vehicle 1. In this case, the control unit 31 related to the monitor 3 generates a request signal related to switching to the wide range shooting mode, and transmits the request signal to the camera 2 via the communication unit 33 (step S91). The communication unit 23 related to the camera 2 receives the request signal (step S92). The control unit 21 reads the request signal and switches the shooting mode to the wide range shooting mode (step S93). The display system according to the present embodiment performs the processing after step S11.

以上より、本実施の形態4によれば、カメラ2は車両1のバック運転時に撮影モードを広範囲撮影モードに切り換えて撮影を行う。これによりカメラ2の撮影範囲がより広くなるため、車両1の速度又は操舵角度が大きくなった場合でも、切り出し領域5が画像領域からはみ出す可能性が低くなる。   As described above, according to the fourth embodiment, the camera 2 performs photographing by switching the photographing mode to the wide-range photographing mode when the vehicle 1 is driven in the back. As a result, the photographing range of the camera 2 becomes wider, so that the possibility that the cutout area 5 protrudes from the image area is reduced even when the speed or the steering angle of the vehicle 1 is increased.

(実施の形態5)
実施の形態2では、走行情報に基づいて推定車両位置を算出する形態について述べた。本実施の形態では、バッファ時間内での任意の時間tでの走行情報に基づき、時間積分によって推定車両位置を算出する形態について述べる。
(Embodiment 5)
In the second embodiment, the mode in which the estimated vehicle position is calculated based on the travel information has been described. In the present embodiment, a mode in which an estimated vehicle position is calculated by time integration based on travel information at an arbitrary time t within the buffer time will be described.

図18は、実施の形態5に係る車両1のバック運転の様子を示す概念図である。図18は、車両1がバック運転により後方に移動する様子を示している。図18において、右方向が車両1の後方向である。ここで、説明を簡潔にするために操舵角度は0度であるものとし、車両1は後方に直進するものとする。図18において、ハッチングした部分は路面である。また、図18においてxは車両1の位置座標を表すパラメータである。図18において、位置座標xを概念的に表すために、路面上に矢印を付した直線を表すことによって、座標軸を併せて図示してある。   FIG. 18 is a conceptual diagram illustrating a state of the back driving of the vehicle 1 according to the fifth embodiment. FIG. 18 shows a state in which the vehicle 1 moves backward by the back operation. In FIG. 18, the right direction is the rear direction of the vehicle 1. Here, in order to simplify the explanation, it is assumed that the steering angle is 0 degree, and the vehicle 1 goes straight backward. In FIG. 18, the hatched portion is the road surface. In FIG. 18, x is a parameter representing the position coordinates of the vehicle 1. In FIG. 18, in order to conceptually represent the position coordinate x, the coordinate axis is shown together by representing a straight line with an arrow on the road surface.

図19は、実施の形態5に係る車両1の速度の時間変化を示す概念的なグラフである。図19において、横軸は時間tを、縦軸は速度を示す。以下では、速度を時間tの関数v(t)で表すこととする。   FIG. 19 is a conceptual graph showing a temporal change in the speed of the vehicle 1 according to the fifth embodiment. In FIG. 19, the horizontal axis indicates time t, and the vertical axis indicates speed. In the following, the speed is expressed as a function v (t) of time t.

実施の形態1において詳述したように、モニタ3は、t=Teにおいてt=Tbの画像の一部を切り出し、切り出した画像を拡大して表示する。その場合に、実施の形態2に係るモニタ3は、車両1の速度(及び操舵角度)に基づいて車両1の移動距離(及び移動方向)を算出することにより、現時点の推定車両位置を算出する。当該移動距離を図19と照らし合わせて考えると、移動距離は図19において左斜め下に向かうハッチング部分の面積に相当する。ここで例えば、モニタ3に係る制御部31が、現時点の速度に基づいて移動距離を算出するものとする。現時点の速度とは、t=Teにおける速度v(Te)である。すると制御部31は、図19において右斜め下に向かうハッチング部分も含めた面積を求めることにより、移動距離を算出することになる。   As described in detail in the first embodiment, the monitor 3 cuts out a part of the image at t = Tb at t = Te, and displays the cut-out image in an enlarged manner. In that case, the monitor 3 according to the second embodiment calculates the current estimated vehicle position by calculating the moving distance (and moving direction) of the vehicle 1 based on the speed (and the steering angle) of the vehicle 1. . When the moving distance is considered with reference to FIG. 19, the moving distance corresponds to the area of the hatched portion that goes diagonally downward to the left in FIG. Here, for example, it is assumed that the control unit 31 related to the monitor 3 calculates the movement distance based on the current speed. The current speed is the speed v (Te) at t = Te. Then, the control part 31 calculates a movement distance by calculating | requiring the area also including the hatching part which goes diagonally right below in FIG.

本実施の形態においては、左斜め下に向かうハッチング部分の面積をより正確に求めるために、以下のような積分処理を行う。制御部31は、微小時間当たりの移動距離を求める。図19において微小時間当たりの移動距離は、右斜め下に向かう濃いハッチング部分の面積に相当する。ここで微小時間をΔtで表すと、右斜め下に向かう濃いハッチング部分の面積はv(t)Δtとなる。制御部31は、v(t)ΔtをTb<t<Teの時間領域で積分することにより、車両1の移動距離を算出する。   In the present embodiment, the following integration process is performed in order to more accurately determine the area of the hatched portion that is directed obliquely downward to the left. The control part 31 calculates | requires the movement distance per minute time. In FIG. 19, the movement distance per minute time corresponds to the area of the dark hatched portion that goes diagonally downward to the right. Here, when the minute time is represented by Δt, the area of the dark hatched portion that is diagonally downward to the right is v (t) Δt. The control unit 31 calculates the moving distance of the vehicle 1 by integrating v (t) Δt in the time domain of Tb <t <Te.

なお、上記の説明では簡潔のために操舵角度が0度であるものとしたが、操舵角度が0度ではない場合も考慮して算出処理をするには、車両1の後方向だけでなく、横方向も含めて座標軸を取ることにより計算をすればよい。例えば車両1の横方向の位置座標をyとし、速度v(t)をx成分及びy成分からなる二次元のベクトル量とする。これにより、操舵角度も考慮した算出処理が可能となる。   In the above description, the steering angle is assumed to be 0 degree for the sake of brevity. However, in order to perform the calculation process in consideration of the case where the steering angle is not 0 degree, not only the rear direction of the vehicle 1 but also Calculation may be performed by taking the coordinate axes including the horizontal direction. For example, the position coordinate in the lateral direction of the vehicle 1 is y, and the speed v (t) is a two-dimensional vector quantity composed of an x component and a y component. As a result, calculation processing in consideration of the steering angle is possible.

以上より、本実施の形態5によれば、車両1の推定車両位置の算出を精度よく行うことができる。   As described above, according to the fifth embodiment, the estimated vehicle position of the vehicle 1 can be calculated with high accuracy.

なお、本実施の形態においては上記の積分処理を行うことにより推定車両位置を算出することとしたが、上記の積分処理は必ずしも必須の処理工程ではない。例えば、Tb<t<Teにおける速度v(t)の平均値を求め、近似的に推定車両位置を算出することとしてもよい。   In the present embodiment, the estimated vehicle position is calculated by performing the integration process described above. However, the integration process is not necessarily an essential process step. For example, an average value of the speed v (t) at Tb <t <Te may be obtained, and the estimated vehicle position may be calculated approximately.

本発明の実施態様1においては、車両(1)に搭載される表示装置(3)であって、該車両(1)の周囲の画像を無線通信により受信する受信部(33)と、前記車両(1)の走行に関する走行情報を取得する取得部(33)と、該走行情報に基づいて前記画像の一部を切り出す画像切り出し部(31)と、該画像切り出し部(31)が切り出した画像を拡大する拡大部(31)と、該拡大部(31)が拡大した画像を表示する表示部(34)とを備えることを特徴とする。   In Embodiment 1 of the present invention, the display device (3) mounted on the vehicle (1) includes a receiving unit (33) that receives an image around the vehicle (1) by wireless communication, and the vehicle An acquisition unit (33) that acquires travel information related to travel in (1), an image cutout unit (31) that cuts out a part of the image based on the travel information, and an image cut out by the image cutout unit (31) The image display apparatus includes an enlargement unit (31) for enlarging the image and a display unit (34) for displaying an image enlarged by the enlargement unit (31).

本発明によれば、画像の一部を切り出して表示することにより、カメラ(2)と表示装置(3)とが無線で接続されている場合であっても、画像表示の遅延によりユーザに与える違和感を軽減することができる。   According to the present invention, by cutting out and displaying a part of an image, even if the camera (2) and the display device (3) are connected wirelessly, the image is given to the user due to the delay of the image display. Discomfort can be reduced.

本発明の実施態様2においては、前記画像を一時的に記憶する記憶部(32)を備え、前記画像切り出し部(31)は、現時点から所定時間前の時点の画像から、前記走行情報に基づいて該画像の一部を切り出すことを特徴とする。   In Embodiment 2 of this invention, the memory | storage part (32) which memorize | stores the said image temporarily is provided, and the said image cutout part (31) is based on the said driving | running information from the image of the predetermined time before this time. Then, a part of the image is cut out.

本発明によれば、表示装置(3)は、現時点から所定時間前の画像から一部を切り出すことにより、画像表示の遅延によりユーザに与える違和感を軽減しつつ適切な画像を表示することができる。   According to the present invention, the display device (3) can display an appropriate image while reducing a sense of discomfort given to the user due to a delay in image display by cutting out a part from an image a predetermined time before the present time. .

本発明の実施態様3においては、前記記憶部(32)は、前記走行情報と、前記画像から切り出す領域とを対応付けたテーブル(32b)を有し、前記画像切り出し部(31)は、前記走行情報に基づいて前記テーブル(32b)を参照することにより、前記画像の一部を切り出すことを特徴とする。   In Embodiment 3 of this invention, the said memory | storage part (32) has the table (32b) which matched the said driving | running | working information and the area | region cut out from the said image, and the said image cut-out part (31) is the said A part of the image is cut out by referring to the table (32b) based on traveling information.

本発明によれば、テーブル(32b)から走行情報に基づいて読み出し処理をすることで、切り出し領域(5)を決定することができる。   According to the present invention, the cut-out area (5) can be determined by performing the reading process from the table (32b) based on the travel information.

本発明の実施態様4においては、前記画像切り出し部(31)は、前記走行情報に基づいて、前記車両(1)が前記所定時間で移動した距離及び方向を算出することにより、現時点の推定車両位置を算出し、算出した前記推定車両位置に基づいて、前記画像の一部を切り出すことを特徴とする。   In Embodiment 4 of this invention, the said image cut-out part (31) calculates the distance and direction which the said vehicle (1) moved in the said predetermined time based on the said driving | running | working information. A position is calculated, and a part of the image is cut out based on the calculated estimated vehicle position.

本発明によれば、記憶部(32)にテーブル(32b)を用意せずとも、切り出し領域(5)を適切に決定することができる。   According to the present invention, the cutout region (5) can be appropriately determined without preparing the table (32b) in the storage unit (32).

本発明の実施態様5においては、前記走行情報は、前記車両(1)の速度又は操舵角度であることを特徴とする。   In Embodiment 5 of the present invention, the travel information is a speed or a steering angle of the vehicle (1).

本発明によれば、車両(1)の走行情報として車両(1)の速度及び操舵角度を利用する。これにより、走行情報と切り出し領域(5)とを適切に対応付けることができる。   According to the present invention, the speed and steering angle of the vehicle (1) are used as travel information of the vehicle (1). As a result, the travel information and the cutout area (5) can be associated with each other appropriately.

本発明の実施態様6においては、前記画像切り出し部(31)は、前記速度が0km/hである場合に、前記画像の一部を矩形状に切り出すことを特徴とする。   In Embodiment 6 of the present invention, the image cutout unit (31) cuts out a part of the image in a rectangular shape when the speed is 0 km / h.

本発明によれば、車両(1)の速度に応じて適切に画像の一部を切り出すことができる。   According to the present invention, a part of an image can be appropriately cut out according to the speed of the vehicle (1).

本発明の実施態様7においては、前記画像切り出し部(31)は、前記速度が0km/hでない場合に、前記画像の一部を台形状に切り出すことを特徴とする。   Embodiment 7 of the present invention is characterized in that the image cutout unit (31) cuts out a part of the image into a trapezoid when the speed is not 0 km / h.

本発明によれば、車両(1)の速度に応じて適切に画像の一部を切り出すことができる。   According to the present invention, a part of an image can be appropriately cut out according to the speed of the vehicle (1).

本発明の実施態様8においては、前記画像切り出し部(31)は、前記速度に応じて、前記画像から切り出す位置を変更することを特徴とする。   Embodiment 8 of the present invention is characterized in that the image cutout unit (31) changes a position to cut out from the image according to the speed.

本発明によれば、車両(1)の速度に応じて適切に画像の一部を切り出すことができる。   According to the present invention, a part of an image can be appropriately cut out according to the speed of the vehicle (1).

本発明の実施態様9においては、前記画像切り出し部(31)は、前記画像の一部を、前記操舵角度に応じて内角の角度を変えた台形状に切り出すことを特徴とする。   In an embodiment 9 of the present invention, the image cutout unit (31) cuts out a part of the image into a trapezoidal shape whose inner angle is changed according to the steering angle.

本発明によれば、車両(1)の操舵角度に応じて適切に画像の一部を切り出すことができる。   According to the present invention, a part of an image can be appropriately cut out according to the steering angle of the vehicle (1).

本発明の実施態様10においては、前記拡大部(31)は、前記表示部(34)が前記画像を表示する表示画面の形状に応じて、前記画像切り出し部(31)が切り出した画像を伸長することで、該画像を拡大することを特徴とする。   In Embodiment 10 of the present invention, the enlargement unit (31) expands the image cut out by the image cutout unit (31) according to the shape of the display screen on which the display unit (34) displays the image. By doing so, the image is enlarged.

本発明によれば、切り出した画像は表示画面に合わせて整えられ、ユーザに与える違和感を軽減することができる。   According to the present invention, the cut-out image is arranged according to the display screen, and the uncomfortable feeling given to the user can be reduced.

本発明の実施態様11においては、前記表示部(34)が表示する画像に、前記車両(1)の車体(4)の画像を重畳する画像重畳部(31)を備えることを特徴とする。   Embodiment 11 of the present invention includes an image superimposing unit (31) that superimposes an image of the vehicle body (4) of the vehicle (1) on an image displayed by the display unit (34).

本発明によれば、車両(1)の速度が大きい場合であっても、表示装置(3)には常に車体(4)が表示される。これにより、ユーザに与える違和感をより軽減することができる。   According to the present invention, the vehicle body (4) is always displayed on the display device (3) even when the speed of the vehicle (1) is high. Thereby, the uncomfortable feeling given to the user can be further reduced.

本発明の実施態様12においては、上記のいずれかに記載の表示装置(3)と、前記車両(1)の周囲を撮影するカメラ(2)と、前記走行情報を検出する車載センサ(14、15)とを備えることを特徴とする。   In the twelfth embodiment of the present invention, the display device (3) according to any one of the above, a camera (2) for photographing the periphery of the vehicle (1), and an in-vehicle sensor (14, 15).

本発明によれば、カメラ(2)と表示装置(3)とが無線で接続されている場合であっても、画像表示の遅延によりユーザに与える違和感を軽減することができる。   According to the present invention, even when the camera (2) and the display device (3) are wirelessly connected, the uncomfortable feeling given to the user due to the delay of image display can be reduced.

本発明の実施態様13においては、車両(1)に搭載されるコンピュータに、無線通信により送信された該車両(1)の周囲の画像を取得し、前記車両(1)の走行に関する走行情報を取得し、該走行情報に基づいて前記画像の一部を切り出し、切り出した画像を拡大した拡大画像を出力する処理を実行させることを特徴とする。   In Embodiment 13 of the present invention, an image around the vehicle (1) transmitted by wireless communication is acquired by a computer mounted on the vehicle (1), and travel information relating to travel of the vehicle (1) is obtained. According to the present invention, a process is performed in which a part of the image is cut out based on the travel information, and an enlarged image obtained by enlarging the cut out image is output.

本発明によれば、カメラ(2)と表示装置(3)とが無線で接続されている場合であっても、画像表示の遅延によりユーザに与える違和感を軽減することができる。   According to the present invention, even when the camera (2) and the display device (3) are wirelessly connected, the uncomfortable feeling given to the user due to the delay of image display can be reduced.

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。   The embodiment disclosed this time is to be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the meanings described above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

1 車両
11 制御部
12 記憶部
13 通信部
14 速度取得部(車載センサ)
15 操舵角度取得部(車載センサ)
2 カメラ
21 制御部
22 記憶部
23 通信部
24 画像入力部
25 画像処理部
3 表示装置(モニタ)
31 制御部(画像切り出し部、拡大部、画像重畳部)
32 記憶部
32a バッファ
32b テーブル
33 通信部(受信部、取得部)
34 表示部
4 車体
5、65、75、95、135 切り出し領域
DESCRIPTION OF SYMBOLS 1 Vehicle 11 Control part 12 Memory | storage part 13 Communication part 14 Speed acquisition part (vehicle-mounted sensor)
15 Steering angle acquisition unit (vehicle-mounted sensor)
2 Camera 21 Control unit 22 Storage unit 23 Communication unit 24 Image input unit 25 Image processing unit 3 Display device (monitor)
31 Control unit (image cutout unit, enlargement unit, image superimposition unit)
32 storage unit 32a buffer 32b table 33 communication unit (reception unit, acquisition unit)
34 Display unit 4 Car body 5, 65, 75, 95, 135 Cut-out area

Claims (13)

車両に搭載される表示装置であって、
該車両の周囲の画像を無線通信により受信する受信部と、
前記車両の走行に関する走行情報を取得する取得部と、
該走行情報に基づいて前記画像の一部を切り出す画像切り出し部と、
該画像切り出し部が切り出した画像を拡大する拡大部と、
該拡大部が拡大した画像を表示する表示部と
を備えることを特徴とする表示装置。
A display device mounted on a vehicle,
A receiver that receives an image of the surroundings of the vehicle by wireless communication;
An acquisition unit for acquiring travel information relating to the travel of the vehicle;
An image cutout unit for cutting out a part of the image based on the travel information;
An enlargement unit for enlarging the image cut out by the image cutout unit;
A display unit that displays an enlarged image of the enlargement unit.
前記画像を一時的に記憶する記憶部を備え、
前記画像切り出し部は、現時点から所定時間前の時点の画像から、前記走行情報に基づいて該画像の一部を切り出すこと
を特徴とする請求項1に記載の表示装置。
A storage unit for temporarily storing the image;
The display device according to claim 1, wherein the image cutout unit cuts out a part of the image based on the travel information from an image at a predetermined time before the present time.
前記記憶部は、前記走行情報と、前記画像から切り出す領域とを対応付けたテーブルを有し、
前記画像切り出し部は、前記走行情報に基づいて前記テーブルを参照することにより、前記画像の一部を切り出すこと
を特徴とする請求項2に記載の表示装置。
The storage unit includes a table in which the travel information is associated with an area cut out from the image,
The display device according to claim 2, wherein the image cutout unit cuts out a part of the image by referring to the table based on the travel information.
前記画像切り出し部は、
前記走行情報に基づいて、前記車両が前記所定時間で移動した距離及び方向を算出することにより、現時点の推定車両位置を算出し、
算出した前記推定車両位置に基づいて、前記画像の一部を切り出すこと
を特徴とする請求項2に記載の表示装置。
The image cutout unit
Based on the travel information, by calculating the distance and direction that the vehicle has moved in the predetermined time, the current estimated vehicle position is calculated,
The display device according to claim 2, wherein a part of the image is cut out based on the calculated estimated vehicle position.
前記走行情報は、前記車両の速度又は操舵角度であること
を特徴とする請求項1〜請求項4のいずれか1項に記載の表示装置。
The display device according to any one of claims 1 to 4, wherein the travel information is a speed or a steering angle of the vehicle.
前記画像切り出し部は、前記速度が0km/hである場合に、前記画像の一部を矩形状に切り出すこと
を特徴とする請求項5に記載の表示装置。
The display device according to claim 5, wherein the image cutout unit cuts out a part of the image in a rectangular shape when the speed is 0 km / h.
前記画像切り出し部は、前記速度が0km/hでない場合に、前記画像の一部を台形状に切り出すこと
を特徴とする請求項5又は請求項6に記載の表示装置。
The display device according to claim 5, wherein the image cutout unit cuts out a part of the image in a trapezoidal shape when the speed is not 0 km / h.
前記画像切り出し部は、前記速度に応じて、前記画像から切り出す位置を変更すること
を特徴とする請求項7に記載の表示装置。
The display device according to claim 7, wherein the image cutout unit changes a position to cut out from the image according to the speed.
前記画像切り出し部は、前記画像の一部を、前記操舵角度に応じて内角の角度を変えた台形状に切り出すこと
を特徴とする請求項7又は請求項8に記載の表示装置。
The display device according to claim 7 or 8, wherein the image cutout unit cuts out a part of the image into a trapezoidal shape in which an angle of an inner angle is changed according to the steering angle.
前記拡大部は、前記表示部が前記画像を表示する表示画面の形状に応じて、前記画像切り出し部が切り出した画像を伸長することで、該画像を拡大すること
を特徴とする請求項1〜請求項9のいずれか1項に記載の表示装置。
The enlargement unit enlarges the image by expanding the image cut out by the image cutout unit according to a shape of a display screen on which the display unit displays the image. The display device according to claim 9.
前記表示部が表示する画像に、前記車両の車体の画像を重畳する画像重畳部
を備えることを特徴とする請求項1〜請求項10のいずれか1項に記載の表示装置。
The display device according to claim 1, further comprising: an image superimposing unit that superimposes an image of a vehicle body of the vehicle on an image displayed by the display unit.
請求項1〜請求項11のいずれか1項に記載の表示装置と、
前記車両の周囲を撮影するカメラと、
前記走行情報を検出する車載センサと
を備えることを特徴とする表示システム。
The display device according to any one of claims 1 to 11,
A camera for photographing the surroundings of the vehicle;
A display system comprising: an in-vehicle sensor that detects the travel information.
車両に搭載されるコンピュータに、
無線通信により送信された該車両の周囲の画像を取得し、
前記車両の走行に関する走行情報を取得し、
該走行情報に基づいて前記画像の一部を切り出し、
切り出した画像を拡大した拡大画像を出力する
処理を実行させることを特徴とするプログラム。
In the computer installed in the vehicle,
Obtain an image of the surroundings of the vehicle transmitted by wireless communication,
Obtaining travel information relating to travel of the vehicle;
Cut out a part of the image based on the running information,
A program characterized by causing a process to output an enlarged image obtained by enlarging a cut-out image.
JP2015140803A 2015-07-14 2015-07-14 Display device, display system, and program Pending JP2017022660A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015140803A JP2017022660A (en) 2015-07-14 2015-07-14 Display device, display system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015140803A JP2017022660A (en) 2015-07-14 2015-07-14 Display device, display system, and program

Publications (1)

Publication Number Publication Date
JP2017022660A true JP2017022660A (en) 2017-01-26

Family

ID=57889910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015140803A Pending JP2017022660A (en) 2015-07-14 2015-07-14 Display device, display system, and program

Country Status (1)

Country Link
JP (1) JP2017022660A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018155159A1 (en) * 2017-02-24 2018-08-30 パナソニックIpマネジメント株式会社 Remote video output system and remote video output device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259355A (en) * 2002-03-01 2003-09-12 Mitsubishi Electric Corp Apparatus for monitoring surrounding of vehicle
JP2010245859A (en) * 2009-04-07 2010-10-28 Toyota Industries Corp Video device for assisting parking
WO2015045578A1 (en) * 2013-09-27 2015-04-02 日産自動車株式会社 Information provision system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259355A (en) * 2002-03-01 2003-09-12 Mitsubishi Electric Corp Apparatus for monitoring surrounding of vehicle
JP2010245859A (en) * 2009-04-07 2010-10-28 Toyota Industries Corp Video device for assisting parking
WO2015045578A1 (en) * 2013-09-27 2015-04-02 日産自動車株式会社 Information provision system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018155159A1 (en) * 2017-02-24 2018-08-30 パナソニックIpマネジメント株式会社 Remote video output system and remote video output device
JPWO2018155159A1 (en) * 2017-02-24 2019-12-19 パナソニックIpマネジメント株式会社 Remote video output system and remote video output device

Similar Documents

Publication Publication Date Title
CN108227703B (en) Information processing apparatus and method, operated vehicle, and recording medium having program recorded thereon
US10434945B2 (en) Method and device for displaying an image of the surroundings of a vehicle combination
JP5857224B2 (en) Parking assistance device and parking assistance method
JP4892965B2 (en) Moving object determination system, moving object determination method, and computer program
US11518384B2 (en) Method for displaying lane information and apparatus for executing the method
JP6451840B2 (en) Information presentation system
JP6107960B2 (en) Information presentation system
CN103140377A (en) Method for displaying images on a display device and driver assistance system
JP2016213815A (en) Method of providing vehicle surrounding view image, and device and computer readable recording medium therefor
JP2008299676A (en) Dead angle information requesting/providing devices and inter-vehicle communication system using the same
JP2015154406A (en) Peripheral monitoring device for towing vehicle
JP2012040883A (en) Device for generating image of surroundings of vehicle
US20200349367A1 (en) Image processing device, image processing method, and program
JP2013207746A (en) Device for photographing rear lateral side of vehicle
JP2016149613A (en) Camera parameter adjustment device
JP2012222776A (en) Image processing apparatus, image processing method, and driving support system
US11443520B2 (en) Image processing apparatus, image processing method, and image processing system
JP2008202987A (en) On-vehicle navigation device
JP4791222B2 (en) Display control device
JP2017022660A (en) Display device, display system, and program
JP6221562B2 (en) Vehicle information presentation device
JP2015154125A (en) Vehicle periphery image display device and vehicle periphery image display method
JP2013200820A (en) Image transmitting and receiving system
JP2008294616A (en) Driving support system and vehicle
JP2005029025A (en) On-vehicle display device, image display method, and image display program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181211

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190611