JP2017022660A - Display device, display system, and program - Google Patents
Display device, display system, and program Download PDFInfo
- Publication number
- JP2017022660A JP2017022660A JP2015140803A JP2015140803A JP2017022660A JP 2017022660 A JP2017022660 A JP 2017022660A JP 2015140803 A JP2015140803 A JP 2015140803A JP 2015140803 A JP2015140803 A JP 2015140803A JP 2017022660 A JP2017022660 A JP 2017022660A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- unit
- display
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、車両に搭載される表示装置、表示システム及びプログラムに関する。 The present invention relates to a display device, a display system, and a program mounted on a vehicle.
車両等の移動体にカメラを設け、該カメラが撮影した画像を表示装置に表示する技術がある。このカメラと表示装置とを無線により通信接続すると、カメラが撮影してから表示装置が画像を表示するまでの間に、画像表示の遅延が生じやすい。そのため、カメラと表示装置との通信接続は、有線によりなされることが多い。遅延が生じる主たる要因としては、画像の品質確保のために表示装置において行われるバッファリング処理が挙げられる。 There is a technique in which a moving body such as a vehicle is provided with a camera, and an image captured by the camera is displayed on a display device. When the camera and the display device are connected by wireless communication, an image display delay is likely to occur between the time when the camera takes a picture and the time when the display device displays an image. Therefore, the communication connection between the camera and the display device is often made by wire. The main factor causing the delay is a buffering process performed in the display device in order to ensure image quality.
一方で、カメラと表示装置とを無線により接続することとすれば、通信ケーブルを介在させる必要がないため、利便性が向上する。特許文献1では、カメラを含む移動体と、表示装置を含む遠隔操作装置とが無線により接続された遠隔操作システムが開示されている。該遠隔操作システムは、所定時間後の移動体と障害物との距離を予測し、予測結果から生成した所定時間後の障害物の予測画像を、カメラが撮影した画像に重畳して表示装置に表示する。これにより、画像表示の遅延も考慮して障害物の予測画像が表示され、移動体と障害物とが衝突する危険性が軽減される。
On the other hand, if the camera and the display device are connected wirelessly, there is no need to intervene a communication cable, and convenience is improved.
しかし、特許文献1に係る発明では、障害物の予測画像を重畳して表示装置に表示できるが、カメラが撮影した画像自体は遅延したまま表示装置に表示される。よって、移動体と障害物とが衝突する危険性が軽減されても、画像表示の遅延によりユーザに与える違和感は軽減されていない。
However, in the invention according to
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、カメラと表示装置とが無線で接続されている場合であっても、画像表示の遅延によりユーザに与える違和感を軽減することができる表示装置、表示システム及びプログラムを提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a user with a delay in image display even when the camera and the display device are connected wirelessly. It is an object of the present invention to provide a display device, a display system, and a program that can reduce a sense of discomfort.
本発明に係る表示装置は、車両に搭載される表示装置であって、該車両の周囲の画像を無線通信により受信する受信部と、前記車両の走行に関する走行情報を取得する取得部と、該走行情報に基づいて前記画像の一部を切り出す画像切り出し部と、該画像切り出し部が切り出した画像を拡大する拡大部と、該拡大部が拡大した画像を表示する表示部とを備えることを特徴とする。 A display device according to the present invention is a display device mounted on a vehicle, and includes a reception unit that receives an image around the vehicle by wireless communication, an acquisition unit that acquires travel information related to travel of the vehicle, An image cutout unit that cuts out a part of the image based on traveling information, an enlargement unit that enlarges an image cut out by the image cutout unit, and a display unit that displays an image enlarged by the enlargement unit And
本発明に係る表示装置は、前記画像を一時的に記憶する記憶部を備え、前記画像切り出し部は、現時点から所定時間前の時点の画像から、前記走行情報に基づいて該画像の一部を切り出すことを特徴とする。 The display device according to the present invention includes a storage unit that temporarily stores the image, and the image cutout unit extracts a part of the image based on the travel information from an image at a predetermined time before the current time. It is characterized by cutting out.
本発明に係る表示装置は、前記記憶部は、前記走行情報と、前記画像から切り出す領域とを対応付けたテーブルを有し、前記画像切り出し部は、前記走行情報に基づいて前記テーブルを参照することにより、前記画像の一部を切り出すことを特徴とする。 In the display device according to the present invention, the storage unit includes a table in which the travel information is associated with an area cut out from the image, and the image cutout unit refers to the table based on the travel information. Thus, a part of the image is cut out.
本発明に係る表示装置は、前記画像切り出し部は、前記走行情報に基づいて、前記車両が前記所定時間で移動した距離及び方向を算出することにより、現時点の推定車両位置を算出し、算出した前記推定車両位置に基づいて、前記画像の一部を切り出すことを特徴とする。 In the display device according to the present invention, the image cutout unit calculates and calculates a current estimated vehicle position by calculating a distance and a direction in which the vehicle has moved in the predetermined time based on the travel information. A part of the image is cut out based on the estimated vehicle position.
本発明に係る表示装置は、前記走行情報は、前記車両の速度又は操舵角度であることを特徴とする。 The display device according to the present invention is characterized in that the travel information is a speed or a steering angle of the vehicle.
本発明に係る表示装置は、前記画像切り出し部は、前記速度が0km/hである場合に、前記画像の一部を矩形状に切り出すことを特徴とする。 The display device according to the present invention is characterized in that, when the speed is 0 km / h, the image cutout unit cuts out a part of the image into a rectangular shape.
本発明に係る表示装置は、前記画像切り出し部は、前記速度が0km/hでない場合に、前記画像の一部を台形状に切り出すことを特徴とする。 The display device according to the present invention is characterized in that, when the speed is not 0 km / h, the image cutout unit cuts out a part of the image into a trapezoidal shape.
本発明に係る表示装置は、前記画像切り出し部は、前記速度に応じて、前記画像から切り出す位置を変更することを特徴とする。 The display device according to the present invention is characterized in that the image cutout unit changes a position to cut out from the image according to the speed.
本発明に係る表示装置は、前記画像切り出し部は、前記画像の一部を、前記操舵角度に応じて内角の角度を変えた台形状に切り出すことを特徴とする。 In the display device according to the present invention, the image cutout unit cuts out a part of the image into a trapezoidal shape in which an inner angle is changed according to the steering angle.
本発明に係る表示装置は、前記拡大部は、前記表示部が前記画像を表示する表示画面の形状に応じて、前記画像切り出し部が切り出した画像を伸長することで、該画像を拡大することを特徴とする。 In the display device according to the present invention, the enlargement unit enlarges the image by expanding the image cut out by the image cutout unit according to a shape of a display screen on which the display unit displays the image. It is characterized by.
本発明に係る表示装置は、前記表示部が表示する画像に、前記車両の車体の画像を重畳する画像重畳部を備えることを特徴とする。 The display device according to the present invention includes an image superimposing unit that superimposes an image of a vehicle body of the vehicle on an image displayed by the display unit.
本発明に係る表示システムは、上記のいずれかに記載の表示装置と、前記車両の周囲を撮影するカメラと、前記走行情報を検出する車載センサとを備えることを特徴とする。 A display system according to the present invention includes any one of the display devices described above, a camera that captures the surroundings of the vehicle, and an in-vehicle sensor that detects the travel information.
本発明に係るプログラムは、車両に搭載されるコンピュータに、無線通信により送信された該車両の周囲の画像を取得し、前記車両の走行に関する走行情報を取得し、該走行情報に基づいて前記画像の一部を切り出し、切り出した画像を拡大した拡大画像を出力する処理を実行させることを特徴とする。 The program according to the present invention acquires a surrounding image of a vehicle transmitted by wireless communication to a computer mounted on the vehicle, acquires travel information regarding the travel of the vehicle, and the image based on the travel information. A process of outputting a magnified image obtained by cutting out a part of the image and enlarging the clipped image is executed.
本発明によれば、カメラと表示装置とが無線で接続されている場合であっても、画像表示の遅延によりユーザに与える違和感を軽減することができる。 According to the present invention, even when the camera and the display device are connected wirelessly, it is possible to reduce a sense of discomfort given to the user due to a delay in image display.
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図1は、表示システムの概要を示す模式図である。本実施の形態に係る表示システムは、車両後方の画像をモニタに表示する、いわゆるバックモニタに係る表示システムである。符号1は車両である。車両1には、カメラ2及び表示装置3が搭載されている。
Hereinafter, the present invention will be described in detail with reference to the drawings illustrating embodiments thereof.
(Embodiment 1)
FIG. 1 is a schematic diagram showing an overview of a display system. The display system according to the present embodiment is a display system according to a so-called back monitor that displays an image behind the vehicle on a monitor.
カメラ2は、例えばCCD(Charge Coupled Device)カメラである。カメラ2は車両1の後部に設置され、車両1の後方を撮影する。
The
表示装置3は、例えば液晶モニタ、スマートフォン、タブレット型情報端末等である。本実施の形態において表示装置3は液晶モニタであるものとし、以下では表示装置3をモニタ3と読み替える。モニタ3は車両1の運転席付近に設置され、本実施の形態に係る車両1後方の画像のほか、種々の画像を表示する。モニタ3は、車両1のダッシュボードに埋め込まれた埋め込み式のモニタであっても、車両1のダッシュボード付近に取り外し可能に取り付けられた取り付け式のモニタであってもよい。
The
カメラ2とモニタ3とは有線で接続されておらず、カメラ2とモニタ3との間の通信は無線で行われる。
なお、上記の説明ではカメラ2は車両1の後部に設置され、モニタ3は車両1の運転席付近に設置されているものとしたが、本実施の形態においてカメラ2及びモニタ3の設置位置はこれらの位置に限定されない。カメラ2は、車両1の後方を撮影可能な位置に設置されていればよい。モニタ3は、運転席に座るユーザから視認可能な位置に設置されていればよい。
The
In the above description, the
図2は、表示システムのハードウェア群を示すブロック図である。車両1は、制御部11、記憶部12、通信部13、速度取得部14、操舵角度取得部15を含む。カメラ2は、制御部21、記憶部22、通信部23、画像入力部24、画像処理部25を含む。モニタ3は、制御部31、記憶部32、通信部33、表示部34を含む。
FIG. 2 is a block diagram illustrating a hardware group of the display system. The
制御部11は、CPU(Central Processing Unit)又はMPU(Micro-Processing Unit)等の演算処理装置を含む。制御部11は、記憶部12に記憶されたプログラムを読み出して実行することにより、車両1に係る種々の情報処理又は制御処理等を行う。また、制御部11は、車両1の走行に関する走行情報を、通信部13を介してモニタ3に送信する処理を行う。走行情報は、車両1の走行状態を示す情報であり、例えば車両1の速度、操舵角度を含む。
The
記憶部12は、RAM(Random Access Memory)、ROM(Read Only Memory)等のメモリ素子を含む。記憶部12は、制御部11が処理を実行するために必要なプログラム又はデータ等を記憶している。また、記憶部12は、制御部11が演算処理を実行するために必要なデータ等を一時的に記憶する。
The
通信部13は、例えばアンテナ及び通信処理を実行するために必要な付属回路等を含む。通信部13は、カメラ2、モニタ3等の機器と無線通信を行う。具体的には、車両の自己診断機能として普及しているOBD(On-Board Diagnostics)2の規格のコネクタに、Bluetooth(登録商標)規格の無線機を接続することにより、無線通信を行う。なお、上記の構成は例示であり、通信部13はカメラ2、モニタ3等の機器と無線通信を行うことができればよい。通信部13は制御部11の指令に従って、車両1の走行情報をモニタ3に送信する。
The
速度取得部14は、車両1の速度を測定する車速センサ等を含む。速度取得部14は例えば、トランスミッション等に設けられた車速センサが車両1の車軸の回転数を測定することにより、車両1の速度を取得する。
The
操舵角度取得部15は、車両1の操舵角度を測定する操舵センサ等を含む。操舵角度取得部15は例えば、車両1のステアリングシャフトに設けられた操舵センサがステアリングホイールの操舵角度を測定することにより、車両1の操舵角度を取得する。
The steering
制御部21は、車両1に係る制御部11と同様に、CPU又はMPU等を含み、カメラ2に係る種々の情報処理又は制御処理等を行う。制御部21は、後述する画像入力部24が撮影した画像に係る画像データを画像処理部25において処理し、通信部23を介してモニタ3に送信する処理を行う。また、制御部21は、モニタ3側からの要求を受けて、標準の撮影モードよりも撮影範囲を広くした広範囲撮影モードへの切り換えを行う。
The
記憶部22は、車両1に係る記憶部12と同様に、RAM、ROM等のメモリ素子を含み、制御部21が処理を実行するために必要なプログラム又はデータ等を記憶している。また、記憶部22は、制御部21が演算処理を実行するために必要なデータ等を一時的に記憶する。
The memory |
通信部23は、車両1に係る通信部13と同様に、例えばアンテナ及び通信処理を実行するために必要な付属回路等を有し、車両1、モニタ3等の機器と無線通信を行う。通信部23は例えば、無線LAN(Local Area Network)、Bluetooth等の規格に応じた無線通信を行う。通信部23は、制御部21の指令に従って、後述する画像処理部25が出力した画像データを、モニタ3に送信する。また、通信部23は、モニタ3側からの広範囲撮影モードへの切り換えに係る要求信号を受信する。
Similar to the
画像入力部24は、例えばCCDイメージセンサ等を有し、車両1の後方を撮影する。画像入力部24は、被写体からの反射光を受け、車両1後方の反射光像をイメージセンサに結像させ、RGB(R:Red、G:Green、B:Blue)のアナログ電気信号を出力する。
The
画像処理部25は、画像入力部24から入力されるアナログ電気信号を基にデジタル形式の画像データを生成する。生成した画像データは通信部23に出力される。
The
制御部31は、車両1に係る制御部11と同様に、CPU又はMPU等を含み、モニタ3に係る種々の情報処理又は制御処理等を行う。また、制御部31は、後述するように、通信部33が受信した画像データを記憶部32に一時的に記憶した後、該画像データに基づいて表示部34に画像を表示する処理を行う。
The
記憶部32は、車両1に係る記憶部12と同様に、RAM、ROM等のメモリ素子を含む。記憶部32は、制御部31が本実施の形態に係る処理を実行するために必要なプログラムPを有する。記憶部32は、カメラ2から送信された画像データを一時的に格納するバッファ32aを有する。また、記憶部32は、車両1の速度及び操舵角度と、画像上の座標を示す第1〜4座標とを対応付けたテーブル32bを有する。テーブル32bについて、詳しくは後述する。
The memory |
通信部33は、車両1に係る通信部13と同様に、例えばアンテナ及び通信処理を実行するために必要な付属回路等を有し、車両1、カメラ2等の機器と無線通信を行う。通信部33は例えば、車両1に係る通信部13、カメラ2に係る通信部23等の通信規格に対応して、無線LAN、Bluetooth等の規格の無線通信を行う。通信部33は、カメラ2に係る通信部23から送信された画像データと、車両1に係る通信部13から送信された走行情報とを受信する。また、通信部33は、制御部31の指令に従い、広範囲撮影モードへの切り換えに係る要求信号をカメラ2に送信する。
Similar to the
表示部34は、例えば液晶ディスプレイ及び該ディスプレイに画像を表示するための駆動回路等を含む。表示部34は、車両1後方の画像を表示する。なお、当該ディスプレイは有機EL(Electro Luminescence)ディスプレイ等であってもよい。
The
なお、車両1、カメラ2及びモニタ3の構成は上記の構成に限られず、例えばユーザの操作入力を受け付ける入力部等を含んでもよい。
In addition, the structure of the
また、本実施の形態において走行情報は、車両1に係る速度取得部14及び操舵角度取得部15が取得することとしたが、走行情報は他のハードウェアから取得することも可能である。例えば、モニタ3又は車両1に加速度センサ、GPS(Global Positioning System)等を設け、これらのハードウェアから取得した情報に基づき、制御部31又は制御部11が速度及び操舵角度を算出することとしてもよい。また例えば、カメラ2が撮影した画像に基づき、制御部31又は制御部21が速度及び操舵角度を算出することとしてもよい。
ただし、走行情報を他のハードウェアから取得する場合、算出処理をする分だけ走行情報の伝送に遅延が生じる可能性が高い。また、取得する走行情報の精度も、車両1に係る速度取得部14及び操舵角度取得部15から取得する場合と比べて劣る可能性が高い。よって、車両1の走行情報は、他のハードウェアからではなく、車両1に係る速度取得部14及び操舵角度取得部15から取得することが好ましい。
In the present embodiment, the travel information is acquired by the
However, when travel information is acquired from other hardware, there is a high possibility that transmission of travel information will be delayed by the amount of calculation processing. In addition, the accuracy of the travel information to be acquired is likely to be inferior compared to the case of acquiring from the
また、本実施の形態において、車両1とモニタ3との間の通信は無線通信であるものとしたが、該通信は有線によって行われてもよい。この場合、車両1及びモニタ3がそれぞれ備えるコネクタを通信ケーブルで接続すればよい。
In the present embodiment, the communication between the
図3は、テーブル32bのレコードレイアウトを示す説明図である。テーブル32bは、速度列、操舵角度列、第1座標列、第2座標列、第3座標列、第4座標列を有する。速度列は車両1の速度を記憶している。操舵角度列は車両1の操舵角度を記憶している。
FIG. 3 is an explanatory diagram showing a record layout of the table 32b. The table 32b has a speed train, a steering angle train, a first coordinate train, a second coordinate train, a third coordinate train, and a fourth coordinate train. The speed train stores the speed of the
第1〜4座標列はそれぞれ、カメラ2が撮影する画像における画像上の座標を記憶している。この座標系は例えば、画像の左上隅を原点とし、画像の右方向の座標をX成分、下方向の座標をY成分とする直交座標系である。第1〜4座標は、この座標系における座標点である。第1座標と第2座標、第2座標と第3座標、第3座標と第4座標、第4座標と第1座標とを直線により繋げると、この直線群は画像上の一定領域を囲むことになる。制御部31は、後述するように該一定領域をテーブル32bから読み出し、読み出した結果に基づいて画像の一定領域を切り出す。
なお、図3における第1〜4座標は説明のため便宜的に座標を取ったものであるが、本実施の形態はこれに限らず、速度及び操舵角度と、画像から切り出す領域とを対応付けることができればよい。また、テーブル32bにおける各設定値は図3に示す値に限るものではなく、より細かな数値間隔で設定してもよい。また、車両1の操舵角度が0度でなくとも速度が0km/hである場合、車両1は移動しないことから、後述する画像の切り出し処理をする上で操舵角度を考慮する必要がない。よって、速度列の数値が0である場合に操舵角度列はブランクとなっている。
Each of the first to fourth coordinate sequences stores the coordinates on the image in the image captured by the
The first to fourth coordinates in FIG. 3 are taken for convenience of explanation, but the present embodiment is not limited to this, and the speed and steering angle are associated with the region to be cut out from the image. If you can. Further, the setting values in the table 32b are not limited to the values shown in FIG. 3, but may be set at finer numerical intervals. In addition, when the speed of the
図4は、表示システムの処理手順を示すフローチャートである。図4に示すフローチャートに基づいて、本実施の形態に係る表示システムの処理動作について説明する。
本実施の形態に係る表示システムは、車両1のバック運転時に、以下の処理を所定間隔で繰り返し実行する。カメラ2は、車両1の後方を撮影する。画像入力部24は、車両1後方の画像の入力を受け付ける(ステップS11)。制御部21は、画像処理部25に、該画像に係るアナログ信号をデジタル信号に変換し、画像データを生成する処理を実行させる(ステップS12)。制御部21は、通信部23を介して画像データをモニタ3に送信する(ステップS13)。
FIG. 4 is a flowchart showing the processing procedure of the display system. The processing operation of the display system according to the present embodiment will be described based on the flowchart shown in FIG.
The display system according to the present embodiment repeatedly executes the following processing at predetermined intervals when the
モニタ3に係る通信部33は、画像データを受信する(ステップS14)。制御部31は、画像データを所定時間(以下、バッファ時間という)だけバッファ32aにバッファリングする(ステップS15)。
なお、バッファ時間は画像の品質を確保するべくバッファリング処理を行うために必要な時間であり、一般には機器毎に定まった固定値を取る。以下で特に言及しない場合には、バッファ時間は固定値であるものとして説明するが、ユーザの設定入力により変更できるものとしてもよい。バッファ時間を変更した場合でも、各実施の形態を適用することができる。
The
Note that the buffer time is a time required for performing buffering processing to ensure image quality, and generally takes a fixed value determined for each device. Unless otherwise specified, the buffer time is described as a fixed value, but may be changed by a user's setting input. Each embodiment can be applied even when the buffer time is changed.
車両1に係る制御部11は、速度取得部14及び操舵角度取得部15によって車両1の速度及び操舵角度を取得する(ステップS16)。制御部11は、通信部13を介して速度及び操舵角度を示す走行情報をモニタ3に送信する(ステップS17)。
なお、ステップS16、17は必ずしもステップS15の後である必要はなく、車両1は、継続的に速度及び操舵角度を取得し、モニタ3に送信するようにしてもよい。
The
Note that steps S16 and S17 do not necessarily have to be performed after step S15, and the
モニタ3に係る通信部33は、走行情報を受信する(ステップS18)。制御部31は、バッファリングされた画像データ並びに車両1の速度及び操舵角度に基づき、表示部34に車両1後方の画像を表示させる(ステップS19)。
The
図5は、画像表示のサブルーチンの処理手順を示すフローチャートである。図5に示すフローチャートに基づいて、ステップS19の画像表示のサブルーチンについて説明する。
制御部31は、走行情報に基づいて画像から切り出す領域を決定する(ステップS21)。より詳しくは、テーブル32bを参照し、現時点の速度及び操舵角度に対応する第1〜4座標の値を読み出す。制御部31は、参照した結果に基づいて、現時点からバッファ時間だけ前の時点の画像から、画像の一部を切り出す(ステップS22)。制御部31は、切り出した画像を表示部34に拡大して表示し(ステップS23)、一連の処理を終了する。
FIG. 5 is a flowchart showing a processing procedure of an image display subroutine. Based on the flowchart shown in FIG. 5, the image display subroutine of step S19 will be described.
The
次に、画像の切り出し及び拡大表示について説明する。図6は、車両1の速度が0km/hである場合の画像表示を説明するための説明図である。図6A〜Cはいずれも、車両1がバック運転で駐車場に駐車しようとする場合の、車両1後方の画像である。図6A〜Cにおける4本の白線は駐車場の白線であり、奥のブロック面はブロック塀を示している。図6Aは、現時点でカメラ2が撮影している画像である。図6Bは、現時点でモニタ3が表示可能な画像、つまりバッファリング済みの画像である。また、図6Bにおいて符号65で示す破線領域は、制御部31が該画像から切り出す、切り出し領域を示している。図6Cは、モニタ3に表示される画像である。
なお、図6A〜Cにおいて符号4で示す湾曲した部分は、車両1の車体であり、例えばリアバンパーである。また、以下の説明において、各図の切り出し領域を適宜に総称して符号5で表すこととする。
Next, image clipping and enlarged display will be described. FIG. 6 is an explanatory diagram for explaining image display when the speed of the
6A to 6C, the curved portion indicated by
図6Aと図6Bとを比較すると、図6Aは現時点の画像であり、図6Bはバッファリングが済む前、つまりバッファ時間だけ前の時点の画像であるが、車両1の速度が0km/hであることから、両時点において車両位置は変わらない。よって図6A及び図6Bは、矩形状の切り出し領域65以外は、同一の画像となっている。
Comparing FIG. 6A and FIG. 6B, FIG. 6A is an image at the present time, and FIG. 6B is an image before the buffering is completed, that is, the image at the time before the buffer time, but the speed of the
車両1の速度が0km/hである場合、制御部31はテーブル32bを参照し、画像から切り出す切り出し領域65を決定する(ステップS21)。制御部31は、バッファ時間だけ前の時点の画像(図6B)から、矩形状の切り出し領域65を切り出す(ステップS22)。図6Cに示すように、制御部31は該切り出し領域65の画像を、表示部34のディスプレイに合わせて拡大して表示する(ステップS23)。
When the speed of the
ステップS22において切り出した矩形状の画像は、カメラ2が撮影した画像の一部である。この切り出し領域65に係る画像をそのまま表示部34に表示すると、ディスプレイの面積に比べて画像面積が小さくなる。そこで制御部31は、ステップS23において、表示部34のディスプレイに合わせて切り出し領域65を拡大することとしている。
The rectangular image cut out in step S22 is a part of the image captured by the
図7は、車両1の速度が0km/hではなく、かつ、車両1の操舵角度が0度である場合の画像表示を説明するための説明図である。図7A〜Cの概要は、図6A〜Cとほぼ同一であるため、各図の概要の説明は省略する。ただし、切り出し領域は符号75で示す。
FIG. 7 is an explanatory diagram for explaining image display when the speed of the
図7Aと図7Bとを比較すると、図7Aは現時点の画像であり、図7Bはバッファ時間だけ前の時点の画像であることから、両時点の間に車両1は後方に移動する。よって、図7Aの画像に比べて図7Bの画像は、車両1後方のブロック塀から遠ざかっている。
Comparing FIG. 7A and FIG. 7B, FIG. 7A is an image at the present time, and FIG. 7B is an image at a time point before the buffer time. Therefore, the
また、図6と図7とを比較すると、車両1の速度が0km/hである場合には、図6A、Bの両時点で車両位置が変わらないが、車両1の速度が0km/hでない場合には、車両1が図7A、Bの両時点の間に後方に移動する。そこで制御部31は、車両1の速度が0km/hである場合には切り出し領域65を矩形状に、車両1の速度が0km/hでない場合には切り出し領域75を台形状に、それぞれ切り出す。これにより、車両1の速度に応じて画像の一部を適切に切り出すことができる。
Further, comparing FIG. 6 with FIG. 7, when the speed of the
また、図6と図7とを比較すると、前述のごとく、図6A、Bの両時点の間に車両1は移動しないが、図7A、Bの両時点の間に車両1は後方に移動する。よって、車両1の速度が0km/hでない場合(図7B)の切り出し領域75は、車両1の速度が0km/hである場合(図6B)の切り出し領域65よりも車両1後方の画像領域とすることが適切である。そこで制御部31は、図6Bでは切り出し領域65を車両1の手前側(図中下側)の画像領域とするのに対し、図7Bでは切り出し領域75をより後方の画像領域としている。
なお、速度が大きいほど車両1は後方に移動することから、図7Bにおいて、車両1の速度が大きいほど切り出し領域75の位置はより後方に決定されることとなる。
Further, comparing FIG. 6 with FIG. 7, as described above, the
Since the
車両1の速度が0km/hではない場合、制御部31はテーブル32bを参照し、画像から切り出す切り出し領域75を決定する(ステップS21)。制御部31は、現時点からバッファ時間だけ前の時点の画像(図7B)から、台形状の切り出し領域75を切り出す(ステップS22)。図7Cに示すように、制御部31は該切り出し領域75の画像を、表示部34のディスプレイに合わせて拡大して表示する(ステップS23)。
When the speed of the
図8は、車両1の速度が0km/hではない場合の拡大処理の一例を説明するための説明図である。図8Aは、台形状の切り出し領域75を単純に拡大した場合を概念的に示している。矩形状の実線部分は表示部34のディスプレイの形状を示し、台形状の破線部分は切り出し領域75を拡大した形状を示している。図8Bは、台形状の切り出し領域75を、表示部34のディスプレイの形状に応じて伸長することにより拡大した場合を概念的に示している。図8Aと同様に、実線部分はディスプレイの形状を、破線部分は切り出し領域75を拡大した形状を示している。図8に基づき、ステップS23の拡大処理について説明する。
FIG. 8 is an explanatory diagram for explaining an example of the enlargement process when the speed of the
前述のごとく、車両1の速度が0km/hではない場合に、切り出し領域75は台形状である。ここで例えば表示部34のディスプレイが矩形状だとすると、図8Aに示すように、切り出し領域75の拡大画像とディスプレイとの間に形状の相違が生じる。そこで本実施の形態においては、車両1の速度が0km/hではない場合に、台形状の切り出し領域75を単純に拡大せず、ディスプレイの形状に応じて伸長することにより拡大する。より詳しくは図8Bに示すように、制御部31は、矩形状のディスプレイに合わせて、切り出し領域75が矩形状となるように伸長する。また、制御部31は、切り出し領域75の長辺及び短辺がディスプレイの長辺及び短辺と等しくなるように伸長する。
As described above, when the speed of the
なお、上記の拡大処理の内容は一例であり、本実施の形態はこれに限るものではない。画像の拡大処理によってユーザに違和感を与えなければよいため、例えば切り出し領域75の長辺及び短辺をディスプレイの長辺及び短辺と厳密に等しくする必要はない。また、モニタ3のディスプレイが矩形状とは限らないため、ディスプレイの形状に応じて切り出し領域75の拡大画像の形状を適宜に変更してもよい。
Note that the contents of the above enlargement processing are merely examples, and the present embodiment is not limited to this. For example, it is not necessary to make the long side and the short side of the
図9は、車両1の速度が0km/hではなく、かつ、車両1の操舵角度が0度でない場合の画像表示を説明するための説明図である。図9A〜Cの概要は、図6A〜Cとほぼ同一であるため、各図の概要の説明は省略する。ただし、切り出し領域は符号95で示す。
FIG. 9 is an explanatory diagram for explaining an image display when the speed of the
図9Aと図9Bとを比較すると、車両1の速度が0km/hではなく、かつ、車両1の操舵角度が0度でないことから、図9A、Bの両時点の間に車両1が蛇行する。よって、図9Aではカメラ2がブロック塀に正対した画像となっているのに対し、図9Bではカメラ2がブロック塀と斜めに向かい合った画像となっている。
Comparing FIG. 9A and FIG. 9B, since the speed of the
図7と図9とを比較すると、図7においては車両1が後方に直進するため、図7Bに示すように、切り出し領域75は上底及び下底が上下の画像枠と平行な台形状とすることが適切である。これに対して図9では、車両1が蛇行しながら後方に移動するため、図9Bに示すように、切り出し領域95を傾かせ、切り出し領域75とは内角の角度を変えた台形状とすることが適切である。このように制御部31は、車両1の速度が0km/hでない場合、車両1の操舵角度に応じて、台形状の切り出し領域5の内角の角度を変えて切り出す。よって、切り出し領域95は切り出し領域75と相似形の台形状になっていない。
7 and FIG. 9, since the
車両1の速度が0km/hではない場合、制御部31はテーブル32bを参照し、画像から切り出す切り出し領域95を決定する(ステップS21)。制御部31は、現時点からバッファ時間だけ前の時点の画像(図9B)から、台形状の切り出し領域95を切り出す(ステップS22)。図9Cに示すように、表示部34は、該切り出し領域95の画像をディスプレイに合わせて拡大して表示する(ステップS23)。より詳しくは、操舵角度が0度である場合と同様に(図8参照)、矩形状のディスプレイに合わせて拡大表示する。
When the speed of the
図10は、表示システムにおける通信処理及び表示処理の関係性を説明するための説明図である。図10A、Bにおいて、横方向の破線が時間軸を表す。該時間軸において、図中の右方向が正方向である。以下、時間をtで表す。図10では、時間tの進行に沿って、カメラ2が撮影した画像データa、b、c……を次々とモニタ3に送信し、モニタ3が該画像データa、b、c……に基づいて画像を表示していく様子が示されている。図10A、Bにおいて、上の横線がカメラ2を、下の横線がモニタ3を、それぞれ概念的に示す。図10Aは、本実施の形態を適用せず、単にカメラ2とモニタ3とを無線接続する場合を示している。図10Bは、本実施の形態を適用した場合を示している。図10に基づいて、本実施の形態を適用した場合と適用しなかった場合との違いを説明する。なお、画像データの送信は実際には連続的に行われるものであるが、図10においては説明の便宜のため、画像データの送信が行われる様子を離散的に示している。
FIG. 10 is an explanatory diagram for explaining the relationship between communication processing and display processing in the display system. 10A and 10B, a horizontal broken line represents a time axis. On the time axis, the right direction in the figure is the positive direction. Hereinafter, time is represented by t. In FIG. 10, along with the progress of time t, image data a, b, c... Taken by the
カメラ2がt=Teにモニタ3へ送信した画像データeについて考える。図10Aの場合、モニタ3は画像データeを、t=Teとほぼ同時に受信する。しかしこの通信は、通信部23と通信部33との間で無線通信により行われるため、モニタ3は画像データeをバッファリングする必要がある。これにより、モニタ3において画像データeに基づき画像が表示される時点は、t=Teからバッファ時間だけ後のt=Thとなる。つまり、Th−Te(バッファ時間)だけ画像表示の遅延が生じる。
Consider image data e transmitted from the
図10Bにおいて、図10Aの場合と同じく、カメラ2はt=Teに画像データeをモニタ3に送信する。一方で、カメラ2は、t=Teよりバッファ時間だけ前のt=Tbの画像データbもモニタ3に送信している。つまり、Te−Tb=Th−Teである。Te−Tb=Th−Teが成り立つことから、モニタ3は、t=Teにおいて画像データbをバッファリング済みであり、t=Tbの画像を表示可能である。
In FIG. 10B, as in the case of FIG. 10A, the
モニタ3は、t=Tbの画像データbを用いて、t=Teに画像の表示を行う。より詳しくは、前述のごとく、走行情報に基づいてテーブル32bを参照する。次に、t=Tbの画像から、参照した結果に基づいて、表示すべき画像の一部、つまり切り出し領域5を切り出す。モニタ3は切り出した画像を、表示部34のディスプレイに合わせて拡大表示する。
The
上記のように、本実施の形態を適用しなかった場合(図10A)、t=Thにおいてt=Teの画像が表示される。これに対し、本実施の形態を適用した場合(図10B)、t=Teにおいて、t=Tbの画像の一部が切り出され、t=Teの画像として表示される。 As described above, when this embodiment is not applied (FIG. 10A), an image of t = Te is displayed at t = Th. On the other hand, when this embodiment is applied (FIG. 10B), at t = Te, a part of the image at t = Tb is cut out and displayed as an image at t = Te.
以上より、本実施の形態1によれば、車両1の走行に関する走行情報に基づいて画像の一部を切り出して表示する。これにより、カメラ2とモニタ3とが無線で接続されている場合であっても、画像表示の遅延によりユーザに与える違和感を軽減することができる。
As described above, according to the first embodiment, a part of the image is cut out and displayed based on the travel information related to the travel of the
また、本実施の形態1によれば、車両1の走行情報に基づいて、現時点からバッファ時間だけ前の時点の画像から一部を切り出す。これによりモニタ3は、画像表示の遅延によりユーザに与える違和感を軽減しつつ適切な画像を表示することができる。
Further, according to the first embodiment, a part is cut out from the image at the time point before the buffer time from the current time point based on the travel information of the
また、本実施の形態1によれば、記憶部32に走行情報と切り出し領域5とを対応付けたテーブル32bを有する。これにより、走行情報に基づいて読み出し処理をすることで切り出し領域5を決定することができる。
Further, according to the first embodiment, the
また、本実施の形態1によれば、車両1の走行情報として車両1の速度及び操舵角度を利用する。これにより、適切に走行情報と切り出し領域5とを対応付けることができる。
Further, according to the first embodiment, the speed and steering angle of the
また、本実施の形態1によれば、車両1の速度が0km/hである場合は矩形状に、0km/hでない場合は台形状に、画像の一部を切り出す。また、車両1の速度が大きいほど切り出し領域5の位置をより後方に決定する。これにより、車両1の速度に応じて適切に画像の一部を切り出すことができる。
Further, according to the first embodiment, a part of the image is cut out in a rectangular shape when the speed of the
また、本実施の形態1によれば、車両1の速度が0km/hではなく、操舵角度が0度でない場合に、操舵角度に応じて台形状の切り出し領域5の内角を変えて切り出す。これにより、車両1の操舵角度に応じて適切に画像の一部を切り出すことができる。
Further, according to the first embodiment, when the speed of the
また、本実施の形態1によれば、モニタ3は、切り出した画像を拡大して表示する。これにより、切り出し領域5の画像はディスプレイに合わせて整えられ、ユーザに与える違和感を軽減することができる。
Further, according to the first embodiment, the
また、本実施の形態1によれば、モニタ3は、車両1に搭載された速度取得部14及び操舵角度取得部15によって走行情報を取得する。これにより、前述のごとく、走行情報を他のハードウェアによって取得する場合と比べ、情報伝送の遅延、情報精度の劣化等を生じさせない。
Further, according to the first embodiment, the
なお、本実施の形態において、モニタ3は現時点からバッファ時間だけ前の時点の画像から一部を切り出すこととしたが、本実施の形態はこれに限るものではない。モニタ3は、バッファリング済みの画像を表示することとすれば、遅延を生じさせずに画像表示をできることから、表示する画像は、現時点からバッファ時間以前の画像であればよい。つまり、t=Tb以前の画像を用いてもよい。この場合、バッファ時間ではなく、画像の撮影時点から現時点までの時間に応じて、テーブル32bに記憶する第1〜4座標の設定値を適宜に変更すればよい。
In the present embodiment, the
また、上記の説明ではバッファ時間が固定値であることを前提として説明したが、本実施の形態はこれに限るものではなく、ユーザの設定入力によりバッファ時間を変更できるものとしてもよい。この場合、テーブル32bにバッファ時間列を設け、速度、操舵角度及びバッファ時間と、第1〜4座標とを対応付けて記憶する構成とすればよい。 In the above description, the buffer time is assumed to be a fixed value. However, the present embodiment is not limited to this, and the buffer time may be changed by user setting input. In this case, a buffer time sequence may be provided in the table 32b, and the speed, steering angle, buffer time, and first to fourth coordinates may be stored in association with each other.
(実施の形態2)
実施の形態1では、モニタ3はテーブル32bに予め切り出し領域5を設定しておき、テーブル32bを参照した結果に基づいて画像の一部を切り出す形態について述べた。しかしモニタ3は、テーブル32bを参照せず、走行情報に基づく算出処理によって画像のどの部分を切り出すかを求めてもよい。本実施の形態では、モニタ3は走行情報に基づいて現時点の推定車両位置を算出し、算出した推定車両位置に基づいて画像の一部を切り出す形態について述べる。
(Embodiment 2)
In the first embodiment, the
図11は、実施の形態2に係る画像表示のサブルーチンの処理手順を示すフローチャートである。図11で示すフローチャートに基づいて、本実施の形態に係るステップS19の画像表示のサブルーチンについて説明する。なお、実施の形態1と重複する内容については、同一の符号を付して説明を省略する。
制御部31は、車両1の速度が0km/hであるか否かを判定する(ステップS51)。車両1の速度が0km/hである場合(ステップS51:YES)、制御部31は、走行情報に基づいて切り出し領域5を決定する(ステップS52)。具体的には、車両1の速度が0km/hであることから、車両1と、カメラ2の撮影範囲との相対的な位置関係より、切り出し領域5を決定する。ステップS52と、以下のステップS55及び57の処理内容について、より詳しくはまとめて後述する。
FIG. 11 is a flowchart illustrating a processing procedure of an image display subroutine according to the second embodiment. Based on the flowchart shown in FIG. 11, the image display subroutine of step S19 according to the present embodiment will be described. In addition, about the content which overlaps with
The
車両1の速度が0km/hでない場合(ステップS51:NO)、制御部31は、車両1の操舵角度が0度であるか否かを判定する(ステップS53)。車両1の操舵角度が0度である場合(ステップS53:YES)、制御部31は、バッファ時間及び速度に基づいて現時点の推定車両位置を算出する(ステップS54)。より詳しくは、車両1の速度に基づいて、車両1がバッファ時間で移動した距離を算出することにより、現時点の推定車両位置を算出する。制御部31は、算出した推定車両位置に基づいて、切り出し領域5を決定する(ステップS55)。
When the speed of the
操舵角度が0度でない場合(ステップS53:NO)、制御部31は、バッファ時間、速度及び操舵角度に基づいて現時点の推定車両位置を算出する(ステップS56)。より詳しくは、車両1の速度及び操舵角度に基づいて、車両1がバッファ時間で移動した距離及び方向を算出することにより、現時点の推定車両位置を算出する。制御部31は、算出した推定車両位置に基づいて、切り出し領域5を決定する(ステップS57)。
When the steering angle is not 0 degree (step S53: NO), the
図12は、実施の形態2に係る車両1と、カメラ2の撮影範囲との位置関係を示す概念図である。図12に基づき、ステップS52、55及び57の処理内容の一例を示す。
カメラ2は車両1後部の所定位置に設置されていることから、カメラ2の路面からの高さ及び画角は既知とすることができる。ここで路面が水平であるものとすると、カメラ2の高さ及び画角が一定値を取ることから、車両1と、カメラ2の撮影範囲との相対的な位置関係は一定である。よって、カメラ2が設けられた車両1の現時点の推定車両位置を算出することにより、カメラ2が現時点でどの範囲を撮影しているかが推定可能である。これより、バッファ時間だけ前の時点の画像から切り出すべき領域、つまり切り出し領域5を決定することができる。
なお、車両1の速度が0km/hである場合は、バッファ時間において車両1は移動しない。よって、推定車両位置を算出する必要はなく、車両1とカメラ2の撮影範囲との相対的な位置関係から切り出し領域5を決定することができる。
FIG. 12 is a conceptual diagram showing the positional relationship between the
Since the
When the speed of the
なお、上記のステップS52、55及び57の処理内容は一例であり、他の処理方法によって切り出し領域5を決定することも考えられる。例えばカメラ2に、赤外線照射により対象物との距離を測る測距センサ等を設け、車両1後方に係る三次元情報を取得し、モニタ3はこの三次元情報及び推定車両位置に基づいて切り出し領域5を決定することとしてもよい。
In addition, the processing content of said step S52, 55, and 57 is an example, and it can also consider determining the cut-out area |
以上より、実施の形態2によれば、モニタ3は現時点の推定車両位置を算出し、算出した推定車両位置に基づいて画像の一部を切り出す。これにより、記憶部32にテーブル32bを用意せずとも、適切に切り出し領域5を決定することができる。
As described above, according to the second embodiment, the
(実施の形態3)
実施の形態1では、画像表示の遅延によりユーザに与える違和感を軽減するべく、モニタ3が画像の一部を切り出して表示する形態について述べた。本実施の形態では、ユーザに与える違和感をより軽減するべく、モニタ3が表示する画像に車体4の画像を重畳する形態について述べる。
(Embodiment 3)
In the first embodiment, a mode has been described in which the
図13は、実施の形態3に係る画像の重畳表示を説明するための説明図である。図13は、実施の形態1に係る図7に対応する。ただし、切り出し領域は符号135で示す。図13においては説明を容易にするために、車両1の速度は0km/hより大きく、車両1の操舵角度は0度であるものとして説明する。
FIG. 13 is an explanatory diagram for explaining the superimposed display of an image according to the third embodiment. FIG. 13 corresponds to FIG. 7 according to the first embodiment. However, the cutout area is indicated by
図13Aと図13Bとを比較すると、図7と同じく、図13Aは現時点の画像であり、図13Bはバッファ時間だけ前の時点の画像であることから、両時点の間に車両1が後方に移動している。よって、図13Aの画像に比べて図13Bの画像は、車両1後方のブロック塀から遠ざかっている。
また、図13A、Bの両時点の間に車両1が後方に移動することから、その移動距離だけ切り出し領域135の位置を車両1の後方に決定することが適切である。よって、図7Bと同じく、図13Bにおいて切り出し領域135は手前側よりも後方の画像領域となっている。
Comparing FIG. 13A and FIG. 13B, as in FIG. 7, FIG. 13A is an image at the present time, and FIG. 13B is an image at a time point before the buffer time. Has moved. Therefore, compared with the image of FIG. 13A, the image of FIG. 13B is moving away from the block fence behind the
Further, since the
ここで、切り出し領域135に着目すると、図13Bに示すように、切り出し領域135に車体4は含まれない。このように、車両1の速度によっては、車体4が切り出し領域135に含まれる場合と含まれない場合とが生じる。この切り出し領域135をそのまま拡大して表示すると、車両1の速度によって車体4が表示される場合と表示されない場合とが生じる(図6C、図7C参照)。そこで本実施の形態では、ユーザに与える違和感をより軽減するべく、切り出し領域135を拡大表示する場合に併せて車体4の画像を重畳して表示する。
Here, focusing on the
図13Cは、モニタ3に表示される画像である。図13Cは、実施の形態1に係る図7Cに対応する。図7Cと図13Cとを比較すると、図7Cでは車体4の画像が表示されていないが、図13Cでは車体4の画像が表示されている。このように、本実施の形態に係るモニタ3では、車体4の画像を重畳して表示する
FIG. 13C is an image displayed on the
図14は、実施の形態3に係る画像表示のサブルーチンの処理手順を示すフローチャートである。図14に示すフローチャートにもとづいて、本実施の形態に係る画像表示のサブルーチンについて説明する。なお、実施の形態1と重複する内容については同一の符号を付して説明を省略する。
FIG. 14 is a flowchart illustrating a processing procedure of an image display subroutine according to the third embodiment. An image display subroutine according to the present embodiment will be described with reference to the flowchart shown in FIG. In addition, about the content which overlaps with
制御部31は、画像の一部を切り出した後(ステップS22)、表示部34のディスプレイに合わせて画像を拡大する(ステップS71)。制御部31は、拡大画像に車体4の画像を重畳して表示する(ステップS72)。より詳しくは、例えば車体4の静止画像を記憶部32に記憶しておく。制御部31は該静止画像を記憶部32から読み出し、拡大画像に車体4の静止画像を重畳して表示する。本実施の形態に係る表示システムは、一連の処理を終了する。
After cutting out a part of the image (step S22), the
なお、本実施の形態において、ステップS71及び72の順序を入れ替えることも可能である。つまり、切り出した画像に車体4の静止画像を重畳した後に、重畳することにより合成された画像全体を拡大することとしてもよい。
また、上記とは異なり車体4の静止画像まで拡大処理をせずに済むように、車体4の静止画像を含むフレーム画像を記憶部32に記憶しておき、該フレーム画像に切り出した画像を重畳した後、切り出した画像部分を拡大することとしてもよい。
In the present embodiment, the order of steps S71 and 72 can be changed. That is, after superimposing a still image of the
Further, unlike the above, a frame image including a still image of the
以上より、本実施の形態3によれば、車両1の速度が大きい場合であっても、モニタ3には常に車体4が表示される。これにより、ユーザに与える違和感をより軽減することができる。
As described above, according to the third embodiment, the
(変形例1)
実施の形態3では、ユーザに与える違和感を軽減するべく、モニタ3が表示する画像に車体4の画像を重畳する形態について述べた。変形例1では、ユーザに与える違和感をより軽減するべく、車体4の画像を重畳する部分を、強調して表示する形態について述べる。
(Modification 1)
In the third embodiment, the mode of superimposing the image of the
図15は、変形例1に係る車体4の強調表示を説明するための説明図である。図15は、実施の形態3に係る図13Cに相当し、モニタ3に表示される画像を示している。図15に示すように、変形例1に係る表示画像では、車体4を示す部分が点滅表示している。なお、点滅している様子はハッチングにより示している。当該点滅表示は、車両1の速度が0km/hでない場合だけでなく、車両1の速度が0km/hである場合も表示される。
FIG. 15 is an explanatory diagram for explaining the highlighted display of the
実施の形態3によれば、モニタ3は、切り出した画像に車体4の静止画像を重畳して表示する。しかし、車両1の速度が低速である場合は切り出し領域5に車体4が含まれるため、実際の車体4の画像が切り出されることになる。すると、車両1の速度によっては、実際の車体4の画像が表示される場合と、記憶部32に記憶された車体4の静止画像が表示される場合とが生じる。そこで変形例1では、ステップS72の処理に併せて、車体4が表示されるべき画像領域に点滅表示をする。これにより、ユーザは表示画像の内どの部分が車体4を示しているかを容易に把握することができる。
According to
なお、上記の表示態様は点滅表示に限られず、例えば網掛表示、色分け表示等であってもよい。また、車体4を示す部分を囲うようにして、太線表示等をしてもよい。
Note that the above display mode is not limited to blinking display, and may be, for example, shaded display, color-coded display, or the like. Further, a thick line display or the like may be performed so as to surround a portion indicating the
以上より、変形例1によれば、車体4の画像を重畳する部分を、強調して表示する。これにより、車両1の速度が変化する場合でも同一表示が同一部分に表示されるため、ユーザに与える違和感をより軽減することができる。
As described above, according to the first modification, the portion where the image of the
(実施の形態4)
本実施の形態では、ユーザに与える違和感をより軽減するべく、車両1後方の撮影時にカメラ2を広範囲撮影モードに切り換える形態について述べる。
(Embodiment 4)
In the present embodiment, a mode in which the
図16は、実施の形態4に係る広範囲撮影モードを説明するための説明図である。図16A、Bはそれぞれ、カメラ2が撮影する画像を示している。図16Aは、カメラ2が広範囲撮影モードになっていない場合の画像である。図16Bは、カメラ2が広範囲撮影モードになっている場合の画像である。
FIG. 16 is an explanatory diagram for explaining a wide-range shooting mode according to the fourth embodiment. FIGS. 16A and 16B show images taken by the
図16A、Bを比較すると、図16Bでは、図16Aに比べて撮影範囲が広くなっている。このように、カメラ2を広範囲撮影モードとすると、撮影範囲がより広くなる。
16A and 16B are compared, the image capturing range is wider in FIG. 16B than in FIG. 16A. Thus, when the
図17は、実施の形態4に係る表示システムの処理手順を示すフローチャートである。図17で示すフローチャートに基づいて、本実施の形態に係る表示システムの処理動作について説明する。なお、図17において、ステップS11以降の処理は実施の形態1と同様であるため、図示を省略する。
広範囲撮影モードへの切り換えは、以下のように行う。車両1のユーザが、車両1のバック運転を行う。この場合に、モニタ3に係る制御部31は、広範囲撮影モードへの切換に係る要求信号を生成し、該要求信号を、通信部33を介してカメラ2に送信する(ステップS91)。カメラ2に係る通信部23は、該要求信号を受信する(ステップS92)。制御部21は要求信号を読み出し、撮影モードを広範囲撮影モードに切り換える(ステップS93)。本実施の形態に係る表示システムは、ステップS11以降の処理を行う。
FIG. 17 is a flowchart illustrating a processing procedure of the display system according to the fourth embodiment. Based on the flowchart shown in FIG. 17, the processing operation of the display system according to the present embodiment will be described. In FIG. 17, the processing after step S <b> 11 is the same as that in the first embodiment, and thus illustration is omitted.
Switching to the wide-area shooting mode is performed as follows. The user of the
以上より、本実施の形態4によれば、カメラ2は車両1のバック運転時に撮影モードを広範囲撮影モードに切り換えて撮影を行う。これによりカメラ2の撮影範囲がより広くなるため、車両1の速度又は操舵角度が大きくなった場合でも、切り出し領域5が画像領域からはみ出す可能性が低くなる。
As described above, according to the fourth embodiment, the
(実施の形態5)
実施の形態2では、走行情報に基づいて推定車両位置を算出する形態について述べた。本実施の形態では、バッファ時間内での任意の時間tでの走行情報に基づき、時間積分によって推定車両位置を算出する形態について述べる。
(Embodiment 5)
In the second embodiment, the mode in which the estimated vehicle position is calculated based on the travel information has been described. In the present embodiment, a mode in which an estimated vehicle position is calculated by time integration based on travel information at an arbitrary time t within the buffer time will be described.
図18は、実施の形態5に係る車両1のバック運転の様子を示す概念図である。図18は、車両1がバック運転により後方に移動する様子を示している。図18において、右方向が車両1の後方向である。ここで、説明を簡潔にするために操舵角度は0度であるものとし、車両1は後方に直進するものとする。図18において、ハッチングした部分は路面である。また、図18においてxは車両1の位置座標を表すパラメータである。図18において、位置座標xを概念的に表すために、路面上に矢印を付した直線を表すことによって、座標軸を併せて図示してある。
FIG. 18 is a conceptual diagram illustrating a state of the back driving of the
図19は、実施の形態5に係る車両1の速度の時間変化を示す概念的なグラフである。図19において、横軸は時間tを、縦軸は速度を示す。以下では、速度を時間tの関数v(t)で表すこととする。
FIG. 19 is a conceptual graph showing a temporal change in the speed of the
実施の形態1において詳述したように、モニタ3は、t=Teにおいてt=Tbの画像の一部を切り出し、切り出した画像を拡大して表示する。その場合に、実施の形態2に係るモニタ3は、車両1の速度(及び操舵角度)に基づいて車両1の移動距離(及び移動方向)を算出することにより、現時点の推定車両位置を算出する。当該移動距離を図19と照らし合わせて考えると、移動距離は図19において左斜め下に向かうハッチング部分の面積に相当する。ここで例えば、モニタ3に係る制御部31が、現時点の速度に基づいて移動距離を算出するものとする。現時点の速度とは、t=Teにおける速度v(Te)である。すると制御部31は、図19において右斜め下に向かうハッチング部分も含めた面積を求めることにより、移動距離を算出することになる。
As described in detail in the first embodiment, the
本実施の形態においては、左斜め下に向かうハッチング部分の面積をより正確に求めるために、以下のような積分処理を行う。制御部31は、微小時間当たりの移動距離を求める。図19において微小時間当たりの移動距離は、右斜め下に向かう濃いハッチング部分の面積に相当する。ここで微小時間をΔtで表すと、右斜め下に向かう濃いハッチング部分の面積はv(t)Δtとなる。制御部31は、v(t)ΔtをTb<t<Teの時間領域で積分することにより、車両1の移動距離を算出する。
In the present embodiment, the following integration process is performed in order to more accurately determine the area of the hatched portion that is directed obliquely downward to the left. The
なお、上記の説明では簡潔のために操舵角度が0度であるものとしたが、操舵角度が0度ではない場合も考慮して算出処理をするには、車両1の後方向だけでなく、横方向も含めて座標軸を取ることにより計算をすればよい。例えば車両1の横方向の位置座標をyとし、速度v(t)をx成分及びy成分からなる二次元のベクトル量とする。これにより、操舵角度も考慮した算出処理が可能となる。
In the above description, the steering angle is assumed to be 0 degree for the sake of brevity. However, in order to perform the calculation process in consideration of the case where the steering angle is not 0 degree, not only the rear direction of the
以上より、本実施の形態5によれば、車両1の推定車両位置の算出を精度よく行うことができる。
As described above, according to the fifth embodiment, the estimated vehicle position of the
なお、本実施の形態においては上記の積分処理を行うことにより推定車両位置を算出することとしたが、上記の積分処理は必ずしも必須の処理工程ではない。例えば、Tb<t<Teにおける速度v(t)の平均値を求め、近似的に推定車両位置を算出することとしてもよい。 In the present embodiment, the estimated vehicle position is calculated by performing the integration process described above. However, the integration process is not necessarily an essential process step. For example, an average value of the speed v (t) at Tb <t <Te may be obtained, and the estimated vehicle position may be calculated approximately.
本発明の実施態様1においては、車両(1)に搭載される表示装置(3)であって、該車両(1)の周囲の画像を無線通信により受信する受信部(33)と、前記車両(1)の走行に関する走行情報を取得する取得部(33)と、該走行情報に基づいて前記画像の一部を切り出す画像切り出し部(31)と、該画像切り出し部(31)が切り出した画像を拡大する拡大部(31)と、該拡大部(31)が拡大した画像を表示する表示部(34)とを備えることを特徴とする。
In
本発明によれば、画像の一部を切り出して表示することにより、カメラ(2)と表示装置(3)とが無線で接続されている場合であっても、画像表示の遅延によりユーザに与える違和感を軽減することができる。 According to the present invention, by cutting out and displaying a part of an image, even if the camera (2) and the display device (3) are connected wirelessly, the image is given to the user due to the delay of the image display. Discomfort can be reduced.
本発明の実施態様2においては、前記画像を一時的に記憶する記憶部(32)を備え、前記画像切り出し部(31)は、現時点から所定時間前の時点の画像から、前記走行情報に基づいて該画像の一部を切り出すことを特徴とする。
In
本発明によれば、表示装置(3)は、現時点から所定時間前の画像から一部を切り出すことにより、画像表示の遅延によりユーザに与える違和感を軽減しつつ適切な画像を表示することができる。 According to the present invention, the display device (3) can display an appropriate image while reducing a sense of discomfort given to the user due to a delay in image display by cutting out a part from an image a predetermined time before the present time. .
本発明の実施態様3においては、前記記憶部(32)は、前記走行情報と、前記画像から切り出す領域とを対応付けたテーブル(32b)を有し、前記画像切り出し部(31)は、前記走行情報に基づいて前記テーブル(32b)を参照することにより、前記画像の一部を切り出すことを特徴とする。
In
本発明によれば、テーブル(32b)から走行情報に基づいて読み出し処理をすることで、切り出し領域(5)を決定することができる。 According to the present invention, the cut-out area (5) can be determined by performing the reading process from the table (32b) based on the travel information.
本発明の実施態様4においては、前記画像切り出し部(31)は、前記走行情報に基づいて、前記車両(1)が前記所定時間で移動した距離及び方向を算出することにより、現時点の推定車両位置を算出し、算出した前記推定車両位置に基づいて、前記画像の一部を切り出すことを特徴とする。
In
本発明によれば、記憶部(32)にテーブル(32b)を用意せずとも、切り出し領域(5)を適切に決定することができる。 According to the present invention, the cutout region (5) can be appropriately determined without preparing the table (32b) in the storage unit (32).
本発明の実施態様5においては、前記走行情報は、前記車両(1)の速度又は操舵角度であることを特徴とする。
In
本発明によれば、車両(1)の走行情報として車両(1)の速度及び操舵角度を利用する。これにより、走行情報と切り出し領域(5)とを適切に対応付けることができる。 According to the present invention, the speed and steering angle of the vehicle (1) are used as travel information of the vehicle (1). As a result, the travel information and the cutout area (5) can be associated with each other appropriately.
本発明の実施態様6においては、前記画像切り出し部(31)は、前記速度が0km/hである場合に、前記画像の一部を矩形状に切り出すことを特徴とする。 In Embodiment 6 of the present invention, the image cutout unit (31) cuts out a part of the image in a rectangular shape when the speed is 0 km / h.
本発明によれば、車両(1)の速度に応じて適切に画像の一部を切り出すことができる。 According to the present invention, a part of an image can be appropriately cut out according to the speed of the vehicle (1).
本発明の実施態様7においては、前記画像切り出し部(31)は、前記速度が0km/hでない場合に、前記画像の一部を台形状に切り出すことを特徴とする。 Embodiment 7 of the present invention is characterized in that the image cutout unit (31) cuts out a part of the image into a trapezoid when the speed is not 0 km / h.
本発明によれば、車両(1)の速度に応じて適切に画像の一部を切り出すことができる。 According to the present invention, a part of an image can be appropriately cut out according to the speed of the vehicle (1).
本発明の実施態様8においては、前記画像切り出し部(31)は、前記速度に応じて、前記画像から切り出す位置を変更することを特徴とする。 Embodiment 8 of the present invention is characterized in that the image cutout unit (31) changes a position to cut out from the image according to the speed.
本発明によれば、車両(1)の速度に応じて適切に画像の一部を切り出すことができる。 According to the present invention, a part of an image can be appropriately cut out according to the speed of the vehicle (1).
本発明の実施態様9においては、前記画像切り出し部(31)は、前記画像の一部を、前記操舵角度に応じて内角の角度を変えた台形状に切り出すことを特徴とする。 In an embodiment 9 of the present invention, the image cutout unit (31) cuts out a part of the image into a trapezoidal shape whose inner angle is changed according to the steering angle.
本発明によれば、車両(1)の操舵角度に応じて適切に画像の一部を切り出すことができる。 According to the present invention, a part of an image can be appropriately cut out according to the steering angle of the vehicle (1).
本発明の実施態様10においては、前記拡大部(31)は、前記表示部(34)が前記画像を表示する表示画面の形状に応じて、前記画像切り出し部(31)が切り出した画像を伸長することで、該画像を拡大することを特徴とする。
In
本発明によれば、切り出した画像は表示画面に合わせて整えられ、ユーザに与える違和感を軽減することができる。 According to the present invention, the cut-out image is arranged according to the display screen, and the uncomfortable feeling given to the user can be reduced.
本発明の実施態様11においては、前記表示部(34)が表示する画像に、前記車両(1)の車体(4)の画像を重畳する画像重畳部(31)を備えることを特徴とする。
本発明によれば、車両(1)の速度が大きい場合であっても、表示装置(3)には常に車体(4)が表示される。これにより、ユーザに与える違和感をより軽減することができる。 According to the present invention, the vehicle body (4) is always displayed on the display device (3) even when the speed of the vehicle (1) is high. Thereby, the uncomfortable feeling given to the user can be further reduced.
本発明の実施態様12においては、上記のいずれかに記載の表示装置(3)と、前記車両(1)の周囲を撮影するカメラ(2)と、前記走行情報を検出する車載センサ(14、15)とを備えることを特徴とする。 In the twelfth embodiment of the present invention, the display device (3) according to any one of the above, a camera (2) for photographing the periphery of the vehicle (1), and an in-vehicle sensor (14, 15).
本発明によれば、カメラ(2)と表示装置(3)とが無線で接続されている場合であっても、画像表示の遅延によりユーザに与える違和感を軽減することができる。 According to the present invention, even when the camera (2) and the display device (3) are wirelessly connected, the uncomfortable feeling given to the user due to the delay of image display can be reduced.
本発明の実施態様13においては、車両(1)に搭載されるコンピュータに、無線通信により送信された該車両(1)の周囲の画像を取得し、前記車両(1)の走行に関する走行情報を取得し、該走行情報に基づいて前記画像の一部を切り出し、切り出した画像を拡大した拡大画像を出力する処理を実行させることを特徴とする。
In
本発明によれば、カメラ(2)と表示装置(3)とが無線で接続されている場合であっても、画像表示の遅延によりユーザに与える違和感を軽減することができる。 According to the present invention, even when the camera (2) and the display device (3) are wirelessly connected, the uncomfortable feeling given to the user due to the delay of image display can be reduced.
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time is to be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the meanings described above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
1 車両
11 制御部
12 記憶部
13 通信部
14 速度取得部(車載センサ)
15 操舵角度取得部(車載センサ)
2 カメラ
21 制御部
22 記憶部
23 通信部
24 画像入力部
25 画像処理部
3 表示装置(モニタ)
31 制御部(画像切り出し部、拡大部、画像重畳部)
32 記憶部
32a バッファ
32b テーブル
33 通信部(受信部、取得部)
34 表示部
4 車体
5、65、75、95、135 切り出し領域
DESCRIPTION OF
15 Steering angle acquisition unit (vehicle-mounted sensor)
2
31 Control unit (image cutout unit, enlargement unit, image superimposition unit)
32
34
Claims (13)
該車両の周囲の画像を無線通信により受信する受信部と、
前記車両の走行に関する走行情報を取得する取得部と、
該走行情報に基づいて前記画像の一部を切り出す画像切り出し部と、
該画像切り出し部が切り出した画像を拡大する拡大部と、
該拡大部が拡大した画像を表示する表示部と
を備えることを特徴とする表示装置。 A display device mounted on a vehicle,
A receiver that receives an image of the surroundings of the vehicle by wireless communication;
An acquisition unit for acquiring travel information relating to the travel of the vehicle;
An image cutout unit for cutting out a part of the image based on the travel information;
An enlargement unit for enlarging the image cut out by the image cutout unit;
A display unit that displays an enlarged image of the enlargement unit.
前記画像切り出し部は、現時点から所定時間前の時点の画像から、前記走行情報に基づいて該画像の一部を切り出すこと
を特徴とする請求項1に記載の表示装置。 A storage unit for temporarily storing the image;
The display device according to claim 1, wherein the image cutout unit cuts out a part of the image based on the travel information from an image at a predetermined time before the present time.
前記画像切り出し部は、前記走行情報に基づいて前記テーブルを参照することにより、前記画像の一部を切り出すこと
を特徴とする請求項2に記載の表示装置。 The storage unit includes a table in which the travel information is associated with an area cut out from the image,
The display device according to claim 2, wherein the image cutout unit cuts out a part of the image by referring to the table based on the travel information.
前記走行情報に基づいて、前記車両が前記所定時間で移動した距離及び方向を算出することにより、現時点の推定車両位置を算出し、
算出した前記推定車両位置に基づいて、前記画像の一部を切り出すこと
を特徴とする請求項2に記載の表示装置。 The image cutout unit
Based on the travel information, by calculating the distance and direction that the vehicle has moved in the predetermined time, the current estimated vehicle position is calculated,
The display device according to claim 2, wherein a part of the image is cut out based on the calculated estimated vehicle position.
を特徴とする請求項1〜請求項4のいずれか1項に記載の表示装置。 The display device according to any one of claims 1 to 4, wherein the travel information is a speed or a steering angle of the vehicle.
を特徴とする請求項5に記載の表示装置。 The display device according to claim 5, wherein the image cutout unit cuts out a part of the image in a rectangular shape when the speed is 0 km / h.
を特徴とする請求項5又は請求項6に記載の表示装置。 The display device according to claim 5, wherein the image cutout unit cuts out a part of the image in a trapezoidal shape when the speed is not 0 km / h.
を特徴とする請求項7に記載の表示装置。 The display device according to claim 7, wherein the image cutout unit changes a position to cut out from the image according to the speed.
を特徴とする請求項7又は請求項8に記載の表示装置。 The display device according to claim 7 or 8, wherein the image cutout unit cuts out a part of the image into a trapezoidal shape in which an angle of an inner angle is changed according to the steering angle.
を特徴とする請求項1〜請求項9のいずれか1項に記載の表示装置。 The enlargement unit enlarges the image by expanding the image cut out by the image cutout unit according to a shape of a display screen on which the display unit displays the image. The display device according to claim 9.
を備えることを特徴とする請求項1〜請求項10のいずれか1項に記載の表示装置。 The display device according to claim 1, further comprising: an image superimposing unit that superimposes an image of a vehicle body of the vehicle on an image displayed by the display unit.
前記車両の周囲を撮影するカメラと、
前記走行情報を検出する車載センサと
を備えることを特徴とする表示システム。 The display device according to any one of claims 1 to 11,
A camera for photographing the surroundings of the vehicle;
A display system comprising: an in-vehicle sensor that detects the travel information.
無線通信により送信された該車両の周囲の画像を取得し、
前記車両の走行に関する走行情報を取得し、
該走行情報に基づいて前記画像の一部を切り出し、
切り出した画像を拡大した拡大画像を出力する
処理を実行させることを特徴とするプログラム。 In the computer installed in the vehicle,
Obtain an image of the surroundings of the vehicle transmitted by wireless communication,
Obtaining travel information relating to travel of the vehicle;
Cut out a part of the image based on the running information,
A program characterized by causing a process to output an enlarged image obtained by enlarging a cut-out image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015140803A JP2017022660A (en) | 2015-07-14 | 2015-07-14 | Display device, display system, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015140803A JP2017022660A (en) | 2015-07-14 | 2015-07-14 | Display device, display system, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017022660A true JP2017022660A (en) | 2017-01-26 |
Family
ID=57889910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015140803A Pending JP2017022660A (en) | 2015-07-14 | 2015-07-14 | Display device, display system, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017022660A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018155159A1 (en) * | 2017-02-24 | 2018-08-30 | パナソニックIpマネジメント株式会社 | Remote video output system and remote video output device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003259355A (en) * | 2002-03-01 | 2003-09-12 | Mitsubishi Electric Corp | Apparatus for monitoring surrounding of vehicle |
JP2010245859A (en) * | 2009-04-07 | 2010-10-28 | Toyota Industries Corp | Video device for assisting parking |
WO2015045578A1 (en) * | 2013-09-27 | 2015-04-02 | 日産自動車株式会社 | Information provision system |
-
2015
- 2015-07-14 JP JP2015140803A patent/JP2017022660A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003259355A (en) * | 2002-03-01 | 2003-09-12 | Mitsubishi Electric Corp | Apparatus for monitoring surrounding of vehicle |
JP2010245859A (en) * | 2009-04-07 | 2010-10-28 | Toyota Industries Corp | Video device for assisting parking |
WO2015045578A1 (en) * | 2013-09-27 | 2015-04-02 | 日産自動車株式会社 | Information provision system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018155159A1 (en) * | 2017-02-24 | 2018-08-30 | パナソニックIpマネジメント株式会社 | Remote video output system and remote video output device |
JPWO2018155159A1 (en) * | 2017-02-24 | 2019-12-19 | パナソニックIpマネジメント株式会社 | Remote video output system and remote video output device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108227703B (en) | Information processing apparatus and method, operated vehicle, and recording medium having program recorded thereon | |
US10434945B2 (en) | Method and device for displaying an image of the surroundings of a vehicle combination | |
JP5857224B2 (en) | Parking assistance device and parking assistance method | |
JP4892965B2 (en) | Moving object determination system, moving object determination method, and computer program | |
US11518384B2 (en) | Method for displaying lane information and apparatus for executing the method | |
JP6451840B2 (en) | Information presentation system | |
JP6107960B2 (en) | Information presentation system | |
CN103140377A (en) | Method for displaying images on a display device and driver assistance system | |
JP2016213815A (en) | Method of providing vehicle surrounding view image, and device and computer readable recording medium therefor | |
JP2008299676A (en) | Dead angle information requesting/providing devices and inter-vehicle communication system using the same | |
JP2015154406A (en) | Peripheral monitoring device for towing vehicle | |
JP2012040883A (en) | Device for generating image of surroundings of vehicle | |
US20200349367A1 (en) | Image processing device, image processing method, and program | |
JP2013207746A (en) | Device for photographing rear lateral side of vehicle | |
JP2016149613A (en) | Camera parameter adjustment device | |
JP2012222776A (en) | Image processing apparatus, image processing method, and driving support system | |
US11443520B2 (en) | Image processing apparatus, image processing method, and image processing system | |
JP2008202987A (en) | On-vehicle navigation device | |
JP4791222B2 (en) | Display control device | |
JP2017022660A (en) | Display device, display system, and program | |
JP6221562B2 (en) | Vehicle information presentation device | |
JP2015154125A (en) | Vehicle periphery image display device and vehicle periphery image display method | |
JP2013200820A (en) | Image transmitting and receiving system | |
JP2008294616A (en) | Driving support system and vehicle | |
JP2005029025A (en) | On-vehicle display device, image display method, and image display program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190611 |