JP2016141303A - Visual field support device - Google Patents
Visual field support device Download PDFInfo
- Publication number
- JP2016141303A JP2016141303A JP2015019514A JP2015019514A JP2016141303A JP 2016141303 A JP2016141303 A JP 2016141303A JP 2015019514 A JP2015019514 A JP 2015019514A JP 2015019514 A JP2015019514 A JP 2015019514A JP 2016141303 A JP2016141303 A JP 2016141303A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- camera
- vehicle
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、カメラによって撮影した撮影画像を表示部に表示する視界支援装置に関するものである。 The present invention relates to a field-of-view support apparatus that displays a captured image captured by a camera on a display unit.
従来の視界支援装置として、例えば、特許文献１に記載されたものが知られている。特許文献１の視界支援装置（画像処理装置）は、車両外部の周囲に設けられた複数のカメラと、複数のカメラによって撮影された複数の撮影画像を用いて、車両の周辺画像を形成する画像処理装置と、画像処理装置と通信可能となっており、画像処理装置によって形成された周辺画像を、ディスプレイに表示する携帯機器とを備えている。
As a conventional visual field support device, for example, a device described in
カメラのレンズには、例えば、広角レンズ（魚眼レンズ）が採用されており、１つのカメラで広角領域（１８０度以上）の画像が撮影されるようになっている。そして、画像処理装置は、複数のカメラによって撮影された広角の撮影画像を用いて、車両の全周囲にわたる周辺画像を形成するようにしている。そして、画像処理装置は、携帯機器の車室内における位置および向きに応じた仮想視点から見た被写体を周辺画像から切出すことで被写体画像を形成する。更に、画像処理装置は形成した被写体画像を携帯機器へ送信し、携帯機器は送信された被写体画像をディスプレイに表示するようになっている。 For example, a wide-angle lens (fisheye lens) is adopted as the lens of the camera, and an image of a wide-angle region (180 degrees or more) is taken with one camera. The image processing apparatus forms a peripheral image over the entire periphery of the vehicle using wide-angle captured images captured by a plurality of cameras. Then, the image processing apparatus forms a subject image by cutting out the subject viewed from the virtual viewpoint according to the position and orientation in the vehicle interior of the portable device from the peripheral image. Further, the image processing apparatus transmits the formed subject image to the portable device, and the portable device displays the transmitted subject image on the display.
これにより、ユーザが車室内において、携帯機器の位置および向きを変えることで、車室内から所望の方向の被写体画像をディスプレイにて参照することができるようになっている。 Thereby, the user can refer to the subject image in the desired direction from the vehicle interior on the display by changing the position and orientation of the portable device in the vehicle interior.
しかしながら、上記特許文献１では、広角レンズによる撮影画像から被写体画像を形成するようにしているので、所望の仮想視点に対応する被写体部の切出し、および広角レンズに伴う画像の歪みの補正等が必要となり、処理が複雑で、処理に時間がかかる。
However, since the subject image is formed from the photographed image by the wide-angle lens in the above-mentioned
本発明の目的は、上記問題に鑑み、簡素な処理でユーザが所望する被写体の画像の表示を可能とする視界支援装置を提供することにある。 In view of the above problems, an object of the present invention is to provide a field-of-view support apparatus that enables display of an image of a subject desired by a user with simple processing.
本発明は上記目的を達成するために、以下の技術的手段を採用する。 In order to achieve the above object, the present invention employs the following technical means.
本発明では、車両（１０）の後方領域を撮影するカメラ（１１０）の映像データを取込んで、通信可能な車室内の表示器（１２０）に表示映像として表示させる制御部（１３０Ａ〜１３０Ｄ）を備える視界支援装置であって、
制御部（１３０Ａ〜１３０Ｄ）は、ユーザの表示器（１２０）、あるいは車両の運転のための運転操作部に対する所定操作に応じて、所定操作に関連する領域の領域映像の撮影が可能となるように、カメラ（１１０）の向きを変更することを特徴としている。
In the present invention, control units (130A to 130D) that capture video data of a camera (110) that captures a rear region of the vehicle (10) and display the video data on a display (120) in a communicable vehicle interior as a display video. A visual field support device comprising:
The control units (130 </ b> A to 130 </ b> D) can capture a region image of a region related to a predetermined operation in response to a predetermined operation on the display (120) of the user or the driving operation unit for driving the vehicle. In addition, it is characterized in that the orientation of the camera (110) is changed.
この発明によれば、ユーザは、カメラ（１１０）の向きを変えるための意図的な操作を行うのではなくて、表示器（１２０）、あるいは車両の運転のための運転操作部に対する所定操作をしたときに、この所定操作に連動するように、カメラ（１１０）の向きが制御部（１３０Ａ〜１３０Ｄ）によって変更される。そして、カメラ（１１０）の向きに応じた領域映像が表示器（１２０）に表示される。尚、領域映像は、所定操作に関連してユーザが見たいと思う領域の映像となるのである。 According to the present invention, the user does not perform an intentional operation for changing the direction of the camera (110), but performs a predetermined operation on the display (120) or the driving operation unit for driving the vehicle. The direction of the camera (110) is changed by the control units (130A to 130D) so as to be interlocked with the predetermined operation. Then, an area image corresponding to the orientation of the camera (110) is displayed on the display (120). The region video is a video of a region that the user wants to see in connection with the predetermined operation.
よって、本発明においては、従来技術のように、所望の仮想視点に対応する被写体部の切出し、および広角レンズに伴う画像の歪みの補正等は不要となり、簡素な処理でユーザが所望する映像を表示することが可能となる。 Therefore, in the present invention, it is not necessary to cut out a subject portion corresponding to a desired virtual viewpoint and to correct image distortion associated with a wide-angle lens as in the prior art. It is possible to display.
尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。 In addition, the code | symbol in the bracket | parenthesis of each said means shows a corresponding relationship with the specific means of embodiment description mentioned later.
以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。 A plurality of modes for carrying out the present invention will be described below with reference to the drawings. In each embodiment, parts corresponding to the matters described in the preceding embodiment may be denoted by the same reference numerals, and redundant description may be omitted. When only a part of the configuration is described in each mode, the other modes described above can be applied to the other parts of the configuration. Not only combinations of parts that clearly indicate that the combination is possible in each embodiment, but also a combination of the embodiments even if they are not clearly specified unless there is a problem with the combination. It is also possible.
（第１実施形態）
第１実施形態における視界支援装置１００Ａについて図１〜図１０を用いて説明する。本実施形態の視界支援装置１００Ａは、車両１０に適用されたものとなっている。視界支援装置１００Ａは、従来の光学ミラー（バックミラー）に代えて、バックカメラ１１０を用いて、車両１０の後方領域を撮影し、その撮影した映像を車室内に設けられた表示器１２０に表示することで、運転者（ユーザ）に対する後方確認の支援を可能とするものとなっている。視界支援装置１００Ａは、図１〜図３に示すように、バックカメラ１１０、表示器１２０、および制御部１３０Ａ等を備えている。尚、車両１０は、ここでは、右ハンドル車となっている。
(First embodiment)
A field-of-
バックカメラ１１０は、車両１０の後方の景色を撮影するカメラであり、車両１０の後部に設けられている。バックカメラ１１０は、例えば、車両１０の後部バンパーの左右方向の中央部に設けられている。バックカメラ１１０は、イメージャー１１１、および駆動部１１２を有している。
The
イメージャー１１１は、撮影した映像を映像信号（映像データ）に変換して、後述する制御部１３０Ａの映像入力部１３１に出力するものである。
The
駆動部１１２は、バックカメラ１１０を駆動させて、バックカメラ１１０の向きを変更可能とするものである。駆動部１１２は、制御部１３０Ａのカメラ駆動制御部１３６によって制御され、バックカメラ１１０の向きを、左右方向に、あるいは上下方向等に変更可能としている。
The
表示器１２０は、バックカメラ１１０によって撮影された映像を、表示映像として表示画面１２１に表示するものである。表示器１２０は、ここでは、携帯機器であるスマートフォンが使用されるようになっている。表示器１２０は、車両１０のインストルメントパネル１１の左右方向中央部の上面に設けられたアタッチメントにワンタッチで設置できるようになっている。また、表示器１２０は、制御部１３０Ａの通信部１３２と通信可能となっている。ここでは、通信は、無線通信を行うものとなっている。
The
表示器１２０がアタッチメントに設置された時の基本姿勢は、表示画面１２１が車両前後方向の仮想中心ラインの方向を向く姿勢となっている。そして、表示器１２０は、運転者の手動操作によって、表示画面１２１の向きが、左右方向に、あるいは上下方向等に回動するようになっている。運転者による表示画面１２１の向きの変更操作は、本発明の所定操作に対応する。
The basic posture when the
尚、表示器１２０としては、上記のようにスマートフォンを活用するものの他にも、従来の光学ルームミラーを模した電子ミラー、あるいは表示画面１２１が左右、上下等に可動する可動式ディスプレイ等としてもよい。
The
そして、表示器１２０は、角速度センサ１２２、加速度センサ１２３、およびキャリブレーションスイッチ１２４等を有している。
The
角速度センサ１２２は、表示器１２０に内蔵されており、アタッチメントに設置された表示器１２０の向きが左右方向、あるいは上下方向等に変更された際に発生する角速度信号を出力するセンサである。角速度信号は、例えば、車両１０の空間内における、左右方向の軸、前後方向の軸、および上下方向の軸を備える３次元座標を想定したときに、各軸周りの回動方向の角速度レベルを示す信号となっている。角速度信号は無線通信によって、制御部１３０Ａの通信部１３２に出力されるようになっている。
The
加速度センサ１２３は、表示器１２０に内蔵されており、アタッチメントに設置された表示器１２０の向きが左右方向、あるいは上下方向等に変更された際に発生する加速度信号を出力するセンサである。加速度信号は、上記の角速度センサ１２２の場合と同様に、例えば、車両１０空間内における、左右方向の軸、前後方向の軸、および上下方向の軸を備える３次元座標を想定したときに、各軸方向の加速度レベルを示す信号となっている。加速度信号は無線通信によって、制御部１３０Ａの通信部１３２に出力されるようになっている。
The
キャリブレーションスイッチ１２４は、表示画面１２１の向きと、表示される表示映像の撮影方向との関係を調整するためのスイッチである。キャリブレーションスイッチ１２４は、例えば、表示画面１２１上にタッチスイッチとして形成されている。キャリブレーションスイッチ１２４は、例えば、運転者が一度タッチすることで、後述するキャリブレーション操作を受付け、キャリブレーション操作の後に、もう一度タッチすることでキャリブレーション操作に基づく条件を決定し終了させるスイッチとなっている。
The
制御部１３０Ａは、バックカメラ１１０からの映像信号を取込んで、表示器１２０の表示画面１２１に表示映像として表示させるものであり、例えば、車両１０のトランクルーム１２内に設置されている。制御部１３０Ａは、映像入力部１３１、通信部１３２、表示器情報取得部１３３、表示器姿勢角算出部１３４、カメラ制御角算出部１３５、カメラ駆動制御部１３６、および映像処理部１３７等を有している。
The control unit 130 </ b> A captures a video signal from the
映像入力部１３１は、バックカメラ１１０のイメージャー１１１から出力される映像信号が入力される部位である。イメージャー１１１と映像入力部１３１は、有線、あるいは無線によって接続されるようになっている。
The
通信部１３２は、表示器１２０との通信を行うことで、表示器１２０および制御部１３０Ａ間での各種データのやり取りを行う部位である。各種データのやり取りとは、表示器１２０から制御部１３０Ａへの角速度信号、加速度信号、およびキャリブレーション信号の送信、および、制御部１３０Ａから表示器１２０への、映像処理部１３７によって処理された映像（後述する領域映像）信号、後方イメージ画像１２４ａ等の送信である。
The
通信部１３２による通信は、例えば、無線通信となっている。通信部１３２は、無線通信を行うことで、インストルメントパネル１１とトランクルーム１２間における表示器１２０と制御部１３０Ａとの配線を不要としている。尚、通信部１３２における通信は、配線を用いた有線通信としてもよい。
Communication by the
表示器情報取得部１３３は、通信部１３２を介して、表示器１２０から送信される角速度信号、および加速度信号を取得する（検出する）部位である。
The display
表示器姿勢角算出部１３４は、表示器情報取得部１３３で取得された角速度信号、および加速度信号を基に、表示器１２０の姿勢角を算出する部位である。ここで、姿勢角とは、運転者によって表示器１２０が、アタッチメント上に設置されたとき、あるいは表示器１２０の向きが変更されたときに、表示画面１２１の左右方向、および上下方向に対する向きが、どちらに変更されてどちらを向いているかを示す角度である。
The display device posture
カメラ制御角算出部１３５は、表示器情報取得部１３３で取得された角速度信号、および加速度信号を基に、バックカメラ１１０の制御角を算出する部位である。制御角とは、上記表示器１２０の姿勢角に対応するように、バックカメラ１１０による撮影方向を規定するための角度である。制御角に基づいてバックカメラ１１０によって撮影された映像は、車両１０後方の領域において、表示器１２０に対する向きの変更操作に関連する領域の映像となる。以下、この映像を領域映像と呼ぶ。
The camera control
カメラ駆動制御部１３６は、カメラ制御角算出部１３５によって算出された制御角に基づいて、バックカメラ１１０の駆動部１１２を制御する部位である。カメラ駆動制御部１３６と駆動部１１２は、有線、あるいは無線によって接続されるようになっている。
The camera
映像処理部１３７は、表示器姿勢角算出部１３４で算出される姿勢角、およびカメラ制御角算出部１３５で算出される制御角を基に、映像入力部１３１から出力される映像信号（領域映像）の取込み保存（キャプチャ）をして、その映像信号を通信部１３２に出力する部位である。尚、映像信号は、従来のルームミラーによって視認される像のように、鏡反転されて通信部１３２に出力されるようになっている。また、映像処理部１３７は、表示器１２０からのキャリブレーション信号に基づいて、撮影の向きが変更されたバックカメラ１１０による映像信号を通信部１３２に出力する。
The
以上のように構成される視界支援装置１００Ａの作動について、以下、図４〜図１０を用いて説明する。
The operation of the
１．起動時の作動（図４〜図６）
図４のステップＳ１１０において、制御部１３０Ａは、まず、運転者によって表示器１２０がアタッチメントに設置されたか否かを判定する。運転者によって表示器１２０がアタッチメントに設置されると、表示器１２０と通信部１３２との間で通信が開始され、制御部１３０Ａは、表示器１２０がアタッチメント（視界支援装置１００Ａ）に設置されたことを認識する。つまり、ステップＳ１１０における肯定判定をする。
1. Start-up operation (Figs. 4-6)
In step S110 of FIG. 4, the
ステップＳ１１０で肯定判定すると、ステップＳ１１１で、制御部１３０Ａは、表示器情報取得部１３３によって、表示器１２０における加速度信号を取得する。
If an affirmative determination is made in step S110, in step S111, the
次に、ステップＳ１１２で、制御部１３０Ａは、表示器姿勢角算出部１３４によって、加速度信号を基に、アタッチメントに設置された初期状態の表示器１２０の姿勢角を算出する。ここでは、まず、表示器１２０がアタッチメントに設置された状態での姿勢角を把握することから、向きの変更に伴う角速度信号は用いずに、加速度信号のみを用いた姿勢角の算出となっている。
Next, in step S112, the
次に、ステップＳ１１３で、制御部１３０Ａは、姿勢角に応じた後方イメージ画像１２４ａと、撮影の向きが初期状態にあるバックカメラ１１０による実際の映像１２４ｂとを合成した合成映像を表示器１２０に表示させる（図５）。
Next, in step S113, the
ここで、後方イメージ画像１２４ａとは、車両１０の後方景色が、例えば道路のライン、および仮想後方車両によってデザインされたアニメーションによって形成される画像であり、姿勢角に応じて、見える方向が変化するものとなっている。
Here, the
例えば、図５に示すように、表示器１２０の表示画面１２１が、車両の真後ろを向くように設置され、仮に、バックカメラ１１０の初期状態における向きが左側となっている場合を考える。このとき、後方イメージ画像１２４ａは、車両１０の真後ろを撮影したような画像として表示されるのに対して、実際の映像１２４ｂは、車両１０の左後方を撮影した映像として表示される。つまり、合成映像における後方イメージ画像１２４ａと実際の映像１２４ｂとが一致しない場合が発生する。このようなときに、運転者は、表示器１２０のキャリブレーションスイッチ１２４を操作することで、バックカメラ１１０の向きを補正するためのキャリブレーションを行うことになる。
For example, as shown in FIG. 5, consider a case where the
よって、ステップＳ１２０で、制御部１３０Ａは、表示器１２０からのキャリブレーション信号が発生したか否かを判定し、キャリブレーション信号ありと判定すると、ステップＳ１２１で、バックカメラ１１０の向きを補正するためのキャリブレーションを実施する。
Therefore, in step S120, the
具体的なキャリブレーションの要領としては、例えば、運転者のキャリブレーションスイッチ１２４の操作によって、バックカメラ１１０の向きを変更するための入力がなされる。このときの入力信号（キャリブレーション信号）に基づいて、制御部１３０Ａのカメラ駆動制御部１３６は、バックカメラ１１０の向きを変更させる。
As a specific procedure for calibration, for example, an input for changing the orientation of the
これによって、図６に示すように、実際の映像１２４ｂは、後方イメージ画像１２４ａに重なるように補正されていく。運転者がキャリブレーションスイッチ１２４にて補正完了の設定をすると、ステップＳ１２０において、制御部１３０Ａは、キャリブレーション信号がなくなったと判定（否定判定）する。そして、ステップＳ１２２にて、制御部１３０Ａは、起動時の設定を完了し、キャリブレーションによる補正値を保存（バックアップ）する。
Thereby, as shown in FIG. 6, the
尚、キャリブレーションの要領としては、上記要領とは別に、後方イメージ画像１２４ａを用いずに、表示器１２０に対する実際の映像１２４ｂの向きを運転者の目視によって確認しながら、バックカメラ１１０の向きを補正することができる。あるいは、後方イメージ画像をバックカメラ１１０の向きに対応する画像として、表示器１２０の向きを種々変更することでキャリブレーション信号を形成して、バックカメラ１１０の向きを補正することができる。
As a calibration procedure, separately from the above procedure, the orientation of the
２．カメラ向き調整の作動（図７〜図１０）
上記起動時の制御を終えた後に、運転者によって、表示器１２０の向きが変更されると、角速度センサ１２２から角速度信号が出力され、また加速度センサ１２３から加速度信号が出力されることになる。図７のステップＳ１３０において、制御部１３０Ａは、まず、表示器情報取得部１３３によって、表示器１２０における角速度信号、および加速度信号を検出したか否かを判定する。
2. Camera orientation adjustment (Figs. 7-10)
When the direction of the
ステップＳ１３０で肯定判定すると、ステップＳ１３１で、制御部１３０Ａは、表示器姿勢角算出部１３４によって、角速度信号および加速度信号から、向きの変更された表示器１２０における姿勢角を算出する。
If an affirmative determination is made in step S130, in step S131, the
次に、ステップＳ１３２で、制御部１３０Ａは、カメラ制御角算出部１３５によって、角速度信号および加速度信号から、上記の姿勢角に対応するバックカメラ１１０の制御角を算出する。
Next, in step S132, the
次に、ステップＳ１３３で、制御部１３０Ａは、カメラ駆動制御部１３６によって、上記の制御角に対応するように、バックカメラ１１０の撮影向きを制御（変更）する。これによって、変更された表示器１２０の向きに関連する領域映像が、バックカメラ１１０によって撮影されることになる。
Next, in step S133, the
そして、ステップＳ１３４で、制御部１３０Ａは、映像処理部１３７によって、バックカメラ１１０によって撮影された映像を、表示器１２０に出力する。
In step S <b> 134, the control unit 130 </ b> A outputs the video captured by the
上記ステップＳ１３０〜ステップＳ１３４における動作を、具体的に、図８〜図１０を用いて説明する。 The operations in steps S130 to S134 will be specifically described with reference to FIGS.
図８に示すように、例えば、表示器１２０の表示画面１２１が、車両１０の真後ろ（真後ろの姿勢角）に向けられていると、バックカメラ１１０の撮影方向は、同様に真後ろ（真後ろの制御角）に調整されて、表示器１２０には、真後ろの映像が表示される。
As shown in FIG. 8, for example, when the
また、図９に示すように、表示器１２０の表示画面１２１が、車両１０の平面視において時計方向に回動されると、姿勢角は、車両１０の左側を向く角度となる。これに応じて、バックカメラ１１０の撮影方向は、同様に左側となるように制御角が調整されて、表示器１２０には、左後方の映像が表示される。
As shown in FIG. 9, when the
また、図９の状態から、図１０に示すように、表示器１２０の表示画面１２１（垂直面）が、上向きに回動されると、姿勢角は、車両１０の左後方の上側を向く角度となる。これに応じて、バックカメラ１１０の撮影方向は、同様に左後方の上側となるように制御角が調整されて、表示器１２０には、左後方の上側の映像が表示される。
9, when the display screen 121 (vertical surface) of the
そして、表示器１２０の向きと、実際に表示される表示映像の向きとの間に違和感があると、運転者による上記の起動時のようなキャリブレーション操作が可能となっている。運転者によるキャリブレーションスイッチ１２４への操作があると、制御部１３０Ａは、上記と同様に、ステップＳ１２０〜ステップＳ１２２において、キャリブレーションを実施する。
Then, if there is a sense of incongruity between the orientation of the
以上のように、本実施形態では、運転者は、バックカメラ１１０の向きを変えるための意図的な操作を行うのではなくて、表示器１２０の向きを変えるという所定操作をしたときに、この所定操作に連動するように、バックカメラ１１０の向きが制御部１３０Ａによって変更される。そして、バックカメラ１１０の向きに応じた領域映像が表示器１２０に表示される。尚、領域映像は、所定操作に関連して運転者が見たいと思う領域の映像となるのである。
As described above, in the present embodiment, the driver does not perform an intentional operation for changing the direction of the
よって、本実施形態においては、従来技術のように、所望の仮想視点に対応する被写体部の切出し、および広角レンズに伴う画像の歪みの補正等は不要となり、簡素な処理で運転者が所望する映像を表示することが可能となる。 Therefore, in the present embodiment, unlike the prior art, it is not necessary to cut out a subject portion corresponding to a desired virtual viewpoint and to correct image distortion associated with a wide-angle lens, and the driver desires with simple processing. An image can be displayed.
尚、本実施形態では、バックカメラ１１０の向きを変更して、領域映像を撮影するものとなっているので、広角レンズを用いた映像から一部を切出して用いるものと比べて、映像精度の高いものとすることができるので、領域映像を用いて障害物把握等のセンシングに活用することが可能となる。
In the present embodiment, the direction of the
また、制御部１３０Ａは、運転者による、領域映像を得るためのバックカメラ１１０の向きを調整するためのキャリブレーション信号に基づいて、バックカメラ１１０の向きを補正するキャリブレーションを実施するようにしている。
In addition, the
これにより、表示器１２０の向きと、実際に表示される表示映像の向きとの間に違和感が生ずることがない。
Thereby, there is no sense of incongruity between the orientation of the
（第２実施形態）
第２実施形態の視界支援装置１００Ｂを図１１、図１２に示す。第２実施形態の視界支援装置１００Ｂは、上記第１実施形態の視界支援装置１００Ａに対して、運転者による右左折時のウインカーレバー１３の操作によって示される方向に応じて、制御部１３０Ｂによって、バックカメラ１１０の向きが変更されるようにしたものである。
(Second Embodiment)
A
ウインカーレバー１３は、運転者の操作によって、右左折時の方向指示をするための運転操作部であり、レバー操作に応じて右左折時のウインカー信号を出力する。ウインカーレバー１３は、このウインカーレバー１３用の制御部（例えばボディ制御部）を介して、車両１０のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ 登録商標）バス１５に接続されている。
The
制御部１３０Ｂは、上記第１実施形態における制御部１３０Ａに対して、表示器情報取得部１３３、および表示器姿勢角算出部１３４が廃止され、代わりに、ＣＡＮインターフェイス１３８、およびＣＡＮ情報取得部１３９１が設けられたものとなっている。
In the
ＣＡＮインターフェイス１３８は、ＣＡＮバス１５を介して出力されるウインカー信号が入力される部位である。
The
ＣＡＮ情報取得部１３９１は、ＣＡＮインターフェイス１３８からのウインカー信号が入力されて、ウインカー情報として取得する部位である。ＣＡＮ情報取得部１３９１にて取得されたウインカー情報は、カメラ制御角算出部１３５に出力されるようになっている。そして、カメラ制御角算出部１３５は、ウインカー情報に応じて、バックカメラ１１０の制御角を算出するようになっている。
The CAN
次に、本実施形態の視界支援装置１００Ｂの作動について、図１２を用いて説明する。
Next, the operation of the visual
本実施形態では、右左折がないときには、例えば、バックカメラ１１０は、車両１０の真後ろを向く方向に設定されており、表示器１２０には、車両真後ろの映像が表示されるようになっている。
In the present embodiment, when there is no right / left turn, for example, the
図１２のステップＳ２１０において、制御部１３０Ｂは、まず、ＣＡＮ情報取得部１３９１によって、運転者のウインカーレバー１３の操作によるウインカー情報を取得（検出）したか否かを判定する。
In step S210 of FIG. 12, the
ステップＳ２１０で肯定判定すると、ステップＳ２１１で、制御部１３０Ｂは、カメラ制御角算出部１３５によって、ウインカー情報に応じたバックカメラ１１０の制御角を算出する。例えば、ウインカー情報が右折の情報であると、制御角としてはバックカメラ１１０が車両右後方を向く角度として設定され、ウインカー情報が左折の情報であると、制御角としてはバックカメラ１１０が車両左後方を向く角度として設定される。
If an affirmative determination is made in step S210, in step S211, the
そして、制御部１３０Ｂは、カメラ駆動制御部１３６によって、上記の制御角に対応するように、バックカメラ１１０の撮影向きを制御（変更）する。これによって、車両１０の曲がる側の車両後方の映像（領域映像）が、バックカメラ１１０によって撮影されることになる。
Then, the
次に、ステップＳ２１２で、制御部１３０Ｂは、映像処理部１３７によって、バックカメラ１１０によって撮影された映像を、表示器１２０に出力する。尚、右左折を終えてウインカーレバー１３がオフの位置に戻ると、バックカメラ１１０の撮影向きも基（車両真後ろ）に戻される。
Next, in step S212, the
そして、実際に表示される表示映像の向きに違和感があると、運転者によるキャリブレーション操作が可能となっている。運転者によるキャリブレーションスイッチ１２４への操作があると、制御部１３０Ｂは、上記第１実施形態と同様に、ステップＳ１２０〜ステップＳ１２２において、キャリブレーションを実施する。
If the orientation of the display image actually displayed is uncomfortable, a calibration operation by the driver is possible. When the driver operates the
このように、本実施形態では、右左折時において、ウインカー操作によって示される方向の領域の映像を表示器１２０に表示するようにしている。よって、バックカメラ１１０に対する直接的な操作を不要として、右左折時に自動的に曲がる側の車両後方の映像を確認することができ、巻込み、乗り上げ等の不具合を予防することが可能となる。
As described above, in the present embodiment, an image of a region in the direction indicated by the winker operation is displayed on the
（第３実施形態）
第３実施形態の視界支援装置１００Ｃを図１３、図１４に示す。第３実施形態の視界支援装置１００Ｃは、上記第２実施形態の視界支援装置１００Ｂに対して、運転者によるシフトレバー１４の操作によってバック走行が設定されるときに、制御部１３０Ｃによって、バックカメラ１１０の向きが変更されるようにしたものである。
(Third embodiment)
A visibility support device 100C of the third embodiment is shown in FIGS. The visibility support device 100C according to the third embodiment is configured such that when the back travel is set by the driver operating the
シフトレバー１４は、運転者の操作によって、変速機におけるギヤの組み合わせを切替えるための運転操作部であり、レバー操作に応じてシフトポジション信号を出力する。シフトポジション信号には、パーキング時のパーキング（Ｐ）信号、バック走行時のリバース（Ｒ）信号、ギヤの組合せが解除されるニュートラル（Ｎ）信号、通常走行時のドライブ（Ｄ）信号、低速時のロー（Ｌ）信号等がある。
The
シフトレバー１４は、このシフトレバー１４用の制御部（例えば駆動制御部）を介して、車両１０のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ 登録商標）バス１５に接続されている。そして、シフトレバー１４からは、ＣＡＮバス１５を介して、ＣＡＮインターフェイス１３８にシフトポジション信号のうち、リバース信号が出力されるようになっている。
The
制御部１３０Ｃは、上記第２実施形態における制御部１３０Ｂに対して、ＣＡＮ情報取得部１３９１をＣＡＮ情報取得部１３９２としたものとなっている。
The
ＣＡＮ情報取得部１３９２は、ＣＡＮインターフェイス１３８からリバース信号が入力されて、リバースシフト情報として取得する部位である。ＣＡＮ情報取得部１３９２にて取得されたリバースシフト情報は、カメラ制御角算出部１３５に出力されるようになっている。そして、カメラ制御角算出部１３５は、リバースシフト情報に応じて、バックカメラ１１０の制御角を算出するようになっている。
The CAN
次に、本実施形態の視界支援装置１００Ｃの作動について、図１４を用いて説明する。 Next, the operation of the visibility support device 100C of the present embodiment will be described with reference to FIG.
本実施形態では、通常走行時には、例えば、バックカメラ１１０は、車両１０の真後ろ遠方を向く方向に設定されており、表示器１２０には、車両真後ろ遠方の映像が表示されるようになっている。
In the present embodiment, during normal travel, for example, the
図１４のステップＳ３１０において、制御部１３０Ｃは、まず、ＣＡＮ情報取得部１３９２によって、運転者のシフトレバー１４の操作によるリバースシフト情報を取得（検出）したか否かを判定する。
In step S310 in FIG. 14, the
ステップＳ３１０で肯定判定すると、ステップＳ３１１で、制御部１３０Ｃは、カメラ制御角算出部１３５によって、リバースシフト情報に応じたバックカメラ１１０の制御角を算出する。例えば、リバースシフト情報に応じた制御角としては、バックカメラ１１０が車両後方の下側を向く角度として設定される。
If an affirmative determination is made in step S310, in step S311, the
そして、制御部１３０Ｃは、カメラ駆動制御部１３６によって、上記の制御角に対応するように、バックカメラ１１０の撮影向きが車両後方の下側を向くように制御（変更）すうる。これによって、車両１０がバックする際の車両後方下側の映像（後方下側の領域の映像）が、バックカメラ１１０によって撮影されることになる。
Then, the
次に、ステップＳ３１２で、制御部１３０Ｃは、映像処理部１３７によって、バックカメラ１１０によって撮影された映像を、表示器１２０に出力する。尚、バック走行を終えてシフトレバー１４がリバース以外の位置に戻されると、バックカメラ１１０の撮影向きも基（車両真後ろ遠方）に戻される。
Next, in step S <b> 312, the control unit 130 </ b> C causes the
そして、実際に表示される表示映像の向きに違和感があると、運転者によるキャリブレーション操作が可能となっている。運転者によるキャリブレーションスイッチ１２４への操作があると、制御部１３０Ｃは、上記第１実施形態と同様に、ステップＳ１２０〜ステップＳ１２２において、キャリブレーションを実施する。
If the orientation of the display image actually displayed is uncomfortable, a calibration operation by the driver is possible. When the driver operates the
このように、本実施形態では、バック走行時において、車両後方の下側の領域を表示器１２０に表示するようにしている。よって、バックカメラ１１０に対する直接的な操作を不要として、バック走行時に自動的に自車両の後部に近接する領域の映像を確認することができ、障害物との接触等による不具合を予防することが可能となる。
As described above, in this embodiment, the lower region of the rear side of the vehicle is displayed on the
（第４実施形態）
第４実施形態の視界支援装置１００Ｄを図１５、図１６に示す。第４実施形態の視界支援装置１００Ｄは、上記第１実施形態の視界支援装置１００Ａに対して、表示器１２０に対する運転者の視点に応じて、表示映像の見え方を変更するようにしたものである。
(Fourth embodiment)
A field of
図１５に示すように、視界支援装置１００Ｄは、視界支援装置１００Ａに対して、ドライバカメラ１４０、映像入力部１３１Ａ、およびドライバ視点検出部１３１Ｂが付加されたものとなっている。また、映像処理部１３７には、映像入力部１３１から出力される映像データ（図形）の、回転、縮め、引き延ばし等を行うアフィン変換機能が追加されている。
As illustrated in FIG. 15, the visual
ドライバカメラ１４０は、主に運転者の顔（目の方向）を撮影することで、運転者の表示器１２０に対する視点を検知する視点カメラであり、ここでは、例えば、表示器１２０（携帯機器）に設けられたサブカメラ（内撮り用カメラ）が使用されている。ドライバカメラ１４０には、撮影した顔映像を映像信号（映像データ）に変換して、映像入力部１３１Ａに出力するイメージャー１４１が設けられている。尚、ドライバカメラ１４０としては、上記のようなサブカメラを活用するものの他にも、例えば、従来のルームミラー位置に設けられた専用のカメラ等としてもよい。
The
映像入力部１３１Ａは、映像入力部１３１と同様に、ドライバカメラ１４０のイメージャー１４１から出力される映像信号（顔映像）が入力される部位である。イメージャー１４１と映像入力部１３１Ａは、有線、あるいは無線によって接続されるようになっている。
Similar to the
ドライバ視点検出部１３１Ｂは、映像入力部１３１Ａから出力される映像信号（顔映像）を基に、表示器１２０に対する運転者の視点（視線の方向）を検出する部位である。表示器１２０に対する運転者の視点とは、例えば、運転者は表示器１２０に対して映像を真正面から見ている、あるいは斜めから見ている、また、斜めであるとどの程度の斜め方向から見ているか、と言った具合の内容である。ドライバ視点検出部１３１Ｂは、検出した運転者の視点情報を映像処理部１３７に出力するようになっている。
The driver
本実施形態における作動について、図１６を用いて説明する。 The operation in this embodiment will be described with reference to FIG.
例えば、表示器１２０に表示される表示映像が、車両の左後方を示すものとする。仮に、表示器１２０に対して、運転者が真正面から表示画面１２１を見ると、図１６（ａ）に示すように視認される。しかしながら、実際には、運転者は運転席（右側）に着座している。表示器１２０は、インストルメントパネルの左右中央位置に設定されており、車両左後方を表示していることから、表示器１２０の表示画面１２１は、左後方を向いている。
For example, it is assumed that the display image displayed on the
この場合、運転者の表示画面１２１に対する視点は、右後方位置となり、運転者からは、表示画面１２１の左端が小さく、右端が大きく見える形となってしまう。しかしながら、本実施形態では、図１６（ｂ）に示すように、映像処理部１３７によって、表示画像が、あたかも正面から見た場合と同様（図１６（ａ））の映像となるように変換されて、表示されるようになっている。つまり、表示画面１２１の左端が拡大され、右端が縮小されるように変換される。
In this case, the viewpoint of the driver's
このように、本実施形態では、運転者の視点によって、表示画像が見えづらい場合が生じても、その見えづらさを解消することができる。 Thus, in this embodiment, even if it is difficult to see the display image depending on the driver's viewpoint, it is possible to eliminate the difficulty in viewing.
（その他の実施形態）
上記第１〜第４実施形態では、表示器１２０の向きに応じてバックカメラ１１０の向きを変更するもの（第１）、またウインカー操作に応じてバックカメラ１１０の向きを変更するもの（第２）、またシフトレバー操作に応じてバックカメラ１１０の向きを変更するもの（第３）、更には、運転者の視点に応じて表示画像の見え方を変更するもの（第４）等、それぞれ単独で実施するものとして説明したが、第１〜第４実施形態の内容を複数組み合わせて実施するようにしてもよい。
(Other embodiments)
In the first to fourth embodiments, the direction of the
１０ 車両
１００Ａ〜１００Ｄ 視界支援装置
１１０ バックカメラ（カメラ）
１２０ 表示器
１３０Ａ〜１３０Ｄ制御部
１４０ ドライバカメラ（視点カメラ）
DESCRIPTION OF
120
Claims (6)
前記制御部（１３０Ａ〜１３０Ｄ）は、ユーザの前記表示器（１２０）、あるいは前記車両（１０）の運転のための運転操作部に対する所定操作に応じて、前記所定操作に関連する領域の領域映像の撮影が可能となるように、前記カメラ（１１０）の向きを変更することを特徴とする視界支援装置。 Visual field support including a control unit (130A to 130D) that captures video data of a camera (110) that captures a rear region of the vehicle (10) and displays the video data on a display (120) in a communicable vehicle interior as a display video. A device,
The control unit (130A to 130D) is a region image of a region related to the predetermined operation in response to a predetermined operation on the display unit (120) of the user or a driving operation unit for driving the vehicle (10). The field of view support apparatus is characterized in that the orientation of the camera (110) is changed so as to enable photographing.
前記領域映像は、前記表示器（１２０）の向きに対応する領域の映像であることを特徴とする請求項１に記載の視界支援装置。 The predetermined operation is a direction changing operation for changing a direction of the display (120) by the user,
The field-of-view support apparatus according to claim 1, wherein the area image is an image of an area corresponding to an orientation of the display (120).
前記領域映像は、前記ウインカー操作によって示される方向の領域の映像であることを特徴とする請求項１に記載の視界支援装置。 The predetermined operation is a turn signal operation for direction indication at the time of a right or left turn by the user,
The field-of-view support apparatus according to claim 1, wherein the area image is an image of an area in a direction indicated by the blinker operation.
前記領域映像は、前記車両の後方下側領域の映像であることを特徴とする請求項１に記載の視界支援装置。 The predetermined operation is a shift lever operation for back travel by the user,
The field-of-view support apparatus according to claim 1, wherein the area image is an image of a lower rear area of the vehicle.
前記制御部（１３０Ａ〜１３０Ｄ）は、前記視点に基づく前記領域映像を、前記ユーザが前記表示器（１２０）を正面から見た場合と同様な映像となるように、前記映像データを変換して前記表示器（１２０）に表示させることを特徴とする請求項１〜請求項５のいずれか１つに記載の視界支援装置。 A viewpoint camera (140) for detecting a viewpoint of the display (120) of the user;
The control unit (130A to 130D) converts the video data so that the region video based on the viewpoint becomes the same video as when the user views the display (120) from the front. The visual field support device according to any one of claims 1 to 5, wherein the visual field is displayed on the display (120).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015019514A JP2016141303A (en) | 2015-02-03 | 2015-02-03 | Visual field support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015019514A JP2016141303A (en) | 2015-02-03 | 2015-02-03 | Visual field support device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016141303A true JP2016141303A (en) | 2016-08-08 |
Family
ID=56568220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015019514A Pending JP2016141303A (en) | 2015-02-03 | 2015-02-03 | Visual field support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016141303A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114194115A (en) * | 2021-12-22 | 2022-03-18 | 数源科技股份有限公司 | Installation method of visual blind area camera device |
| JP7547310B2 (en) | 2021-12-20 | 2024-09-09 | キヤノン株式会社 | IMAGING SYSTEM, MOBILE DEVICE, IMAGING METHOD, AND PROGRAM |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01109450U (en) * | 1988-01-19 | 1989-07-24 | ||
| JP2004291663A (en) * | 2003-03-25 | 2004-10-21 | Denso Corp | System and method for monitoring vehicle periphery |
| JP2005335410A (en) * | 2004-05-24 | 2005-12-08 | Olympus Corp | Image display device |
| JP2009100180A (en) * | 2007-10-16 | 2009-05-07 | Denso Corp | Vehicular rear monitoring device |
| JP2009218919A (en) * | 2008-03-11 | 2009-09-24 | Clarion Co Ltd | Image display apparatus for vehicle |
-
2015
- 2015-02-03 JP JP2015019514A patent/JP2016141303A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01109450U (en) * | 1988-01-19 | 1989-07-24 | ||
| JP2004291663A (en) * | 2003-03-25 | 2004-10-21 | Denso Corp | System and method for monitoring vehicle periphery |
| JP2005335410A (en) * | 2004-05-24 | 2005-12-08 | Olympus Corp | Image display device |
| JP2009100180A (en) * | 2007-10-16 | 2009-05-07 | Denso Corp | Vehicular rear monitoring device |
| JP2009218919A (en) * | 2008-03-11 | 2009-09-24 | Clarion Co Ltd | Image display apparatus for vehicle |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7547310B2 (en) | 2021-12-20 | 2024-09-09 | キヤノン株式会社 | IMAGING SYSTEM, MOBILE DEVICE, IMAGING METHOD, AND PROGRAM |
| CN114194115A (en) * | 2021-12-22 | 2022-03-18 | 数源科技股份有限公司 | Installation method of visual blind area camera device |
| CN114194115B (en) * | 2021-12-22 | 2024-03-15 | 数源科技股份有限公司 | Method for installing vision blind area camera device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5627253B2 (en) | Image processing apparatus, electronic apparatus, and image processing method | |
| JP5099451B2 (en) | Vehicle periphery confirmation device | |
| JP5341789B2 (en) | Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program | |
| JP4935571B2 (en) | Driving assistance device | |
| JP6548900B2 (en) | Image generation apparatus, image generation method and program | |
| JP5093611B2 (en) | Vehicle periphery confirmation device | |
| JP2001218197A (en) | Peripheral display device for vehicles | |
| JP6257978B2 (en) | Image generation apparatus, image display system, and image generation method | |
| JP5251804B2 (en) | Driving assistance device | |
| EP3761262B1 (en) | Image processing device and image processing method | |
| JP2019156298A (en) | Vehicle remote control device and vehicle remote control method | |
| JP2005136561A (en) | Vehicle peripheral picture display device | |
| JP2012040883A (en) | Device for generating image of surroundings of vehicle | |
| JP4849333B2 (en) | Visual aids for vehicles | |
| CN110525341B (en) | Vehicle periphery display device | |
| JP4329525B2 (en) | Outside-vehicle information display device | |
| JP2019161549A (en) | Vehicle remote operation device and vehicle remote operation method | |
| JP5977130B2 (en) | Image generation apparatus, image display system, and image generation method | |
| JP6130118B2 (en) | Image processing system, image processing apparatus, image processing method, and program | |
| JP2018144554A (en) | Head-up display device for vehicle | |
| WO2012060215A1 (en) | In-vehicle camera device | |
| JP2018034716A (en) | Operation system for vehicle and computer program | |
| JP6118936B2 (en) | Image processing device | |
| JP2016141303A (en) | Visual field support device | |
| JP2005286938A (en) | Device for displaying information outside vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170602 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180313 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181002 |