JP2008037118A - Display for vehicle - Google Patents

Display for vehicle Download PDF

Info

Publication number
JP2008037118A
JP2008037118A JP2006209645A JP2006209645A JP2008037118A JP 2008037118 A JP2008037118 A JP 2008037118A JP 2006209645 A JP2006209645 A JP 2006209645A JP 2006209645 A JP2006209645 A JP 2006209645A JP 2008037118 A JP2008037118 A JP 2008037118A
Authority
JP
Japan
Prior art keywords
driver
blind spot
vehicle
head position
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006209645A
Other languages
Japanese (ja)
Inventor
Naoki Osawa
直樹 大澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2006209645A priority Critical patent/JP2008037118A/en
Publication of JP2008037118A publication Critical patent/JP2008037118A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Instrument Panels (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a display for a vehicle, in which a dead zone to a driver can be displayed without complicating image processing. <P>SOLUTION: The display for a vehicle is provided with a dead zone photography means 3 to photograph a dead zone to a driver produced by a car body member 15, and a display means 5 to display the dead zone photographed by the dead zone photography means 3 to the driver. The display means 5 is disposed on the car body member 15. A head part position detection means 4 is provided to detect the position of the head part of the driver. The dead zone photography means 3 and the head part position detection means 4 are disposed on the car body member 15 almost along an axial line connecting the car body member to the position of the head part of the driver as normally seated. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

この発明は、車両の運転者の視界を補助する車両用表示装置に関するものである。   The present invention relates to a display device for a vehicle that assists the field of view of a driver of the vehicle.

従来から、カメラなどの撮影手段により捉えられた車両周辺の映像を運転者が視認可能な位置に表示して、運転者の視界を補助する車両用表示装置が知られている。この車両用表示装置には、V字形鏡に映された画像をルームミラー背面または運転席サンバイザ近傍に配置されたCCDカメラで撮影し、撮影した映像の中からアイポイント検出器や座席位置検出センサの出力に基づいて死角領域を抽出し、抽出された映像に左右対称変換などの処理を行い、フロントピラーに沿って設置された液晶ディスプレイへ映像を表示するものがある(例えば、特許文献1参照)。
特開2004−64131号公報
2. Description of the Related Art Conventionally, there is known a vehicle display device that assists a driver's field of view by displaying an image around a vehicle captured by a photographing unit such as a camera at a position where the driver can visually recognize the image. In this vehicular display device, an image projected on a V-shaped mirror is photographed by a CCD camera disposed on the back of a rearview mirror or in the vicinity of a driver's seat sun visor, and an eye point detector or a seat position detection sensor is detected from the photographed images. The blind spot area is extracted based on the output of the image, and the extracted image is subjected to processing such as left-right symmetric conversion, and the image is displayed on a liquid crystal display installed along the front pillar (for example, see Patent Document 1). ).
JP 2004-64131 A

ところで、上述の車両用表示装置は、V字形鏡を介しての画像を撮影しており、撮影された映像に対して左右、上下、前後方向のずれを補正して表示する必要があり、処理が複雑になるという問題があった。   By the way, the above-described display device for a vehicle captures an image through a V-shaped mirror, and it is necessary to correct and display a shift in the left, right, up, down, and front and rear directions with respect to the captured image. There was a problem that became complicated.

そこで、本発明は、上記事情に鑑みてなされたものであり、映像の処理が複雑にならずに、運転者の死角領域を表示可能な車両用表示装置を提供するものである。   Therefore, the present invention has been made in view of the above circumstances, and provides a vehicle display device that can display a driver's blind spot area without complicated video processing.

上記の課題を解決するために、請求項1に記載した発明は、車体部材(例えば実施形態におけるフロントピラー15)によって形成される運転者の死角領域(例えば実施形態における右死角領域a及び左死角領域c)を撮影する死角撮影手段(例えば実施形態における外用カメラ3)と、該死角撮影手段によって撮影した前記死角領域を前記運転者に対し表示する表示手段(例えば実施形態における液晶ディスプレイ5)と、を設けた車両用表示装置(例えば実施形態における車両用表示装置1)において、前記表示手段が前記車体部材に配置され、前記運転者の頭部位置を検出する頭部位置検出手段(例えば実施形態における内用カメラ4)を設け、前記死角撮影手段と前記頭部位置検出手段とを、前記車体部材と正常着座状態の前記運転者の頭部位置とを結ぶ軸線にほぼ沿った状態で前記車体部材に配置したことを特徴とする。
このように構成することで、表示手段に死角領域を表示する際に、撮影された映像に対して前後方向のずれを補正する必要がなく、左右及び上下方向の補正をするのみでよい。
In order to solve the above-described problems, the invention described in claim 1 is directed to a driver's blind spot area (for example, the right blind spot area a and the left blind spot in the embodiment) formed by a vehicle body member (for example, the front pillar 15 in the embodiment). A blind spot photographing means (for example, the external camera 3 in the embodiment) for photographing the area c), and a display means (for example, the liquid crystal display 5 in the embodiment) for displaying the blind spot area photographed by the blind spot photographing means to the driver. In the vehicular display device (e.g., the vehicular display device 1 in the embodiment), the display means is disposed on the vehicle body member, and the head position detection means (e.g., implementation) detects the driver's head position. Provided with an internal camera 4), and the blind spot photographing means and the head position detecting means are connected to the vehicle body member and the normal sitting state And wherein in a state substantially along the head position and the axis connecting the disposed in the vehicle body member.
With this configuration, when the blind spot area is displayed on the display unit, it is not necessary to correct the shift in the front-rear direction with respect to the captured image, and only the correction in the left-right and vertical directions is required.

請求項2に記載した発明は、前記頭部位置検出手段により検出された前記運転者の頭部位置が、前記軸線に対してどの程度ずれているかを検出するずれ検出手段(例えば実施形態におけるずれ検出手段6)を設けたことを特徴とする。
このように構成することで、運転者の頭部位置を考慮して運転者の死角領域を設定することができる。
According to a second aspect of the present invention, there is provided a deviation detecting means for detecting how much the driver's head position detected by the head position detecting means is deviated from the axis (for example, a deviation in the embodiment). A detection means 6) is provided.
By comprising in this way, a driver | operator's blind spot area | region can be set in consideration of a driver | operator's head position.

請求項3に記載した発明は、前記死角撮影手段により撮影された映像の内、前記運転者の死角領域を抽出する補正手段(例えば実施形態における補正手段7)を設けたことを特徴とする。
このように構成することで、車体部材によって運転者の死角になっている領域の映像を、運転者にとって視認可能な周辺の景色を補うように表示することができる。
According to a third aspect of the present invention, there is provided correction means (for example, the correction means 7 in the embodiment) for extracting the driver's blind spot area from the image photographed by the blind spot photographing means.
By comprising in this way, the image | video of the area | region which is a driver | operator's blind spot by a vehicle body member can be displayed so that the surrounding scenery which a driver | operator can visually recognize is supplemented.

請求項1に記載した発明によれば、表示手段に死角領域を表示する際に、撮影された映像に対して前後方向のずれを補正する必要がなく、左右及び上下方向の補正をするのみでよいため、映像の処理を容易にすることができる効果がある。   According to the first aspect of the present invention, when the blind spot area is displayed on the display means, it is not necessary to correct the shift in the front-rear direction with respect to the captured image, and only the correction in the left-right and vertical directions is performed. Therefore, there is an effect that the processing of the video can be facilitated.

請求項2に記載した発明によれば、運転者の頭部位置を考慮して運転者の死角領域を設定することができるため、運転者にとって正確な死角領域を認識することができる効果がある。   According to the second aspect of the present invention, since the driver's blind spot area can be set in consideration of the driver's head position, the driver can recognize an accurate blind spot area. .

請求項3に記載した発明によれば、車体部材によって運転者の死角になっている領域の映像を、運転者にとって視認可能な周辺の景色を補うように表示することができるため、運転者が実際に視認している周辺の景色と同等に違和感なく認識することができる効果がある。   According to the third aspect of the present invention, since the image of the area that is the blind spot of the driver by the vehicle body member can be displayed so as to supplement the surrounding scenery that is visible to the driver, There is an effect that it can be recognized without a sense of incongruity as the surrounding scenery that is actually visually recognized.

次に、本発明の実施形態を図1〜図7に基づいて説明する。
なお、本実施形態における各装置の取付方向や位置を示す定義は、車両進行方向を前方とし、車両進行方向に向かって右方向及び左方向を定義するものとする。
図1は、本実施形態における車両用表示装置の構成を示すブロック図である。
図1に示すように、車両用表示装置1は、車両用表示装置1を制御するCPU(中央演算装置)を備えたECU(Electronic Control Unit)2と、車両周辺を撮影可能なCCDカメラからなる外用カメラ3と、運転者の頭部周辺を撮影可能なCCDカメラからなる内用カメラ4と、外用カメラ3により撮影された映像を表示可能な液晶ディスプレイ5と、から構成されている。
外用カメラ3、内用カメラ4及び液晶ディスプレイ5は、光ファイバーケーブルなどの通信ケーブルによりECU2と通信可能に接続されている。
Next, an embodiment of the present invention will be described with reference to FIGS.
In addition, the definition which shows the attachment direction and position of each apparatus in this embodiment shall define a right direction and a left direction toward a vehicle advancing direction by making a vehicle advancing direction ahead.
FIG. 1 is a block diagram illustrating a configuration of a vehicle display device according to the present embodiment.
As shown in FIG. 1, the vehicle display device 1 includes an ECU (Electronic Control Unit) 2 having a CPU (Central Processing Unit) that controls the vehicle display device 1 and a CCD camera capable of photographing the periphery of the vehicle. The camera is composed of an external camera 3, an internal camera 4 comprising a CCD camera capable of photographing the periphery of the driver's head, and a liquid crystal display 5 capable of displaying an image photographed by the external camera 3.
The external camera 3, the internal camera 4 and the liquid crystal display 5 are connected to the ECU 2 through a communication cable such as an optical fiber cable.

ここで、ECU2は、ずれ検出手段6と補正手段7とを備えている。
ずれ検出手段6は、内用カメラ4で撮影した映像に基づいて、運転者の頭部位置が正常着座状態の頭部位置からどの程度ずれているかを検出する。なお、運転者の正常着座状態は運転席のヘッドレストの位置から求めてもよく、また内用カメラ4によって撮影した映像のうち、代表的な頭部位置を正常着座状態としてもよい。運転者の頭部位置を検出する方法としては、内用カメラ4により得られた運転者の目や顔の映像を画像処理により分析することで、運転者の目の位置(アイポイント)を検出するものが一般的である。
Here, the ECU 2 includes a deviation detection unit 6 and a correction unit 7.
The deviation detection means 6 detects how much the driver's head position is deviated from the head position in the normal seating state based on the video taken by the internal camera 4. The normal seating state of the driver may be obtained from the position of the headrest of the driver's seat, and a representative head position among the images photographed by the internal camera 4 may be the normal seating state. As a method of detecting the driver's head position, the driver's eye position (eye point) is detected by analyzing the image of the driver's eyes and face obtained by the internal camera 4 through image processing. What you do is common.

補正手段7は、ずれ検出手段6から得られた検出結果に基づいて、外用カメラ3により撮影された映像から運転者の死角領域を抽出する。更に、抽出された死角領域の映像を運転者の頭部位置に応じて、形状を変化させる。
補正手段7により得られた映像は、その映像に対応する位置に配置された液晶ディスプレイ5に表示されるように構成されている。
The correction means 7 extracts the driver's blind spot area from the video imaged by the external camera 3 based on the detection result obtained from the deviation detection means 6. Furthermore, the shape of the extracted image of the blind spot area is changed according to the head position of the driver.
The video obtained by the correction means 7 is configured to be displayed on the liquid crystal display 5 arranged at a position corresponding to the video.

また、液晶ディスプレイ5は、運転者から死角となる領域と運転者との間に配置されている。なお、液晶ディスプレイ5は、運転者から死角となる領域が複数箇所存在する場合は、複数用意されるものとする。   Moreover, the liquid crystal display 5 is arrange | positioned between the area | region which becomes a blind spot from a driver | operator, and a driver | operator. Note that a plurality of liquid crystal displays 5 are prepared when there are a plurality of areas that are blind spots from the driver.

次に、図2は車両用表示装置の各装置の取付位置及びカメラの撮影方向を示す模式図である。また、図3は右側のフロントピラーの外面拡大図であり、図4は右側のフロントピラーの内面拡大図である。なお、ここでは一例として、運転者の前方視界に関して、運転者の死角領域を表示する車両用表示装置1について説明する。
図2に示すように、車両11の車室内右前方に運転者が着座する運転席12が形成されている。車両11の前方に配置されたフロントウインドウガラス13と、運転席12及び図示しない助手席のドアに配置されたドアガラス14との間には、フロントピラー15がそれぞれ位置している。
外用カメラ3は、フロントピラー15と正常着座状態の運転者の頭部位置とを結ぶ軸線にほぼ沿った位置に設置されている。また、内用カメラ4は、外用カメラ3と撮影方向を180度開くように、つまり、背中合わせになるように配置されている。
Next, FIG. 2 is a schematic diagram showing the mounting position of each device of the vehicle display device and the shooting direction of the camera. 3 is an enlarged view of the outer surface of the right front pillar, and FIG. 4 is an enlarged view of the inner surface of the right front pillar. Here, as an example, the vehicle display device 1 that displays the driver's blind spot area with respect to the driver's forward view will be described.
As shown in FIG. 2, a driver's seat 12 on which a driver is seated is formed in the right front of the vehicle 11. A front pillar 15 is positioned between a front window glass 13 disposed in front of the vehicle 11 and a door glass 14 disposed on a door of a driver seat 12 and a passenger seat (not shown).
The external camera 3 is installed at a position substantially along an axis connecting the front pillar 15 and the position of the head of a normally seated driver. Further, the internal camera 4 is arranged so as to open the photographing direction with the external camera 3 180 degrees, that is, back to back.

外用カメラ3及び内用カメラ4は、車室内に設置されており、外用カメラ3はフロントピラー15のフロントウインドウガラス13側ではなく、ドアガラス14側から外部を撮影可能に配置されている。このように配置した方が、フロントウインドウガラス13周辺部の雨滴の流れやワイパーで除去した雪の停滞、更にはワイパーブレードの通過による視界の遮蔽を防ぐことができるため好ましい。   The external camera 3 and the internal camera 4 are installed in a vehicle interior, and the external camera 3 is arranged so that the outside can be photographed from the side of the door glass 14 rather than the side of the front window glass 13 of the front pillar 15. This arrangement is preferable because it can prevent the flow of raindrops around the front window glass 13, the stagnation of snow removed by the wiper, and the shielding of the visual field due to the passage of the wiper blade.

外用カメラ3及び内用カメラ4は、左右のフロントピラー15それぞれに設置されている。右側の外用カメラ3は、右側のフロントピラー15による右死角領域aを含む右撮影領域bの方向を撮影可能に設置されている。また、左側の外用カメラ3は、左側のフロントピラー15による左死角領域cを含む左撮影領域dの方向を撮影可能に設置されている。   The external camera 3 and the internal camera 4 are installed on the left and right front pillars 15 respectively. The right external camera 3 is installed so as to be able to photograph the direction of the right imaging area b including the right blind spot area a by the right front pillar 15. The left external camera 3 is installed so as to be capable of photographing the direction of the left photographing area d including the left blind spot area c by the left front pillar 15.

液晶ディスプレイ5は、フロントピラー15の車室内に面した側にフロントピラー15を覆うように設置されている。
また、ECU2は、車両11の内部に設置された図示しない制御部の一部として構成されている。
The liquid crystal display 5 is installed on the side of the front pillar 15 facing the passenger compartment so as to cover the front pillar 15.
The ECU 2 is configured as a part of a control unit (not shown) installed inside the vehicle 11.

次に作用について説明する。
図5は、車両用表示装置の処理方法を示すフローチャートである。
図5に示すように、ステップ1(S1)では、運転者の頭部位置と液晶ディスプレイ5に表示する映像のポリゴン座標並びにテクスチャ座標との関係式を設定する。
この関係式は、カメラレンズ系の光学特性、運転者の頭部位置、外用カメラ3及び内用カメラ4の方向・位置関係、並びに液晶ディスプレイ5の方向・位置関係から行列式を用いた写像変換として導出される。本実施形態では、関係式を設定する一つの手法について説明する。
Next, the operation will be described.
FIG. 5 is a flowchart showing a processing method of the vehicle display device.
As shown in FIG. 5, in Step 1 (S1), a relational expression between the driver's head position and the polygon coordinates and texture coordinates of the image displayed on the liquid crystal display 5 is set.
This relational expression is a mapping conversion using a determinant from the optical characteristics of the camera lens system, the driver's head position, the direction / position relation of the external camera 3 and the internal camera 4, and the direction / position relation of the liquid crystal display 5. As derived. In this embodiment, one method for setting a relational expression will be described.

外用カメラ3、内用カメラ4、及び液晶ディスプレイ5を車両11に設置した状態で、運転者の頭部位置を内用カメラ4で撮影し、撮影された映像に五箇所(上下方向中央での左右端部、左右方向中央での上下端部、及び中央部)以上の測定ポイントを設定する。   With the external camera 3, the internal camera 4, and the liquid crystal display 5 installed in the vehicle 11, the head position of the driver is photographed by the internal camera 4, and five images (in the center in the vertical direction) are captured. Left and right end parts, upper and lower end parts in the center in the left-right direction, and center part) or more measurement points are set.

次に、格子状のテストパターンをテクスチャとして貼付した四角形ポリゴンを用意し、液晶ディスプレイ5に表示したときに、運転者の視点でテストパターン画像が歪みのない正立画像となるように、四角形ポリゴンの四つの頂点を調整し、それらの座標を取得する(歪み補正用)。   Next, a rectangular polygon with a grid-like test pattern pasted as a texture is prepared and displayed on the liquid crystal display 5 so that the test pattern image becomes an upright image without distortion from the viewpoint of the driver. Adjust the four vertices of to obtain their coordinates (for distortion correction).

上記で得られた四角形ポリゴンの四つの頂点座標制御が有効な(頭部位置と連動制御された)状態で、四角形ポリゴンに外用カメラ3の映像をテクスチャに貼り付けする。これを液晶ディスプレイ5に表示したときの映像が死角となっている外界の部位(景色)と一致するように四角形ポリゴンのテクスチャ座標を四点とも調整し、それらの座標を取得する(方向及び拡大比の制御用)。
そして、これらの座標データを用いて、測定ポイントから得られた頭部位置間を線形補完する近似式を得て、座標制御関数とする。ここで、それぞれのデータ量が多いほど制御の精度も向上する。
In a state where the four vertex coordinate control of the quadrilateral polygon obtained above is valid (controlled in conjunction with the head position), the video of the external camera 3 is pasted on the texture to the quadrilateral polygon. Adjust the texture coordinates of the quadrilateral polygon so that the image when it is displayed on the liquid crystal display 5 matches the external part (scenery) that is a blind spot, and acquire those coordinates (direction and enlargement) Ratio control).
Then, using these coordinate data, an approximate expression that linearly complements between the head positions obtained from the measurement points is obtained and used as a coordinate control function. Here, the control accuracy improves as the amount of each data increases.

S1の設定が完了すると、ステップ2(S2)へと進む。
S2では、外界の最新映像を外用カメラ3で取得したか否かを判定する。映像が取得されるまでは、S2を繰り返す。映像が取得されるとステップ3(S3)へと進む。
S3では、運転者の頭部周辺を内用カメラ4で撮影し、ECU2にて運転者のアイポイントの位置情報をずれ検出手段6により取得し、ステップ4(S4)へと進む。ここで、運転者の頭部位置が一定であればフロントピラー15によって死角となる領域は運転者の視線によらずほぼ一定となるため、運転者の頭部位置を求めるだけでアイポイント(運転者の目の位置)と置き換えることができる。
When the setting of S1 is completed, the process proceeds to step 2 (S2).
In S2, it is determined whether or not the external camera 3 has acquired the latest external video. Until the video is acquired, S2 is repeated. When the video is acquired, the process proceeds to step 3 (S3).
In S3, the driver's head periphery is photographed by the internal camera 4, the position information of the driver's eye point is acquired by the deviation detection means 6 in the ECU 2, and the process proceeds to Step 4 (S4). Here, if the driver's head position is constant, the blind spot area by the front pillar 15 is substantially constant regardless of the driver's line of sight. The position of the person's eyes).

S4では、S3で得られた運転者のアイポイントの位置情報に基づいて、四角形ポリゴンの頂点座標を取得し、ステップ5(S5)へと進む(ずれ検出手段6)。この四角形ポリゴンとは、外界映像を動画テクスチャとして貼り付ける対象であり、この頂点座標は三次元データで構成され、テクスチャ座標は二次元データで構成されている。
S5では、S4で得られた四角形ポリゴンのテクスチャ座標を取得し、ステップ6(S6)へと進む。
S6では、S5で得られた四角形ポリゴンのテクスチャ座標へ外用カメラ3で撮影した映像をレンダリングし(補正手段7)、ステップ7(S7)へと進む。
In S4, the vertex coordinates of the quadrilateral polygon are acquired based on the position information of the driver's eye point obtained in S3, and the process proceeds to Step 5 (S5) (deviation detection means 6). This quadrilateral polygon is a target to which an external image is pasted as a moving image texture. The vertex coordinates are composed of three-dimensional data, and the texture coordinates are composed of two-dimensional data.
In S5, the texture coordinates of the quadrilateral polygon obtained in S4 are acquired, and the process proceeds to Step 6 (S6).
In S6, the image captured by the external camera 3 is rendered on the texture coordinates of the quadrilateral polygon obtained in S5 (correction means 7), and the process proceeds to Step 7 (S7).

S7では、レンダリングされた映像を液晶ディスプレイ5へ表示する。
車両を運転することにより運転者の死角領域が連続的に移動していくため、上記S2からS7を連続的に繰り返し、常に正確な死角領域の映像が液晶ディスプレイ5に表示されるように制御される。液晶ディスプレイ5に表示されると、ステップ8(S8)へと進む。
S8では、運転が継続中か否かを判定する。運転が継続中の場合は、S2へ戻り、運転を終了すると上述の処理も終了となる。
In S7, the rendered video is displayed on the liquid crystal display 5.
Since the driver's blind spot area is continuously moved by driving the vehicle, the above-described S2 to S7 are repeated continuously, and the liquid crystal display 5 is controlled so that an accurate image of the blind spot area is always displayed. The If displayed on the liquid crystal display 5, it will progress to step 8 (S8).
In S8, it is determined whether or not the operation is continuing. When the operation is continuing, the process returns to S2, and when the operation is ended, the above-described processing is also ended.

ここで、内用カメラ4には単眼カメラを採用し、単眼カメラによる方向データのみで制御している。単眼カメラで構成することが可能となった原理を説明する。
外用カメラ3と内用カメラ4とを、フロントピラー15に設置した液晶ディスプレイ5の近傍に配置し、これら三者をまとめて座標の原点とみなす。このときフロントピラー15による死角の方向と運転者の頭部の方向は、この原点に点対称で移動する。
そうすると、運転者の頭部位置の方向は、内用カメラ4で撮影された映像の平面的な二次元座標で算出することができ、三次元の処理をする必要がない。したがって、内用カメラ4は単眼カメラで構成が可能となる。
Here, a monocular camera is adopted as the internal camera 4 and is controlled only by direction data from the monocular camera. The principle that can be configured with a monocular camera will be described.
The external camera 3 and the internal camera 4 are arranged in the vicinity of the liquid crystal display 5 installed on the front pillar 15, and these three are collectively regarded as the coordinate origin. At this time, the direction of the blind spot by the front pillar 15 and the direction of the driver's head move symmetrically with respect to this origin.
Then, the direction of the driver's head position can be calculated with the two-dimensional planar coordinates of the video imaged by the internal camera 4, and there is no need for three-dimensional processing. Therefore, the internal camera 4 can be configured with a monocular camera.

次に、外用カメラ3により撮影した外界映像をフロントピラーに設置した液晶ディスプレイ5へ表示する際の写像変換方法について説明する。
図6は、外用カメラ映像から液晶ディスプレイに表示する際の写像変換のイメージ図であり、(a)は運転者の頭部が運転席の中心より外側寄りにある場合、(b)は運転者の頭部が運転席の中心位置にある場合、(c)は運転者の頭部が運転席の中心より助手席側にある場合であり、上段は外界映像とフロントピラーとの位置関係を示し、下段は上段の情報を平面オブジェクトに写像変換したものを示すイメージ図である。
ここで、運転者とフロントピラー15に設置した液晶ディスプレイ5とはほとんど正対していない。したがって、運転席12からフロントピラー15の方向を見るとき、運転者の頭部位置の移動によって液晶ディスプレイ5に抽出されるべき外界映像は位置だけでなく、形状も変化する。
Next, a description will be given of a mapping conversion method for displaying an external image captured by the external camera 3 on the liquid crystal display 5 installed on the front pillar.
FIG. 6 is an image diagram of map conversion when displaying an external camera image on a liquid crystal display. FIG. 6A shows a case where the driver's head is located outside the center of the driver's seat, and FIG. When the head is at the center position of the driver's seat, (c) is when the driver's head is closer to the passenger seat than the center of the driver's seat, and the upper row shows the positional relationship between the outside world image and the front pillar, The lower part is an image diagram showing the information obtained by mapping the information in the upper part to a planar object.
Here, the driver and the liquid crystal display 5 installed on the front pillar 15 are hardly facing each other. Accordingly, when viewing the direction of the front pillar 15 from the driver's seat 12, not only the position but also the shape of the external image to be extracted to the liquid crystal display 5 is changed by the movement of the driver's head position.

図6に示すように、運転者の頭部が運転席12の中心より外側寄りにある場合、運転者の頭部が運転席12の中心位置にある場合、及び運転者の頭部が運転席12の中心より助手席寄りにある場合では、死角領域eが位置だけでなく形状も変化する。液晶ディスプレイ5には、図6下段の死角領域eが表示される。   As shown in FIG. 6, when the driver's head is outside the center of the driver's seat 12, the driver's head is at the center of the driver's seat 12, and the driver's head is the driver's seat. In the case of being closer to the passenger seat than the center of 12, the blind spot area e changes not only in position but also in shape. On the liquid crystal display 5, a blind spot area e in the lower part of FIG.

図6に示した形状変化(写像変換)には、通常、下段の四角形部分(死角領域e)に限っても1600×480ポイント=76万8千回/コマの座標変換処理が必要となるが、平面オブジェクトにあらかじめテクスチャマップを設定しておき、その頂点4点の座標のみを頭部位置座標の関数として制御することにより、ほとんどの処理負担をテクスチャ貼り付け処理としてビデオプロセッサに委ねることができる。この結果、1台の車載コンピュータで、毎秒15回の頭部位置認識(パターンマッチング)と併行してのリアルタイム変形を実現することができる。   The shape change (mapping conversion) shown in FIG. 6 usually requires a coordinate conversion process of 1600 × 480 points = 768,000 times / frame even if it is limited to the lower quadrangular portion (dead angle area e). By setting a texture map for a plane object in advance and controlling only the coordinates of its four vertices as a function of the head position coordinates, most of the processing burden can be left to the video processor as a texture pasting process. . As a result, it is possible to realize real-time deformation in parallel with head position recognition (pattern matching) 15 times per second with a single in-vehicle computer.

次に、図7は、運転席12に着座した運転者のアイポイントから見える車両11のフロントウインドウガラス13からの視界と、外用カメラ3による撮影映像との関係を示す模式図である。
右側のフロントピラー15による右死角領域aの右死角映像fが右側のフロントピラー15の内面に設置された液晶ディスプレイ5に表示され、左側のフロントピラー15による左死角領域cの左死角映像gが左側のフロントピラー15の内面に設置された液晶ディスプレイ5に表示される。それぞれに表示される映像は、外用カメラ3により撮影された映像に、ずれ検出手段6及び補正手段7の処理がなされた後のものである。
Next, FIG. 7 is a schematic diagram showing the relationship between the field of view of the vehicle 11 seen from the eye point of the driver seated in the driver's seat 12 and the captured image taken by the external camera 3.
A right blind spot image f of the right blind spot area a by the right front pillar 15 is displayed on the liquid crystal display 5 installed on the inner surface of the right front pillar 15, and a left blind spot picture g of the left blind spot area c by the left front pillar 15 is displayed. It is displayed on the liquid crystal display 5 installed on the inner surface of the left front pillar 15. The images displayed on the respective images are the images taken by the external camera 3 after the shift detection means 6 and the correction means 7 are processed.

上述の実施形態によれば、外用カメラ3をフロントピラー15と正常着座状態の運転者の頭部位置とを結ぶ軸線にほぼ沿った位置に設置し、内用カメラ4を外用カメラ3と撮影方向を180度開くように、つまり、背中合わせになるように設置した。また、液晶ディスプレイ5をフロントピラー15の車室内に面した側にフロントピラー15を覆うように設置した。   According to the above-described embodiment, the external camera 3 is installed at a position substantially along the axis connecting the front pillar 15 and the head position of the normally seated driver, and the internal camera 4 is connected to the external camera 3 in the shooting direction. Were installed to open 180 degrees, that is, back to back. Further, the liquid crystal display 5 was installed on the side of the front pillar 15 facing the vehicle interior so as to cover the front pillar 15.

このように構成することで、運転者の頭部位置の方向を内用カメラ4で撮影された映像の平面的な二次元座標で算出することができると共に、外用カメラ3によって撮影された映像に対して左右、上下方向のずれを補正するだけで表示でき、処理を容易にすることができる。   With this configuration, the direction of the driver's head position can be calculated using the two-dimensional coordinates of the image captured by the internal camera 4 and the image captured by the external camera 3 can be calculated. On the other hand, the image can be displayed simply by correcting the horizontal and vertical shifts, and the processing can be facilitated.

また、死角領域の原因となるフロントピラー15の形状にほぼ沿った形に映像を抽出することで、必要な映像のみを得ることができ、死角領域に対応する映像が肉眼で見るのとほぼ同じ大きさで表示することができる。   In addition, by extracting the video in a shape substantially along the shape of the front pillar 15 that causes the blind spot area, only the necessary video can be obtained, and the video corresponding to the blind spot area is almost the same as that seen with the naked eye. Can be displayed in size.

更に、液晶ディスプレイ5がフロントピラー15のほぼ全体を覆っており、映像がフロントピラー15のほぼ全体に映し出され、あたかもフロントピラー15を透視していることになるため、直感的に死角領域にいる歩行者などを認識することができる。また、主にフロントパネル中央部に設置されるカーナビ用ディスプレイなどに表示する場合と比較して、運転者が視線移動する必要が無いため、確実に死角領域にいる歩行者などを認識することができる。   Further, since the liquid crystal display 5 covers almost the entire front pillar 15 and the image is projected on almost the entire front pillar 15 and is seen through the front pillar 15, it is intuitively in the blind spot area. A pedestrian or the like can be recognized. In addition, it is not necessary to move the line of sight of the driver as compared with the case where it is mainly displayed on the car navigation display installed at the center of the front panel, so that it is possible to reliably recognize pedestrians etc. in the blind spot area. it can.

そして、外用カメラ3にて撮影された映像に、ずれ検出手段6及び補正手段7による処理をすることで、運転者にとって正確な死角領域の映像を違和感無く液晶ディスプレイ5に表示することができる。   Then, the image taken by the external camera 3 is processed by the deviation detecting means 6 and the correcting means 7 so that the driver can accurately display the blind spot area image on the liquid crystal display 5 without feeling uncomfortable.

尚、本発明は上述した実施形態に限られるものではなく、以下の態様を採用してもよい。
上記実施形態では、外用カメラ及び内用カメラにCCDカメラを採用したが、カメラであればどのようなものでも構わない。また、各カメラを車室内に設置したが、カメラに防水措置などを施せば、車室外に設置しても構わない。また、液晶ディスプレイ内に小型の内用カメラを配置すれば、フロントピラーの内側に外用カメラ及び内用カメラを配置することも可能である。
上記実施形態では、外用カメラを右フロントピラーのドアガラス側から撮影する説明をしたが、フロントウインドウガラス側から撮影するように配置してもよい。
上記実施形態では、表示手段に液晶ディスプレイを採用した説明をしたが、必要な映像を表示可能なものであれば液晶ディスプレイでなくてもよい。
上記実施形態では、運転者の前方視界に関しての説明をしたが、運転者の後方視界を遮るリアピラーに同様の車両用表示装置を設置してもよく、また、他の部位に設置しても構わない。
In addition, this invention is not restricted to embodiment mentioned above, You may employ | adopt the following aspects.
In the above embodiment, the CCD camera is adopted as the external camera and the internal camera, but any camera may be used. In addition, although each camera is installed in the vehicle interior, it may be installed outside the vehicle interior as long as the camera is waterproofed. If a small internal camera is arranged in the liquid crystal display, an external camera and an internal camera can be arranged inside the front pillar.
In the above embodiment, the external camera is described as being photographed from the door glass side of the right front pillar, but may be arranged so as to be photographed from the front window glass side.
In the embodiment described above, the liquid crystal display is used as the display unit. However, the liquid crystal display may not be used as long as a necessary image can be displayed.
In the above embodiment, the driver's front view has been described. However, a similar vehicle display device may be installed in the rear pillar that blocks the driver's rear view, or may be installed in other parts. Absent.

本発明の実施形態における車両用表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the display apparatus for vehicles in embodiment of this invention. 本発明の実施形態における車両用表示装置の各装置の取付位置及びカメラの撮影方向を示す模式図である。It is a schematic diagram which shows the attachment position of each apparatus of the display apparatus for vehicles in embodiment of this invention, and the imaging | photography direction of a camera. 本発明の実施形態におけるフロントピラーの外面拡大図である。It is an outer surface enlarged view of the front pillar in the embodiment of the present invention. 本発明の実施形態におけるフロントピラーの内面拡大図である。It is an inner surface enlarged view of the front pillar in the embodiment of the present invention. 本発明の実施形態における車両用表示装置の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of the display apparatus for vehicles in embodiment of this invention. 本発明の実施形態における外用カメラ映像から液晶ディスプレイに表示する際の写像変換のイメージ図であり、(a)は運転者の頭部が運転席の中心より外側寄りにある場合、(b)は運転者の頭部が運転席の中心位置にある場合、(c)は運転者の頭部が運転席の中心より助手席側にある場合であり、上段は外界映像とフロントピラーとの位置関係を示し、下段は上段の情報を平面オブジェクトに写像変換したものを示すイメージ図である。It is an image figure of map conversion at the time of displaying on a liquid crystal display from an external camera picture in an embodiment of the present invention, (a) is a case where a driver's head is outside the center of a driver's seat, and (b) is driving. When the driver's head is at the center of the driver's seat, (c) is when the driver's head is closer to the passenger seat than the center of the driver's seat, and the upper row shows the positional relationship between the external image and the front pillar. The lower part is an image diagram showing the information obtained by mapping the upper part information to a planar object. 本発明の実施形態における車両用表示装置の映像表示例を示す模式図である。It is a schematic diagram which shows the example of a video display of the display apparatus for vehicles in embodiment of this invention.

符号の説明Explanation of symbols

1…車両用表示装置 3…外用カメラ(死角撮影手段) 4…内用カメラ(頭部位置検出手段) 5…液晶ディスプレイ(表示手段) 6…ずれ検出手段 7…補正手段 15…フロントピラー(車体部材) a…右死角領域(死角領域) c…左死角領域(死角領域)

DESCRIPTION OF SYMBOLS 1 ... Display apparatus for vehicles 3 ... External camera (dead angle imaging | photography means) 4 ... Internal camera (head position detection means) 5 ... Liquid crystal display (display means) 6 ... Deviation detection means 7 ... Correction means 15 ... Front pillar (vehicle body) A) Right blind spot area (dead spot area) c ... Left blind spot area (dead spot area)

Claims (3)

車体部材によって形成される運転者の死角領域を撮影する死角撮影手段と、該死角撮影手段によって撮影した前記死角領域を前記運転者に対し表示する表示手段と、を設けた車両用表示装置において、
前記表示手段が前記車体部材に配置され、
前記運転者の頭部位置を検出する頭部位置検出手段を設け、
前記死角撮影手段と前記頭部位置検出手段とを、前記車体部材と正常着座状態の前記運転者の頭部位置とを結ぶ軸線にほぼ沿った状態で前記車体部材に配置したことを特徴とする車両用表示装置。
In a vehicle display device provided with a blind spot photographing means for photographing a blind spot area of a driver formed by a vehicle body member and a display means for displaying the blind spot area photographed by the blind spot photographing means to the driver.
The display means is disposed on the vehicle body member;
Providing a head position detecting means for detecting the driver's head position;
The blind spot photographing means and the head position detecting means are arranged on the vehicle body member in a state substantially along an axis line connecting the vehicle body member and the head position of the driver in a normally seated state. Vehicle display device.
前記頭部位置検出手段により検出された前記運転者の頭部位置が、前記軸線に対してどの程度ずれているかを検出するずれ検出手段を設けたことを特徴とする請求項1に記載の車両用表示装置。   The vehicle according to claim 1, further comprising a displacement detection unit configured to detect how much the driver's head position detected by the head position detection unit is deviated from the axis. Display device. 前記死角撮影手段により撮影された映像の内、前記運転者の死角領域を抽出する補正手段を設けたことを特徴とする請求項1又は請求項2に記載の車両用表示装置。
3. The vehicle display device according to claim 1, further comprising a correction unit that extracts a blind spot region of the driver from the image captured by the blind spot imaging unit.
JP2006209645A 2006-08-01 2006-08-01 Display for vehicle Pending JP2008037118A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006209645A JP2008037118A (en) 2006-08-01 2006-08-01 Display for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006209645A JP2008037118A (en) 2006-08-01 2006-08-01 Display for vehicle

Publications (1)

Publication Number Publication Date
JP2008037118A true JP2008037118A (en) 2008-02-21

Family

ID=39172667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006209645A Pending JP2008037118A (en) 2006-08-01 2006-08-01 Display for vehicle

Country Status (1)

Country Link
JP (1) JP2008037118A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014534697A (en) * 2011-10-14 2014-12-18 コンチネンタル オートモーティブ システムズ インコーポレイテッドContinental Automotive Systems, Inc. Virtual display system for vehicles
CN105291986A (en) * 2015-11-20 2016-02-03 苏州汉克山姆照明科技有限公司 Automobile A column dead angle eliminating device
JP2017149419A (en) * 2012-03-23 2017-08-31 ジャガー ランド ローバー リミテッドJaguar Land Rover Limited Windscreen clearing system for vehicle
WO2020150079A1 (en) * 2019-01-16 2020-07-23 Gentex Corporation Blind spot reduction system
WO2020175144A1 (en) * 2019-02-25 2020-09-03 いすゞ自動車株式会社 Control device and photographing system
CN112141013A (en) * 2019-06-28 2020-12-29 丰田自动车株式会社 Vehicle structure
WO2021064229A1 (en) * 2019-10-03 2021-04-08 Orlaco Products B.V. Vehicle display system with wearable display

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005204132A (en) * 2004-01-16 2005-07-28 Honda Motor Co Ltd Drive support apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005204132A (en) * 2004-01-16 2005-07-28 Honda Motor Co Ltd Drive support apparatus

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014534697A (en) * 2011-10-14 2014-12-18 コンチネンタル オートモーティブ システムズ インコーポレイテッドContinental Automotive Systems, Inc. Virtual display system for vehicles
JP2017149419A (en) * 2012-03-23 2017-08-31 ジャガー ランド ローバー リミテッドJaguar Land Rover Limited Windscreen clearing system for vehicle
CN105291986A (en) * 2015-11-20 2016-02-03 苏州汉克山姆照明科技有限公司 Automobile A column dead angle eliminating device
WO2020150079A1 (en) * 2019-01-16 2020-07-23 Gentex Corporation Blind spot reduction system
WO2020175144A1 (en) * 2019-02-25 2020-09-03 いすゞ自動車株式会社 Control device and photographing system
US11956525B2 (en) 2019-02-25 2024-04-09 Isuzu Motors Limited Control device and photographing system
CN112141013A (en) * 2019-06-28 2020-12-29 丰田自动车株式会社 Vehicle structure
JP2021008159A (en) * 2019-06-28 2021-01-28 トヨタ自動車株式会社 Vehicle structure
JP7211292B2 (en) 2019-06-28 2023-01-24 トヨタ自動車株式会社 vehicle structure
CN112141013B (en) * 2019-06-28 2023-08-04 丰田自动车株式会社 Vehicle structure
WO2021064229A1 (en) * 2019-10-03 2021-04-08 Orlaco Products B.V. Vehicle display system with wearable display

Similar Documents

Publication Publication Date Title
EP3330117B1 (en) Vehicle display device
CN110001400B (en) Display device for vehicle
JP6445607B2 (en) Vehicle display system and method for controlling vehicle display system
CN111433067A (en) Head-up display device and display control method thereof
EP1878618A2 (en) Driving support method and apparatus
CN110573369A (en) Head-up display device and display control method thereof
US20060202984A1 (en) Driving support system
JP6410987B2 (en) Driving support device, driving support method, and driving support program
JP6443122B2 (en) Vehicle display device
JP5092776B2 (en) Gaze direction detection device and gaze direction detection method
JP2008037118A (en) Display for vehicle
JP2013183298A (en) Rearward visibility support device for vehicle and rearward visibility support method for vehicle
JP2013216286A (en) Monitoring device for confirming vehicle surroundings
CN112424570A (en) Head-up display
JP2010130647A (en) Vehicle periphery checking system
KR102223852B1 (en) Image display system and method thereof
EP3606064B1 (en) Head-up display apparatus
JP2017196911A (en) Image display device
JP5131152B2 (en) Visual support device
JP2010257242A (en) Image data generation device
JP6384138B2 (en) Vehicle display device
JP2019148491A (en) Occupant monitoring device
JP2017056909A (en) Vehicular image display device
WO2018030320A1 (en) Vehicle display device
JP2012116400A (en) Corner pole projection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110927