JP4775139B2 - Vehicle display device - Google Patents

Vehicle display device Download PDF

Info

Publication number
JP4775139B2
JP4775139B2 JP2006178698A JP2006178698A JP4775139B2 JP 4775139 B2 JP4775139 B2 JP 4775139B2 JP 2006178698 A JP2006178698 A JP 2006178698A JP 2006178698 A JP2006178698 A JP 2006178698A JP 4775139 B2 JP4775139 B2 JP 4775139B2
Authority
JP
Japan
Prior art keywords
image
vehicle
projection
imaging
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006178698A
Other languages
Japanese (ja)
Other versions
JP2008009654A (en
Inventor
昌之 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006178698A priority Critical patent/JP4775139B2/en
Publication of JP2008009654A publication Critical patent/JP2008009654A/en
Application granted granted Critical
Publication of JP4775139B2 publication Critical patent/JP4775139B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Description

本発明は、車輌用表示装置に関し、特に、投影手段を用いて車両周辺の画像を車内の所定領域に投影し、運転者の死角にある物体を運転者が視認できるようにする車輌用表示装置に関する。   The present invention relates to a display device for a vehicle, and more particularly to a vehicle display device that projects an image around a vehicle onto a predetermined area in the vehicle using a projecting unit so that the driver can visually recognize an object in the blind spot of the driver. About.

従来、車輌の周辺を撮像する撮像手段と、運転席における運転者の視点の空間的な位置を認識する視点認識手段と、運転者の視界を遮るピラーやドア等の遮蔽物が透明であると仮定した場合に運転者の目に映るべき車外の景色の画像を、撮像手段によって得られた周辺画像データを視点認識手段の認識結果に応じて加工することにより生成する画像生成手段と、画像生成手段が生成する生成画像を遮蔽物の位置に表示する表示手段とを備えた車輌用表示装置が知られている(例えば、特許文献1参照。)。   Conventionally, imaging means for imaging the periphery of a vehicle, viewpoint recognition means for recognizing the spatial position of the driver's viewpoint in the driver's seat, and shielding objects such as pillars and doors that block the driver's view are transparent. Image generating means for generating an image of a scenery outside the vehicle to be seen by the driver when the assumption is made, by processing the peripheral image data obtained by the imaging means according to the recognition result of the viewpoint recognizing means, and image generation There is known a vehicle display device including display means for displaying a generated image generated by the means at the position of a shield (for example, see Patent Document 1).

この車輌用表示装置は、各運転者の視点位置に応じて周辺画像データを加工するので、フロントガラスやウィンドウガラスを通じて各運転者が視認する景色と繋がるように、加工された画像を遮蔽物の位置に表示させることができ、各運転者の死角を効果的に減じることができる。
特開2006−44596号公報
Since this vehicle display device processes the peripheral image data according to the viewpoint position of each driver, the processed image is displayed on the shielding object so as to be connected to the scenery visually recognized by each driver through the windshield and window glass. The position can be displayed, and the blind spot of each driver can be effectively reduced.
JP 2006-44596 A

しかしながら、特許文献1に記載の車輌用表示装置は、ピラーやドア等の遮蔽物の位置に予め配置されたディスプレイに加工された画像を表示させるので、加工された画像を表示させる領域が制限されてしまう。   However, since the vehicle display device described in Patent Document 1 displays a processed image on a display arranged in advance at a position of a shielding object such as a pillar or a door, an area for displaying the processed image is limited. End up.

また、特許文献1に記載の車輌用表示装置は、その構成要素であるディスプレイの形状や大きさが遮蔽物の形状や大きさに左右されるので、遮蔽物の形状や大きさが異なる他車輌への適用が困難である。   Further, in the vehicle display device described in Patent Document 1, the shape and size of the display, which is a constituent element, depends on the shape and size of the shielding object. Application to is difficult.

上述の課題に鑑み、本発明は、車室内における遮蔽物の配置、形状、大きさ等の違いにかかわらず車両周辺の画像をその遮蔽物上に表示させ、運転者の死角にある物体を運転者が視認できるようにする車輌用表示装置を提供することを目的とする。   In view of the above problems, the present invention displays an image around the vehicle on the shielding object regardless of the arrangement, shape, size, etc. of the shielding object in the passenger compartment, and drives an object in the blind spot of the driver. It is an object of the present invention to provide a vehicle display device that can be visually recognized by a person.

上述の目的を達成するために、第一の発明に係る車輌用表示装置は、車外の景色を撮像する撮像手段と、前記撮像手段により撮像された景色画像を加工して運転者の視点から見た画像に相当する修正画像を生成する画像生成手段と、前記画像生成手段により生成された修正画像のうちの少なくとも一部分を表示しないようマスクするマスク手段と、前記マスク手段により少なくとも一部分がマスクされた前記修正画像を運転者の視点付近から車室内に投影する投影手段と、を備えることを特徴とする。   In order to achieve the above-described object, a vehicle display device according to a first aspect of the invention includes an imaging unit that captures a scenery outside the vehicle, and a landscape image that is captured by the imaging unit and is viewed from the viewpoint of the driver. Image generating means for generating a corrected image corresponding to the image, mask means for masking at least a part of the corrected image generated by the image generating means, and at least a part of which is masked by the masking means Projecting means for projecting the corrected image from the vicinity of the driver's viewpoint into the passenger compartment.

また、第二の発明は、第一の発明に係る車輌用表示装置であって、前記撮像手段により撮像される景色画像において、前記投影手段からの投影光により輝度が所定値以上となる部分を認識する輝度認識手段を備え、前記マスク手段は、前記輝度認識手段により認識された部分をマスクすることを特徴とする。   Further, the second invention is a vehicle display device according to the first invention, wherein in a landscape image captured by the imaging means, a portion whose luminance is a predetermined value or more by projection light from the projection means. Recognizing brightness recognition means is provided, wherein the mask means masks a portion recognized by the brightness recognition means.

また、第三の発明は、第一の発明に係る車輌用表示装置であって、前記投影手段により輝度を変化させながら所定画像を投影させた場合に、前記撮像手段により撮像された景色画像において輝度が変化する部分を認識する輝度認識手段を備え、前記マスク手段は、前記輝度認識手段により認識された部分をマスクすることを特徴とする。   Further, the third invention is a vehicle display device according to the first invention, wherein a predetermined image is projected while changing the luminance by the projection means, in a landscape image taken by the imaging means. Luminance recognition means for recognizing a portion where the luminance changes is provided, and the mask means masks the portion recognized by the luminance recognition means.

また、第四の発明は、第一乃至第三の何れかの発明に係る車輌用表示装置であって、前記投影手段により前記修正画像が投影される車室内領域を撮像する車室内撮像手段と、前記車室内撮像手段により撮像された車室内画像から所定物を認識する画像認識手段と、を備え、前記マスク手段は、前記修正画像のうち前記画像認識手段により認識された所定物の部分をマスクする、ことを特徴とする。   According to a fourth aspect of the present invention, there is provided a vehicle display device according to any one of the first to third aspects of the present invention, vehicle interior imaging means for capturing a vehicle interior area in which the corrected image is projected by the projection means; Image recognizing means for recognizing a predetermined object from a vehicle interior image captured by the vehicle interior image capturing means, and the masking means recognizes a portion of the predetermined object recognized by the image recognizing means in the corrected image. It is masked.

また、第五の発明は、第四の発明に係る車輌用表示装置であって、前記所定物は、窓または乗員の顔であることを特徴とする。   The fifth invention is a vehicle display device according to the fourth invention, wherein the predetermined object is a window or a face of an occupant.

また、第六の発明は、第一乃至第五の何れかの発明に係る車輌用表示装置であって、前記撮像手段により撮像された前記景色画像から所定物を認識する画像認識手段と、前記画像認識手段により認識された所定物に関する情報を前記修正画像に付加する情報付加手段と、を備えることを特徴とする。   The sixth invention is the vehicle display device according to any one of the first to fifth inventions, wherein the image recognition means for recognizing a predetermined object from the scenery image picked up by the image pickup means, Information adding means for adding information on the predetermined object recognized by the image recognition means to the corrected image.

上述の手段により、本発明は、車室内における遮蔽物の配置、形状、大きさ等の違いにかかわらず車両周辺の画像をその遮蔽物上に表示させ、運転者の死角にある物体を運転者が視認できるようにする車輌用表示装置を提供することができる。   By the means described above, the present invention displays an image around the vehicle on the shielding object regardless of the arrangement, shape, size, etc. of the shielding object in the passenger compartment, and the object in the driver's blind spot is displayed on the driver. Can be provided.

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。   Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings.

図1は、本発明に係る車輌用表示装置100の構成例を示すブロック図である。車輌用表示装置100は、制御部1を有し、制御部1は、CAN(Controller Area Network)やLIN(Local Interconnect Network)等の車内ネットワークを介して車室外撮像装置2、車室内撮像装置3、投影装置4に接続される。   FIG. 1 is a block diagram showing a configuration example of a vehicle display device 100 according to the present invention. The vehicular display device 100 includes a control unit 1, and the control unit 1 performs an imaging device 2 outside the vehicle interior and an imaging device 3 inside the vehicle via an in-vehicle network such as a CAN (Controller Area Network) or a LIN (Local Interconnect Network). , Connected to the projection device 4.

制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータであり、画像生成手段10、マスク手段11、輝度認識手段12、画像認識手段13、情報付加手段14および投影制御手段15に対応するプログラムをNVRAMに記憶し、それらプログラムをRAM上に展開して対応する処理をCPUに実行させる。   The control unit 1 is a computer including a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), an NVRAM (Non-Volatile Random Access Memory), and the like. 11. Programs corresponding to the luminance recognizing means 12, the image recognizing means 13, the information adding means 14 and the projection control means 15 are stored in the NVRAM, and these programs are expanded on the RAM to cause the CPU to execute corresponding processes.

車室外撮像装置2は、車両周辺の画像を取得するための装置であって、取得した画像を制御部1に出力する。   The vehicle exterior imaging device 2 is a device for acquiring an image around the vehicle, and outputs the acquired image to the control unit 1.

車室外撮像装置2は、例えば、ボディパネル、バンパー、フロントグリル、ナンバープレート付近等、車輌外装の前後左右に設置されるCCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラであり、広角撮像が可能な魚眼カメラや全方位カメラ、夜間での撮像が可能な赤外線カメラ等であってもよい。   The vehicle exterior imaging device 2 is, for example, a CCD (Charge Coupled Device) camera or a CMOS (Complementary Metal Oxide Semiconductor) camera that is installed on the front, back, left, and right of the exterior of the vehicle, such as the body panel, bumper, front grille, and the vicinity of the license plate. It may be a fish-eye camera capable of wide-angle imaging, an omnidirectional camera, an infrared camera capable of imaging at night, or the like.

また、車室外撮像装置2は、単一のカメラで構成されても複数のカメラで構成されてもよく、また、動画像を撮像するカメラであってもよく、静止画像を撮像するカメラであってもよい。なお、車室外撮像装置2は、車輌外装に設置されるため、防塵構造や防滴構造を備えるものであってもよい。   The outside-vehicle imaging device 2 may be composed of a single camera or a plurality of cameras, may be a camera that captures moving images, and is a camera that captures still images. May be. In addition, since the vehicle exterior imaging device 2 is installed in the vehicle exterior, it may be provided with a dustproof structure or a dripproof structure.

車室内撮像装置3は、車室内の画像を取得するためのカメラであり、取得した画像を制御部1に出力する。   The vehicle interior imaging device 3 is a camera for acquiring an image in the vehicle interior, and outputs the acquired image to the control unit 1.

車室内撮像装置3は、例えば、車室内天井やルームミラー付近等に設置され、或いは、後述の投影装置4の投影レンズ付近に設置され、投影装置4の投影範囲を撮像する。また、車室内撮像装置3は、車室外撮像装置2と同様、CCDカメラやCMOSカメラで構成される。   The vehicle interior imaging device 3 is installed, for example, in the vehicle interior ceiling, in the vicinity of a room mirror, or in the vicinity of a projection lens of the projection device 4 described later, and images the projection range of the projection device 4. Moreover, the vehicle interior imaging device 3 is configured by a CCD camera or a CMOS camera, like the vehicle exterior imaging device 2.

投影装置4は、車室内の所定領域に画像を投影する装置であり、例えば、液晶プロジェクタ、LCOS(Liquid Crystal On Silicon)プロジェクタ、DLP(Digital Light Processing)(登録商標)方式プロジェクタ、CRT(Cathode Ray Tube)プロジェクタ等がある。   The projection device 4 is a device that projects an image onto a predetermined area in a vehicle interior. For example, a liquid crystal projector, a liquid crystal on silicon (LCOS) projector, a DLP (Digital Light Processing) (registered trademark) projector, a CRT (Cathode Ray) Tube) There are projectors.

投影装置4は、例えば、運転席上方の車室内天井や運転席のヘッドレスト付近に設置され、制御部1が出力する画像情報を受信し車両後方に向って画像を投影する。この場合、投影装置4は、後部座席、後部ドア内壁、後部天井、後部ドアのウィンドウ、リアガラス、ピラー、および、後部座席の乗員等、スクリーンの代わりとなる物体にまんべんなく画像を投影する。   The projection device 4 is installed, for example, near the ceiling in the passenger compartment above the driver's seat or near the headrest of the driver's seat, receives the image information output by the control unit 1, and projects the image toward the rear of the vehicle. In this case, the projection device 4 uniformly projects an image onto an object serving as a substitute for the screen, such as a rear seat, a rear door inner wall, a rear ceiling, a rear door window, a rear glass, a pillar, and a rear seat occupant.

また、投影装置4は、回動可能に天井に取り付けられ、投影方向を車両前方、車輌側方、車輌後方へ変化できるものであってもよい。   Further, the projection device 4 may be pivotally attached to the ceiling so that the projection direction can be changed to the vehicle front, the vehicle side, and the vehicle rear.

次に、制御部1が有する各種手段について説明する。   Next, various units included in the control unit 1 will be described.

画像生成手段10は、車室外撮像装置2が撮像した車外の景色画像を加工して運転者の視点から見た画像に相当する修正画像を生成する手段であり、例えば、車室外撮像装置2の位置と投影装置4の位置との間の相対関係に基づいて景色画像の中心点を左右に移動させたり、景色画像を拡大縮小させたりして修正画像を生成する。なお、画像生成手段10は、車室内撮像装置3により運転者の眼の位置を認識し、運転者の眼の位置を考慮に入れて修正画像を生成するようにしてもよい。   The image generation means 10 is a means for processing a scene image outside the vehicle imaged by the outside-vehicle imaging device 2 and generating a corrected image corresponding to an image viewed from the viewpoint of the driver. Based on the relative relationship between the position and the position of the projection device 4, the center point of the landscape image is moved to the left or right, or the landscape image is enlarged or reduced to generate a corrected image. Note that the image generation unit 10 may recognize the position of the driver's eyes by the vehicle interior imaging device 3 and generate a corrected image in consideration of the position of the driver's eyes.

また、画像生成手段10は、車室外撮像装置2で撮像した景色画像を歪みのない画像に座標変換した上で中心点を移動させ、或いは、拡大縮小させて修正画像を生成する。   In addition, the image generation means 10 generates a corrected image by moving the center point or enlarging / reducing the coordinate after converting the scenery image captured by the outdoor imaging device 2 into an image without distortion.

これにより、車輌用表示装置100は、運転者の視界に適合するよう修正された修正画像を所定方向に投影し、ドア、ピラー、内壁、天井等の遮蔽物により生じる死角にある物体を運転者が視認できるようにするので、運転者は、あたかも遮蔽物がない状態の視界を確保することができる。   As a result, the vehicle display device 100 projects a corrected image that has been corrected to fit the driver's field of vision in a predetermined direction, and displays an object in a blind spot caused by a shield such as a door, pillar, inner wall, or ceiling. Can be visually recognized, so that the driver can secure a field of view as if there is no shielding object.

マスク手段11は、修正画像の所定部分を表示させないようにマスクする手段であり、例えば、投影装置4によりリアガラスやウィンドウの位置に投影される修正画像の部分を画像処理によってマスクする(以下、「マスク処理」という。)。   The mask means 11 is a means for masking a predetermined portion of the corrected image so as not to be displayed. For example, the portion of the corrected image projected on the rear glass or the window position by the projection device 4 is masked by image processing (hereinafter, “ "Mask processing").

マスク手段11は、修正画像のうちマスクする部分(XY座標で示される画素)を所定色(例えば、黒色)で塗りつぶすようにしてマスク処理を行うが、マスクする部分だけを所定色(例えば、黒色)で表示したマスク画像(例えば、修正画像と同じ画像サイズを有する。)を修正画像とは別に用意し、その上で修正画像とマスク画像とを重ね合わせることでマスク処理を行うようにしてもよい。   The mask unit 11 performs a mask process by painting a portion to be masked (pixels indicated by XY coordinates) of the corrected image with a predetermined color (for example, black), but only the portion to be masked has a predetermined color (for example, black). The mask image displayed in () (for example, having the same image size as the corrected image) is prepared separately from the corrected image, and the corrected image and the mask image are superimposed on the mask image to perform mask processing. Good.

投影装置4は、マスク処理された修正画像を投影することにより、投影範囲の一部を照射しないようにすることができる。投影装置4は、例えば、液晶プロジェクタの場合、赤、青、緑の光源のそれぞれに対応する液晶パネルにおいて、マスクする部分に対応する液晶を駆動して、その部分を光が透過しないように光を遮断し、マスクする部分を投影しないようにする。   The projection device 4 can prevent a part of the projection range from being irradiated by projecting the corrected image subjected to the mask process. For example, in the case of a liquid crystal projector, the projection device 4 drives a liquid crystal corresponding to a masked portion in a liquid crystal panel corresponding to each of red, blue, and green light sources so that light does not pass through the portion. To prevent projection of the masked part.

或いは、投影装置4は、DMD(Digital Micro-mirror Device)(登録商標)を用いたDLP(登録商標)方式のプロジェクタの場合、マスクする部分に相当するDMDの傾斜角度を変化させ、光源から発射された光が投影方向に向わないようにし、マスクする部分を投影しないようにする。   Alternatively, in the case of a DLP (registered trademark) type projector using a DMD (Digital Micro-mirror Device) (registered trademark), the projection device 4 changes the inclination angle of the DMD corresponding to the masked portion and emits it from the light source. The emitted light is not directed in the projection direction, and the masked portion is not projected.

マスク処理される所定部分は、後述の輝度認識手段12により認識される部分であったり、後述の画像認識手段13により認識される画像部分であったりする。なお、マスク手段11は、所定部分を操作者に手動で設定させるようにしてもよい。   The predetermined part to be masked may be a part recognized by the luminance recognition unit 12 described later or an image part recognized by the image recognition unit 13 described later. Note that the mask unit 11 may cause the operator to manually set the predetermined portion.

輝度認識手段12は、景色画像のうち投影装置4からの投影光の影響を受ける部分を認識する手段であり、例えば、投影装置4により投影光を車室内に照射させながら車室外撮像装置2により所定間隔(例えば、1秒間隔)で景色画像を撮像させ、画像生成手段10により景色画像に基づいて生成された修正画像のうち輝度が所定値(例えば、プラス10%)まで増大した部分を投影装置4からの投影光の影響を受ける部分として認識する。   The brightness recognizing means 12 is a means for recognizing a portion of the landscape image that is affected by the projection light from the projection device 4. For example, the projection recognition device 4 irradiates the interior of the vehicle with the projection light by the projection device 4. A landscape image is captured at a predetermined interval (for example, every second), and a portion of the corrected image generated based on the landscape image by the image generation means 10 is projected to a predetermined value (for example, plus 10%). It is recognized as a part affected by the projection light from the device 4.

輝度の増大は、投影装置4の投影光が窓等を介して外部に漏れることにより明るさが増大した部分(景色の一部)を車室外撮像装置2が撮像し、車室外撮像装置2からの出力を受けた投影装置4が輝度を増大させてその部分を再投影し、さらに車室外撮像装置2がその部分(より一層明るさが増大した部分)を再撮像するといった処理が繰り返されることにより発生する。   The increase in luminance is caused by the vehicle exterior imaging device 2 capturing an image of a portion (a part of the scenery) whose brightness has increased due to leakage of projection light from the projection device 4 through a window or the like. The projection device 4 that receives the output increases the luminance and re-projects the portion, and the outside-vehicle imaging device 2 re-images the portion (the portion where the brightness is further increased). Caused by.

また、輝度認識手段12は、明るさが増大した部分(時間の要素を含む。)を認識するばかりでなく、輝度が所定値以上となった部分(時間の要素を含まない。)を、投影装置4からの投影光の影響を受ける部分として認識してもよい。上述の繰り返し処理が行われると、所定部分の輝度は最大値まで増大するからである。   In addition, the luminance recognizing means 12 not only recognizes a portion where brightness is increased (including a time element), but also projects a portion where luminance is equal to or higher than a predetermined value (not including a time element). You may recognize as a part which receives the influence of the projection light from the apparatus 4. FIG. This is because when the above-described repetitive processing is performed, the luminance of the predetermined portion increases to the maximum value.

また、輝度認識手段12は、投影装置4により所定画像(例えば、全領域が白色とされた画像)を明滅させながら車室外撮像装置2により景色画像を撮像させ、画像生成手段10により景色画像に基づいて生成された修正画像のうち投影装置4の明滅に同調して輝度が変化する部分を投影装置4からの投影光の影響を受ける部分として認識してもよい。   Further, the brightness recognizing means 12 causes the outside image capturing device 2 to capture a landscape image while causing the projection device 4 to blink a predetermined image (for example, an image in which the entire area is white), and the image generating unit 10 converts the image into a landscape image. Of the corrected image generated based on this, a portion whose luminance changes in synchronization with the blinking of the projection device 4 may be recognized as a portion affected by the projection light from the projection device 4.

なお、所定画像の明滅は、投影装置4による投影をオン・オフさせることにより行ってもよく、所定画像の輝度を規則的に変化させることにより行ってもよい。   Note that blinking of the predetermined image may be performed by turning on and off the projection by the projection device 4, or may be performed by regularly changing the luminance of the predetermined image.

また、輝度認識手段12は、投影装置4からの投影光の影響を受ける部分のみを認識し、街灯や他車のヘッドライト等により輝度が変化する部分については、投影装置4の投影光に同調しないので、投影光の影響を受ける部分としては認識しない。   The luminance recognizing means 12 recognizes only a portion affected by the projection light from the projection device 4 and synchronizes with a projection light of the projection device 4 for a portion whose luminance is changed by a streetlight or a headlight of another vehicle. Therefore, it is not recognized as a part affected by the projection light.

車輌用表示装置100は、輝度認識手段12により修正画像内で投影光の影響を受ける部分を認識し、マスク手段11により投影光の影響を受ける部分をマスク処理する。   The vehicle display device 100 recognizes a portion affected by the projection light in the corrected image by the luminance recognition unit 12 and masks a portion affected by the projection light by the mask unit 11.

マスク処理を行わなければ、修正画像内で投影光の影響を受ける部分の輝度が異常に大きくなってしまい、ハレーションを発生させてしまうからである。   This is because if the mask process is not performed, the luminance of the portion of the corrected image that is affected by the projection light becomes abnormally high and halation occurs.

これにより、車輌用表示装置100は、所定方向に修正画像を投影し、ドア、ピラー、内壁、天井等の遮蔽物により生じる死角にある物体を運転者が視認できるようにしながらも、投影光がウィンドウ、フロントガラスまたはリアガラスから外部へ漏れ出すのを抑制することができる。   As a result, the vehicle display device 100 projects a corrected image in a predetermined direction so that the driver can visually recognize an object in a blind spot caused by a shielding object such as a door, a pillar, an inner wall, or a ceiling, but the projected light is received. Leakage to the outside from the window, windshield or rear glass can be suppressed.

また、車輌用表示装置100は、投影光の影響を受ける部分をマスク処理した修正画像を投影装置4に投影させるので、修正画像におけるハレーションの発生を防止することができる。   Further, since the vehicle display device 100 projects the corrected image obtained by masking the portion affected by the projection light onto the projection device 4, it is possible to prevent the occurrence of halation in the corrected image.

また、車輌用表示装置100は、投影光の影響を受ける部分をマスク処理した修正画像を投影装置4に投影させるので、ウィンドウ、フロントガラスまたはリアガラスに修正画像が投影されるのを防止し、ウィンドウ、フロントガラスまたはリアガラスを介して運転者が視認できる実際の景色と投影される修正画像とが重なり合い車外の景色が視認し難くなるのを防止することができる。   Further, since the vehicle display device 100 projects the corrected image obtained by masking the portion affected by the projection light on the projection device 4, the corrected image is prevented from being projected onto the window, the windshield, or the rear glass. Further, it is possible to prevent the scenery outside the vehicle from becoming difficult to visually recognize because the actual scenery that can be visually recognized by the driver via the windshield or the rear glass overlaps with the projected corrected image.

画像認識手段13は、車室外撮像装置2または車室内撮像装置3により撮像された景色画像または車室内画像にある所定物を認識するための手段であり、例えば、エッジ処理、γ補正、二値化処理等の画像処理を行い、予め登録された画像データによるマッチング処理を行うことで所定物およびその座標位置を認識する。   The image recognition unit 13 is a unit for recognizing a predetermined object in a landscape image or a vehicle interior image captured by the vehicle exterior imaging device 2 or the vehicle interior imaging device 3, and includes, for example, edge processing, γ correction, binary A predetermined object and its coordinate position are recognized by performing image processing such as conversion processing and performing matching processing using pre-registered image data.

画像認識手段13が車室外撮像装置2によって撮像された景色画像から所定物を認識する場合、所定物には、人間、動物、車輌、縁石、側溝、道路標示、車線表示等、車輌の運転に影響を与える物が含まれる。   When the image recognizing means 13 recognizes a predetermined object from the landscape image captured by the outside-vehicle image capturing device 2, the predetermined object includes a human, animal, vehicle, curbstone, gutter, road marking, lane display, etc. Includes things that affect it.

画像認識手段13は、これら所定物の座標位置を後述の情報付加手段14に出力し、修正画像においてこれら所定物を強調表示させたり、所定物までの距離等の付加情報を表示させたりする。   The image recognizing means 13 outputs the coordinate positions of these predetermined objects to the information adding means 14 described later, and highlights the predetermined objects in the corrected image or displays additional information such as the distance to the predetermined objects.

また、画像認識手段13が車室内撮像装置3によって撮像された車室内画像から所定物を認識する場合、所定物には、運転者以外の乗員の顔、ウィンドウ、フロントガラス、リアガラス等が含まれる。   Further, when the image recognition unit 13 recognizes a predetermined object from the vehicle interior image captured by the vehicle interior imaging device 3, the predetermined object includes a face of a passenger other than the driver, a window, a windshield, a rear glass, and the like. .

画像認識手段13は、これら所定物の座標位置をマスク手段11に出力してマスク処理をさせることで、乗員の顔、ウィンドウ、フロントガラス、リアガラス等に投影装置4による投影光が投影されないようにする。   The image recognition means 13 outputs the coordinate positions of these predetermined objects to the mask means 11 to perform mask processing so that the projection light from the projection device 4 is not projected onto the occupant's face, window, windshield, rear glass, etc. To do.

情報付加手段14は、画像認識手段13から所定物に関する情報を取得し、修正画像に情報を付加する手段であり、例えば、画像認識手段13から所定物の座標位置、所定物の種類、所定物と自車輌との間の距離等を取得して、修正画像中の所定物(例えば、歩行者)を赤色で強調表示させたり、「歩行者」の文字や歩行者までの距離を示す数値をその歩行者の画像近辺に表示させたりする。   The information adding unit 14 is a unit that acquires information about a predetermined object from the image recognition unit 13 and adds information to the corrected image. For example, the coordinate position of the predetermined object, the type of the predetermined object, the predetermined object from the image recognition unit 13 The distance between the vehicle and the vehicle is acquired, and a predetermined object (for example, a pedestrian) in the corrected image is highlighted in red, or the character “pedestrian” or a numerical value indicating the distance to the pedestrian is displayed. It is displayed near the image of the pedestrian.

投影制御手段15は、投影装置4の作動状態を制御するための手段であり、例えば、シフト位置が「R」ポジションに設定された場合に投影装置4による車両後方への投影を開始させたり、方向指示器が操作された場合に投影装置4による車両斜め前方(進行方向)への投影を開始させたり、或いは、所定のスイッチ操作により任意のタイミングで任意の方向に投影を開始させたりする。なお、投影制御手段15は、投影装置4による所定方向(例えば、車両後方)への投影を常時行うようにしてもよい。   The projection control means 15 is a means for controlling the operating state of the projection apparatus 4, and for example, when the shift position is set to the “R” position, the projection apparatus 4 starts projection to the rear of the vehicle, When the direction indicator is operated, the projection device 4 starts to project obliquely forward (the traveling direction) of the vehicle, or starts projection in an arbitrary direction at an arbitrary timing by a predetermined switch operation. Note that the projection control unit 15 may always perform projection in a predetermined direction (for example, rearward of the vehicle) by the projection device 4.

次に、図2乃至図4を参照しながら、車室外撮像装置2、車室内撮像装置3および投影装置4が所定位置に配置された車輌用表示装置100の構成例について説明する。   Next, a configuration example of the vehicle display device 100 in which the vehicle exterior imaging device 2, the vehicle interior imaging device 3, and the projection device 4 are arranged at predetermined positions will be described with reference to FIGS.

図2は、車室外撮像手段2の設置例を示す図であり、車室外撮像手段2は、車輌Vの後方ナンバープレートの上に設置される。   FIG. 2 is a diagram showing an installation example of the vehicle exterior imaging means 2. The vehicle exterior imaging means 2 is installed on the rear license plate of the vehicle V.

D1乃至D7は、車輌Vの運転者から死角となる領域を示し、D1が右前方のピラー、D2が右中央のピラー、D3が右後方のピラー、D4が左後方のピラー、D5が左中央のピラー、D6が左前方のピラー、および、D7がドア内壁やボンネット、によって死角となる領域をそれぞれ示す。   D1 to D7 indicate blind spots from the driver of the vehicle V. D1 is a right front pillar, D2 is a right center pillar, D3 is a right rear pillar, D4 is a left rear pillar, and D5 is a left center. , D6 is a left front pillar, and D7 is a blind spot area due to a door inner wall or bonnet.

一点鎖線示す範囲Rは、車室外撮像装置2が撮像する範囲を示し、死角領域D2、D3、D4およびD7が含まれる。これにより、車室外撮像装置2が撮像した画像を利用する投影装置4は、右中央のピラー、右後方のピラー、左後方のピラー、および、ドアや後部座席等の遮蔽物により死角となった領域を車室内に投影することができる。   A range R indicated by an alternate long and short dash line indicates a range imaged by the vehicle exterior imaging device 2 and includes blind spots D2, D3, D4, and D7. As a result, the projection device 4 that uses the image captured by the vehicle exterior imaging device 2 is blinded by the right center pillar, the right rear pillar, the left rear pillar, and the shielding such as the door and the rear seat. The area can be projected into the passenger compartment.

図3は、投影装置4の設置例を示す図であり、図3(a)が車輌Vの上面透視図、図3(b)が側面断面図である。   3A and 3B are diagrams illustrating an installation example of the projection device 4, in which FIG. 3A is a top perspective view of the vehicle V and FIG. 3B is a side sectional view.

投影装置4は、運転席上方の天井に設置され、車輌後方に向って車室外撮像装置2が撮像した画像(加工された画像を含む。)を投影する。投影装置4の投影光は、後部座席S、後部座席Sに置かれた荷物T1、天井の一部、後部ドアの内壁、リアガラスW1に至るまで、まんべんなく到達する。   The projection device 4 is installed on the ceiling above the driver's seat, and projects an image (including a processed image) captured by the vehicle exterior imaging device 2 toward the rear of the vehicle. The projection light of the projection device 4 reaches the rear seat S, the luggage T1 placed on the rear seat S, a part of the ceiling, the inner wall of the rear door, and the rear glass W1 evenly.

図3の太線は、投影装置4による投影画像が表示される面を示し、凹凸のあるスクリーンとして機能する。   A thick line in FIG. 3 indicates a surface on which a projection image by the projection device 4 is displayed, and functions as an uneven screen.

図4は、車室内撮像装置3の設置例を示す図であり、車室内撮像装置3は、運転席上方の天井に設置された投影装置4に一体化されており、車室内撮像装置3のカメラレンズ31を投影装置4のプロジェクタレンズ41に近接させて投影装置4の投影範囲全体を撮像する。これにより、車室内撮像装置3は、投影装置4の投影範囲全体を大きなズレを生じさせることなく撮像することができる。   FIG. 4 is a diagram illustrating an installation example of the vehicle interior imaging device 3. The vehicle interior imaging device 3 is integrated with the projection device 4 installed on the ceiling above the driver's seat. The camera lens 31 is brought close to the projector lens 41 of the projection device 4 to image the entire projection range of the projection device 4. Thereby, the vehicle interior imaging device 3 can image the entire projection range of the projection device 4 without causing a large shift.

次に、図5を参照しながら、輝度認識手段12が投影装置4からの投影光の影響を受ける部分を認識する処理について説明する。   Next, with reference to FIG. 5, processing for recognizing a portion where the luminance recognizing unit 12 is affected by the projection light from the projection device 4 will be described.

図5(a)は、車室外撮像装置2が後方ナンバープレート位置に設置された車輌Vを示す図であり、車輌Vは、車室内の運転席上方の天井に投影装置4を備え、投影装置4は、車室外撮像装置2が撮像した画像を車両後方に向けて投影する。   FIG. 5A is a diagram showing a vehicle V in which the vehicle exterior imaging device 2 is installed at the rear license plate position. The vehicle V includes a projection device 4 on the ceiling above the driver's seat in the vehicle interior. 4 projects the image imaged by the vehicle exterior imaging device 2 toward the rear of the vehicle.

図中の太線は、投影装置4の投影光が照射される面を示し、投影装置4は、後部座席S、後部座席Sに置かれた荷物T1、天井の一部、リアガラスW1、リアガラスW1の前に置かれた荷物T2等を照射する。   Thick lines in the figure indicate the surface on which the projection light of the projection device 4 is irradiated. The projection device 4 includes the rear seat S, the luggage T1 placed on the rear seat S, a part of the ceiling, the rear glass W1, and the rear glass W1. Irradiate the luggage T2 and the like placed in front.

車輌Vの後方には、壁面Xがあり、リアガラスW1から漏れ出た投影装置4の投影光が壁面Xの一部を照射して明領域Gを生成する。   There is a wall surface X behind the vehicle V, and the projection light of the projection device 4 leaking from the rear glass W1 irradiates a part of the wall surface X to generate a bright region G.

図5(b)は、車室外撮像装置2が撮像した画像Pを示す図であり、画像Pは、壁面Xに浮かび上がる明領域Gを有する。   FIG. 5B is a diagram showing an image P captured by the vehicle exterior imaging device 2, and the image P has a bright region G that floats on the wall surface X.

投影装置4は、車室外撮像装置2により撮像された画像Pにある明領域GがリアガラスW1に重なるように画像Pを車両後方に投影するので、車室外撮像装置2からの出力を受けて投影画像を更新する度にリアガラスW1から漏れる投影光を増大させ、車室外撮像装置2が撮像する明領域Gは、その輝度を増大させる。   The projection device 4 projects the image P to the rear of the vehicle so that the bright area G in the image P imaged by the imaging device 2 outside the vehicle overlaps the rear glass W1, and therefore receives the output from the imaging device 2 outside the vehicle and projects it. Each time the image is updated, the projection light leaking from the rear glass W1 is increased, and the brightness of the bright region G picked up by the vehicle exterior imaging device 2 is increased.

車輌用表示装置100は、輝度認識手段12により、投影装置4が投影を開始してから所定時間(例えば、1秒間)が経過するうちに画像Pにおいて輝度が所定割合(例えば、10%)上昇した明領域Gを投影光の影響を受ける部分として認識し、マスク手段11により投影光の影響を受ける部分をマスク処理する。   In the vehicle display device 100, the luminance recognition means 12 increases the luminance in the image P by a predetermined ratio (for example, 10%) while a predetermined time (for example, one second) elapses after the projection device 4 starts projection. The bright area G is recognized as a portion affected by the projection light, and the mask means 11 masks the portion affected by the projection light.

これにより、車輌用表示装置100は、画像P内で投影光の影響を受ける部分の輝度が異常に大きくなってハレーションを発生させるのを防止することができる。   Thereby, the display apparatus 100 for vehicles can prevent that the brightness | luminance of the part which receives the influence of projection light in the image P becomes abnormally large, and a halation is generated.

なお、車輌用表示装置100は、輝度認識手段12により、車輌整備工場等で一度だけ投影光の影響を受ける部分の位置を認識しておけば、投影装置4の投影方向や投影角度を変化させない限り、投影光の影響を受ける部分の位置を更新する必要はないが、エンジン始動時または所定のユーザ操作が行われた場合に、投影光の影響を受ける部分の位置を更新するようにしてもよい。   The vehicle display device 100 does not change the projection direction or the projection angle of the projection device 4 if the luminance recognition means 12 recognizes the position of the portion affected by the projection light only once at the vehicle maintenance shop or the like. As long as there is no need to update the position of the part affected by the projection light, the position of the part affected by the projection light may be updated when the engine is started or when a predetermined user operation is performed. Good.

これにより、車輌用表示装置100は、運転者の視界を遮るようにガラス付近に荷物が置かれ投影光の影響を受ける部分が縮小し、或いは、投影光の影響を受ける部分を認識した際に置かれていた荷物が取り除かれ投影光の影響を受ける部分が拡大(窓の本来の大きさに復帰した状態をいう。)した場合にも、その都度、投影光の影響を受ける部分を認識させることができる。   As a result, the vehicle display device 100 reduces the portion affected by the projection light due to the load placed near the glass so as to block the driver's view, or recognizes the portion affected by the projection light. Even when the baggage that has been placed is removed and the part affected by the projection light is expanded (referred to as returning to the original size of the window), the part affected by the projection light is recognized each time. be able to.

また、車輌用表示装置100は、壁面Xがない場合であっても、光を反射させる遮蔽物があれば投影光の影響を受ける部分を認識させることができる。   In addition, even when the vehicle display device 100 does not have the wall surface X, the vehicle display device 100 can recognize a portion affected by the projection light if there is a shielding object that reflects light.

また、車輌用表示装置100は、リアガラスW1から漏れた投影光の影響を受ける部分ばかりでなく、サイドガラス、フロントガラス等から漏れる投影光の影響を受ける部分を認識させ、マスク処理を行うようにしてもよい。   The vehicle display device 100 recognizes not only the portion affected by the projection light leaked from the rear glass W1, but also the portion affected by the projection light leaking from the side glass, the windshield, etc., and performs mask processing. Also good.

次に、図6を参照しながら、車輌用表示装置100が投影画像を生成する処理について説明する。   Next, a process in which the vehicle display device 100 generates a projection image will be described with reference to FIG.

図6(a)は、運転者が運転席から車両後方を見た場合に視認する景色E1を示す図であり、リアガラスW1、サイドガラスW2乃至W5、後部座席S1乃至S3、および、サイドガラスW3を通して視認される歩行者H1を示す。   FIG. 6A is a view showing the scenery E1 visually recognized when the driver looks at the rear of the vehicle from the driver's seat, and is visually recognized through the rear glass W1, the side glasses W2 to W5, the rear seats S1 to S3, and the side glass W3. A pedestrian H1 is shown.

図6(b)は、車室外撮像装置2が撮像した景色画像を加工して運転者の視点から見た画像とした修正画像P1を示す図であり、車輌後方に存在する歩行者H1を示す。なお、歩行者H1は、一部(顔から肩の部分)がサイドガラスW3を通して運転者から視認されるが、他の一部(下半身部分)が運転者からは視認されない状態である。   FIG. 6B is a diagram illustrating a modified image P1 obtained by processing a landscape image captured by the vehicle exterior imaging device 2 and viewed from the viewpoint of the driver, and shows a pedestrian H1 existing behind the vehicle. . Note that a part of the pedestrian H1 (a part from the face to the shoulder) is visually recognized by the driver through the side glass W3, but the other part (the lower body part) is not visually recognized by the driver.

図6(c)は、マスク手段11により生成されたマスク画像P2であり、輝度認識手段12により認識された投影光の影響を受ける部分(図中斜線部分)がマスク処理された状態を示す。   FIG. 6C is a mask image P2 generated by the mask unit 11 and shows a state in which a portion affected by the projection light recognized by the luminance recognition unit 12 (shaded portion in the drawing) is masked.

図6(d)は、図6(b)の修正画像P1と図6(c)のマスク画像P2とを重ね合わせて合成し、合成画像を投影装置4から車両後方に投影させたときに運転者が視認する景色E2を示す図である。   FIG. 6D shows the operation when the corrected image P1 in FIG. 6B and the mask image P2 in FIG. 6C are superimposed and synthesized, and the synthesized image is projected from the projection device 4 to the rear of the vehicle. It is a figure which shows the scenery E2 which a person visually recognizes.

図6(d)において、ガラスW1乃至W5にはマスク画像P2により投影装置4からの投影光が照射されておらず、サイドガラスW3を通して視認できる歩行者H1の一部(顔から肩の部分)は、投影画像ではなく実物である。   In FIG. 6D, the glasses W1 to W5 are not irradiated with the projection light from the projection device 4 by the mask image P2, and a part of the pedestrian H1 that can be seen through the side glass W3 (portion from the face to the shoulder) is shown. , Not a projection image, but a real object.

一方、後部座席S3の背もたれの部分を含むその他の部分(図中斜線部分)には投影装置4からの投影光が照射されており、歩行者H1の一部(下半身部分)は、投影装置4により投影された投影画像であって、歩行者H1の実物部分(顔から肩の部分)に適合(実物と投影画像との連続性を確立することをいう。)するよう後部座席S3の部分に投影される。   On the other hand, the projection light from the projection device 4 is irradiated to other portions (shaded portions in the figure) including the backrest portion of the rear seat S3, and a part of the pedestrian H1 (lower body portion) The projected image is projected onto the rear seat S3 so as to be adapted to the real part of the pedestrian H1 (from the face to the shoulder) (which means establishing continuity between the real and the projected image). Projected.

このように、車輌用表示装置100は、車室内の形状に左右されず、投影装置4により車室内の広い範囲に投影画像を投影させながらも、投影光が窓部分から外部に漏れ出すのを抑制し、漏れ出した投影光が投影画像に悪影響(例えば、ハレーション)を及ぼさないようにしたり、外部の歩行者や他車の運転手に悪影響(例えば、眩しくさせたりすることをいう。)を与えないようにしたりすることができる。   As described above, the vehicle display device 100 does not depend on the shape of the vehicle interior, and the projection device 4 projects the projected image over a wide range of the vehicle interior, but the projected light leaks out from the window portion. Suppressing and preventing the leaked projection light from adversely affecting the projected image (for example, halation) or adversely affecting external pedestrians or drivers of other vehicles (for example, dazzling). Or not.

次に、図7を参照しながら、車輌用表示装置100が投影画像を生成する処理の別の実施例について説明する。   Next, another embodiment of the process in which the vehicle display device 100 generates a projection image will be described with reference to FIG.

図7(a)は、車室内撮像装置3が撮像した車室内画像P3を示す図であり、リアガラスW1、サイドガラスW2乃至W5、後部座席S1乃至S3、後部座席S1に着席した乗員H2、および、リアガラスW1付近に置かれた荷物T2を示す。   FIG. 7A is a diagram showing a vehicle interior image P3 captured by the vehicle interior imaging device 3, and includes a rear glass W1, side glasses W2 to W5, rear seats S1 to S3, an occupant H2 seated in the rear seat S1, and The luggage T2 placed near the rear glass W1 is shown.

図7(b)は、車室外撮像装置2が撮像した景色画像を加工して運転者の視点から見た画像とした修正画像P4を示す図であり、車輌後方に存在する歩行者H3を示す。なお、歩行者H3は、荷物T2の陰に隠れ、運転者からは視認できない状態である。   FIG. 7B is a diagram showing a modified image P4 obtained by processing the scenery image captured by the vehicle exterior imaging device 2 and viewing it from the viewpoint of the driver, and shows a pedestrian H3 existing behind the vehicle. . Note that the pedestrian H3 is hidden behind the luggage T2 and is not visible to the driver.

図7(c)は、マスク手段11により生成されたマスク画像P5であり、輝度認識手段12により認識された投影光の影響を受ける部分(図中斜線部分)と乗員H2の顔部分(図中灰色部分)がマスクされた状態を示す。乗員H2の顔部分をマスク処理するのは、投影装置4の投影光が乗員H2の顔部分に照射されるのを防止するためである。   FIG. 7C shows a mask image P5 generated by the mask means 11, and a portion (shaded portion in the figure) affected by the projection light recognized by the luminance recognition means 12 and a face portion of the occupant H2 (in the figure). The gray part) is masked. The reason for masking the face portion of the occupant H2 is to prevent the projection light of the projection device 4 from being applied to the face portion of the occupant H2.

ここで、投影光の影響を受ける部分(ガラス領域に相当)は、上述のように輝度認識手段12により認識されるが、画像認識手段13によるパターンマッチング処理等の画像処理により、車室内撮像装置3が撮像した車室内画像P3からガラスW1乃至W5を認識し、投影光の影響を受ける部分を認識するようにしてもよい。なお、歩行者H2の顔部分は、画像認識手段13によるパターンマッチング処理等により認識される。   Here, the portion affected by the projection light (corresponding to the glass region) is recognized by the luminance recognizing unit 12 as described above, but by the image processing such as the pattern matching processing by the image recognizing unit 13, the vehicle interior imaging device. 3 may recognize the glass W1 to W5 from the vehicle interior image P3 captured and recognize the portion affected by the projection light. Note that the face portion of the pedestrian H2 is recognized by pattern matching processing or the like by the image recognition means 13.

また、リアガラスW1の前に置かれた荷物T2の部分は、投影光の影響を受ける部分に含まれず、マスク処理が行われない。荷物T2の部分からは、投影装置4の投影光が外部に漏れ出さないからである。   Further, the portion of the luggage T2 placed in front of the rear glass W1 is not included in the portion affected by the projection light, and the mask process is not performed. This is because the projection light of the projection device 4 does not leak out from the portion of the luggage T2.

このように、車輌用表示装置100は、ガラス付近に荷物が置かれた場合等、投影光の影響を受ける部分の大きさが変化した場合であっても、輝度認識手段12により投影光の影響を受ける部分を再認識させることにより、投影光の影響を受ける部分の大きさを更新し、リアガラスW1前に置かれた荷物T2にも投影画像を確実に投影させて運転者の視認性を向上させることができる。   In this way, the vehicle display device 100 is affected by the projection light by the luminance recognition means 12 even when the size of the portion affected by the projection light changes, such as when a load is placed near the glass. By re-recognizing the part that receives the light, the size of the part affected by the projection light is updated, and the projected image is reliably projected onto the luggage T2 placed in front of the rear glass W1, thereby improving the driver's visibility. Can be made.

図7(d)は、図7(b)の修正画像P4と図7(c)のマスク画像P5とを重ね合わせて合成し、その合成画像を投影装置4から車両後方に投影させたときに運転者が視認する景色E3を示す図である。   FIG. 7D shows a case where the corrected image P4 in FIG. 7B and the mask image P5 in FIG. 7C are superimposed and synthesized, and the synthesized image is projected from the projection device 4 to the rear of the vehicle. It is a figure which shows scenery E3 which a driver | operator visually recognizes.

図7(d)において、ガラスW1乃至W5および乗員H2の顔部分にはマスク画像P5により投影装置4からの投影光が照射されていない。   In FIG. 7D, the projection light from the projection device 4 is not irradiated to the face portions of the glasses W1 to W5 and the occupant H2 by the mask image P5.

その他の部分には投影装置4からの投影光が照射されており、図7(d)の歩行者H3は、投影装置4により投影された投影画像であって、運転者の注意を喚起するよう、例えば、赤色に着色されて投影されたり、点滅する「歩行者」の文字Lが周辺に付加された状態で投影されたりする。   The other portions are irradiated with projection light from the projection device 4, and the pedestrian H3 in FIG. 7D is a projection image projected by the projection device 4 so as to call the driver's attention. For example, it may be projected in a colored red color, or may be projected with a flashing “pedestrian” character L added to the periphery.

以上の構成により、車輌用表示装置100は、遮蔽物の配置、形状、大きさ等の違いにかかわらず、運転者の死角にある物体を運転者に分かり易く表示することができるので、遮蔽物の配置、形状、大きさ等の異なる多種類の車輌に仕様を変更することなく適用することができる。   With the above configuration, the vehicle display device 100 can display the object in the driver's blind spot in an easy-to-understand manner regardless of the arrangement, shape, size, etc. of the shielding object. It can be applied to various types of vehicles having different arrangements, shapes, sizes, etc. without changing the specifications.

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。   The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.

例えば、上述の実施例では、車輌用表示装置100は、付加情報として「歩行者」の文字や歩行者までの距離等を投影するが、車輌の境界を示すワイヤフレームを投影するようにしてもよい。   For example, in the above-described embodiment, the vehicle display device 100 projects the characters “pedestrian”, the distance to the pedestrian, and the like as additional information, but may project a wire frame indicating the boundary of the vehicle. Good.

車輌用表示装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the display apparatus for vehicles. 車室外撮像手段の設置例を示す図である。It is a figure which shows the example of installation of an imaging device outside a vehicle interior. 投影装置の設置例を示す図である。It is a figure which shows the example of installation of a projection apparatus. 車室内撮像装置の設置例を示す図である。It is a figure which shows the example of installation of a vehicle interior imaging device. 輝度認識手段が投影光の影響を受ける部分を認識する処理の説明図である。It is explanatory drawing of the process which the brightness | luminance recognition means recognizes the part received by the influence of projection light. 車輌用表示装置による画像生成処理の説明図(その1)である。It is explanatory drawing (the 1) of the image generation process by the display apparatus for vehicles. 車輌用表示装置による画像生成処理の説明図(その2)である。It is explanatory drawing (the 2) of the image generation process by the display apparatus for vehicles.

符号の説明Explanation of symbols

1 制御部
2 車室外撮像装置
3 車室内撮像装置
4 投影装置
10 画像生成手段
11 マスク手段
12 輝度認識手段
13 画像認識手段
14 情報付加手段
15 投影制御手段
31 カメラレンズ
41 プロジェクタレンズ
D1〜D7 死角領域
E1〜E3 運転者が視認する景色
G 明領域
H1〜H3 人
P、P1〜P5 画像
R 撮像範囲
S、S1〜S3 後部座席
T1、T2 荷物
V 車輌
W1〜W5 ガラス領域
X 壁面
DESCRIPTION OF SYMBOLS 1 Control part 2 Car interior image pick-up device 3 Car interior image pick-up device 4 Projection apparatus 10 Image generation means 11 Mask means 12 Brightness recognition means 13 Image recognition means 14 Information addition means 15 Projection control means 31 Camera lens 41 Projector lens D1-D7 Blind spot area E1 to E3 Driver's view G Bright area H1 to H3 People P, P1 to P5 Image R Imaging range S, S1 to S3 Rear seat T1, T2 Luggage V Vehicle W1 to W5 Glass area X Wall surface

Claims (6)

車外の景色を撮像する撮像手段と、
前記撮像手段により撮像された景色画像を加工して運転者の視点から見た画像に相当する修正画像を生成する画像生成手段と、
前記画像生成手段により生成された修正画像のうちの少なくとも一部分を表示しないようマスクするマスク手段と、
前記マスク手段により少なくとも一部分がマスクされた前記修正画像を車室内に投影する投影手段と、を備え、
前記マスク手段は、前記修正画像のうち前記投影手段による投影光が車外に漏れることにより明るさが増大する部分をマスクする、
ことを特徴とする車輌用表示装置。
Imaging means for imaging the scenery outside the vehicle;
Image generating means for processing a landscape image picked up by the image pickup means and generating a corrected image corresponding to an image viewed from the viewpoint of the driver;
Mask means for masking not to display at least a part of the corrected image generated by the image generation means;
Projecting means for projecting the corrected image at least partially masked by the mask means into a vehicle interior;
It said mask means, among the modified image, to mask a portion where the brightness increases by projecting light by the projection unit leaks to the outside of the vehicle,
A display device for a vehicle.
車外の景色を撮像する撮像手段と、
前記撮像手段により撮像された景色画像を加工して運転者の視点から見た画像に相当する修正画像を生成する画像生成手段と、
前記画像生成手段により生成された修正画像のうちの少なくとも一部分を表示しないようマスクするマスク手段と、
前記マスク手段により少なくとも一部分がマスクされた前記修正画像を車室内に投影する投影手段と、
前記撮像手段により撮像される景色画像において、前記投影手段からの投影光により輝度が所定値以上となる部分を認識する輝度認識手段と、を備え、
前記マスク手段は、前記輝度認識手段により認識された部分をマスクする、
ことを特徴とする車輌用表示装置。
Imaging means for imaging the scenery outside the vehicle;
Image generating means for processing a landscape image picked up by the image pickup means and generating a corrected image corresponding to an image viewed from the viewpoint of the driver;
Mask means for masking not to display at least a part of the corrected image generated by the image generation means;
Projecting means for projecting the modified image, at least partially masked by the mask means, into a vehicle interior;
Luminance recognition means for recognizing a portion of the landscape image captured by the imaging means, the luminance of which is greater than or equal to a predetermined value by the projection light from the projection means,
The mask means masks a portion recognized by the luminance recognition means;
A display device for a vehicle.
車外の景色を撮像する撮像手段と、
前記撮像手段により撮像された景色画像を加工して運転者の視点から見た画像に相当する修正画像を生成する画像生成手段と、
前記画像生成手段により生成された修正画像のうちの少なくとも一部分を表示しないようマスクするマスク手段と、
前記マスク手段により少なくとも一部分がマスクされた前記修正画像を車室内に投影する投影手段と、
前記投影手段により輝度を変化させながら所定画像を投影させた場合に、前記撮像手段により撮像された景色画像において輝度が変化する部分を認識する輝度認識手段と、を備え、
前記マスク手段は、前記輝度認識手段により認識された部分をマスクする、
ことを特徴とする車輌用表示装置。
Imaging means for imaging the scenery outside the vehicle;
Image generating means for processing a landscape image picked up by the image pickup means and generating a corrected image corresponding to an image viewed from the viewpoint of the driver;
Mask means for masking not to display at least a part of the corrected image generated by the image generation means;
Projecting means for projecting the modified image, at least partially masked by the mask means, into a vehicle interior;
A luminance recognizing unit for recognizing a portion where the luminance changes in the landscape image captured by the imaging unit when a predetermined image is projected while the luminance is changed by the projection unit;
The mask means masks a portion recognized by the luminance recognition means;
A display device for a vehicle.
前記投影手段により前記修正画像が投影される車室内領域を撮像する車室内撮像手段と、
前記車室内撮像手段により撮像された車室内画像から所定物を認識する画像認識手段と、を備え、
前記マスク手段は、前記修正画像のうち前記画像認識手段により認識された所定物の部分をマスクする、
ことを特徴とする請求項1乃至3の何れか一項に記載の車輌用表示装置。
Vehicle interior imaging means for imaging a vehicle interior area where the corrected image is projected by the projection means;
Image recognition means for recognizing a predetermined object from the vehicle interior image captured by the vehicle interior imaging means,
The mask means masks a predetermined portion of the corrected image recognized by the image recognition means;
The vehicle display device according to any one of claims 1 to 3, wherein the display device for a vehicle is used.
前記所定物は、窓または乗員の顔である、
ことを特徴とする請求項4に記載の車輌用表示装置。
The predetermined object is a window or the face of an occupant.
The vehicle display device according to claim 4.
前記撮像手段により撮像された前記景色画像から所定物を認識する画像認識手段と、
前記画像認識手段により認識された所定物に関する情報を前記修正画像に付加する情報付加手段と、
を備えることを特徴とする請求項1乃至5の何れか一項に記載の車輌用表示装置。
Image recognition means for recognizing a predetermined object from the landscape image captured by the imaging means;
Information adding means for adding information on the predetermined object recognized by the image recognition means to the corrected image;
The vehicle display device according to any one of claims 1 to 5, further comprising:
JP2006178698A 2006-06-28 2006-06-28 Vehicle display device Expired - Fee Related JP4775139B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006178698A JP4775139B2 (en) 2006-06-28 2006-06-28 Vehicle display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006178698A JP4775139B2 (en) 2006-06-28 2006-06-28 Vehicle display device

Publications (2)

Publication Number Publication Date
JP2008009654A JP2008009654A (en) 2008-01-17
JP4775139B2 true JP4775139B2 (en) 2011-09-21

Family

ID=39067822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006178698A Expired - Fee Related JP4775139B2 (en) 2006-06-28 2006-06-28 Vehicle display device

Country Status (1)

Country Link
JP (1) JP4775139B2 (en)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4862775B2 (en) * 2007-03-26 2012-01-25 アイシン・エィ・ダブリュ株式会社 Driving support method and driving support device
JP2009187424A (en) * 2008-02-08 2009-08-20 Alpine Electronics Inc Perimeter monitoring device and perimeter monitoring method
JP6039988B2 (en) * 2012-10-04 2016-12-07 矢崎総業株式会社 Rear seat belt belt support device
JP6083338B2 (en) * 2013-07-08 2017-02-22 株式会社デンソー Projection display
JP2017181588A (en) * 2016-03-28 2017-10-05 大日本印刷株式会社 Projection device, shield, projection method and projection program
JP2017191378A (en) 2016-04-11 2017-10-19 富士通テン株式会社 Augmented reality information display device and augmented reality information display method
JP6585571B2 (en) 2016-09-21 2019-10-02 矢崎総業株式会社 Display device and vehicle door
JP6527849B2 (en) 2016-11-07 2019-06-05 矢崎総業株式会社 Display device and interior member unit
DE102017206312A1 (en) * 2017-04-12 2018-10-18 Ford Global Technologies, Llc Support handling of an object located within a passenger compartment and motor vehicle
JP2019073091A (en) * 2017-10-13 2019-05-16 トヨタ自動車株式会社 Vehicular display apparatus
JP7131210B2 (en) * 2018-08-30 2022-09-06 株式会社Jvcケンウッド Display device, display method and program
JP7131209B2 (en) * 2018-08-30 2022-09-06 株式会社Jvcケンウッド Display device, display method and program
US11900835B2 (en) * 2018-11-27 2024-02-13 Koito Manufacturing Co., Ltd. Vehicular display device
JP7103194B2 (en) * 2018-12-06 2022-07-20 株式会社Jvcケンウッド Display device, discrimination method and irradiation method
JP7010200B2 (en) * 2018-12-06 2022-02-10 株式会社Jvcケンウッド Display device, discrimination method and irradiation method
JP7208459B2 (en) * 2019-03-18 2023-01-19 株式会社Jvcケンウッド Area setting method and display device
JP7257200B2 (en) * 2019-03-19 2023-04-13 ヤマハ発動機株式会社 Ships and navigation aids
JP7321911B2 (en) * 2019-12-02 2023-08-07 株式会社クボタ work machine

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184225A (en) * 2003-12-17 2005-07-07 Denso Corp Vehicular display
JP4280648B2 (en) * 2004-01-16 2009-06-17 株式会社ホンダロック Vehicle visibility assist device

Also Published As

Publication number Publication date
JP2008009654A (en) 2008-01-17

Similar Documents

Publication Publication Date Title
JP4775139B2 (en) Vehicle display device
US7825953B2 (en) Vehicular image display apparatus
US20180265002A1 (en) Onboard display device, control method for onboard display device, and control program for onboard display device
US6911997B1 (en) Monitoring system, camera adjusting method and vehicle monitoring system
US10029621B2 (en) Rear view camera system using rear view mirror location
JP5459154B2 (en) Vehicle surrounding image display apparatus and method
US20160134815A1 (en) Driving assist device
JP2014116756A (en) Periphery monitoring system
JP4248570B2 (en) Image processing apparatus and visibility support apparatus and method
JP4315968B2 (en) Image processing apparatus and visibility support apparatus and method
JP2005191962A (en) Moving object circumference monitoring apparatus and moving object
JP2006188224A (en) Night vision system for vehicle, light source operation system and its control method
WO2017022172A1 (en) Vehicular display device and display method
WO2011030699A1 (en) Device for monitoring surroundings of vehicle
JP2010130647A (en) Vehicle periphery checking system
US10399496B2 (en) Viewing device for vehicle and method of displaying viewed image for vehicle
JP5712821B2 (en) Shooting display control system
JP2014235639A (en) Vehicle display device
JP2019034692A (en) Visually recognizing device for vehicle
JP2010076480A (en) Driving assistance system for vehicle
WO2022190166A1 (en) Image processing device, image processing method, and image processing program
JP2014236415A (en) Vehicle display device
JP5617678B2 (en) Vehicle display device
JP2015070280A (en) Image processing system, camera system, and image processing method
KR20190040841A (en) A frame image display device for providing a blind spot image of an a-pillar frame of a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110613

R151 Written notification of patent or utility model registration

Ref document number: 4775139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees