JP4775139B2 - Vehicle display device - Google Patents
Vehicle display device Download PDFInfo
- Publication number
- JP4775139B2 JP4775139B2 JP2006178698A JP2006178698A JP4775139B2 JP 4775139 B2 JP4775139 B2 JP 4775139B2 JP 2006178698 A JP2006178698 A JP 2006178698A JP 2006178698 A JP2006178698 A JP 2006178698A JP 4775139 B2 JP4775139 B2 JP 4775139B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- projection
- imaging
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
Description
本発明は、車輌用表示装置に関し、特に、投影手段を用いて車両周辺の画像を車内の所定領域に投影し、運転者の死角にある物体を運転者が視認できるようにする車輌用表示装置に関する。 The present invention relates to a display device for a vehicle, and more particularly to a vehicle display device that projects an image around a vehicle onto a predetermined area in the vehicle using a projecting unit so that the driver can visually recognize an object in the blind spot of the driver. About.
従来、車輌の周辺を撮像する撮像手段と、運転席における運転者の視点の空間的な位置を認識する視点認識手段と、運転者の視界を遮るピラーやドア等の遮蔽物が透明であると仮定した場合に運転者の目に映るべき車外の景色の画像を、撮像手段によって得られた周辺画像データを視点認識手段の認識結果に応じて加工することにより生成する画像生成手段と、画像生成手段が生成する生成画像を遮蔽物の位置に表示する表示手段とを備えた車輌用表示装置が知られている(例えば、特許文献1参照。)。 Conventionally, imaging means for imaging the periphery of a vehicle, viewpoint recognition means for recognizing the spatial position of the driver's viewpoint in the driver's seat, and shielding objects such as pillars and doors that block the driver's view are transparent. Image generating means for generating an image of a scenery outside the vehicle to be seen by the driver when the assumption is made, by processing the peripheral image data obtained by the imaging means according to the recognition result of the viewpoint recognizing means, and image generation There is known a vehicle display device including display means for displaying a generated image generated by the means at the position of a shield (for example, see Patent Document 1).
この車輌用表示装置は、各運転者の視点位置に応じて周辺画像データを加工するので、フロントガラスやウィンドウガラスを通じて各運転者が視認する景色と繋がるように、加工された画像を遮蔽物の位置に表示させることができ、各運転者の死角を効果的に減じることができる。
しかしながら、特許文献1に記載の車輌用表示装置は、ピラーやドア等の遮蔽物の位置に予め配置されたディスプレイに加工された画像を表示させるので、加工された画像を表示させる領域が制限されてしまう。
However, since the vehicle display device described in
また、特許文献1に記載の車輌用表示装置は、その構成要素であるディスプレイの形状や大きさが遮蔽物の形状や大きさに左右されるので、遮蔽物の形状や大きさが異なる他車輌への適用が困難である。
Further, in the vehicle display device described in
上述の課題に鑑み、本発明は、車室内における遮蔽物の配置、形状、大きさ等の違いにかかわらず車両周辺の画像をその遮蔽物上に表示させ、運転者の死角にある物体を運転者が視認できるようにする車輌用表示装置を提供することを目的とする。 In view of the above problems, the present invention displays an image around the vehicle on the shielding object regardless of the arrangement, shape, size, etc. of the shielding object in the passenger compartment, and drives an object in the blind spot of the driver. It is an object of the present invention to provide a vehicle display device that can be visually recognized by a person.
上述の目的を達成するために、第一の発明に係る車輌用表示装置は、車外の景色を撮像する撮像手段と、前記撮像手段により撮像された景色画像を加工して運転者の視点から見た画像に相当する修正画像を生成する画像生成手段と、前記画像生成手段により生成された修正画像のうちの少なくとも一部分を表示しないようマスクするマスク手段と、前記マスク手段により少なくとも一部分がマスクされた前記修正画像を運転者の視点付近から車室内に投影する投影手段と、を備えることを特徴とする。 In order to achieve the above-described object, a vehicle display device according to a first aspect of the invention includes an imaging unit that captures a scenery outside the vehicle, and a landscape image that is captured by the imaging unit and is viewed from the viewpoint of the driver. Image generating means for generating a corrected image corresponding to the image, mask means for masking at least a part of the corrected image generated by the image generating means, and at least a part of which is masked by the masking means Projecting means for projecting the corrected image from the vicinity of the driver's viewpoint into the passenger compartment.
また、第二の発明は、第一の発明に係る車輌用表示装置であって、前記撮像手段により撮像される景色画像において、前記投影手段からの投影光により輝度が所定値以上となる部分を認識する輝度認識手段を備え、前記マスク手段は、前記輝度認識手段により認識された部分をマスクすることを特徴とする。 Further, the second invention is a vehicle display device according to the first invention, wherein in a landscape image captured by the imaging means, a portion whose luminance is a predetermined value or more by projection light from the projection means. Recognizing brightness recognition means is provided, wherein the mask means masks a portion recognized by the brightness recognition means.
また、第三の発明は、第一の発明に係る車輌用表示装置であって、前記投影手段により輝度を変化させながら所定画像を投影させた場合に、前記撮像手段により撮像された景色画像において輝度が変化する部分を認識する輝度認識手段を備え、前記マスク手段は、前記輝度認識手段により認識された部分をマスクすることを特徴とする。 Further, the third invention is a vehicle display device according to the first invention, wherein a predetermined image is projected while changing the luminance by the projection means, in a landscape image taken by the imaging means. Luminance recognition means for recognizing a portion where the luminance changes is provided, and the mask means masks the portion recognized by the luminance recognition means.
また、第四の発明は、第一乃至第三の何れかの発明に係る車輌用表示装置であって、前記投影手段により前記修正画像が投影される車室内領域を撮像する車室内撮像手段と、前記車室内撮像手段により撮像された車室内画像から所定物を認識する画像認識手段と、を備え、前記マスク手段は、前記修正画像のうち前記画像認識手段により認識された所定物の部分をマスクする、ことを特徴とする。 According to a fourth aspect of the present invention, there is provided a vehicle display device according to any one of the first to third aspects of the present invention, vehicle interior imaging means for capturing a vehicle interior area in which the corrected image is projected by the projection means; Image recognizing means for recognizing a predetermined object from a vehicle interior image captured by the vehicle interior image capturing means, and the masking means recognizes a portion of the predetermined object recognized by the image recognizing means in the corrected image. It is masked.
また、第五の発明は、第四の発明に係る車輌用表示装置であって、前記所定物は、窓または乗員の顔であることを特徴とする。 The fifth invention is a vehicle display device according to the fourth invention, wherein the predetermined object is a window or a face of an occupant.
また、第六の発明は、第一乃至第五の何れかの発明に係る車輌用表示装置であって、前記撮像手段により撮像された前記景色画像から所定物を認識する画像認識手段と、前記画像認識手段により認識された所定物に関する情報を前記修正画像に付加する情報付加手段と、を備えることを特徴とする。 The sixth invention is the vehicle display device according to any one of the first to fifth inventions, wherein the image recognition means for recognizing a predetermined object from the scenery image picked up by the image pickup means, Information adding means for adding information on the predetermined object recognized by the image recognition means to the corrected image.
上述の手段により、本発明は、車室内における遮蔽物の配置、形状、大きさ等の違いにかかわらず車両周辺の画像をその遮蔽物上に表示させ、運転者の死角にある物体を運転者が視認できるようにする車輌用表示装置を提供することができる。 By the means described above, the present invention displays an image around the vehicle on the shielding object regardless of the arrangement, shape, size, etc. of the shielding object in the passenger compartment, and the object in the driver's blind spot is displayed on the driver. Can be provided.
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings.
図1は、本発明に係る車輌用表示装置100の構成例を示すブロック図である。車輌用表示装置100は、制御部1を有し、制御部1は、CAN(Controller Area Network)やLIN(Local Interconnect Network)等の車内ネットワークを介して車室外撮像装置2、車室内撮像装置3、投影装置4に接続される。
FIG. 1 is a block diagram showing a configuration example of a
制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータであり、画像生成手段10、マスク手段11、輝度認識手段12、画像認識手段13、情報付加手段14および投影制御手段15に対応するプログラムをNVRAMに記憶し、それらプログラムをRAM上に展開して対応する処理をCPUに実行させる。
The
車室外撮像装置2は、車両周辺の画像を取得するための装置であって、取得した画像を制御部1に出力する。
The vehicle
車室外撮像装置2は、例えば、ボディパネル、バンパー、フロントグリル、ナンバープレート付近等、車輌外装の前後左右に設置されるCCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラであり、広角撮像が可能な魚眼カメラや全方位カメラ、夜間での撮像が可能な赤外線カメラ等であってもよい。
The vehicle
また、車室外撮像装置2は、単一のカメラで構成されても複数のカメラで構成されてもよく、また、動画像を撮像するカメラであってもよく、静止画像を撮像するカメラであってもよい。なお、車室外撮像装置2は、車輌外装に設置されるため、防塵構造や防滴構造を備えるものであってもよい。
The outside-
車室内撮像装置3は、車室内の画像を取得するためのカメラであり、取得した画像を制御部1に出力する。
The vehicle
車室内撮像装置3は、例えば、車室内天井やルームミラー付近等に設置され、或いは、後述の投影装置4の投影レンズ付近に設置され、投影装置4の投影範囲を撮像する。また、車室内撮像装置3は、車室外撮像装置2と同様、CCDカメラやCMOSカメラで構成される。
The vehicle
投影装置4は、車室内の所定領域に画像を投影する装置であり、例えば、液晶プロジェクタ、LCOS(Liquid Crystal On Silicon)プロジェクタ、DLP(Digital Light Processing)(登録商標)方式プロジェクタ、CRT(Cathode Ray Tube)プロジェクタ等がある。
The
投影装置4は、例えば、運転席上方の車室内天井や運転席のヘッドレスト付近に設置され、制御部1が出力する画像情報を受信し車両後方に向って画像を投影する。この場合、投影装置4は、後部座席、後部ドア内壁、後部天井、後部ドアのウィンドウ、リアガラス、ピラー、および、後部座席の乗員等、スクリーンの代わりとなる物体にまんべんなく画像を投影する。
The
また、投影装置4は、回動可能に天井に取り付けられ、投影方向を車両前方、車輌側方、車輌後方へ変化できるものであってもよい。
Further, the
次に、制御部1が有する各種手段について説明する。
Next, various units included in the
画像生成手段10は、車室外撮像装置2が撮像した車外の景色画像を加工して運転者の視点から見た画像に相当する修正画像を生成する手段であり、例えば、車室外撮像装置2の位置と投影装置4の位置との間の相対関係に基づいて景色画像の中心点を左右に移動させたり、景色画像を拡大縮小させたりして修正画像を生成する。なお、画像生成手段10は、車室内撮像装置3により運転者の眼の位置を認識し、運転者の眼の位置を考慮に入れて修正画像を生成するようにしてもよい。
The image generation means 10 is a means for processing a scene image outside the vehicle imaged by the outside-
また、画像生成手段10は、車室外撮像装置2で撮像した景色画像を歪みのない画像に座標変換した上で中心点を移動させ、或いは、拡大縮小させて修正画像を生成する。
In addition, the image generation means 10 generates a corrected image by moving the center point or enlarging / reducing the coordinate after converting the scenery image captured by the
これにより、車輌用表示装置100は、運転者の視界に適合するよう修正された修正画像を所定方向に投影し、ドア、ピラー、内壁、天井等の遮蔽物により生じる死角にある物体を運転者が視認できるようにするので、運転者は、あたかも遮蔽物がない状態の視界を確保することができる。
As a result, the
マスク手段11は、修正画像の所定部分を表示させないようにマスクする手段であり、例えば、投影装置4によりリアガラスやウィンドウの位置に投影される修正画像の部分を画像処理によってマスクする(以下、「マスク処理」という。)。
The mask means 11 is a means for masking a predetermined portion of the corrected image so as not to be displayed. For example, the portion of the corrected image projected on the rear glass or the window position by the
マスク手段11は、修正画像のうちマスクする部分(XY座標で示される画素)を所定色(例えば、黒色)で塗りつぶすようにしてマスク処理を行うが、マスクする部分だけを所定色(例えば、黒色)で表示したマスク画像(例えば、修正画像と同じ画像サイズを有する。)を修正画像とは別に用意し、その上で修正画像とマスク画像とを重ね合わせることでマスク処理を行うようにしてもよい。
The
投影装置4は、マスク処理された修正画像を投影することにより、投影範囲の一部を照射しないようにすることができる。投影装置4は、例えば、液晶プロジェクタの場合、赤、青、緑の光源のそれぞれに対応する液晶パネルにおいて、マスクする部分に対応する液晶を駆動して、その部分を光が透過しないように光を遮断し、マスクする部分を投影しないようにする。
The
或いは、投影装置4は、DMD(Digital Micro-mirror Device)(登録商標)を用いたDLP(登録商標)方式のプロジェクタの場合、マスクする部分に相当するDMDの傾斜角度を変化させ、光源から発射された光が投影方向に向わないようにし、マスクする部分を投影しないようにする。
Alternatively, in the case of a DLP (registered trademark) type projector using a DMD (Digital Micro-mirror Device) (registered trademark), the
マスク処理される所定部分は、後述の輝度認識手段12により認識される部分であったり、後述の画像認識手段13により認識される画像部分であったりする。なお、マスク手段11は、所定部分を操作者に手動で設定させるようにしてもよい。
The predetermined part to be masked may be a part recognized by the
輝度認識手段12は、景色画像のうち投影装置4からの投影光の影響を受ける部分を認識する手段であり、例えば、投影装置4により投影光を車室内に照射させながら車室外撮像装置2により所定間隔(例えば、1秒間隔)で景色画像を撮像させ、画像生成手段10により景色画像に基づいて生成された修正画像のうち輝度が所定値(例えば、プラス10%)まで増大した部分を投影装置4からの投影光の影響を受ける部分として認識する。
The
輝度の増大は、投影装置4の投影光が窓等を介して外部に漏れることにより明るさが増大した部分(景色の一部)を車室外撮像装置2が撮像し、車室外撮像装置2からの出力を受けた投影装置4が輝度を増大させてその部分を再投影し、さらに車室外撮像装置2がその部分(より一層明るさが増大した部分)を再撮像するといった処理が繰り返されることにより発生する。
The increase in luminance is caused by the vehicle
また、輝度認識手段12は、明るさが増大した部分(時間の要素を含む。)を認識するばかりでなく、輝度が所定値以上となった部分(時間の要素を含まない。)を、投影装置4からの投影光の影響を受ける部分として認識してもよい。上述の繰り返し処理が行われると、所定部分の輝度は最大値まで増大するからである。
In addition, the luminance recognizing means 12 not only recognizes a portion where brightness is increased (including a time element), but also projects a portion where luminance is equal to or higher than a predetermined value (not including a time element). You may recognize as a part which receives the influence of the projection light from the
また、輝度認識手段12は、投影装置4により所定画像(例えば、全領域が白色とされた画像)を明滅させながら車室外撮像装置2により景色画像を撮像させ、画像生成手段10により景色画像に基づいて生成された修正画像のうち投影装置4の明滅に同調して輝度が変化する部分を投影装置4からの投影光の影響を受ける部分として認識してもよい。
Further, the brightness recognizing means 12 causes the outside
なお、所定画像の明滅は、投影装置4による投影をオン・オフさせることにより行ってもよく、所定画像の輝度を規則的に変化させることにより行ってもよい。
Note that blinking of the predetermined image may be performed by turning on and off the projection by the
また、輝度認識手段12は、投影装置4からの投影光の影響を受ける部分のみを認識し、街灯や他車のヘッドライト等により輝度が変化する部分については、投影装置4の投影光に同調しないので、投影光の影響を受ける部分としては認識しない。
The
車輌用表示装置100は、輝度認識手段12により修正画像内で投影光の影響を受ける部分を認識し、マスク手段11により投影光の影響を受ける部分をマスク処理する。
The
マスク処理を行わなければ、修正画像内で投影光の影響を受ける部分の輝度が異常に大きくなってしまい、ハレーションを発生させてしまうからである。 This is because if the mask process is not performed, the luminance of the portion of the corrected image that is affected by the projection light becomes abnormally high and halation occurs.
これにより、車輌用表示装置100は、所定方向に修正画像を投影し、ドア、ピラー、内壁、天井等の遮蔽物により生じる死角にある物体を運転者が視認できるようにしながらも、投影光がウィンドウ、フロントガラスまたはリアガラスから外部へ漏れ出すのを抑制することができる。
As a result, the
また、車輌用表示装置100は、投影光の影響を受ける部分をマスク処理した修正画像を投影装置4に投影させるので、修正画像におけるハレーションの発生を防止することができる。
Further, since the
また、車輌用表示装置100は、投影光の影響を受ける部分をマスク処理した修正画像を投影装置4に投影させるので、ウィンドウ、フロントガラスまたはリアガラスに修正画像が投影されるのを防止し、ウィンドウ、フロントガラスまたはリアガラスを介して運転者が視認できる実際の景色と投影される修正画像とが重なり合い車外の景色が視認し難くなるのを防止することができる。
Further, since the
画像認識手段13は、車室外撮像装置2または車室内撮像装置3により撮像された景色画像または車室内画像にある所定物を認識するための手段であり、例えば、エッジ処理、γ補正、二値化処理等の画像処理を行い、予め登録された画像データによるマッチング処理を行うことで所定物およびその座標位置を認識する。
The
画像認識手段13が車室外撮像装置2によって撮像された景色画像から所定物を認識する場合、所定物には、人間、動物、車輌、縁石、側溝、道路標示、車線表示等、車輌の運転に影響を与える物が含まれる。
When the
画像認識手段13は、これら所定物の座標位置を後述の情報付加手段14に出力し、修正画像においてこれら所定物を強調表示させたり、所定物までの距離等の付加情報を表示させたりする。 The image recognizing means 13 outputs the coordinate positions of these predetermined objects to the information adding means 14 described later, and highlights the predetermined objects in the corrected image or displays additional information such as the distance to the predetermined objects.
また、画像認識手段13が車室内撮像装置3によって撮像された車室内画像から所定物を認識する場合、所定物には、運転者以外の乗員の顔、ウィンドウ、フロントガラス、リアガラス等が含まれる。
Further, when the
画像認識手段13は、これら所定物の座標位置をマスク手段11に出力してマスク処理をさせることで、乗員の顔、ウィンドウ、フロントガラス、リアガラス等に投影装置4による投影光が投影されないようにする。
The image recognition means 13 outputs the coordinate positions of these predetermined objects to the mask means 11 to perform mask processing so that the projection light from the
情報付加手段14は、画像認識手段13から所定物に関する情報を取得し、修正画像に情報を付加する手段であり、例えば、画像認識手段13から所定物の座標位置、所定物の種類、所定物と自車輌との間の距離等を取得して、修正画像中の所定物(例えば、歩行者)を赤色で強調表示させたり、「歩行者」の文字や歩行者までの距離を示す数値をその歩行者の画像近辺に表示させたりする。
The
投影制御手段15は、投影装置4の作動状態を制御するための手段であり、例えば、シフト位置が「R」ポジションに設定された場合に投影装置4による車両後方への投影を開始させたり、方向指示器が操作された場合に投影装置4による車両斜め前方(進行方向)への投影を開始させたり、或いは、所定のスイッチ操作により任意のタイミングで任意の方向に投影を開始させたりする。なお、投影制御手段15は、投影装置4による所定方向(例えば、車両後方)への投影を常時行うようにしてもよい。
The projection control means 15 is a means for controlling the operating state of the
次に、図2乃至図4を参照しながら、車室外撮像装置2、車室内撮像装置3および投影装置4が所定位置に配置された車輌用表示装置100の構成例について説明する。
Next, a configuration example of the
図2は、車室外撮像手段2の設置例を示す図であり、車室外撮像手段2は、車輌Vの後方ナンバープレートの上に設置される。 FIG. 2 is a diagram showing an installation example of the vehicle exterior imaging means 2. The vehicle exterior imaging means 2 is installed on the rear license plate of the vehicle V.
D1乃至D7は、車輌Vの運転者から死角となる領域を示し、D1が右前方のピラー、D2が右中央のピラー、D3が右後方のピラー、D4が左後方のピラー、D5が左中央のピラー、D6が左前方のピラー、および、D7がドア内壁やボンネット、によって死角となる領域をそれぞれ示す。 D1 to D7 indicate blind spots from the driver of the vehicle V. D1 is a right front pillar, D2 is a right center pillar, D3 is a right rear pillar, D4 is a left rear pillar, and D5 is a left center. , D6 is a left front pillar, and D7 is a blind spot area due to a door inner wall or bonnet.
一点鎖線示す範囲Rは、車室外撮像装置2が撮像する範囲を示し、死角領域D2、D3、D4およびD7が含まれる。これにより、車室外撮像装置2が撮像した画像を利用する投影装置4は、右中央のピラー、右後方のピラー、左後方のピラー、および、ドアや後部座席等の遮蔽物により死角となった領域を車室内に投影することができる。
A range R indicated by an alternate long and short dash line indicates a range imaged by the vehicle
図3は、投影装置4の設置例を示す図であり、図3(a)が車輌Vの上面透視図、図3(b)が側面断面図である。
3A and 3B are diagrams illustrating an installation example of the
投影装置4は、運転席上方の天井に設置され、車輌後方に向って車室外撮像装置2が撮像した画像(加工された画像を含む。)を投影する。投影装置4の投影光は、後部座席S、後部座席Sに置かれた荷物T1、天井の一部、後部ドアの内壁、リアガラスW1に至るまで、まんべんなく到達する。
The
図3の太線は、投影装置4による投影画像が表示される面を示し、凹凸のあるスクリーンとして機能する。
A thick line in FIG. 3 indicates a surface on which a projection image by the
図4は、車室内撮像装置3の設置例を示す図であり、車室内撮像装置3は、運転席上方の天井に設置された投影装置4に一体化されており、車室内撮像装置3のカメラレンズ31を投影装置4のプロジェクタレンズ41に近接させて投影装置4の投影範囲全体を撮像する。これにより、車室内撮像装置3は、投影装置4の投影範囲全体を大きなズレを生じさせることなく撮像することができる。
FIG. 4 is a diagram illustrating an installation example of the vehicle
次に、図5を参照しながら、輝度認識手段12が投影装置4からの投影光の影響を受ける部分を認識する処理について説明する。
Next, with reference to FIG. 5, processing for recognizing a portion where the
図5(a)は、車室外撮像装置2が後方ナンバープレート位置に設置された車輌Vを示す図であり、車輌Vは、車室内の運転席上方の天井に投影装置4を備え、投影装置4は、車室外撮像装置2が撮像した画像を車両後方に向けて投影する。
FIG. 5A is a diagram showing a vehicle V in which the vehicle
図中の太線は、投影装置4の投影光が照射される面を示し、投影装置4は、後部座席S、後部座席Sに置かれた荷物T1、天井の一部、リアガラスW1、リアガラスW1の前に置かれた荷物T2等を照射する。
Thick lines in the figure indicate the surface on which the projection light of the
車輌Vの後方には、壁面Xがあり、リアガラスW1から漏れ出た投影装置4の投影光が壁面Xの一部を照射して明領域Gを生成する。
There is a wall surface X behind the vehicle V, and the projection light of the
図5(b)は、車室外撮像装置2が撮像した画像Pを示す図であり、画像Pは、壁面Xに浮かび上がる明領域Gを有する。
FIG. 5B is a diagram showing an image P captured by the vehicle
投影装置4は、車室外撮像装置2により撮像された画像Pにある明領域GがリアガラスW1に重なるように画像Pを車両後方に投影するので、車室外撮像装置2からの出力を受けて投影画像を更新する度にリアガラスW1から漏れる投影光を増大させ、車室外撮像装置2が撮像する明領域Gは、その輝度を増大させる。
The
車輌用表示装置100は、輝度認識手段12により、投影装置4が投影を開始してから所定時間(例えば、1秒間)が経過するうちに画像Pにおいて輝度が所定割合(例えば、10%)上昇した明領域Gを投影光の影響を受ける部分として認識し、マスク手段11により投影光の影響を受ける部分をマスク処理する。
In the
これにより、車輌用表示装置100は、画像P内で投影光の影響を受ける部分の輝度が異常に大きくなってハレーションを発生させるのを防止することができる。
Thereby, the
なお、車輌用表示装置100は、輝度認識手段12により、車輌整備工場等で一度だけ投影光の影響を受ける部分の位置を認識しておけば、投影装置4の投影方向や投影角度を変化させない限り、投影光の影響を受ける部分の位置を更新する必要はないが、エンジン始動時または所定のユーザ操作が行われた場合に、投影光の影響を受ける部分の位置を更新するようにしてもよい。
The
これにより、車輌用表示装置100は、運転者の視界を遮るようにガラス付近に荷物が置かれ投影光の影響を受ける部分が縮小し、或いは、投影光の影響を受ける部分を認識した際に置かれていた荷物が取り除かれ投影光の影響を受ける部分が拡大(窓の本来の大きさに復帰した状態をいう。)した場合にも、その都度、投影光の影響を受ける部分を認識させることができる。
As a result, the
また、車輌用表示装置100は、壁面Xがない場合であっても、光を反射させる遮蔽物があれば投影光の影響を受ける部分を認識させることができる。
In addition, even when the
また、車輌用表示装置100は、リアガラスW1から漏れた投影光の影響を受ける部分ばかりでなく、サイドガラス、フロントガラス等から漏れる投影光の影響を受ける部分を認識させ、マスク処理を行うようにしてもよい。
The
次に、図6を参照しながら、車輌用表示装置100が投影画像を生成する処理について説明する。
Next, a process in which the
図6(a)は、運転者が運転席から車両後方を見た場合に視認する景色E1を示す図であり、リアガラスW1、サイドガラスW2乃至W5、後部座席S1乃至S3、および、サイドガラスW3を通して視認される歩行者H1を示す。 FIG. 6A is a view showing the scenery E1 visually recognized when the driver looks at the rear of the vehicle from the driver's seat, and is visually recognized through the rear glass W1, the side glasses W2 to W5, the rear seats S1 to S3, and the side glass W3. A pedestrian H1 is shown.
図6(b)は、車室外撮像装置2が撮像した景色画像を加工して運転者の視点から見た画像とした修正画像P1を示す図であり、車輌後方に存在する歩行者H1を示す。なお、歩行者H1は、一部(顔から肩の部分)がサイドガラスW3を通して運転者から視認されるが、他の一部(下半身部分)が運転者からは視認されない状態である。
FIG. 6B is a diagram illustrating a modified image P1 obtained by processing a landscape image captured by the vehicle
図6(c)は、マスク手段11により生成されたマスク画像P2であり、輝度認識手段12により認識された投影光の影響を受ける部分(図中斜線部分)がマスク処理された状態を示す。
FIG. 6C is a mask image P2 generated by the
図6(d)は、図6(b)の修正画像P1と図6(c)のマスク画像P2とを重ね合わせて合成し、合成画像を投影装置4から車両後方に投影させたときに運転者が視認する景色E2を示す図である。
FIG. 6D shows the operation when the corrected image P1 in FIG. 6B and the mask image P2 in FIG. 6C are superimposed and synthesized, and the synthesized image is projected from the
図6(d)において、ガラスW1乃至W5にはマスク画像P2により投影装置4からの投影光が照射されておらず、サイドガラスW3を通して視認できる歩行者H1の一部(顔から肩の部分)は、投影画像ではなく実物である。
In FIG. 6D, the glasses W1 to W5 are not irradiated with the projection light from the
一方、後部座席S3の背もたれの部分を含むその他の部分(図中斜線部分)には投影装置4からの投影光が照射されており、歩行者H1の一部(下半身部分)は、投影装置4により投影された投影画像であって、歩行者H1の実物部分(顔から肩の部分)に適合(実物と投影画像との連続性を確立することをいう。)するよう後部座席S3の部分に投影される。
On the other hand, the projection light from the
このように、車輌用表示装置100は、車室内の形状に左右されず、投影装置4により車室内の広い範囲に投影画像を投影させながらも、投影光が窓部分から外部に漏れ出すのを抑制し、漏れ出した投影光が投影画像に悪影響(例えば、ハレーション)を及ぼさないようにしたり、外部の歩行者や他車の運転手に悪影響(例えば、眩しくさせたりすることをいう。)を与えないようにしたりすることができる。
As described above, the
次に、図7を参照しながら、車輌用表示装置100が投影画像を生成する処理の別の実施例について説明する。
Next, another embodiment of the process in which the
図7(a)は、車室内撮像装置3が撮像した車室内画像P3を示す図であり、リアガラスW1、サイドガラスW2乃至W5、後部座席S1乃至S3、後部座席S1に着席した乗員H2、および、リアガラスW1付近に置かれた荷物T2を示す。
FIG. 7A is a diagram showing a vehicle interior image P3 captured by the vehicle
図7(b)は、車室外撮像装置2が撮像した景色画像を加工して運転者の視点から見た画像とした修正画像P4を示す図であり、車輌後方に存在する歩行者H3を示す。なお、歩行者H3は、荷物T2の陰に隠れ、運転者からは視認できない状態である。
FIG. 7B is a diagram showing a modified image P4 obtained by processing the scenery image captured by the vehicle
図7(c)は、マスク手段11により生成されたマスク画像P5であり、輝度認識手段12により認識された投影光の影響を受ける部分(図中斜線部分)と乗員H2の顔部分(図中灰色部分)がマスクされた状態を示す。乗員H2の顔部分をマスク処理するのは、投影装置4の投影光が乗員H2の顔部分に照射されるのを防止するためである。
FIG. 7C shows a mask image P5 generated by the mask means 11, and a portion (shaded portion in the figure) affected by the projection light recognized by the luminance recognition means 12 and a face portion of the occupant H2 (in the figure). The gray part) is masked. The reason for masking the face portion of the occupant H2 is to prevent the projection light of the
ここで、投影光の影響を受ける部分(ガラス領域に相当)は、上述のように輝度認識手段12により認識されるが、画像認識手段13によるパターンマッチング処理等の画像処理により、車室内撮像装置3が撮像した車室内画像P3からガラスW1乃至W5を認識し、投影光の影響を受ける部分を認識するようにしてもよい。なお、歩行者H2の顔部分は、画像認識手段13によるパターンマッチング処理等により認識される。
Here, the portion affected by the projection light (corresponding to the glass region) is recognized by the
また、リアガラスW1の前に置かれた荷物T2の部分は、投影光の影響を受ける部分に含まれず、マスク処理が行われない。荷物T2の部分からは、投影装置4の投影光が外部に漏れ出さないからである。
Further, the portion of the luggage T2 placed in front of the rear glass W1 is not included in the portion affected by the projection light, and the mask process is not performed. This is because the projection light of the
このように、車輌用表示装置100は、ガラス付近に荷物が置かれた場合等、投影光の影響を受ける部分の大きさが変化した場合であっても、輝度認識手段12により投影光の影響を受ける部分を再認識させることにより、投影光の影響を受ける部分の大きさを更新し、リアガラスW1前に置かれた荷物T2にも投影画像を確実に投影させて運転者の視認性を向上させることができる。
In this way, the
図7(d)は、図7(b)の修正画像P4と図7(c)のマスク画像P5とを重ね合わせて合成し、その合成画像を投影装置4から車両後方に投影させたときに運転者が視認する景色E3を示す図である。
FIG. 7D shows a case where the corrected image P4 in FIG. 7B and the mask image P5 in FIG. 7C are superimposed and synthesized, and the synthesized image is projected from the
図7(d)において、ガラスW1乃至W5および乗員H2の顔部分にはマスク画像P5により投影装置4からの投影光が照射されていない。
In FIG. 7D, the projection light from the
その他の部分には投影装置4からの投影光が照射されており、図7(d)の歩行者H3は、投影装置4により投影された投影画像であって、運転者の注意を喚起するよう、例えば、赤色に着色されて投影されたり、点滅する「歩行者」の文字Lが周辺に付加された状態で投影されたりする。
The other portions are irradiated with projection light from the
以上の構成により、車輌用表示装置100は、遮蔽物の配置、形状、大きさ等の違いにかかわらず、運転者の死角にある物体を運転者に分かり易く表示することができるので、遮蔽物の配置、形状、大きさ等の異なる多種類の車輌に仕様を変更することなく適用することができる。
With the above configuration, the
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。 The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.
例えば、上述の実施例では、車輌用表示装置100は、付加情報として「歩行者」の文字や歩行者までの距離等を投影するが、車輌の境界を示すワイヤフレームを投影するようにしてもよい。
For example, in the above-described embodiment, the
1 制御部
2 車室外撮像装置
3 車室内撮像装置
4 投影装置
10 画像生成手段
11 マスク手段
12 輝度認識手段
13 画像認識手段
14 情報付加手段
15 投影制御手段
31 カメラレンズ
41 プロジェクタレンズ
D1〜D7 死角領域
E1〜E3 運転者が視認する景色
G 明領域
H1〜H3 人
P、P1〜P5 画像
R 撮像範囲
S、S1〜S3 後部座席
T1、T2 荷物
V 車輌
W1〜W5 ガラス領域
X 壁面
DESCRIPTION OF
Claims (6)
前記撮像手段により撮像された景色画像を加工して運転者の視点から見た画像に相当する修正画像を生成する画像生成手段と、
前記画像生成手段により生成された修正画像のうちの少なくとも一部分を表示しないようマスクするマスク手段と、
前記マスク手段により少なくとも一部分がマスクされた前記修正画像を車室内に投影する投影手段と、を備え、
前記マスク手段は、前記修正画像のうち、前記投影手段による投影光が車外に漏れることにより明るさが増大する部分をマスクする、
ことを特徴とする車輌用表示装置。 Imaging means for imaging the scenery outside the vehicle;
Image generating means for processing a landscape image picked up by the image pickup means and generating a corrected image corresponding to an image viewed from the viewpoint of the driver;
Mask means for masking not to display at least a part of the corrected image generated by the image generation means;
Projecting means for projecting the corrected image at least partially masked by the mask means into a vehicle interior;
It said mask means, among the modified image, to mask a portion where the brightness increases by projecting light by the projection unit leaks to the outside of the vehicle,
A display device for a vehicle.
前記撮像手段により撮像された景色画像を加工して運転者の視点から見た画像に相当する修正画像を生成する画像生成手段と、
前記画像生成手段により生成された修正画像のうちの少なくとも一部分を表示しないようマスクするマスク手段と、
前記マスク手段により少なくとも一部分がマスクされた前記修正画像を車室内に投影する投影手段と、
前記撮像手段により撮像される景色画像において、前記投影手段からの投影光により輝度が所定値以上となる部分を認識する輝度認識手段と、を備え、
前記マスク手段は、前記輝度認識手段により認識された部分をマスクする、
ことを特徴とする車輌用表示装置。 Imaging means for imaging the scenery outside the vehicle;
Image generating means for processing a landscape image picked up by the image pickup means and generating a corrected image corresponding to an image viewed from the viewpoint of the driver;
Mask means for masking not to display at least a part of the corrected image generated by the image generation means;
Projecting means for projecting the modified image, at least partially masked by the mask means, into a vehicle interior;
Luminance recognition means for recognizing a portion of the landscape image captured by the imaging means, the luminance of which is greater than or equal to a predetermined value by the projection light from the projection means,
The mask means masks a portion recognized by the luminance recognition means;
A display device for a vehicle.
前記撮像手段により撮像された景色画像を加工して運転者の視点から見た画像に相当する修正画像を生成する画像生成手段と、
前記画像生成手段により生成された修正画像のうちの少なくとも一部分を表示しないようマスクするマスク手段と、
前記マスク手段により少なくとも一部分がマスクされた前記修正画像を車室内に投影する投影手段と、
前記投影手段により輝度を変化させながら所定画像を投影させた場合に、前記撮像手段により撮像された景色画像において輝度が変化する部分を認識する輝度認識手段と、を備え、
前記マスク手段は、前記輝度認識手段により認識された部分をマスクする、
ことを特徴とする車輌用表示装置。 Imaging means for imaging the scenery outside the vehicle;
Image generating means for processing a landscape image picked up by the image pickup means and generating a corrected image corresponding to an image viewed from the viewpoint of the driver;
Mask means for masking not to display at least a part of the corrected image generated by the image generation means;
Projecting means for projecting the modified image, at least partially masked by the mask means, into a vehicle interior;
A luminance recognizing unit for recognizing a portion where the luminance changes in the landscape image captured by the imaging unit when a predetermined image is projected while the luminance is changed by the projection unit;
The mask means masks a portion recognized by the luminance recognition means;
A display device for a vehicle.
前記車室内撮像手段により撮像された車室内画像から所定物を認識する画像認識手段と、を備え、
前記マスク手段は、前記修正画像のうち前記画像認識手段により認識された所定物の部分をマスクする、
ことを特徴とする請求項1乃至3の何れか一項に記載の車輌用表示装置。 Vehicle interior imaging means for imaging a vehicle interior area where the corrected image is projected by the projection means;
Image recognition means for recognizing a predetermined object from the vehicle interior image captured by the vehicle interior imaging means,
The mask means masks a predetermined portion of the corrected image recognized by the image recognition means;
The vehicle display device according to any one of claims 1 to 3, wherein the display device for a vehicle is used.
ことを特徴とする請求項4に記載の車輌用表示装置。 The predetermined object is a window or the face of an occupant.
The vehicle display device according to claim 4.
前記画像認識手段により認識された所定物に関する情報を前記修正画像に付加する情報付加手段と、
を備えることを特徴とする請求項1乃至5の何れか一項に記載の車輌用表示装置。 Image recognition means for recognizing a predetermined object from the landscape image captured by the imaging means;
Information adding means for adding information on the predetermined object recognized by the image recognition means to the corrected image;
The vehicle display device according to any one of claims 1 to 5, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006178698A JP4775139B2 (en) | 2006-06-28 | 2006-06-28 | Vehicle display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006178698A JP4775139B2 (en) | 2006-06-28 | 2006-06-28 | Vehicle display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008009654A JP2008009654A (en) | 2008-01-17 |
JP4775139B2 true JP4775139B2 (en) | 2011-09-21 |
Family
ID=39067822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006178698A Expired - Fee Related JP4775139B2 (en) | 2006-06-28 | 2006-06-28 | Vehicle display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4775139B2 (en) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4862775B2 (en) * | 2007-03-26 | 2012-01-25 | アイシン・エィ・ダブリュ株式会社 | Driving support method and driving support device |
JP2009187424A (en) * | 2008-02-08 | 2009-08-20 | Alpine Electronics Inc | Perimeter monitoring device and perimeter monitoring method |
JP6039988B2 (en) * | 2012-10-04 | 2016-12-07 | 矢崎総業株式会社 | Rear seat belt belt support device |
JP6083338B2 (en) * | 2013-07-08 | 2017-02-22 | 株式会社デンソー | Projection display |
JP2017181588A (en) * | 2016-03-28 | 2017-10-05 | 大日本印刷株式会社 | Projection device, shield, projection method and projection program |
JP2017191378A (en) | 2016-04-11 | 2017-10-19 | 富士通テン株式会社 | Augmented reality information display device and augmented reality information display method |
JP6585571B2 (en) | 2016-09-21 | 2019-10-02 | 矢崎総業株式会社 | Display device and vehicle door |
JP6527849B2 (en) | 2016-11-07 | 2019-06-05 | 矢崎総業株式会社 | Display device and interior member unit |
DE102017206312A1 (en) * | 2017-04-12 | 2018-10-18 | Ford Global Technologies, Llc | Support handling of an object located within a passenger compartment and motor vehicle |
JP2019073091A (en) * | 2017-10-13 | 2019-05-16 | トヨタ自動車株式会社 | Vehicular display apparatus |
JP7131210B2 (en) * | 2018-08-30 | 2022-09-06 | 株式会社Jvcケンウッド | Display device, display method and program |
JP7131209B2 (en) * | 2018-08-30 | 2022-09-06 | 株式会社Jvcケンウッド | Display device, display method and program |
US11900835B2 (en) * | 2018-11-27 | 2024-02-13 | Koito Manufacturing Co., Ltd. | Vehicular display device |
JP7103194B2 (en) * | 2018-12-06 | 2022-07-20 | 株式会社Jvcケンウッド | Display device, discrimination method and irradiation method |
JP7010200B2 (en) * | 2018-12-06 | 2022-02-10 | 株式会社Jvcケンウッド | Display device, discrimination method and irradiation method |
JP7208459B2 (en) * | 2019-03-18 | 2023-01-19 | 株式会社Jvcケンウッド | Area setting method and display device |
JP7257200B2 (en) * | 2019-03-19 | 2023-04-13 | ヤマハ発動機株式会社 | Ships and navigation aids |
JP7321911B2 (en) * | 2019-12-02 | 2023-08-07 | 株式会社クボタ | work machine |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005184225A (en) * | 2003-12-17 | 2005-07-07 | Denso Corp | Vehicular display |
JP4280648B2 (en) * | 2004-01-16 | 2009-06-17 | 株式会社ホンダロック | Vehicle visibility assist device |
-
2006
- 2006-06-28 JP JP2006178698A patent/JP4775139B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008009654A (en) | 2008-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4775139B2 (en) | Vehicle display device | |
US7825953B2 (en) | Vehicular image display apparatus | |
US20180265002A1 (en) | Onboard display device, control method for onboard display device, and control program for onboard display device | |
US6911997B1 (en) | Monitoring system, camera adjusting method and vehicle monitoring system | |
US10029621B2 (en) | Rear view camera system using rear view mirror location | |
JP5459154B2 (en) | Vehicle surrounding image display apparatus and method | |
US20160134815A1 (en) | Driving assist device | |
JP2014116756A (en) | Periphery monitoring system | |
JP4248570B2 (en) | Image processing apparatus and visibility support apparatus and method | |
JP4315968B2 (en) | Image processing apparatus and visibility support apparatus and method | |
JP2005191962A (en) | Moving object circumference monitoring apparatus and moving object | |
JP2006188224A (en) | Night vision system for vehicle, light source operation system and its control method | |
WO2017022172A1 (en) | Vehicular display device and display method | |
WO2011030699A1 (en) | Device for monitoring surroundings of vehicle | |
JP2010130647A (en) | Vehicle periphery checking system | |
US10399496B2 (en) | Viewing device for vehicle and method of displaying viewed image for vehicle | |
JP5712821B2 (en) | Shooting display control system | |
JP2014235639A (en) | Vehicle display device | |
JP2019034692A (en) | Visually recognizing device for vehicle | |
JP2010076480A (en) | Driving assistance system for vehicle | |
WO2022190166A1 (en) | Image processing device, image processing method, and image processing program | |
JP2014236415A (en) | Vehicle display device | |
JP5617678B2 (en) | Vehicle display device | |
JP2015070280A (en) | Image processing system, camera system, and image processing method | |
KR20190040841A (en) | A frame image display device for providing a blind spot image of an a-pillar frame of a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110531 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110613 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4775139 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140708 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |