JP2018091969A - Image display system and image display method - Google Patents

Image display system and image display method Download PDF

Info

Publication number
JP2018091969A
JP2018091969A JP2016234408A JP2016234408A JP2018091969A JP 2018091969 A JP2018091969 A JP 2018091969A JP 2016234408 A JP2016234408 A JP 2016234408A JP 2016234408 A JP2016234408 A JP 2016234408A JP 2018091969 A JP2018091969 A JP 2018091969A
Authority
JP
Japan
Prior art keywords
image
vehicle
captured
joint position
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016234408A
Other languages
Japanese (ja)
Inventor
康兵 後藤
Kohei Goto
康兵 後藤
貴夫 今井
Takao Imai
貴夫 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2016234408A priority Critical patent/JP2018091969A/en
Priority to PCT/JP2017/035996 priority patent/WO2018100870A1/en
Publication of JP2018091969A publication Critical patent/JP2018091969A/en
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image display system and an image display method that can make it easy for a user to see a combined image of a plurality of photographic images.SOLUTION: An image display system 40 includes: an image acquisition unit 42 for acquiring a plurality of photographic images; an image combination unit 44 for combining the plurality of photographic images; and a display device 16 for displaying a combined photographic image. The image display system 40 further includes a detection unit 20 and a position adjustment unit 48. The detection unit 20 detects distance between the display device 16 and positions of eyes of a user. On the basis of the detected distance, the position adjustment unit 48 adjusts connection positions for combining the plurality of photographic images.SELECTED DRAWING: Figure 3

Description

本発明は、画像表示システム及び画像表示方法に関する。   The present invention relates to an image display system and an image display method.

下記特許文献1には、車両後方の映像を表示する後方確認装置及び確認方法が開示されている。この後方確認装置及び確認方法では、ルームミラーモニタの中央部が通常表示範囲とされ、左右両端部が縮小表示範囲とされて、1つの後方カメラにより撮影された車両後方の映像がルームミラーモニタに表示される。そして、運転者の目線の意識的な動き、例えば右側に目線を向けたとき、ルームミラーモニタの右側端部の縮小表示範囲が左右方向に拡大される。   Patent Document 1 listed below discloses a rear confirmation device and a confirmation method for displaying an image behind a vehicle. In this rear confirmation device and confirmation method, the center part of the rearview mirror monitor is the normal display range, the left and right end parts are the reduced display range, and the rear image of the vehicle photographed by one rear camera is displayed on the rearview mirror monitor. Is displayed. Then, when the driver's line of sight moves consciously, for example, when the line of sight is directed to the right side, the reduced display range at the right end of the room mirror monitor is expanded in the left-right direction.

ところで、自動車等の車両はミラーレス化の傾向にある。ミラーレス化では、後方カメラにより撮影された車両幅方向中間の車両後方の撮影画像と、左右サイドドアミラーに相当する左側及び右側カメラにより撮影された車両幅方向両端部の車両後方の撮影画像とが、画像合成されてルームミラーモニタに表示される。つまり、ルームミラーモニタでは、中央に後方カメラにより撮影された撮影画像が表示され、左側に左側カメラにより撮影された撮影画像が表示され、そして右側に右側カメラにより撮影された撮影画像が表示される。   By the way, vehicles such as automobiles tend to be mirrorless. In the mirrorless configuration, an image of the rear of the vehicle in the middle of the vehicle width taken by the rear camera and an image of the rear of the vehicle taken by the left and right cameras corresponding to the left and right side door mirrors are taken. The images are combined and displayed on the rearview mirror monitor. That is, in the room mirror monitor, a captured image captured by the rear camera is displayed at the center, a captured image captured by the left camera is displayed on the left side, and a captured image captured by the right camera is displayed on the right side. .

ルームミラーモニタには3つの撮影画像が合成されて表示されるが、撮影画像同士の境界が繋ぎ目となり、ブラインドとなる部分が発生する。また、運転者の身長差や体格差により、ルームミラーモニタの見え方や見易さが異なる。例えば、運転者の目の位置がルームミラーモニタから遠いと中央に表示された車両後方の撮影画像が見難く、逆に近いと同一の車両後方の撮影画像が見易くなる。このため、撮影画像の繋ぎ目位置が設定し難く、対策が望まれていた。   The three mirrored images are combined and displayed on the room mirror monitor, but the boundary between the captured images becomes a joint and a blind portion occurs. In addition, the visibility and visibility of the rearview mirror monitor vary depending on the height and physique differences of the driver. For example, if the driver's eyes are far from the rearview mirror monitor, it is difficult to see the captured image of the rear of the vehicle displayed in the center. For this reason, it is difficult to set the joint position of the captured image, and a countermeasure has been desired.

特開2016−49953号公報JP 2016-49953 A

本発明は、上記事実を考慮し、合成された複数の撮影画像をユーザに合わせて見易くすることができる画像表示システム及び画像表示方法を提供する。   In consideration of the above-described facts, the present invention provides an image display system and an image display method capable of making it easy to see a plurality of combined captured images for a user.

上記課題を解決するため、本発明の第1実施態様に係る画像表示システムは、複数の撮影画像を取得する画像取得部と、画像取得部により取得された複数の撮影画像を合成する画像合成部と、画像合成部により合成された複数の撮影画像を表示する表示装置と、表示装置とユーザの目の位置との距離を検出する検出部と、検出部により検出された距離に基づいて、複数の撮影画像を合成する繋ぎ目位置を調整する位置調整部と、を備えている。   In order to solve the above problems, an image display system according to a first embodiment of the present invention includes an image acquisition unit that acquires a plurality of captured images, and an image composition unit that combines the plurality of captured images acquired by the image acquisition unit. A display device that displays a plurality of photographed images synthesized by the image synthesis unit, a detection unit that detects the distance between the display device and the position of the user's eyes, and a plurality of values based on the distances detected by the detection unit A position adjusting unit that adjusts a joint position for combining the captured images.

第1実施態様に係る画像表示システムは、画像取得部と、画像合成部と、表示装置とを備える。画像取得部は複数の撮影画像を取得する。画像合成部は画像取得部により取得された複数の撮影画像を合成する。表示装置は画像合成部により合成された複数の撮影画像を表示する。   The image display system according to the first embodiment includes an image acquisition unit, an image composition unit, and a display device. The image acquisition unit acquires a plurality of captured images. The image composition unit synthesizes a plurality of captured images acquired by the image acquisition unit. The display device displays a plurality of captured images combined by the image combining unit.

ここで、画像表示システムは、検出部及び位置調整部を更に備える。検出部は、表示装置とユーザの目の位置との距離を検出する。位置調整部は、検出部により検出された距離に基づいて、複数の撮影画像を合成する繋ぎ目位置を調整する。このため、表示装置に表示される複数の撮影画像の繋ぎ目位置を、表示装置とユーザの目の位置との距離に基づいてユーザ毎に調整することができる。   Here, the image display system further includes a detection unit and a position adjustment unit. The detection unit detects a distance between the display device and the position of the user's eyes. The position adjustment unit adjusts a joint position where a plurality of captured images are combined based on the distance detected by the detection unit. For this reason, the joint position of the several picked-up image displayed on a display apparatus can be adjusted for every user based on the distance of a display apparatus and a user's eye position.

本発明の第2実施態様に係る画像表示システムは、車両幅方向一端側の車両後方の第1撮影画像、車両幅方向中間の車両後方の第2撮影画像及び車両幅方向他端側の車両後方の第3撮影画像を取得する画像取得部と、画像取得部により取得された第1撮影画像、第2撮影画像及び第3撮影画像を合成する画像合成部と、画像合成部により合成された第1撮影画像、第2撮影画像及び第3撮影画像を表示する表示装置と、表示装置と運転席に着座状態の運転者の目の位置との距離を検出する検出部と、検出部により検出された距離に基づいて、第1撮影画像と第2撮影画像とを合成する第1繋ぎ目位置及び第2撮影画像と第3撮影画像とを合成する第2繋ぎ目位置を調整する位置調整部と、を備えている。   The image display system according to the second embodiment of the present invention includes a first captured image at the rear of the vehicle at one end in the vehicle width direction, a second captured image at the rear of the vehicle at the middle in the vehicle width direction, and the rear of the vehicle at the other end in the vehicle width direction. An image acquisition unit that acquires the third captured image, an image composition unit that combines the first captured image, the second captured image, and the third captured image acquired by the image acquisition unit, and a first image combined by the image composition unit. A display device that displays the first photographed image, the second photographed image, and the third photographed image, a detection unit that detects a distance between the display device and the eye position of the driver seated in the driver's seat, and a detection unit that detects A position adjusting unit for adjusting a first joint position for combining the first photographed image and the second photographed image and a second joint position for synthesizing the second photographed image and the third photographed image based on the measured distance. It is equipped with.

第2実施態様に係る画像表示システムでは、画像取得部と、画像合成部と、表示装置とを備える。画像取得部は、車両幅方向一端側の車両後方の第1撮影画像、車両幅方向中間の車両後方の第2撮影画像及び車両幅方向他端側の車両後方の第3撮影画像を取得する。画像合成部は、画像取得部により取得された第1撮影画像、第2撮影画像及び第3撮影画像を合成する。表示装置は、画像合成部により合成された第1撮影画像、第2撮影画像及び第3撮影画像を表示する。   The image display system according to the second embodiment includes an image acquisition unit, an image composition unit, and a display device. The image acquisition unit acquires a first captured image behind the vehicle on one end side in the vehicle width direction, a second captured image behind the vehicle in the middle in the vehicle width direction, and a third captured image behind the vehicle on the other end side in the vehicle width direction. The image composition unit synthesizes the first captured image, the second captured image, and the third captured image acquired by the image acquisition unit. The display device displays the first captured image, the second captured image, and the third captured image combined by the image combining unit.

ここで、画像表示システムは、検出部及び位置調整部を更に備える。検出部は、表示装置と運転席に着座状態の運転者の目の位置との距離を検出する。位置調整部は、検出部により検出された距離に基づいて、第1撮影画像と第2撮影画像とを合成する第1繋ぎ目位置及び第2撮影画像と第3撮影画像とを合成する第2繋ぎ目位置を調整する。このため、表示装置に表示される第1繋ぎ目位置及び第2繋ぎ目位置を、表示装置と運転者の目の位置との距離に基づいてユーザ毎に調整することができる。   Here, the image display system further includes a detection unit and a position adjustment unit. The detection unit detects the distance between the display device and the position of the eyes of the driver seated in the driver's seat. The position adjusting unit is configured to combine the first joint image and the second photographed image with the first photographed image and the second photographed image based on the distance detected by the detector, and to combine the second photographed image and the third photographed image. Adjust the joint position. Therefore, the first joint position and the second joint position displayed on the display device can be adjusted for each user based on the distance between the display device and the driver's eye position.

本発明の第3実施態様に係る画像表示システムでは、第2実施態様に係る画像表示システムにおいて、位置調整部は、距離が基準値よりも長いとき、第1繋ぎ目位置と第2繋ぎ目位置との間隔を広く調整し、距離が基準値よりも短いとき、第1繋ぎ目位置と第2繋ぎ目位置との間隔を狭く調整する。   In the image display system according to the third embodiment of the present invention, in the image display system according to the second embodiment, when the distance is longer than the reference value, the position adjustment unit is configured to connect the first joint position and the second joint position. And the distance between the first joint position and the second joint position is adjusted narrowly when the distance is shorter than the reference value.

第3実施態様に係る画像表示システムによれば、表示装置と運転者の目の位置との距離が長く目の位置が表示装置から遠いときに、第1繋ぎ目位置と第2繋ぎ目位置との間隔を広くして、車両後方の第2撮影画像を見易くさせることができる。
一方、表示装置と運転者の目の位置との距離が短く目の位置が近いときに、第1繋ぎ目位置と第2繋ぎ目位置との間隔を狭くして、車両後方の第1撮影画像、第3撮影画像のそれぞれを見易くさせることができる。
According to the image display system according to the third embodiment, when the distance between the display device and the driver's eye position is long and the eye position is far from the display device, the first joint position and the second joint position are Can be widened to make it easier to see the second captured image behind the vehicle.
On the other hand, when the distance between the display device and the driver's eye position is short and the eye position is close, the distance between the first seam position and the second seam position is narrowed, and the first photographed image behind the vehicle. Each of the third photographed images can be easily seen.

本発明の第4実施態様に係る画像表示システムは、第2実施態様又は第3実施態様に係る画像表示システムにおいて、検出部は、距離をリアルタイムに検出し、位置調整部は、リアルタイムに検出された距離に基づいて、第1繋ぎ目位置及び第2繋ぎ目位置をリアルタイムに調整する。   In the image display system according to the fourth embodiment of the present invention, in the image display system according to the second embodiment or the third embodiment, the detection unit detects the distance in real time, and the position adjustment unit is detected in real time. Based on the measured distance, the first joint position and the second joint position are adjusted in real time.

第4実施態様に係る画像表示システムによれば、表示装置と運転者の目の位置との距離がリアルタイムに検出されるので、第1繋ぎ目位置と第2繋ぎ目位置との間隔をリアルタイムに調整することができる。   According to the image display system according to the fourth embodiment, since the distance between the display device and the driver's eye position is detected in real time, the distance between the first joint position and the second joint position is real time. Can be adjusted.

本発明の第5実施態様に係る画像表示システムは、第2実施態様〜第4実施態様のいずれか1つに係る画像表示システムにおいて、表示装置は、車両用インナーミラーに設けられている。   An image display system according to a fifth embodiment of the present invention is the image display system according to any one of the second to fourth embodiments, wherein the display device is provided on the inner mirror for the vehicle.

第5実施態様に係る画像表示システムによれば、表示装置が車両用インナーミラーに設けられるので、車両用インナーミラーにおいて合成された第1撮影画像、第2撮影画像及び第3撮影画像を運転者毎に見易くすることができる。   According to the image display system of the fifth embodiment, since the display device is provided on the vehicle inner mirror, the first photographed image, the second photographed image, and the third photographed image synthesized in the vehicle inner mirror are displayed on the driver. It can be easy to see every time.

本発明の第6実施態様に係る画像表示システムは、第2実施態様〜第5実施態様に係る画像表示システムにおいて、第1撮影画像を撮影する第1カメラと、第2撮影画像を撮影する第2カメラと、第3撮影画像を撮影する第3カメラと、を更に備えている。   An image display system according to a sixth embodiment of the present invention is the image display system according to any of the second to fifth embodiments, wherein the first camera that captures the first captured image and the second camera that captures the second captured image. 2 cameras, and a third camera that captures a third captured image.

第6実施態様に係る画像表示システムは、第1カメラ、第2カメラ及び第3カメラを備える。第1カメラは第1撮影画像を撮影する。第2カメラは第2撮影画像を撮影する。第3カメラは第3撮影画像を撮影する。これらの第1〜第3カメラを含んで画像表示システムを簡易に構築することができる。   The image display system according to the sixth embodiment includes a first camera, a second camera, and a third camera. The first camera captures the first captured image. The second camera captures the second captured image. The third camera captures a third captured image. An image display system including these first to third cameras can be easily constructed.

本発明の第7実施態様に係る画像表示方法は、車両幅方向一端側の車両後方の第1撮影画像、車両幅方向中間の車両後方の第2撮影画像及び車両幅方向他端側の車両後方の第3撮影画像を取得するステップと、表示装置と運転席に着座状態の運転者の目の位置との距離を検出するステップと、検出された距離に基づいて、第1撮影画像と第2撮影画像とを合成する第1繋ぎ目位置及び第2撮影画像と第3撮影画像とを合成する第2繋ぎ目位置を調整するステップと、調整された第1繋ぎ目位置及び第2繋ぎ目位置において第1撮影画像、第2撮影画像及び第3撮影画像を合成するステップと、合成された第1撮影画像、第2撮影画像及び第3撮影画像を表示装置に表示するステップと、を備えている。   The image display method according to the seventh embodiment of the present invention includes a first captured image at the rear of the vehicle at one end in the vehicle width direction, a second captured image at the rear of the vehicle at the middle in the vehicle width direction, and the rear of the vehicle at the other end in the vehicle width direction. Acquiring the third captured image, detecting the distance between the display device and the position of the eyes of the driver seated in the driver's seat, and the first captured image and the second based on the detected distance. Adjusting the first joint position for combining the photographed image and the second joint position for synthesizing the second photographed image and the third photographed image; and the adjusted first joint position and second joint position; And a step of combining the first photographed image, the second photographed image, and the third photographed image, and a step of displaying the synthesized first photographed image, second photographed image, and third photographed image on a display device. Yes.

第7実施態様に係る画像表示方法では、車両幅方向一端側の車両後方の第1撮影画像、車両幅方向中間の車両後方の第2撮影画像及び車両幅方向他端側の車両後方の第3撮影画像が取得される。一方、表示装置と運転席に着座状態の運転者の目の位置との距離が検出される。検出された距離に基づいて、第1撮影画像と第2撮影画像とを合成する第1繋ぎ目位置及び第2撮影画像と第3撮影画像とを合成する第2繋ぎ目位置が調整される。調整された第1繋ぎ目位置及び第2繋ぎ目位置において第1撮影画像、第2撮影画像及び第3撮影画像が合成され、この複数の撮影画像が表示装置に表示される。
このため、表示装置に表示される第1繋ぎ目位置及び第2繋ぎ目位置を、表示装置と運転者の目の位置との距離に基づいて運転者毎に調整することができる。
In the image display method according to the seventh embodiment, a first captured image behind the vehicle on one end side in the vehicle width direction, a second captured image behind the vehicle in the middle in the vehicle width direction, and a third image behind the vehicle on the other end side in the vehicle width direction. A captured image is acquired. On the other hand, the distance between the display device and the position of the eyes of the driver sitting in the driver's seat is detected. Based on the detected distance, the first joint position where the first photographed image and the second photographed image are combined and the second joint position where the second photographed image and the third photographed image are combined are adjusted. The first photographed image, the second photographed image, and the third photographed image are synthesized at the adjusted first joint position and second joint position, and the plurality of photographed images are displayed on the display device.
Therefore, the first joint position and the second joint position displayed on the display device can be adjusted for each driver based on the distance between the display device and the driver's eye position.

本発明によれば、合成された複数の撮影画像をユーザに合わせて見易くすることができる画像表示システム及び画像表示方法を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the image display system and image display method which can make it easy to see a some composite image | photographed image according to a user can be provided.

本発明の実施の形態に係る画像表示システム及び画像表示方法が適用される車両用インナーミラーを運転席に着座状態の運転者から見た正面図である。1 is a front view of an inner mirror for a vehicle to which an image display system and an image display method according to an embodiment of the present invention are applied, as viewed from a driver seated in a driver's seat. 本実施の形態に係る画像表示システム及び画像表示方法が適用される車両(自動車)を車両上方から見た平面図である。It is the top view which looked at the vehicle (automobile) with which the image display system and image display method which concern on this Embodiment are applied from the vehicle upper direction. 本実施の形態に係る画像表示システムのシステムブロック構成図である。It is a system block block diagram of the image display system which concerns on this Embodiment. 本実施の形態に係る画像表示システムの検出部による表示装置と運転者の目の位置との距離の検出方法を説明する概念図である。It is a conceptual diagram explaining the detection method of the distance of the display apparatus and the position of a driver | operator's eye by the detection part of the image display system which concerns on this Embodiment. 本実施の形態に係る画像表示方法を説明するフローチャートである。It is a flowchart explaining the image display method which concerns on this Embodiment.

以下、図1〜図5を用いて、本発明の一実施の形態に係る画像表示システム及び画像表示方法を説明する。本実施の形態では、画像表示システム及び画像表示方法は自動車等の車両に適用されている。図中、適宜示される符号FRは、車両用インナーミラー(ルームミラーモニタ)のミラー前方側を示し、ここでは車両に車両用インナーミラーが装着された状態において車両前方側と一致する方向である。符号INは、ミラー幅方向内側を示し、車両幅方向内側に一致する方向である。そして、符号UPは、ミラー上方向を示し、車両上方向と一致する方向である。なお、本実施の形態に係る画像表示システム及び画像表示方法は一例として車両に装着され、車両の各方向に合わせて各構成要素を説明するが、適用方向が本実施の形態に限定されるものではない。   Hereinafter, an image display system and an image display method according to an embodiment of the present invention will be described with reference to FIGS. In the present embodiment, the image display system and the image display method are applied to a vehicle such as an automobile. In the drawing, reference numeral FR appropriately shown indicates the mirror front side of the vehicle inner mirror (room mirror monitor), and here, the direction coincides with the vehicle front side when the vehicle inner mirror is mounted on the vehicle. The symbol IN indicates the inner side in the mirror width direction, and is the direction that matches the inner side in the vehicle width direction. Reference sign UP indicates the mirror upward direction, which is the same as the vehicle upward direction. The image display system and the image display method according to the present embodiment are mounted on a vehicle as an example, and each component will be described according to each direction of the vehicle. However, the application direction is limited to the present embodiment. is not.

(画像表示システムの構成)
まず最初に、図3に示されるように、本実施の形態に係る画像表示システム40は、画像取得部42と、画像合成部44と、画像出力部46と、表示装置16と、検出部20と、位置調整部48とを含んで構成されている。さらに、画像表示システム40は、撮像部としての第1カメラ22、第2カメラ24及び第3カメラ26の3つのカメラを備えて構築されている。
(Image display system configuration)
First, as shown in FIG. 3, the image display system 40 according to the present embodiment includes an image acquisition unit 42, an image composition unit 44, an image output unit 46, a display device 16, and a detection unit 20. And a position adjusting unit 48. Furthermore, the image display system 40 includes three cameras, ie, a first camera 22, a second camera 24, and a third camera 26 as an imaging unit.

第1カメラ22は、図2に示されるように、車両30において車両幅方向一端側としての左側部34、ここでは左側フロントサイドドアの外側に装着されている。第1カメラ22では、車両後方左側の映像が撮影され、第1撮像画像が生成される。第2カメラ22は、車両30において車両後部38の車両幅方向中間、ここではリアガラスの内側に装着されている。第2カメラ22では、車両後方中間の映像が撮影され、第2撮像画像が生成される。第3カメラ26は、車両30において車両幅方向他端側としての右側部36、ここでは右側フロントサイドドアの外側に装着されている。第3カメラ26では、車両後方右側の映像が撮影され、第3撮影画像が生成される。   As shown in FIG. 2, the first camera 22 is attached to the left side 34 as one end side in the vehicle width direction of the vehicle 30, here the outside of the left front side door. The first camera 22 captures a video on the left rear side of the vehicle and generates a first captured image. The second camera 22 is mounted on the vehicle 30 in the middle of the vehicle rear portion 38 in the vehicle width direction, here inside the rear glass. The second camera 22 captures an intermediate video at the rear of the vehicle and generates a second captured image. The third camera 26 is attached to the right side 36 as the other side in the vehicle width direction of the vehicle 30, here the outside of the right front side door. The third camera 26 captures a video on the right rear side of the vehicle, and generates a third captured image.

図3に戻って、画像取得部42は複数の撮影画像を取得する。詳しく説明すると、画像取得部42では、第1カメラ22から出力される車両後方左側の第1撮影画像、第2カメラ24から出力される車両後方中央の第2撮影画像、第3カメラ26から出力される車両後方右側の第3撮影画像が取得される。
画像合成部44は画像取得部42により取得された複数の撮影画像を合成する。画像合成部44では、具体的には、第2撮影画像を中央にして、第2撮影画像の左側に第1撮影画像を繋ぎ合わせ、かつ、第2撮像画像の右側に第3撮影画像を繋ぎ合わせ、1つの撮影画像として表示するための合成処理が行われる。
画像出力部46は画像合成部44において合成された複数の撮影画像を表示装置16に出力する。
Returning to FIG. 3, the image acquisition unit 42 acquires a plurality of captured images. More specifically, the image acquisition unit 42 outputs the first captured image output from the first camera 22 on the left rear side of the vehicle, the second captured image output from the second camera 24 at the center rear of the vehicle, and output from the third camera 26. The third captured image on the right rear side of the vehicle is acquired.
The image synthesis unit 44 synthesizes a plurality of captured images acquired by the image acquisition unit 42. Specifically, in the image composition unit 44, the second captured image is centered, the first captured image is connected to the left side of the second captured image, and the third captured image is connected to the right side of the second captured image. In addition, a composition process for displaying as one captured image is performed.
The image output unit 46 outputs a plurality of captured images combined by the image combining unit 44 to the display device 16.

表示装置16では、画像出力部46から出力された複数の撮影画像が図示を省略した1つの表示画面に表示される。表示装置16は、図2に示される車両30のフロントガラス32の車両幅方向中間の上部又はその近傍の車両室内の天井に装着された車両用インナーミラー10に組込まれている。詳しく説明すると、図1に示されるように、車両用インナーミラー10は、ミラー幅方向を長手方向とし、ミラー上下方向を短手方向とし、ミラー前後方向を厚さ方向とする中空直方体形状のミラー筐体12を有する。ミラー筐体12は支持アーム14を介してフロントガラス又は車両室内の天井に装着されている。ミラー筐体12のミラー後方側の壁にはミラー幅方向を長手方向とする矩形状の開口部(符号は省略する)が形成されている。   In the display device 16, a plurality of captured images output from the image output unit 46 are displayed on a single display screen (not shown). The display device 16 is incorporated in an inner mirror 10 for a vehicle that is mounted on the top of the windshield 32 of the vehicle 30 shown in FIG. More specifically, as shown in FIG. 1, the vehicle inner mirror 10 is a hollow rectangular mirror having a mirror width direction as a longitudinal direction, a mirror vertical direction as a short direction, and a mirror longitudinal direction as a thickness direction. A housing 12 is provided. The mirror housing 12 is mounted on a windshield or a ceiling in a vehicle compartment via a support arm 14. A rectangular opening (reference numeral is omitted) having a mirror width direction as a longitudinal direction is formed in the mirror rear wall of the mirror housing 12.

表示装置16はミラー筐体12の内部に組込まれ、このミラー筐体12の開口部と一致する、表示装置16の表示画面の矩形状に形成された有効領域が開口部を通して露出されている。表示装置16は、本実施の形態では、液晶ディスプレイ(LCD:Liquid Crystal Display)により構成されている。また、表示装置16には、有機エレクトロルミネッセンスディスプレイ(OELD:Organic Electro-Luminescence Display)等の他のディスプレイが使用されてもよい。
なお、図示を省略しているが、表示装置16の表示画面の前面にはハーフミラーが配置されている。また、特に配置位置が限定されるものではないが、ミラー筐体12の開口部下側には表示装置16のオン、オフを切換えるスイッチ18が配設されている。
The display device 16 is incorporated in the mirror housing 12, and an effective area formed in a rectangular shape on the display screen of the display device 16 that is coincident with the opening of the mirror housing 12 is exposed through the opening. In the present embodiment, the display device 16 is configured by a liquid crystal display (LCD). The display device 16 may be another display such as an organic electro-luminescence display (OELD).
Although not shown, a half mirror is arranged on the front surface of the display screen of the display device 16. Although the arrangement position is not particularly limited, a switch 18 for switching on and off of the display device 16 is disposed below the opening of the mirror housing 12.

図1に示される表示装置16において、表示画面の中央部分16Aには、画像出力部46(図3参照)から出力された複数の撮影画像の第2撮影画像が表示される。また、表示画面の左側部分16Bには、複数の撮影画像の第1撮影画像が表示される。そして、表示画面の右側部分16Cには、複数の撮影画像の第3撮影画像が表示される。
第2撮影画像と第1撮影画像との境界は、合成処理により撮影画像同士を繋ぎ合わせた第1繋ぎ目位置B1であり、ブラインドとなる部位である。また、第2撮影画像と第3撮影画像との境界は、同様に、第2繋ぎ目位置B2となる部位である。
In the display device 16 shown in FIG. 1, a second captured image of a plurality of captured images output from the image output unit 46 (see FIG. 3) is displayed in the central portion 16 </ b> A of the display screen. Further, the first captured image of a plurality of captured images is displayed on the left side portion 16B of the display screen. And the 3rd picked-up image of a some picked-up image is displayed on the right part 16C of a display screen.
The boundary between the second photographed image and the first photographed image is a first joint position B1 where the photographed images are joined by the synthesis process, and is a part that becomes a blind. Similarly, the boundary between the second photographed image and the third photographed image is a part that becomes the second joint position B2.

図1に示されるように、検出部20は、本実施の形態において、ミラー筐体12の開口部下側であってスイッチ18の右隣りに設けられている。車両30はここでは右ハンドル車である。図4に示されるように、検出部20は、この検出部20と、車両30の運転席に着座状態のユーザとしての運転者の目の位置50との距離L1を検知する。本実施の形態では、検出部20はミラー筐体12に表示装置16と近接して配置されているので、検出部20の配置位置は表示装置16の配置位置と実質的に等価とみなせる。従って、ここでは、表示装置16の特に表示画面と目の位置50との距離L1が検出部20により検知されることとする。
この意味では、結果として距離L1が検出されればよいので、検出部20は、ハンドル周り、インストルメントパネル等に設けて検出部20と目の位置50とを検出し、この検出結果から表示画面と目の位置50との距離L1が演算により算出されてもよい。
検出部20には、単眼カメラ、ステレオカメラ、位置センサ等を実用的に使用することができる。
As shown in FIG. 1, the detection unit 20 is provided on the right side of the switch 18 below the opening of the mirror housing 12 in the present embodiment. Here, the vehicle 30 is a right-hand drive vehicle. As shown in FIG. 4, the detection unit 20 detects a distance L <b> 1 between the detection unit 20 and the position 50 of the eyes of the driver as a user seated in the driver's seat of the vehicle 30. In the present embodiment, since the detection unit 20 is arranged in the mirror housing 12 in the vicinity of the display device 16, the arrangement position of the detection unit 20 can be regarded as substantially equivalent to the arrangement position of the display device 16. Accordingly, here, the distance L1 between the display screen 16 of the display device 16 and the eye position 50 is detected by the detection unit 20.
In this sense, the distance L1 only needs to be detected as a result. Therefore, the detection unit 20 detects the detection unit 20 and the eye position 50 by being provided around the handle, the instrument panel, and the like. A distance L1 between the eye position 50 and the eye position 50 may be calculated.
As the detection unit 20, a monocular camera, a stereo camera, a position sensor, or the like can be used practically.

また、本実施の形態では、検出部20は、リアルタイムに、例えば5秒〜10秒間隔において距離を検出する構成とされている。例えば、検出部20は、リアルタイム間隔において動作させてもよいし、常時動作状態においてリアルタイム間隔毎に検出結果を出力させてもよい。また、検出部20は常時動作状態において検出結果を常時出力し、位置調整部48がリアルタイム間隔に検出結果を取込む構成とされてもよい。   In the present embodiment, the detection unit 20 is configured to detect the distance in real time, for example, at intervals of 5 seconds to 10 seconds. For example, the detection unit 20 may operate at a real time interval, or may output a detection result at every real time interval in a constantly operating state. Alternatively, the detection unit 20 may be configured to always output the detection result in the normal operation state, and the position adjustment unit 48 captures the detection result at a real time interval.

ここで、図4に示されるように、目線の高さが同一の高さh2であっても、身長差や体格差により運転席を車両後方側へ移動させれば、位置p1から車両後方側の位置p2へ目の位置50は目の位置52として移動する。このとき、表示装置16と目の位置52との距離L2は距離L1よりも長くなる。また、同一の位置p1であっても、目線の高さが高さh2よりも低い高さh1とされたとき、表示装置16と目の位置54との距離L3は距離L1よりも長くなる。   Here, as shown in FIG. 4, even if the line of sight is the same height h2, if the driver's seat is moved to the vehicle rear side due to a height difference or a physique difference, the vehicle rear side from the position p1 The eye position 50 moves to the eye position 52 as the eye position 52. At this time, the distance L2 between the display device 16 and the eye position 52 is longer than the distance L1. Even at the same position p1, the distance L3 between the display device 16 and the eye position 54 is longer than the distance L1 when the height of the line of sight is a height h1 lower than the height h2.

図3に示される位置調整部48は、検出部20により検出された距離L1〜L3等に基づいて、図1に示される表示装置16に表示される第1繋ぎ目位置B1及び第2繋ぎ目位置B2の位置を調整する。詳しく説明すると、例えば、標準の身長及び体格を有する運転者が目の位置54とすると、距離L3が基準値とされ、位置調整部48は以下のように第1繋ぎ目位置B1及び第2繋ぎ目位置B2の位置を調整する。
目の位置52のとき、検出部20は距離L2を検出する。位置調整部48では、距離L2が基準値(距離L3)よりも長いので、第1繋ぎ目位置B1、第2繋ぎ目位置B2はそれぞれミラー幅方向外側の矢印B方向へ移動される。このため、第1繋ぎ目位置B1と第2繋ぎ目位置B2との間隔が広く調整されるので、表示画面の中央部分16Aがミラー幅方向へ広がり、第2撮影画像の表示範囲が広がる。
また、目の位置50のとき、検出部20は距離L1を検出する。位置調整部48では、距離L1が基準値(距離L3)よりも短いので、第1繋ぎ目位置B1、第2繋ぎ目位置B2はそれぞれミラー幅方向内側の矢印A方向へ移動される。このため、第1繋ぎ目位置B1と第2繋ぎ目位置B2との間隔が狭く調整されるので、表示画面の左側部分16B及び右側部分16Cがミラー幅方向へ広がり、第1撮影画像及び第3撮影画像の表示範囲がミラー幅方向へ広がり、第1撮影画像及び第3撮影画像の表示範囲が広がる。
なお、位置調整部48では、検出部20のリアルタイムの間隔に合わせて、第1繋ぎ目位置B1、第2繋ぎ目位置B2のそれぞれの位置が調整される。
The position adjustment unit 48 shown in FIG. 3 is based on the distances L1 to L3 detected by the detection unit 20, and the first joint position B1 and the second joint displayed on the display device 16 shown in FIG. The position B2 is adjusted. More specifically, for example, if a driver having a standard height and physique is the eye position 54, the distance L3 is set as a reference value, and the position adjusting unit 48 uses the first joint position B1 and the second joint as follows. The position of the eye position B2 is adjusted.
At the eye position 52, the detection unit 20 detects the distance L2. In the position adjustment unit 48, since the distance L2 is longer than the reference value (distance L3), the first joint position B1 and the second joint position B2 are respectively moved in the direction of arrow B on the outer side in the mirror width direction. For this reason, since the space | interval of 1st joint position B1 and 2nd joint position B2 is adjusted widely, the center part 16A of a display screen spreads in a mirror width direction, and the display range of a 2nd picked-up image spreads.
At the eye position 50, the detection unit 20 detects the distance L1. In the position adjustment unit 48, since the distance L1 is shorter than the reference value (distance L3), the first joint position B1 and the second joint position B2 are respectively moved in the direction of arrow A inside the mirror width direction. For this reason, since the interval between the first joint position B1 and the second joint position B2 is adjusted to be narrow, the left portion 16B and the right portion 16C of the display screen spread in the mirror width direction, and the first captured image and the third portion The display range of the captured image is expanded in the mirror width direction, and the display range of the first captured image and the third captured image is expanded.
The position adjusting unit 48 adjusts the positions of the first joint position B1 and the second joint position B2 in accordance with the real-time interval of the detection unit 20.

位置調整部48は、表示画面と目の位置との距離毎に、第1繋ぎ目位置B1と第2繋ぎ目位置B2との間隔を適宜設定したテーブルを備えている。すなわち、位置調整部48では、検出部20から出力される検出結果(距離)に基づいて、テーブルに記憶された間隔が呼出される。
なお、位置調整部48は、検出結果に基づいて、予め設定された演算式を用いて演算処理により間隔を算出する構成としてもよい。
The position adjustment unit 48 includes a table in which the interval between the first joint position B1 and the second joint position B2 is appropriately set for each distance between the display screen and the eye position. That is, the position adjustment unit 48 calls the interval stored in the table based on the detection result (distance) output from the detection unit 20.
Note that the position adjustment unit 48 may be configured to calculate the interval by calculation processing using a preset calculation formula based on the detection result.

図3に示される画像表示システム40の画像取得部42、画像合成部44、画像出力部46及び位置調整部48は、本実施の形態において図示を省略したが、実装基板に集積回路として実装されている。実装基板として、例えば印刷回路基板(PCB:Print Circuit Board)が使用されている。実装基板はミラー筐体12の内部に収納される構成とされている。   Although the image acquisition unit 42, the image synthesis unit 44, the image output unit 46, and the position adjustment unit 48 of the image display system 40 illustrated in FIG. 3 are omitted in the present embodiment, they are mounted as an integrated circuit on a mounting board. ing. For example, a printed circuit board (PCB) is used as the mounting board. The mounting board is configured to be housed in the mirror housing 12.

(画像表示方法)
図5に示されるフローチャートを用いて、前述の画像表示システム40による画像表示方法を説明する。この画像表示方法の説明では図1〜図4が適宜参酌される。
(Image display method)
The image display method by the above-mentioned image display system 40 is demonstrated using the flowchart shown by FIG. In the description of the image display method, FIGS.

画像表示方法では、まず最初に、図2及び図3に示される第1カメラ22を用いて第1撮影画像が撮影され、第2カメラ24を用いて第2撮影画像が撮影され、そして第3カメラ26を用いて第3撮影画像が撮影される(S1)。第1撮影画像は車両後方左側の映像である。第2撮影画像は車両後方中央の映像である。そして、第3撮影画像は車両後方右側の映像である。   In the image display method, first, a first photographed image is photographed using the first camera 22 shown in FIGS. 2 and 3, a second photographed image is photographed using the second camera 24, and the third A third photographed image is photographed using the camera 26 (S1). The first captured image is a video on the left rear side of the vehicle. The second photographed image is a video at the rear center of the vehicle. The third captured image is a video on the right rear side of the vehicle.

第1撮影画像、第2撮影画像及び第3撮影画像は、画像表示システム40の画像取得部42において取得される(S2)。画像取得部42に取得された第1撮影画像、第2撮影画像及び第3撮影画像は、画像合成部44において画像合成される(S3)。画像合成された第1撮影画像、第2撮影画像及び第3撮影画像は画像出力部46に出力され(S9)、更に画像出力部46から表示装置16に出力される(S10)。
図1に示されるように、表示装置16では、中央部分16Aに第2撮影画像が表示され、左側部分16Bに第1撮影画像が表示され、右側部分16Cに第3撮影画像が表示される。第2撮影画像と第1撮影画像との境界は第1繋ぎ目位置B1であり、第2撮影画像と第3撮影画像との境界は第2繋ぎ目位置B2である。第1繋ぎ目位置B1、第2繋ぎ目位置B2はいずれもブラインドとなる部分である。
The first captured image, the second captured image, and the third captured image are acquired by the image acquisition unit 42 of the image display system 40 (S2). The first captured image, the second captured image, and the third captured image acquired by the image acquisition unit 42 are combined in the image combining unit 44 (S3). The synthesized first image, second image, and third image are output to the image output unit 46 (S9), and further output from the image output unit 46 to the display device 16 (S10).
As shown in FIG. 1, in the display device 16, the second captured image is displayed in the central portion 16A, the first captured image is displayed in the left portion 16B, and the third captured image is displayed in the right portion 16C. The boundary between the second photographed image and the first photographed image is the first joint position B1, and the boundary between the second photographed image and the third photographed image is the second joint position B2. The first joint position B1 and the second joint position B2 are both blind portions.

ここで、表示装置16において、撮影画像の表示を継続するか否かが判断される(S11)。例えば、車両30のエンジンを停止したときには、車両後方の確認をする必要が無いので、表示の継続が行われない。このとき、画像表示方法の一連の動作は終了する。表示が継続されるときには、画像表示方法の初段に戻る。   Here, it is determined whether or not to continue displaying the captured image on the display device 16 (S11). For example, when the engine of the vehicle 30 is stopped, there is no need to check the rear of the vehicle, so that the display is not continued. At this time, a series of operations of the image display method ends. When the display is continued, the process returns to the first stage of the image display method.

一方、予め設定された時間が経過し、表示装置16に表示される第1撮影画像、第2撮影画像及び第3撮影画像において、第1繋ぎ目位置B1及び第2繋ぎ目位置B2を切換えるか否かが判断される(S4)。ここで、予め設定された時間とは、リアルタイムの間隔である。切換える必要が無いときには、再度、ステップS4の前段に戻る。   On the other hand, whether the first joint position B1 and the second joint position B2 are switched in the first photographed image, the second photographed image, and the third photographed image displayed on the display device 16 after a preset time has elapsed. It is determined whether or not (S4). Here, the preset time is a real-time interval. When there is no need to switch, the process returns to the previous stage of step S4 again.

ステップS4において、切換える必要があるとき、図1、図3及び図4に示される検出部20を用いて、図4に示されるように、表示装置16の表示画面と運転者の例えば目の位置54との距離L3が検出される(S5)。この検出された距離L3に基づいて、第1繋ぎ目位置B1及び第2繋ぎ目位置B2の間隔を切換えるか否かが判断される(S6)。前述の例示に従って、距離L3が基準値とすれば、第1繋ぎ目位置B1及び第2繋ぎ目位置B2を切換える必要が無いので、ステップS4の前段に戻る。   When it is necessary to switch in step S4, the detection unit 20 shown in FIGS. 1, 3 and 4 is used to display the display screen of the display device 16 and the position of the driver's eyes, for example, as shown in FIG. A distance L3 to 54 is detected (S5). Based on the detected distance L3, it is determined whether or not to switch the interval between the first joint position B1 and the second joint position B2 (S6). If the distance L3 is set to the reference value according to the above-described example, there is no need to switch the first joint position B1 and the second joint position B2, and the process returns to the previous stage of step S4.

一方、運転者において目の位置52のとき、検出部20により距離L2が検出される。距離L2は距離L3よりも長いので、位置調整部48において第1繋ぎ目位置B1と第2繋ぎ目位置B2との間隔を広げる調整が行われる(S7)。また、運転者において目の位置50のとき、検出部20により距離L1が検出される。距離L1は距離L3よりも短いので、位置調整部48において第1繋ぎ目位置B1と第2繋ぎ目位置B2との間隔を狭める調整が行われる(S7)。   On the other hand, when the driver is at the eye position 52, the distance L2 is detected by the detection unit 20. Since the distance L2 is longer than the distance L3, the position adjusting unit 48 performs an adjustment to increase the interval between the first joint position B1 and the second joint position B2 (S7). Further, when the driver is at the eye position 50, the distance L1 is detected by the detection unit 20. Since the distance L1 is shorter than the distance L3, the position adjustment unit 48 performs an adjustment to narrow the interval between the first joint position B1 and the second joint position B2 (S7).

位置調整部48において調整された第1繋ぎ目位置B1及び第2繋ぎ目位置B2において、ステップS2により画像取得部42において取得された第1撮影画像、第2撮影画像及び第3撮影画像が画像合成される(S8)。この第1撮影画像、第2撮影画像及び第3撮影画像は表示装置16に表示される(S9及びS10)。   At the first joint position B1 and the second joint position B2 adjusted by the position adjustment unit 48, the first photographed image, the second photographed image, and the third photographed image obtained by the image obtaining unit 42 in step S2 are images. Synthesized (S8). The first captured image, the second captured image, and the third captured image are displayed on the display device 16 (S9 and S10).

(本実施の形態の作用及び効果)
本実施の形態に係る画像表示システム40は、図3に示されるように、画像取得部42と、画像合成部44と、表示装置16とを少なくとも備える。画像取得部42は複数の撮影画像を取得する。具体的に、画像取得部42では、第1カメラ22から第1撮像画像が取得され、第2カメラ24から第2撮像画像が取得され、第3カメラ26から第3撮影画像が取得される。画像合成部44は画像取得部42により取得された複数の撮影画像を合成する。表示装置16は画像合成部44により合成された複数の撮影画像、すなわち図1に示される車両用インナーミラー10において中央部分16Aに第2撮像画像、左側部分16Bに第1撮像画像、右側部分16Cに第3撮像画像を表示する。第2撮影画像は車両後方中央の映像である。第1撮影画像は車両後方左側の映像、第3撮影画像は車両後方右側の映像である。
(Operation and effect of the present embodiment)
As shown in FIG. 3, the image display system 40 according to the present embodiment includes at least an image acquisition unit 42, an image composition unit 44, and the display device 16. The image acquisition unit 42 acquires a plurality of captured images. Specifically, in the image acquisition unit 42, the first captured image is acquired from the first camera 22, the second captured image is acquired from the second camera 24, and the third captured image is acquired from the third camera 26. The image synthesis unit 44 synthesizes a plurality of captured images acquired by the image acquisition unit 42. The display device 16 has a plurality of photographed images synthesized by the image synthesizing unit 44, that is, in the vehicle inner mirror 10 shown in FIG. 1, the second captured image at the center portion 16A, the first captured image at the left portion 16B, and the right portion 16C. The third captured image is displayed on the screen. The second photographed image is a video at the rear center of the vehicle. The first captured image is a video on the left rear side of the vehicle, and the third captured image is a video on the right rear side of the vehicle.

ここで、画像表示システム40は、図1及び図3に示されるように、検出部20及び位置調整部48を更に備える。図4に示されるように、検出部20は、表示装置16とユーザとしての運転者の例えば目の位置50、52、54との距離L1、L2、L3を検出する。位置調整部48は、検出部20により検出された距離L1、L2、L3に基づいて、第2撮影画像と第1撮影画像とを合成する第1繋ぎ目位置B1、第2撮影画像と第3撮影画像とを合成する第2繋ぎ目位置B2を調整する。
このため、表示装置16に表示される複数の撮影画像の第1繋ぎ目位置B1、第2繋ぎ目位置B2を、表示装置16と運転者の目の位置50、52、54との距離L1、L2、L3に基づいて運転者毎に調整することができる。
Here, as shown in FIGS. 1 and 3, the image display system 40 further includes a detection unit 20 and a position adjustment unit 48. As illustrated in FIG. 4, the detection unit 20 detects distances L1, L2, and L3 between the display device 16 and, for example, eye positions 50, 52, and 54 of a driver as a user. The position adjustment unit 48, based on the distances L1, L2, and L3 detected by the detection unit 20, combines the second captured image and the first captured image with the first joint position B1, the second captured image, and the third. The second joint position B2 for combining the photographed image is adjusted.
Therefore, the first joint position B1 and the second joint position B2 of the plurality of photographed images displayed on the display device 16 are set as the distance L1, between the display device 16 and the driver's eye positions 50, 52, 54, Adjustments can be made for each driver based on L2 and L3.

従って、本実施の形態に係る画像表示システム40では、合成された複数の撮影画像を運転者に合わせて見易くすることができる。
詳しく説明すると、運転者の目の位置52が表示装置16の表示画面から遠いと、第1繋ぎ目位置B1と第2繋ぎ目位置B2との間隔を広げて、中央部分16Aに表示される車両後方の第2撮影画像を見易くすることができる。また、逆に近いと、第1繋ぎ目位置B1と第2繋ぎ目位置B2との間隔を狭めて、左側部分16Bに表示される車両後方左側の第1撮影画像及び右側部分16Cに表示される車両後方右側の第3撮影画像を見易くすることができる。
Therefore, in the image display system 40 according to the present embodiment, it is possible to make it easy to see a plurality of synthesized captured images according to the driver.
More specifically, if the driver's eye position 52 is far from the display screen of the display device 16, the distance between the first joint position B1 and the second joint position B2 is increased, and the vehicle is displayed on the central portion 16A. This makes it easier to see the second captured image behind. On the other hand, when close to the opposite, the interval between the first joint position B1 and the second joint position B2 is narrowed, and the first photographed image displayed on the left side 16B and the right part 16C are displayed on the left side behind the vehicle. The third photographed image on the right rear side of the vehicle can be made easier to see.

また、本実施の形態に係る画像表示システム40では、図5のステップS4に示されるように、表示装置16と運転者の目の位置50、52、54との距離L1、L2、L3がリアルタイムに検出される。このため、表示装置16において、第1繋ぎ目位置B1と第2繋ぎ目位置B2との間隔をリアルタイムに調整することができる。
特に、リアルタイム間隔が例えば5秒〜10秒とされているので、車両30を運転中の運転者の頭部の動きに追従して、適宜、第1繋ぎ目位置B1と第2繋ぎ目位置B2との間隔が調整される。リアルタイム間隔が5秒未満のときは、第1繋ぎ目位置B1と第2繋ぎ目位置B2との間隔が頻繁に変化し、撮影画像が揺らいでしまい、かえって見難くなる。
また、リアルタイム間隔が10秒を超えると、目の位置の変化に対して、第1繋ぎ目位置B1と第2繋ぎ目位置B2との間隔の調整が追従されない。
In the image display system 40 according to the present embodiment, as shown in step S4 of FIG. 5, the distances L1, L2, and L3 between the display device 16 and the driver's eye positions 50, 52, and 54 are real-time. Detected. For this reason, in the display apparatus 16, the space | interval of 1st joint position B1 and 2nd joint position B2 can be adjusted in real time.
In particular, since the real-time interval is, for example, 5 seconds to 10 seconds, the first joint position B1 and the second joint position B2 are appropriately followed by following the movement of the head of the driver who is driving the vehicle 30. The interval between and is adjusted. When the real-time interval is less than 5 seconds, the interval between the first joint position B1 and the second joint position B2 changes frequently, and the captured image fluctuates, making it difficult to see.
If the real-time interval exceeds 10 seconds, the adjustment of the interval between the first joint position B1 and the second joint position B2 is not followed with respect to the change in the eye position.

さらに、本実施の形態に係る画像表示システム40では、図1に示されるように、表示装置16が車両用インナーミラー10に設けられるので、車両用インナーミラー10において合成された第1撮影画像、第2撮影画像及び第3撮影画像を運転者毎に見易くすることができる。   Furthermore, in the image display system 40 according to the present embodiment, as shown in FIG. 1, since the display device 16 is provided in the vehicle inner mirror 10, the first captured image synthesized in the vehicle inner mirror 10, The second photographed image and the third photographed image can be easily viewed for each driver.

また、本実施の形態に係る画像表示システム40は、図2及び図3に示されるように、第1カメラ22、第2カメラ24及び第3カメラ26を備える。第1カメラ22は第1撮影画像を撮影する。第2カメラ24は第2撮影画像を撮影する。第3カメラ26は第3撮影画像を撮影する。これらの第1カメラ22、第2カメラ24及び第3カメラ26を含んで画像表示システム40を簡易に構築することができる。   The image display system 40 according to the present embodiment includes a first camera 22, a second camera 24, and a third camera 26, as shown in FIGS. The first camera 22 captures the first captured image. The second camera 24 captures a second captured image. The third camera 26 captures a third captured image. The image display system 40 can be easily constructed including the first camera 22, the second camera 24 and the third camera 26.

さらに、本実施の形態に係る画像表示方法では、図5に示されように、まず車両後方左側の第1撮影画像、車両後方中央の第2撮影画像及び車両後方右側の第3撮影画像が取得される(S2)。一方、表示装置16と運転席に着座状態の運転者の目の位置50、52、54との距離L1、L2、L3が検出される(S5及び図4参照)。検出された距離L1、L2、L3に基づいて、第1撮影画像と第2撮影画像とを合成する第1繋ぎ目位置B1及び第2撮影画像と第3撮影画像とを合成する第2繋ぎ目位置B2が調整される(S7)。調整された第1繋ぎ目位置B1及び第2繋ぎ目位置B2において第1撮影画像、第2撮影画像及び第3撮影画像が合成され(S8)、この合成された撮影画像は表示装置16に表示される。
このため、表示装置16に表示される第1繋ぎ目位置B1及び第2繋ぎ目位置B2を、表示装置16と運転者の目の位置50、52、54との距離L1、L2、L3に基づいて運転者毎に調整することができる。
Furthermore, in the image display method according to the present embodiment, as shown in FIG. 5, first, a first captured image on the left rear side of the vehicle, a second captured image on the center rear of the vehicle, and a third captured image on the right rear side of the vehicle are acquired. (S2). On the other hand, distances L1, L2, and L3 between the display device 16 and the positions 50, 52, and 54 of the eyes of the driver sitting in the driver's seat are detected (see S5 and FIG. 4). Based on the detected distances L1, L2, and L3, the first joint position B1 for combining the first captured image and the second captured image, and the second joint for combining the second captured image and the third captured image. The position B2 is adjusted (S7). The first photographed image, the second photographed image, and the third photographed image are synthesized at the adjusted first joint position B1 and second joint position B2 (S8), and the synthesized photographed image is displayed on the display device 16. Is done.
Therefore, the first joint position B1 and the second joint position B2 displayed on the display device 16 are based on the distances L1, L2, and L3 between the display device 16 and the driver's eye positions 50, 52, and 54. Can be adjusted for each driver.

[上記実施の形態の補足説明]
本発明は、上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において変形可能である。
例えば、本発明では、画像表示システムの表示装置がインストルメントパネルに装着された表示装置とされてもよい。この場合、表示装置は、テレビジョンモニタ、ナビゲーションモニタ、オーディオ等の操作パネルとしても使用される。
また、本発明は、画像表示システムにおいて、車両側面方向や車両前方下側を撮影するカメラを更に備え、これらの撮影画像を表示装置に合成して表示してもよい。この場合、繋ぎ目位置は3以上とされる。
[Supplementary explanation of the above embodiment]
The present invention is not limited to the embodiment described above, and can be modified without departing from the scope of the invention.
For example, in the present invention, the display device of the image display system may be a display device attached to an instrument panel. In this case, the display device is also used as an operation panel for a television monitor, navigation monitor, audio, or the like.
In the image display system, the image display system may further include a camera that captures the vehicle side surface direction and the vehicle front lower side, and the captured images may be combined and displayed on the display device. In this case, the joint position is 3 or more.

10 車両用インナーミラー
16 表示装置
20 検出部
22 第1カメラ
24 第2カメラ
26 第3カメラ
30 車両
40 画像表示システム
42 画像取得部
44 画像合成部
48 位置調整部
50、52、54 目の位置
L1、L2、L3 距離
DESCRIPTION OF SYMBOLS 10 Inner mirror for vehicles 16 Display apparatus 20 Detection part 22 1st camera 24 2nd camera 26 3rd camera 30 Vehicle 40 Image display system 42 Image acquisition part 44 Image composition part 48 Position adjustment part 50, 52, 54 Eye position L1 , L2, L3 distance

Claims (7)

複数の撮影画像を取得する画像取得部と、
前記画像取得部により取得された前記複数の撮影画像を合成する画像合成部と、
前記画像合成部により合成された前記複数の撮影画像を表示する表示装置と、
前記表示装置とユーザの目の位置との距離を検出する検出部と、
前記検出部により検出された前記距離に基づいて、前記複数の撮影画像を合成する繋ぎ目位置を調整する位置調整部と、
を備えた画像表示システム。
An image acquisition unit for acquiring a plurality of captured images;
An image synthesis unit that synthesizes the plurality of captured images acquired by the image acquisition unit;
A display device that displays the plurality of captured images combined by the image combining unit;
A detection unit that detects a distance between the display device and the position of the user's eyes;
Based on the distance detected by the detection unit, a position adjustment unit for adjusting a joint position for combining the plurality of captured images;
An image display system comprising:
車両幅方向一端側の車両後方の第1撮影画像、車両幅方向中間の車両後方の第2撮影画像及び車両幅方向他端側の車両後方の第3撮影画像を取得する画像取得部と、
前記画像取得部により取得された前記第1撮影画像、前記第2撮影画像及び前記第3撮影画像を合成する画像合成部と、
前記画像合成部により合成された前記第1撮影画像、前記第2撮影画像及び前記第3撮影画像を表示する表示装置と、
前記表示装置と運転席に着座状態の運転者の目の位置との距離を検出する検出部と、
前記検出部により検出された前記距離に基づいて、前記第1撮影画像と前記第2撮影画像とを合成する第1繋ぎ目位置及び前記第2撮影画像と前記第3撮影画像とを合成する第2繋ぎ目位置を調整する位置調整部と、
を備えた画像表示システム。
An image acquisition unit that acquires a first captured image behind the vehicle on one end side in the vehicle width direction, a second captured image behind the vehicle in the middle of the vehicle width direction, and a third captured image behind the vehicle on the other end side in the vehicle width direction;
An image synthesis unit that synthesizes the first captured image, the second captured image, and the third captured image acquired by the image acquisition unit;
A display device for displaying the first photographed image, the second photographed image, and the third photographed image synthesized by the image composition unit;
A detection unit for detecting a distance between the display device and a driver's eye position in a driver's seat;
Based on the distance detected by the detection unit, a first joint position for combining the first captured image and the second captured image, and a second position for combining the second captured image and the third captured image. A position adjusting unit for adjusting the position of the second joint;
An image display system comprising:
前記位置調整部は、
前記距離が基準値よりも長いとき、前記第1繋ぎ目位置と前記第2繋ぎ目位置との間隔を広く調整し、
前記距離が基準値よりも短いとき、前記第1繋ぎ目位置と前記第2繋ぎ目位置との間隔を狭く調整する
請求項2に記載の画像表示システム。
The position adjusting unit is
When the distance is longer than a reference value, the gap between the first joint position and the second joint position is adjusted widely,
The image display system according to claim 2, wherein when the distance is shorter than a reference value, an interval between the first joint position and the second joint position is adjusted to be narrow.
前記検出部は、前記距離をリアルタイムに検出し、
前記位置調整部は、リアルタイムに検出された前記距離に基づいて、前記第1繋ぎ目位置及び前記第2繋ぎ目位置をリアルタイムに調整する
請求項2又は請求項3に記載の画像表示システム。
The detection unit detects the distance in real time,
The image display system according to claim 2 or 3, wherein the position adjustment unit adjusts the first joint position and the second joint position in real time based on the distance detected in real time.
前記表示装置は、車両用インナーミラーに設けられている
請求項2〜請求項4のいずれか1項に記載の画像表示システム。
The image display system according to claim 2, wherein the display device is provided on an inner mirror for a vehicle.
前記第1撮影画像を撮影する第1カメラと、
前記第2撮影画像を撮影する第2カメラと、
前記第3撮影画像を撮影する第3カメラと、
を更に備えた請求項2〜請求項5のいずれか1項に記載の画像表示システム。
A first camera that captures the first captured image;
A second camera for photographing the second photographed image;
A third camera for photographing the third photographed image;
The image display system according to any one of claims 2 to 5, further comprising:
車両幅方向一端側の車両後方の第1撮影画像、車両幅方向中間の車両後方の第2撮影画像及び車両幅方向他端側の車両後方の第3撮影画像を取得するステップと、
表示装置と運転席に着座状態の運転者の目の位置との距離を検出するステップと、
検出された前記距離に基づいて、前記第1撮影画像と前記第2撮影画像とを合成する第1繋ぎ目位置及び前記第2撮影画像と前記第3撮影画像とを合成する第2繋ぎ目位置を調整するステップと、
調整された前記第1繋ぎ目位置及び前記第2繋ぎ目位置において前記第1撮影画像、前記第2撮影画像及び前記第3撮影画像を合成するステップと、
合成された前記第1撮影画像、前記第2撮影画像及び前記第3撮影画像を前記表示装置に表示するステップと、
を備えた画像表示方法。
Obtaining a first photographed image behind the vehicle on one end side in the vehicle width direction, a second photographed image behind the vehicle in the middle of the vehicle width direction, and a third photographed image behind the vehicle on the other end side in the vehicle width direction;
Detecting the distance between the display device and the position of the eyes of the driver seated in the driver seat;
Based on the detected distance, a first joint position for combining the first captured image and the second captured image, and a second joint position for combining the second captured image and the third captured image. Adjusting steps,
Combining the first photographed image, the second photographed image, and the third photographed image at the adjusted first joint position and the second joint position;
Displaying the synthesized first photographed image, second photographed image, and third photographed image on the display device;
An image display method comprising:
JP2016234408A 2016-12-01 2016-12-01 Image display system and image display method Pending JP2018091969A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016234408A JP2018091969A (en) 2016-12-01 2016-12-01 Image display system and image display method
PCT/JP2017/035996 WO2018100870A1 (en) 2016-12-01 2017-10-03 Image display system and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016234408A JP2018091969A (en) 2016-12-01 2016-12-01 Image display system and image display method

Publications (1)

Publication Number Publication Date
JP2018091969A true JP2018091969A (en) 2018-06-14

Family

ID=62242424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016234408A Pending JP2018091969A (en) 2016-12-01 2016-12-01 Image display system and image display method

Country Status (2)

Country Link
JP (1) JP2018091969A (en)
WO (1) WO2018100870A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110271419A (en) * 2019-06-28 2019-09-24 马瑞利汽车电子(广州)有限公司 A kind of automobile instrument vision-control device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH115488A (en) * 1997-06-18 1999-01-12 Nissan Motor Co Ltd Device for displaying peripheral condition of vehicle
US7057500B1 (en) * 2004-04-23 2006-06-06 Belloso Gregorio M Rear view monitoring system for motor vehicles
JP2010287163A (en) * 2009-06-15 2010-12-24 Alpine Electronics Inc In-vehicle image display apparatus, and method for trimming image
JP2016060411A (en) * 2014-09-19 2016-04-25 株式会社Jvcケンウッド Confirmation assist device and confirmation assist system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH115488A (en) * 1997-06-18 1999-01-12 Nissan Motor Co Ltd Device for displaying peripheral condition of vehicle
US7057500B1 (en) * 2004-04-23 2006-06-06 Belloso Gregorio M Rear view monitoring system for motor vehicles
JP2010287163A (en) * 2009-06-15 2010-12-24 Alpine Electronics Inc In-vehicle image display apparatus, and method for trimming image
JP2016060411A (en) * 2014-09-19 2016-04-25 株式会社Jvcケンウッド Confirmation assist device and confirmation assist system

Also Published As

Publication number Publication date
WO2018100870A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
JP4780385B2 (en) Perimeter monitoring system
US20130096820A1 (en) Virtual display system for a vehicle
JP5983693B2 (en) Mirror device with display function and display switching method
CN101585347B (en) Rear view system for automobile and automobile therewith
JP5093611B2 (en) Vehicle periphery confirmation device
JP2004064131A (en) Display for vehicle
WO2018047400A1 (en) Vehicle display control device, vehicle display system, vehicle display control method, and program
JP5051263B2 (en) Vehicle rear view system
WO2018159017A1 (en) Vehicle display control device, vehicle display system, vehicle display control method and program
JP2016055782A5 (en)
JP2011234095A (en) Visual recognition support device for vehicle
JP2014204132A (en) Operation support device
KR20160056279A (en) Vision support apparatus for vehicle
US20200039435A1 (en) Onboard camera system for eliminating a-pillar blind areas of a mobile vehicle and image processing method thereof
JP2016168877A (en) Visual recognition device for vehicle
US20150085117A1 (en) Driving assistance apparatus
JP2010208359A (en) Display device for vehicle
JP2009262666A (en) Method for adjusting head-up display device for vehicle
JP2018129732A (en) Vehicular video display device
US11987182B2 (en) Image processing apparatus, image processing method, and image processing system
US11383656B2 (en) Image processing apparatus, image processing method, and image processing system
JP2010137697A (en) Drive assisting device for vehicle
JP2005204132A (en) Drive support apparatus
WO2018100870A1 (en) Image display system and image display method
JP6504086B2 (en) vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200804