JP2015215510A - 表示装置および表示方法 - Google Patents

表示装置および表示方法 Download PDF

Info

Publication number
JP2015215510A
JP2015215510A JP2014098815A JP2014098815A JP2015215510A JP 2015215510 A JP2015215510 A JP 2015215510A JP 2014098815 A JP2014098815 A JP 2014098815A JP 2014098815 A JP2014098815 A JP 2014098815A JP 2015215510 A JP2015215510 A JP 2015215510A
Authority
JP
Japan
Prior art keywords
display
image
display object
pattern
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014098815A
Other languages
English (en)
Other versions
JP6304628B2 (ja
Inventor
研一 笠澄
Kenichi Kasasumi
研一 笠澄
森 俊也
Toshiya Mori
俊也 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014098815A priority Critical patent/JP6304628B2/ja
Priority to US15/308,356 priority patent/US10313666B2/en
Priority to PCT/JP2015/002337 priority patent/WO2015174050A1/ja
Priority to EP15792581.9A priority patent/EP3145183A4/en
Publication of JP2015215510A publication Critical patent/JP2015215510A/ja
Application granted granted Critical
Publication of JP6304628B2 publication Critical patent/JP6304628B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/365Image reproducers using digital micromirror devices [DMD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213Virtual instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/27Optical features of instruments using semi-transparent optical elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/347Optical elements for superposition of display information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】表示対象物を視認し易くすることができる表示装置を提供する。【解決手段】表示装置100は、画像を表す光を表示媒体に投射して当該表示媒体に反射させることによって、その画像を虚像としてユーザに視認させる表示部101と、表示対象物の左目用画像および右目用画像を表す光を表示部101に投射させることにより、3次元の画像空間においてその表示対象物をユーザに立体視させる制御部102とを備え、制御部102は、さらに、奥行き方向に沿ってその表示対象物よりも近い位置からその表示対象物に向うパターンに含まれる一部分の左目用画像および右目用画像を表す光を表示部101に投射させる処理を、奥行き方向の近い側から順にそのパターンの各部分に対して行うことにより、その画像空間においてそのパターンをユーザに立体視させる。【選択図】図3

Description

本発明は、画像などを表示する表示装置に関する。
従来、透光性を有する板状の表示媒体に、画像を表す光を投射してその表示媒体に光を反射させることにより、その表示媒体越しの背景をユーザに見せながら、その画像を虚像としてユーザに視認させる表示装置が提案されている。このような表示装置は、いわゆるAR(Augmented Reality)を用いたものであり、実際の背景の中に、その背景に関連する画像を表示することができる。特に、自動車関連の分野などでは、運転時に速度や各種の警告を示す画像を風防ガラス(フロントガラス)の前方に虚像として表示する、いわゆるヘッドアップディスプレイ(HUD)が開発されている(例えば、特許文献1参照)。
このような表示装置を用いると、ユーザである運転者は、前方の外界を見ながら、視線を大きく動かすことなく、運転に関する情報(例えば地図やスピードメータなど)を見ることができるため、より安全に運転を行うことができる。
特開2011−90076号公報
しかしながら、上記特許文献1の表示装置では、表示対象物をユーザに視認させることが難しいという問題がある。
そこで、本発明は、表示対象物を視認し易くすることが可能な表示装置を提供する。
本発明の一態様に係る表示方法は、画像を表す光を、透光性を有する表示媒体に投射して当該表示媒体に反射させることによって、前記画像を虚像としてユーザに視認させる表示部と、表示対象物の左目用画像および右目用画像のそれぞれを表す光を前記表示部に投射させる第1の立体表示処理を行うことによって、3次元の画像空間において前記表示対象物を前記ユーザに立体視させる制御部とを備え、前記制御部は、さらに、前記画像空間における奥行き方向に沿って前記表示対象物よりも近い位置から前記表示対象物あるいは当該表示対象物の近傍に向うパターンに含まれる一部分の左目用画像および右目用画像のそれぞれを表す光を前記表示部に投射させる第2の立体表示処理を、奥行き方向の近い側から遠い側に向かう順序で前記パターンの各部分に対して行うことにより、前記画像空間において前記パターンを前記ユーザに立体視させる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の表示装置は、表示対象物を視認し易くすることができる。
図1は、実施の形態における表示装置の使用例を示す図である。 図2は、実施の形態における表示装置によって表示される画像の領域を示す図である。 図3は、実施の形態における表示装置の構成を示すブロック図である。 図4は、実施の形態における表示装置によって表示される画像の一例を示す図である。 図5は、実施の形態における表示装置によって表示される画像の他の例を示す図である。 図6は、実施の形態における表示対象物の大きさおよび位置の例を示す図である。 図7は、実施の形態における表示装置の処理動作を示すフローチャートである。 図8は、実施の形態の変形例1に係る表示装置の使用例を示す図である。 図9は、実施の形態の変形例1に係る表示装置によって表示される画像の一例を示す図である。 図10は、実施の形態の変形例2に係る表示装置の構成を示すブロック図である。 図11は、実施の形態の変形例2に係る表示装置によって表示される画像の一例を示す図である。 図12は、本発明における表示方法を示すフローチャートである。
(本発明の基礎となった知見)
本発明者は、「背景技術」の欄において記載した技術に関し、以下の問題が生じることを見出した。
特許文献1の表示装置では、平面的な画像(2D用の画像)の虚像をユーザに視認させる。ここで、その画像を立体的に視認させることが検討されている。つまり、表示装置は、立体的な画像(3D用の画像)を表す光を投射して表示媒体に反射させることにより、表示媒体越しに立体的な画像をユーザに視認させる。この場合、表示装置は、左目用画像および右目用画像からなる3D用の画像を表す光を投射する。これらの左目用画像および右目用画像のそれぞれに含まれる表示対象物には視差がある。視差は、それらの画像内における表示対象物の水平方向の位置の差(距離)である。表示対象物は、その視差に応じた奥行き方向の位置にあるように視認される。奥行き方向は、画像に対して垂直な方向である。つまり、その視差によって表示対象物が立体的に表示される。例えば、視差が0の場合には、表示対象物は最も手前に表示され、視差が大きいほど、表示対象物は奥行き方向に遠い位置に表示される。
ここで、遠い位置に表示対象物を表示させる場合、その表示対象物に対して大きな視差がつけられる。しかし、視差が大きければ、左目用画像に含まれる表示対象物と、右目用画像に含まれる表示対象物との間の距離は長いため、ユーザがそれらの画像に含まれる表示対象物に対して融像を行うことが困難になってしまう。あるいは、ユーザがそれらの表示対象物を注視し始めてから、それらの表示対象物に対する融像が完了するまでに時間がかかってしまう。したがって、遠方の表示対象物を立体として視認させることが難しいという問題がある。
このような問題を解決するために、本発明の一態様に係る表示装置は、画像を表す光を、透光性を有する表示媒体に投射して当該表示媒体に反射させることによって、前記画像を虚像としてユーザに視認させる表示部と、表示対象物の左目用画像および右目用画像のそれぞれを表す光を前記表示部に投射させる第1の立体表示処理を行うことによって、3次元の画像空間において前記表示対象物を前記ユーザに立体視させる制御部とを備え、前記制御部は、さらに、前記画像空間における奥行き方向に沿って前記表示対象物よりも近い位置から前記表示対象物あるいは当該表示対象物の近傍に向うパターンに含まれる一部分の左目用画像および右目用画像のそれぞれを表す光を前記表示部に投射させる第2の立体表示処理を、奥行き方向の近い側から遠い側に向かう順序で前記パターンの各部分に対して行うことにより、前記画像空間において前記パターンを前記ユーザに立体視させる。
これにより、奥行き方向に沿って表示対象物に向う例えばライン状のパターンの一部分に対する立体表示のため処理(第2の立体表示処理)が、手前側から遠方に向かう順序でそのパターンの各部分に対して行われる。そのため、パターンに含まれる順次立体表示される各部分の奥行き方向の位置が、表示対象物付近まで漸次遠くに移される。したがって、ユーザはその立体表示される順に各部分を目で追えば、ユーザによる融像を遠方側に次第に慣らしていくことができ、遠い位置にある表示対象物であっても、その表示対象物に対する融像を容易に行うことができる。これにより、ユーザは遠方の表示対象物を立体として容易に視認することができる。
例えば、前記制御部は、奥行き方向に沿って連続して配置される前記各部分に対して前記第2の立体表示処理を行ってもよい。
これにより、ユーザによる融像をスムーズに慣らしていくことができる。
または、前記制御部は、奥行き方向に沿って断続的に配置される前記各部分に対して前記第2の立体表示処理を行ってもよい。
これにより、立体表示されるパターンの各部分が断続的であるため、パターンの立体表示を行うための処理負担を軽減することができる。
また、前記制御部は、前記画像空間における前記表示対象物の奥行き方向の位置が遠いほど前記表示対象物が小さく視認されるように前記第1の立体表示処理を行ってもよい。
これにより、ユーザは、表示対象物の大きさから、表示対象物の奥行き方向の位置を容易に把握することができる。その結果、ユーザは、表示対象物に対する融像をさらに容易に行うことができる。
また、前記制御部は、前記画像空間における前記表示対象物の奥行き方向の位置が遠いほど、視認される前記表示対象物の位置が高くなるように前記第1の立体表示処理を行ってもよい。
これにより、ユーザは、表示対象物の垂直方向の位置から、表示対象物の奥行き方向の位置を容易に把握することができる。その結果、ユーザは、表示対象物に対する融像をさらに容易に行うことができる。
また、前記制御部は、さらに、前記第1および第2の立体表示処理が行われるか否かに関わらず、左右の目に対して同一の画像を表す光を前記表示部に投射させる平面表示処理を行うことによって、前記画像空間において平面視用表示対象物をユーザに視認させてもよい。例えば、前記平面視用表示対象物は、前記表示装置を搭載する車の状態を数値で示す計器である。
これにより、3D用の画像が表示されているか否かに関わらず、車の走行速度などのユーザにとって重要な情報が平面視用表示対象物の表示によってユーザに通知されるため、ユーザはその情報を誤認することなく適切に把握することができる。
また前記制御部は、前記画像空間の奥行き方向における表示基準位置から前記表示対象物の位置までの距離である表示距離が、予め定められた閾値以上であるか否かを判定し、前記表示距離が前記閾値以上であると判定したときに、前記パターンの各部分に対して前記第2の立体表示処理を前記順序で行ってもよい。
これにより、表示距離が閾値以上であるときにパターンが表示されるため、近い位置にある表示対象物に対してまでわざわざパターンを表示することを防ぐことができ、表示される画像が複雑になり、見難くなるのを抑えることができる。
また、前記パターンは、前記表示装置を搭載する車の中心軸に平行なライン、前記車が走行している道路のセンターまたは路肩を示すラインであってもよい。
これにより、ユーザに対して自然なパターンを表示することができ、ユーザが受ける違和感を抑えることができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
図1は、本実施の形態における表示装置の使用例を示す図である。
本実施の形態における表示装置100は、いわゆるヘッドアップディスプレイとして構成され、車300のダッシュボード301の上面付近に取り付けられる。この表示装置100は、画像d1を表す光を表示媒体である風防ガラス(フロントガラス)201に投射し、その風防ガラス201に反射させる。この反射された光はユーザである運転手に向けられる。その結果、ユーザは、風防ガラス201越しの背景を見ながら、その反射された光によって風防ガラス201の外側(車外側)に現われる画像d1の虚像を視認することができる。つまり、表示装置100は、画像d1を虚像として風防ガラス201の外側に表示する。
ここで、表示装置100は、画像d1を2D用の画像として表示することも、画像d1を3D用の画像として表示することもできる。3D用の画像として表示する場合、表示装置100は、左目用画像および右目用画像からなる画像d1を形成し、その画像d1を投射する。画像d1の左目用画像および右目用画像のそれぞれはピクチャまたはフレームに相当し、画像d1の投射によって、3次元の画像空間が虚像として風防ガラス201の外側に現われる。
また、画像d1の左目用画像および右目用画像のそれぞれに含まれる表示対象物d2の画像中における水平方向の位置は互いに異なっている。つまり、表示対象物d2の左目用画像および右目用画像には視差がある。その結果、3次元の画像空間において現われる表示対象物d2の虚像は、その画像空間における表示基準位置から奥行き方向の遠方側に、視差に応じた距離だけ離れた位置にあるように視認される。ここで、表示基準位置は、左右の目に対して同一の画像(視差がない画像)が投射されることによって、3次元の画像空間においてその画像の虚像が現われる奥行き方向の位置である。
なお、本実施の形態では、画像d1は3次元の画像空間を示し、表示装置100によって投射される光により表される画像または表示対象物などは全て虚像としてユーザに視認される。
図2は、本実施の形態における表示装置100によって表示される画像の領域を示す図である。
ダッシュボード301に取り付けられた表示装置100は、画像d1を表す光を風防ガラス201の例えば運転席寄り下側の投射領域に投射することによって、運転手であるユーザから見てその投射領域の奥側(車外側)に、画像d1を虚像として表示する。ここで、3次元の画像空間における表示対象物の奥行き方向の位置が近いほど、画像d1内において下側にその表示対象物が配置され、逆に、表示対象物の奥行き方向の位置が遠いほど、画像d1内において上側に表示対象物が配置される。
図3は、本実施の形態における表示装置100の構成を示すブロック図である。
表示装置100は、画像d1を表す光を投射する表示部101と、各種情報を取得する情報取得部103と、情報取得部103によって取得された情報に応じて表示部101を制御する制御部102とを備える。
表示部101は、画像d1を表す光を、透光性を有する表示媒体である風防ガラス201に投射してその風防ガラス201に反射させることによって、画像d1を虚像としてユーザに視認させる。例えば、表示部101は、反射型液晶およびLED(Light Emitting Diode)を使用したLCOS(Liquid Crystal on Silicon)方式、マイクロミラーアレイおよびLEDを使用したDLP(登録商標)方式、MEMS(Micro Electro Mechanical Systems)ミラーおよび半導体レーザを使用したレーザ走査方式(ラスタースキャン方式)などによって実現される。また、表示部101は、画像d1として3D用の画像を裸眼で立体視することができるように、例えばレンチキュラ方式または視差バリア方式によって構成されている。
情報取得部103は、例えば、車両情報出力部310、位置検出部320および地図データベース330から情報を取得する。車両情報出力部310は、車300における走行速度、エンジンの回転数、および燃料の残量などを示す車両情報を出力する。位置検出部320は、GPS(Global Positioning System)を用いて車300の位置を検出し、その検出結果を示す位置情報を出力する。地図データベース330は、道路形状および道路地図などを示す地図情報を保持しており、その地図情報を出力する。つまり、情報取得部103は、車両情報、位置情報および地図情報を取得し、それらの情報を制御部102に出力する。なお、本実施の形態における表示装置100は情報取得部103を備えているが、この情報取得部103を備えていなくてもよい。
制御部102は、情報取得部103から出力される情報に基づいて表示対象物d2を含む画像d1を形成し、その画像d1を表す光を表示部101に投射させる。つまり、制御部102は画像d1を表示部101に表示させる。具体的には、制御部102は、表示対象物d2の左目用画像および右目用画像を含む画像d1を形成し、その画像d1を表す光を表示部101に投射させることによって、画像d1によって示される3次元の画像空間においてその表示対象物d2をユーザに立体視させる。表示対象物d2は、例えば、地図情報からPOI(Point of interest)として抽出された場所を識別するためのPOI画像などである。制御部102は、例えば、位置情報によって示される車300の位置と、地図情報によって示されるPOIの地図上の位置との相対的な位置関係に基づいて、そのPOIの地図上の位置を、車300の位置を基準とする3次元の画像空間における位置に変換し、その画像空間の位置にPOI画像が配置された画像d1を形成する。なお、制御部102は、例えばCPU(Central Processing Unit)またはプロセッサなどによって構成され、記録媒体からコンピュータプログラムを読み出してそれを実行することによって、上述のような各処理を実行する。
図4は、本実施の形態における表示装置100によって表示される画像の一例を示す図である。
表示装置100の制御部102は、位置情報および地図情報に基づいて、ユーザの興味対象とされるPOIに車300が近づくと判断すると、そのPOIに対応するPOI画像11(図4の(d)参照)を表示対象物として特定する。そして、制御部102は、3次元の画像空間の奥行き方向における、表示基準位置からPOI画像11の位置までの距離である表示距離を決定する。ここで、制御部102は、そのPOI画像11の表示距離が閾値以上であると判定すると、図4の(d)に示すように、そのPOI画像11が立体として視認され易くするためのパターン12,13,14を立体的に表示する処理を実行する。これらのパターン12,13,14は、3次元の画像空間の奥行き方向に沿って表示対象物であるPOI画像11よりも近い位置からPOI画像11に向うパターンである。パターン12は、例えば車300の中心軸に平行なラインであり、それぞれ奥行き方向の表示距離が異なる部分12a〜12dからなる。パターン13は、例えば車300が走行している道路の左端を示すラインであり、それぞれ奥行き方向の表示距離が異なる部分13a〜13dからなる。パターン14は、例えば車300が走行している道路の右端を示すラインであり、それぞれ奥行き方向の表示距離が異なる部分14a〜14dからなる。なお、これらのパターンの何れかは、車300が走行している道路のセンターを示すラインであってもよい。
ここで、制御部102は、パターン12,13,14のそれぞれの全体を同時に表示することなく、それらのパターンの各部分を、奥行き方向に近い側から遠い側に向かう順序で表示部101に表示させる。つまり、制御部102は、3次元の画像空間における奥行き方向に沿ってPOI画像11よりも近い位置からPOI画像11あるいはPOI画像11の近傍に向うパターンに含まれる一部分の左目用画像および右目用画像のそれぞれを表す光を表示部101に投射させる処理(第2の立体表示処理)を、奥行き方向の近い側から遠い側に向かう順序でそのパターンの各部分に対して行うことにより、3次元の画像空間においてそのパターンをユーザに立体視させる。
具体的には、制御部102は、図4の(a)に示すように、まず、パターン12のうちの最も近い位置にある部分12aと、パターン13のうちの最も近い位置にある部分13aと、パターン14のうちの最も近い位置にある部分14aとを表示部101に表示させる。次に、制御部102は、図4の(b)に示すように、パターン12のうちの2番目に近い位置にある部分12bと、パターン13のうちの2番目に近い位置にある部分13bと、パターン14のうちの2番目に近い位置にある部分14bとを表示部101に表示させる。
次に、制御部102は、図4の(c)に示すように、パターン12のうちの3番目に近い位置にある部分12cと、パターン13のうちの3番目に近い位置にある部分13cと、パターン14のうちの3番目に近い位置にある部分14cとを表示部101に表示させる。そして最後に、制御部102は、図4の(d)に示すように、パターン12のうちの最も遠い位置にある部分12dと、パターン13のうちの最も遠い位置にある部分13dと、パターン14のうちの最も遠い位置にある部分14dとを表示部101に表示させる。さらにこのとき、制御部102は、表示対象物であるPOI画像11を表示部101に表示させる。つまり、制御部102は、POI画像11の左目用画像および右目用画像のそれぞれを表す光を表示部101に投射させる処理(第1の立体表示処理)を行うことによって、3次元の画像空間においてPOI画像11をユーザに立体視させる。
なお、制御部102は、図4の(a)〜(d)に示すように、第1および第2の立体表示処理が行われるか否かに関わらず、左右の目に対して同一の画像を表す光を表示部101に投射させる平面表示処理を行うことによって、3次元の画像空間において車両情報画像10を平面視用表示対象物として表示基準位置に常に表示させる。車両情報画像10は、車300の状態を数値で示す計器の画像であって、上述の車両情報に応じたスピードメータ、タコメータおよび燃料計などが描かれた画像である。これにより、POI画像11などの3D用の画像が表示されているか否かに関わらず、車の走行速度などのユーザにとって重要な情報が、平面視用表示対象物である車両情報画像10の表示によってユーザに通知される。したがって、ユーザは車両情報画像10に対する融像を容易に行うことができ、車両情報画像10によって示される情報を誤認することなく適切に把握することができる。
図5は、本実施の形態における表示装置100によって表示される画像の他の例を示す図である。
表示装置100の制御部102は、位置情報および地図情報に基づいて、次の交差点において右折すべきであると判断すると、表示対象物として右折指示画像18(図5の(d)参照)を特定する。そして、制御部102は、3次元の画像空間の奥行き方向における、表示基準位置から右折指示画像18の位置までの距離である表示距離を決定する。ここで、制御部102は、その右折指示画像18の表示距離が閾値以上であると判定すると、図5の(d)に示すように、その右折指示画像18が立体として視認され易くするためのパターン13,14,15を立体的に表示する処理を実行する。これらのパターン13,14,15は、3次元の画像空間の奥行き方向に沿って表示対象物である右折指示画像18よりも近い位置から右折指示画像18に向うパターンである。パターン15は、例えば、右折指示画像18に続くラインであり、それぞれ奥行き方向の表示距離が異なる部分15a〜15cからなる。
ここで、制御部102は、パターン13,14,15のそれぞれの全体を同時に表示することなく、図4に示される処理動作と同様に、それらのパターンの各部分を、奥行き方向に近い側から遠い側に向かう順序で表示部101に表示させる。
具体的には、制御部102は、図5の(a)に示すように、まず、パターン15のうちの最も近い位置にある部分15aと、パターン13のうちの最も近い位置にある部分13aと、パターン14のうちの最も近い位置にある部分14aとを表示部101に表示させる。次に、制御部102は、図5の(b)に示すように、パターン15のうちの2番目に近い位置にある部分15bと、パターン13のうちの2番目に近い位置にある部分13bと、パターン14のうちの2番目に近い位置にある部分14bとを表示部101に表示させる。
次に、制御部102は、図5の(c)に示すように、パターン15のうちの最も遠い位置にある部分15cと、パターン13のうちの3番目に近い位置にある部分13cとを表示部101に表示させる。そして最後に、制御部102は、図5の(d)に示すように、表示対象物である右折指示画像18を表示部101に表示させるとともに、パターン13のうちの最も遠い位置にある部分13dと、パターン14のうちの最も遠い位置にある部分14cとを表示部101に表示させる。なお、制御部102は、このときにも、図5の(a)〜(d)に示すように、車両情報画像10を表示基準位置に常に表示させる。
このように、本実施の形態では、3次元の画像空間の奥行き方向に沿って表示対象物(POI画像11または右折指示画像18)に向う例えばライン状のパターンの一部分に対する立体表示のため処理(第2の立体表示処理)が、手前側から遠方に向かう順序でそのパターンの各部分に対して行われる。そのため、パターンに含まれる順次立体表示される各部分の奥行き方向の位置が、表示対象物付近まで漸次遠くに移される。したがって、ユーザはその立体表示される順に各部分を目で追えば、ユーザによる融像を遠方側に次第に慣らしていくことができ、遠い位置にある表示対象物であっても、その表示対象物に対する融像を容易に行うことができる。これにより、ユーザは遠方の表示対象物を立体として容易に視認することができる。
図6は、表示対象物の大きさおよび位置の例を示す図である。
制御部102は、例えば表示対象物であるPOI画像11を表示部101に表示させる場合、3次元の画像空間におけるPOI画像11の奥行き方向(図6中のz軸方向)の位置zが近いほど、そのPOI画像11を大きく下側に表示させる。逆に、制御部102は、POI画像11の奥行き方向(図6中のz軸方向)の位置zが遠いほど、そのPOI画像11を小さく上側に表示させる。具体的には、制御部102は、POI画像11の奥行き方向の位置がz=z1である場合には、大きく下側にそのPOI画像11を表示させる。そして、制御部102は、その位置z1よりも奥行き方向に遠い位置z2にPOI画像11を表示させる場合には、z=z1の場合よりも小さく上側にそのPOI画像11を表示させる。さらに、制御部102は、その位置z2よりも奥行き方向に遠い位置z3にPOI画像11を表示させる場合には、z=z2の場合よりもさらに小さく上側にそのPOI画像11を表示させる。さらに、制御部102は、その位置z3よりも奥行き方向に遠い位置z4にPOI画像11を表示させる場合には、z=z3の場合よりもさらに小さく上側にそのPOI画像11を表示させる。
このように、本実施の形態では、制御部102は、3次元の画像空間における表示対象物の奥行き方向の位置が遠いほどその表示対象物が小さく視認されるように、表示対象物の左目用画像および右目用画像のそれぞれを表す光を表示部101に投射させる。したがって、ユーザは、表示対象物の大きさから、表示対象物の奥行き方向の位置を容易に把握することができ、表示対象物に対する融像をさらに容易に行うことができる。さらに、制御部102は、表示対象物の奥行き方向の位置が遠いほど、視認される表示対象物の位置が高くなるように、その表示対象物の左目用画像および右目用画像のそれぞれを表す光を表示部101に投射させる。したがって、ユーザは、視認される表示対象物の垂直方向の位置から、表示対象物の奥行き方向の位置を容易に把握することができる。その結果、ユーザは、表示対象物に対する融像をさらに容易に行うことができる。
図7は、本実施の形態における表示装置100の処理動作を示すフローチャートである。
制御部102は、車両情報、位置情報および地図情報に基づいて表示すべき表示対象物を特定する(ステップS101)。次に、制御部102は、特定された表示対象物の表示距離を決定する(ステップS102)。例えば、制御部102は、表示対象物としてPOI画像11を特定すると、そのPOI画像11により識別されるPOIの地図上の位置と、位置情報によって示される車300の位置との相対的な位置関係に基づいて、そのPOIの地図上の位置を3次元の画像空間における位置に変換する。そして、制御部102は、その画像空間における表示基準位置と、変換によって得られたPOIの位置との間の奥行き方向の距離を上述の表示距離として決定する。
ここで、制御部102は、その表示距離が閾値以上であるか否かを判定する(ステップS103)。ここで、その表示距離が閾値以上であると判定されると(ステップS103のYES)、制御部102は、漸次異なる表示距離にあるパターンの各部分を、奥行き方向に近い順に表示部101に表示させる(ステップS104)。つまり、ステップS104では、制御部102は、3次元の画像空間における奥行き方向に沿って表示対象物よりも近い位置からその表示対象物あるいはその表示対象物の近傍に向うパターンに含まれる一部分の左目用画像および右目用画像のそれぞれを表す光を表示部101に投射させる第2の立体表示処理を、奥行き方向の近い側から遠い側に向かう順序でそのパターンの各部分に対して行う。一方、その表示距離が閾値以上でないと判定されると(ステップS103のNO)、制御部102は、そのパターンの各部分を順に表示させる処理を行わない。最後に、制御部102は、表示部101を制御することにより、ステップS101で特定された表示対象物を、ステップS102で決定された表示距離によって示される3次元の画像空間上の位置に表示させる。
なお、図7に示すフローチャートでは、ステップS104の処理の後に、ステップS105の処理が行われるが、ステップS104とステップS105のそれぞれの処理を同時に行ってもよく、ステップS105の処理の後に、ステップS104の処理を行ってもよい。また、ステップS103の判定を行うことなく、つまり表示距離に関わらず、パターンを立体表示するための処理(ステップS104)を行ってもよい。また、パターンの各部分を順に表示させることなく、パターンの全てを同時に表示させてもよい。
また、制御部102は、ステップS104では、奥行き方向に沿って連続して配置される上記各部分に対して第2の立体表示処理を行ってもよい。この場合には、ユーザによる融像をスムーズに慣らしていくことができる。また、制御部102は、奥行き方向に沿って断続的に配置される上記各部分に対して第2の立体表示処理を行ってもよい。この場合には、立体表示されるパターンの各部分が断続的であるため、パターンの立体表示を行うための処理負担を軽減することができる。
また、制御部102は、ステップS104の処理を繰り返し実行してもよい。つまり、パターンの全体が表示されると、制御部102は、そのパターンを表示部101に消去させ、再度、奥行き方向の近い側から遠い側に向かう順序でそのパターンの各部分に対する第2の立体表示処理を行う。これにより、どのようなタイミングでもユーザは遠方の表示対象物を立体として容易に視認することができる。
(変形例1)
上記実施の形態では、表示装置100がダッシュボード301に配置されていたが、車300のルーフに取り付けられていてもよい。
図8は、本実施の形態の変形例1に係る表示装置100の使用例を示す図である。
変形例1に係る表示装置100は、車300の運転席付近のルーフに取り付けられている。このように取り付けられた表示装置100であっても、上記実施の形態と同様、画像d1を表す光を風防ガラス(フロントガラス)201に投射し、風防ガラス201に反射させる。この反射された光はユーザである運転手に向けられる。その結果、ユーザは、風防ガラス201越しの背景を見ながら、その反射された光によって風防ガラス201の外側に現われる画像d1の虚像を視認することができる。さらに、その画像d1が3D用の画像である場合には、表示装置100は、3次元の画像空間における表示対象物d2の虚像を立体的にユーザに視認させる。つまり、表示装置100は、3次元の画像空間における表示基準位置から奥行き方向の遠方側に離れた位置に、表示対象物d2の虚像を表示する。
一方、変形例1に係る表示装置100は、上記実施の形態とは異なり、上側に画像d1を虚像として表示する。
図9は、本実施の形態の変形例1に係る表示装置100によって表示される画像の一例を示す図である。
表示装置100は、画像d1を表す光を風防ガラス201の例えば運転席寄り上側の投射領域に投射することによって、運転手であるユーザから見てその投射領域の奥側(車外側)に、画像d1を虚像として表示する。ここで、3次元の画像空間における表示対象物の奥行き方向の位置が近いほど、画像d1内において上側にその表示対象物が配置され、逆に、表示対象物の奥行き方向の位置が遠いほど、画像d1内において下側に表示対象物が配置される。例えば、奥行き方向の位置が遠い表示対象物であるPOI画像11は、画像d1内において下側に小さく配置される。また、平面視用表示対象物である車両情報画像10は、画像d1内において上側に大きく配置される。そして、この変形例1では、パターン12〜13のそれぞれの各部分は上側から順に表示される。
このような変形例1であっても、上記実施の形態1と同様に、3次元の画像空間の奥行き方向に沿って表示対象物(POI画像11)に向う例えばライン状のパターンの一部分に対する立体表示のため処理(第2の立体表示処理)が、手前側(上側)から遠方(下側)に向かう順序でそのパターンの各部分に対して行われる。そのため、パターンに含まれる順次立体表示される各部分の奥行き方向の位置が、表示対象物付近まで漸次遠くに移される。したがって、ユーザはその立体表示される順に各部分を目で追えば、ユーザによる融像を遠方側に次第に慣らしていくことができ、遠い位置にある表示対象物であっても、その表示対象物に対する融像を容易に行うことができる。これにより、ユーザは遠方の表示対象物を立体として容易に視認することができる。
(変形例2)
上記実施の形態および変形例1では、風防ガラス201越しにある実際の道路に関わらず、道路の右端および左端のそれぞれを仮想的に示すラインをパターンとして表示したが、その実際の道路の端を強調させてユーザに見せるラインをパターンとして表示してもよい。
図10は、本実施の形態の変形例2に係る表示装置100の構成を示すブロック図である。
変形例2に係る表示装置100は、上記実施の形態と同様に、表示部101、制御部102および情報取得部103を備える。ここで、本変形例に係る表示部101は、風防ガラス201の全面に対して画像を表す光を投射することによって、風防ガラス201越しの背景の全体に対して画像を重畳して表示することができる。また、本変形例に係る情報取得部103は、車両情報、位置情報および地図情報の他にも、視線情報検出部340から出力される視線情報と、カメラ350から出力される映像情報とを取得する。
視線情報検出部340は、運転手であるユーザの両眼の位置、視線および視点などを示す視線情報を検出する。具体的には、視線情報検出部340は、ユーザの顔を撮影することによって得られる画像を解析することによって、ユーザの視線情報を検出する。例えば、視線情報検出部340は、その撮影によって得られた画像に対して二値化処理、特徴点抽出処理またはパターンマッチングなどの画像処理を行うことによって、ユーザの視線情報を検出する。視線情報検出部340は、その検出されたユーザの視線情報を表示装置100に出力する。
カメラ350は、車300の前方の道路を撮影し、その撮影によって得られた映像を示す映像情報を表示装置100に出力する。
制御部102は、情報取得部103を介して視線情報と映像情報とを取得する。そして、制御部102は、映像情報と、カメラ350の予め定められた位置および撮影方向に基づいて、車300の前方の道路の形状および位置を3次元的に特定する。なお、道路の形状および位置を3次元的に特定するために、制御部102は、複数のカメラ350から映像情報を取得し、三角測量によってそれらを特定してもよい。また、制御部102は、道路の端が例えば雪などによって隠れているために、映像情報を用いて道路の形状および位置を特定することができない場合には、地図情報に基づいて、その道路の形状および位置を特定してもよい。
さらに、制御部102は、視線情報によって示されるユーザの両眼の位置、視線および視点と、特定された道路の形状および位置とに基づいて、その道路の両端のそれぞれを強調するラインを上述のパターンとして表示部101に表示させる。つまり、制御部102は、風防ガラス201越しのユーザの視界に現れる道路の両端のそれぞれと重なり合う、画像d1によって示される3次元の画像空間内の位置に、その道路の両端のそれぞれを強調するラインを表示させる。
図11は、本実施の形態の変形例2に係る表示装置100によって表示される画像を示す図である。
例えば、制御部102は、車両情報出力部310から出力される道路交通情報を情報取得部103を介して取得し、その道路交通情報に基づいて、渋滞があることを知らせる注意喚起画像19を表示対象物として特定する。そして、制御部102は、3次元の画像空間における遠方にその注意喚起画像19を表示させる場合、車300の前方の道路の両端のそれぞれを強調するライン17を、上述のパターンとして表示部101に表示させる。つまり、ユーザから見える道路の両端のそれぞれの位置に、周囲と大きく異なる輝度または色差によって示されるライン17が上述のパターンとして重畳される。これらのライン17は、道路の両端のそれぞれの形状に沿って3次元の画像空間に現われるパターンであって、3次元の画像空間における奥行き方向に沿って注意喚起画像19よりも近い位置からその注意喚起画像19に向うパターンである。
そして、制御部102は、これらのライン17を表示部101に表示させる際には、上記実施の形態におけるパターン12〜15などと同様に、ライン17に含まれる一部分の左目用画像および右目用画像のそれぞれを表す光を表示部101に投射させる処理(第2の立体表示処理)を、奥行き方向の近い側から遠い側に向かう順序でそのライン17の各部分に対して行うことにより、3次元の画像空間においてそのライン17をユーザに立体視させる。
このような変形例2であっても、上記実施の形態1と同様に、3次元の画像空間の奥行き方向に沿って表示対象物(注意喚起画像19)に向う例えばライン状のパターンの一部分に対する立体表示のため処理(第2の立体表示処理)が、手前側から遠方に向かう順序でそのパターンの各部分に対して行われる。したがって、ユーザはその立体表示される順に各部分を目で追えば、ユーザによる融像を遠方側に次第に慣らしていくことができ、遠い位置にある表示対象物であっても、その表示対象物に対する融像を容易に行うことができる。これにより、ユーザは遠方の表示対象物を立体として容易に視認することができる。さらに、本変形例では、道路の両端が強調されるため、ユーザは安全に走行することができる。
図12は、本発明における表示方法を示すフローチャートである。
この表示方法は、画像を表す光を、透光性を有する表示媒体に投射して当該表示媒体に反射させることによって、その画像を虚像としてユーザに視認させる表示部101を用いた表示方法であって、ステップS11とステップS12とを含む。つまり、この表示方法では、まず、表示対象物の左目用画像および右目用画像のそれぞれを表す光を表示部101に投射させる第1の立体表示処理を行うことによって、3次元の画像空間においてその表示対象物をユーザに立体視させる(ステップS11)。次に、その画像空間における奥行き方向に沿って表示対象物よりも近い位置からその表示対象物あるいはその表示対象物の近傍に向うパターンに含まれる一部分の左目用画像および右目用画像のそれぞれを表す光を表示部101に投射させる第2の立体表示処理を、奥行き方向の近い側から遠い側に向かう順序でそのパターンの各部分に対して行うことにより、画像空間においてそのパターンをユーザに立体視させる(ステップS12)。
このような表示方法によれば、上記実施の形態および各変形例と同様に、ユーザは遠方の表示対象物を立体として容易に視認することができる。なお、図12に示すフローチャートでは、ステップS11の処理の後に、ステップS12の処理が行われるが、ステップS11とステップS12のそれぞれの処理を同時に行ってもよく、ステップS12の処理の後に、ステップS11の処理を行ってもよい。
なお、上記実施の形態およびその各変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態およびその変形例の表示装置を実現するコンピュータプログラムは、コンピュータに、図12に示すステップS11およびステップS12を実行させる。
また、上記実施の形態およびその各変形例では、表示装置100は車載用のものであるが、車載用のものでなくてもよい。例えば、表示装置100は、ウェアラブルデバイスとして構成される眼鏡に搭載されてもよい。この場合、表示装置100は、例えば、3Dのための左目用画像を表す光を眼鏡の左目用のレンズ(表示媒体)に投射し、3Dのための右目用画像を表す光を眼鏡の右目用のレンズ(表示媒体)に投射する。このような眼鏡に表示装置100が搭載される場合であっても、上記実施の形態およびその各変形例と同様に、ユーザは遠方の表示対象物を立体として容易に視認することができる。
以上、一つまたは複数の態様に係る表示装置100について、上記実施の形態およびその各変形例に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態または変形例における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
また、以下のような場合も本発明に含まれる。
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニットなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
(3)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
本発明は、表示対象物を視認し易くすることができるという効果を奏し、例えば、車載用のヘッドアップディスプレイなどに適用することができる。
100 表示装置
101 表示部
102 制御部
103 情報取得部
310 車両情報出力部
320 位置検出部
330 地図データベース

Claims (11)

  1. 画像を表す光を、透光性を有する表示媒体に投射して当該表示媒体に反射させることによって、前記画像を虚像としてユーザに視認させる表示部と、
    表示対象物の左目用画像および右目用画像のそれぞれを表す光を前記表示部に投射させる第1の立体表示処理を行うことによって、3次元の画像空間において前記表示対象物を前記ユーザに立体視させる制御部とを備え、
    前記制御部は、
    さらに、前記画像空間における奥行き方向に沿って前記表示対象物よりも近い位置から前記表示対象物あるいは当該表示対象物の近傍に向うパターンに含まれる一部分の左目用画像および右目用画像のそれぞれを表す光を前記表示部に投射させる第2の立体表示処理を、奥行き方向の近い側から遠い側に向かう順序で前記パターンの各部分に対して行うことにより、前記画像空間において前記パターンを前記ユーザに立体視させる
    表示装置。
  2. 前記制御部は、
    奥行き方向に沿って連続して配置される前記各部分に対して前記第2の立体表示処理を行う
    請求項1に記載の表示装置。
  3. 前記制御部は、
    奥行き方向に沿って断続的に配置される前記各部分に対して前記第2の立体表示処理を行う
    請求項1に記載の表示装置。
  4. 前記制御部は、
    前記画像空間における前記表示対象物の奥行き方向の位置が遠いほど前記表示対象物が小さく視認されるように前記第1の立体表示処理を行う
    請求項1〜3の何れか1項に記載の表示装置。
  5. 前記制御部は、
    前記画像空間における前記表示対象物の奥行き方向の位置が遠いほど、視認される前記表示対象物の位置が高くなるように前記第1の立体表示処理を行う
    請求項1〜4の何れか1項に記載の表示装置。
  6. 前記制御部は、さらに、
    前記第1および第2の立体表示処理が行われるか否かに関わらず、左右の目に対して同一の画像を表す光を前記表示部に投射させる平面表示処理を行うことによって、前記画像空間において平面視用表示対象物をユーザに視認させる
    請求項1〜5の何れか1項に記載の表示装置。
  7. 前記平面視用表示対象物は、
    前記表示装置を搭載する車の状態を数値で示す計器である
    請求項6に記載の表示装置。
  8. 前記制御部は、
    前記画像空間の奥行き方向における表示基準位置から前記表示対象物の位置までの距離である表示距離が、予め定められた閾値以上であるか否かを判定し、
    前記表示距離が前記閾値以上であると判定したときに、前記パターンの各部分に対して前記第2の立体表示処理を前記順序で行う
    請求項1〜7の何れか1項に記載の表示装置。
  9. 前記パターンは、前記表示装置を搭載する車の中心軸に平行なライン、前記車が走行している道路のセンターまたは路肩を示すラインである
    請求項1〜8の何れか1項に記載の表示装置。
  10. 画像を表す光を、透光性を有する表示媒体に投射して当該表示媒体に反射させることによって、前記画像を虚像としてユーザに視認させる表示部を用いた表示方法であって、
    表示対象物の左目用画像および右目用画像のそれぞれを表す光を前記表示部に投射させる第1の立体表示処理を行うことによって、3次元の画像空間において前記表示対象物を前記ユーザに立体視させる第1の表示ステップと、
    前記画像空間における奥行き方向に沿って前記表示対象物よりも近い位置から前記表示対象物あるいは当該表示対象物の近傍に向うパターンに含まれる一部分の左目用画像および右目用画像のそれぞれを表す光を前記表示部に投射させる第2の立体表示処理を、奥行き方向の近い側から遠い側に向かう順序で前記パターンの各部分に対して行うことにより、前記画像空間において前記パターンを前記ユーザに立体視させる第2の表示ステップとを含む
    表示方法。
  11. 画像を表す光を、透光性を有する表示媒体に投射して当該表示媒体に反射させることによって、前記画像を虚像としてユーザに視認させる表示部を制御するためのプログラムであって、
    表示対象物の左目用画像および右目用画像のそれぞれを表す光を前記表示部に投射させる第1の立体表示処理を行うことによって、3次元の画像空間において前記表示対象物を前記ユーザに立体視させる第1の表示ステップと、
    前記画像空間における奥行き方向に沿って前記表示対象物よりも近い位置から前記表示対象物あるいは当該表示対象物の近傍に向うパターンに含まれる一部分の左目用画像および右目用画像のそれぞれを表す光を前記表示部に投射させる第2の立体表示処理を、奥行き方向の近い側から遠い側に向かう順序で前記パターンの各部分に対して行うことにより、前記画像空間において前記パターンを前記ユーザに立体視させる第2の表示ステップとを、コンピュータに実行させる
    プログラム。
JP2014098815A 2014-05-12 2014-05-12 表示装置および表示方法 Active JP6304628B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014098815A JP6304628B2 (ja) 2014-05-12 2014-05-12 表示装置および表示方法
US15/308,356 US10313666B2 (en) 2014-05-12 2015-05-08 Display device and display method
PCT/JP2015/002337 WO2015174050A1 (ja) 2014-05-12 2015-05-08 表示装置および表示方法
EP15792581.9A EP3145183A4 (en) 2014-05-12 2015-05-08 Display device and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014098815A JP6304628B2 (ja) 2014-05-12 2014-05-12 表示装置および表示方法

Publications (2)

Publication Number Publication Date
JP2015215510A true JP2015215510A (ja) 2015-12-03
JP6304628B2 JP6304628B2 (ja) 2018-04-04

Family

ID=54479601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014098815A Active JP6304628B2 (ja) 2014-05-12 2014-05-12 表示装置および表示方法

Country Status (4)

Country Link
US (1) US10313666B2 (ja)
EP (1) EP3145183A4 (ja)
JP (1) JP6304628B2 (ja)
WO (1) WO2015174050A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017193196A (ja) * 2016-04-18 2017-10-26 株式会社デンソー ヘッドアップディスプレイシステム及び表示制御プログラム
WO2018078798A1 (ja) * 2016-10-28 2018-05-03 三菱電機株式会社 表示制御装置及び表示制御方法
JP2019062532A (ja) * 2017-09-25 2019-04-18 三星電子株式会社Samsung Electronics Co.,Ltd. 映像レンダリング方法及び装置
KR20190070665A (ko) * 2017-12-13 2019-06-21 삼성전자주식회사 컨텐츠 시각화 장치 및 방법
WO2020090629A1 (ja) * 2018-10-31 2020-05-07 京セラ株式会社 画像表示装置、画像表示システム、及び移動体
JP2020134535A (ja) * 2019-02-12 2020-08-31 株式会社ジャパンディスプレイ 表示装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102349B (zh) * 2014-07-18 2018-04-27 北京智谷睿拓技术服务有限公司 内容分享方法和装置
WO2017022303A1 (ja) * 2015-08-03 2017-02-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6726674B2 (ja) * 2015-10-15 2020-07-22 マクセル株式会社 情報表示装置
WO2017141829A1 (ja) 2016-02-18 2017-08-24 株式会社リコー 情報提供装置
KR102581359B1 (ko) * 2016-09-02 2023-09-20 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
CN109906608B (zh) * 2016-11-01 2021-03-12 松下电器(美国)知识产权公司 显示方法以及显示装置
USD900133S1 (en) * 2017-09-27 2020-10-27 Toyota Research Institute, Inc. Vehicle display screen or portion thereof with a graphical user interface
US20190138789A1 (en) * 2017-11-09 2019-05-09 Mindtronic Ai Co.,Ltd. Display system and method for displaying images
CN109975978B (zh) * 2017-12-27 2022-04-12 乐金显示有限公司 平视显示装置
JP7331511B2 (ja) * 2019-07-16 2023-08-23 株式会社アイシン 車両周辺表示装置
CN110356230B (zh) * 2019-07-31 2023-04-07 广州小鹏汽车科技有限公司 一种基于车载显示屏的交互方法及交互系统、车辆
USD948552S1 (en) * 2019-09-06 2022-04-12 Kubota Corporation Display screen for tractor with graphical user interface
KR20210100241A (ko) * 2020-02-05 2021-08-17 현대모비스 주식회사 내비게이션 연동을 이용한 차선 표시용 램프 시스템 및 이에 의한 차선 표시 방법
WO2021171397A1 (ja) * 2020-02-26 2021-09-02 三菱電機株式会社 表示制御装置、表示装置、及び表示制御方法
CN113343128A (zh) * 2021-05-31 2021-09-03 阿波罗智联(北京)科技有限公司 用于推送信息的方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005067515A (ja) * 2003-08-27 2005-03-17 Denso Corp 車両用表示装置
JP2005301144A (ja) * 2004-04-15 2005-10-27 Denso Corp 虚像表示装置およびプログラム
JP2011121401A (ja) * 2009-12-08 2011-06-23 Toshiba Corp 表示装置、表示方法及び移動体
JP2011253097A (ja) * 2010-06-03 2011-12-15 Toshiba Corp 表示装置及び表示方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883739A (en) * 1993-10-04 1999-03-16 Honda Giken Kogyo Kabushiki Kaisha Information display device for vehicle
JP2011090076A (ja) 2009-10-21 2011-05-06 Panasonic Corp 画像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005067515A (ja) * 2003-08-27 2005-03-17 Denso Corp 車両用表示装置
JP2005301144A (ja) * 2004-04-15 2005-10-27 Denso Corp 虚像表示装置およびプログラム
JP2011121401A (ja) * 2009-12-08 2011-06-23 Toshiba Corp 表示装置、表示方法及び移動体
JP2011253097A (ja) * 2010-06-03 2011-12-15 Toshiba Corp 表示装置及び表示方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017193196A (ja) * 2016-04-18 2017-10-26 株式会社デンソー ヘッドアップディスプレイシステム及び表示制御プログラム
WO2018078798A1 (ja) * 2016-10-28 2018-05-03 三菱電機株式会社 表示制御装置及び表示制御方法
JPWO2018078798A1 (ja) * 2016-10-28 2019-01-24 三菱電機株式会社 表示制御装置及び表示制御方法
JP2019062532A (ja) * 2017-09-25 2019-04-18 三星電子株式会社Samsung Electronics Co.,Ltd. 映像レンダリング方法及び装置
JP7290925B2 (ja) 2017-09-25 2023-06-14 三星電子株式会社 映像レンダリング方法及び装置
KR20190070665A (ko) * 2017-12-13 2019-06-21 삼성전자주식회사 컨텐츠 시각화 장치 및 방법
US11650069B2 (en) 2017-12-13 2023-05-16 Samsung Electronics Co., Ltd. Content visualizing method and device
KR102547823B1 (ko) * 2017-12-13 2023-06-26 삼성전자주식회사 컨텐츠 시각화 장치 및 방법
WO2020090629A1 (ja) * 2018-10-31 2020-05-07 京セラ株式会社 画像表示装置、画像表示システム、及び移動体
JP2020134535A (ja) * 2019-02-12 2020-08-31 株式会社ジャパンディスプレイ 表示装置
JP7317517B2 (ja) 2019-02-12 2023-07-31 株式会社ジャパンディスプレイ 表示装置

Also Published As

Publication number Publication date
US20170054973A1 (en) 2017-02-23
EP3145183A4 (en) 2017-05-31
WO2015174050A1 (ja) 2015-11-19
EP3145183A1 (en) 2017-03-22
US10313666B2 (en) 2019-06-04
JP6304628B2 (ja) 2018-04-04

Similar Documents

Publication Publication Date Title
JP6304628B2 (ja) 表示装置および表示方法
JP5866553B2 (ja) 表示制御装置、投影装置、および表示制御プログラム
JP4886751B2 (ja) 車載用表示システム及び表示方法
JP6528139B2 (ja) 表示制御装置及び表示制御プログラム
CN109309828B (zh) 图像处理方法和图像处理装置
JP2019011017A (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
US20170046880A1 (en) Display device and display method
JPWO2014174575A1 (ja) 車両用ヘッドアップディスプレイ装置
JP2010143520A (ja) 車載用表示システム及び表示方法
KR20180022374A (ko) 운전석과 보조석의 차선표시 hud와 그 방법
JP2020032866A (ja) 車両用仮想現実提供装置、方法、及びコンピュータ・プログラム
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP6494764B2 (ja) 表示制御装置、表示装置及び表示制御方法
JP7167918B2 (ja) 車両用表示装置
JP2019077340A (ja) ヘッドアップディスプレイ装置
JP2021056358A (ja) ヘッドアップディスプレイ装置
JP7434894B2 (ja) 車両用表示装置
WO2021200913A1 (ja) 表示制御装置、画像表示装置、及び方法
JP6315383B2 (ja) 表示制御プログラムおよび表示制御装置
JP2022077138A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
JP2021160409A (ja) 表示制御装置、画像表示装置、及び方法
CN115665400A (zh) 增强现实抬头显示成像方法、装置、设备以及存储介质
WO2018216552A1 (ja) ヘッドアップディスプレイ装置
JP2023093913A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
JP2022113292A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180223

R151 Written notification of patent or utility model registration

Ref document number: 6304628

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03