CN111108530A - 信息显示装置和方法以及程序和记录介质 - Google Patents

信息显示装置和方法以及程序和记录介质 Download PDF

Info

Publication number
CN111108530A
CN111108530A CN201880060547.7A CN201880060547A CN111108530A CN 111108530 A CN111108530 A CN 111108530A CN 201880060547 A CN201880060547 A CN 201880060547A CN 111108530 A CN111108530 A CN 111108530A
Authority
CN
China
Prior art keywords
information
image
display
viewpoint
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880060547.7A
Other languages
English (en)
Other versions
CN111108530B (zh
Inventor
岭岸亚纪
中村芳知
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN111108530A publication Critical patent/CN111108530A/zh
Application granted granted Critical
Publication of CN111108530B publication Critical patent/CN111108530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/023—Display panel composed of stacked panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Indicating Measured Values (AREA)
  • Instrument Panels (AREA)
  • Image Generation (AREA)

Abstract

在信息显示装置和方法中，根据与配置于假想空间内的多个平面状的对象分别有关的质感信息(Jc)、视点信息(Gb)和周边环境信息(Gc)生成该对象的图像，合成多个对象的图像，由此生成显示图像。假想空间是模拟放置显示部(25)的空间而成的，对象与假想空间内的平面(25L)平行地配置，假想空间内的平面(25L)对应于显示部(25)的显示面(25Q)。能够以较少的数据处理量和存储量表现质感，并且针对观察者的运动的响应性优良，能够显示具有真实性的影像。

Description

信息显示装置和方法以及程序和记录介质
技术领域
本发明涉及信息显示装置和方法以及程序和记录介质。本发明特别涉及能够表现被显示物的质感且更加真实地显示被显示物的信息显示装置和方法以及程序和记录介质。本发明的信息显示装置例如被用作车辆用的显示装置，例如显示仪表盘(仪表板)的显示装置。
背景技术
信息显示装置例如使用由CRT(Cathode Ray Tube：阴极射线管)显示器、液晶显示器、LED(Light Emitting Diode：发光二极管)显示器、有机EL(Electroluminescence：电致发光)显示器等构成的显示部显示信息。
近年来，信息显示装置通过信息的数字化来扩大用途，例如还用于车辆信息的显示等。在利用信息显示装置显示车辆信息的情况下，有时利用计算机图形技术生成表示模拟式仪表的图像并显示在二维的显示部中。在这种显示中，质感、真实性的改善成为课题。
在专利文献1中，取得车辆乘员的视线方向，根据取得结果估计仪表的显示形式例如反射光的形式。
现有技术文献
专利文献
专利文献1：日本特开2010-58633号公报(第5-7页、第1图)
发明内容
发明要解决的课题
在专利文献1中，为了计算显示形式而使用仪表的三维形状，因此，存在处理数据量较大、处理负荷较大、针对观察者的运动的响应性较差这样的问题。
本发明正是鉴于这种状况而完成的，其目的在于，提供如下的信息显示装置和方法：能够以较少的数据处理量和存储量表现质感，并且针对观察者的运动的响应性优良，能够显示具有真实性的影像。
用于解决课题的手段
本发明的信息显示装置的特征在于，所述信息显示装置具有：图像处理装置，其生成表示被显示物的显示图像；显示部，其显示所述显示图像；观察者摄像部，其拍摄观看所述显示部的观察者，输出观察者图像；以及周边环境摄像部，其拍摄所述显示部的周边的环境，输出周边环境图像，所述图像处理装置具有：视点信息处理部，其根据所述观察者图像生成表示所述观察者的视点的位置和运动的视点信息；环境信息处理部，其根据所述周边环境图像生成表示所述显示部的周边的光学环境的周边环境信息；以及显示图像生成部，其根据与配置于假想空间内的多个平面状的对象分别有关的质感信息、所述视点信息和所述周边环境信息生成该对象的图像，合成多个所述对象的图像，由此生成所述显示图像。
发明效果
根据本发明，与被显示物的多个结构部分的可视面分别对应的对象是平面状的且不具有三维形状，因此，能够减少数据量并减少处理负荷，能够提高针对观察者的视点的运动的响应性。
附图说明
图1是概略地示出本发明的实施方式1的信息显示装置2的结构的框图。
图2是示出构成图1的图像处理装置的图像显示ECU的框图。
图3是示出由显示部中显示的图像表示的仪表盘的一例的主视图。
图4是图3的仪表盘的分解立体图。
图5是示出在表示图3和图4所示的仪表盘的图像的生成中使用的对象的图。
图6的(a)和(b)是示出与平面对象对应的可视面的一例和法线信息的图。
图7是示出与一个层有关的物体颜色信息、镜面反射信息和法线信息的图。
图8是示出与另一个层有关的物体颜色信息、镜面反射信息和法线信息的图。
图9是示出与又一个层有关的物体颜色信息、镜面反射信息和法线信息的图。
图10的(a)～(d)是示出伴随着观察者视点移动的显示图像变化的例子的概略图。
图11是示出对象和虚拟光源在假想空间中的配置的例子的图。
图12是示出伴随着观察者视点移动的对象移动的例子的图。
图13是示出图1的图像处理装置的图像处理步骤的流程图。
图14是示出图13的显示图像生成的步骤中的处理步骤的流程图。
图15是示出进深信息的另一例的图。
图16是示出进深信息的又一例的图。
图17是概略地示出本发明的实施方式3的信息显示装置的结构的框图。
具体实施方式
实施方式1
图1概略地示出本发明的实施方式1的信息显示装置2的结构。
如图1所示，信息显示装置2具有图像处理装置10、状态信息取得部21、观察者摄像部22、周边环境摄像部23和显示部25。
图像处理装置10显示表示被显示物的图像。被显示物例如是表示与车辆有关的信息(引擎的转速、车辆的行驶速度等)的仪表盘。
这里所说的车辆除了包含乘用车等四轮车以外，还包含两轮车。
显示部25显示由图像处理装置10生成的图像。显示部25例如由液晶显示器、有机EL显示器、等离子体显示器、空中显示器等二维显示器构成。
在被显示物是车辆的仪表盘的情况下，显示部25配置于本来配置仪表盘的位置例如仪表板。该情况下，观察者(例如驾驶者)代替仪表盘而观看显示部25中显示的图像，由此得到与车辆有关的信息。
图像处理装置10生成与在假设在显示部25的位置放置有被显示物的情况下从观察者侧看到的图像相同的图像。
图像处理装置10通过图形技术生成图像。具体而言，将多个对象配置于假想空间内，将其投影到假想投影面，由此生成图像。该假想空间模拟放置被显示物的空间，因此，模拟放置显示部25的空间(实际空间)。假想投影面跟与实际空间内的显示部25的显示面对应的假想空间内的平面(假想显示面)平行地配置。
多个对象是与假想显示面平行地配置的平面状的对象，分别对应于被显示物的多个结构部分的能够从观察者看到的面(可视面)，配置于与被显示物的对应的可视面的进深方向位置对应的假想空间内的进深方向位置。
被显示物的可视面的进深方向位置是从观察者观看放置于显示部25的位置的被显示物时的进深方向位置，例如，由从包含观察者的视点且与显示部25的显示面平行的基准面起的距离定义。
假想空间内的进深方向位置是从假想空间内假想的观察者观看配置于假想空间内的对象时的进深方向位置，例如，由从包含假想空间内假想的观察者的视点(对应于实际空间内的观察者的视点)且与假想显示面平行的基准面起的距离定义。
设各对象属于与其进深方向位置相同的进深方向位置处假想的层来进行处理。各层是与假想显示面平行的平面，1个以上的对象属于各层。
状态信息取得部21取得确定被显示物的状态的状态信息Fa。在被显示物是车辆的仪表盘的情况下，根据车辆的状态(引擎的转速、车辆的行驶速度、方向指示器的状态等)确定作为被显示物的仪表盘的状态(仪表的指针的位置、指示器的亮度或颜色)。该情况下，取得表示车辆的状态的信息(车辆信息)作为状态信息。
观察者摄像部22拍摄观看显示部25的观察者4，特别是其头部，输出摄像图像作为观察者图像Fb。在被显示物是车辆的仪表盘的情况下，观察者4一般是驾驶者。
周边环境摄像部23拍摄显示部25的周边的环境，输出摄像图像作为周边环境图像Fc。在被显示物是车辆的仪表盘的情况下，显示部25的周边的环境不仅包含车辆的内部的环境，还包含车辆的外部的环境。
图像处理装置10具有属性信息存储部11、视点信息处理部12、环境信息处理部13和显示图像生成部14。
在属性信息存储部11中存储有与多个对象分别有关的属性信息Ja。
视点信息处理部12根据从观察者摄像部22输出的观察者图像Fb生成表示观察者的视点的位置和运动的视点信息Gb。
环境信息处理部13根据从周边环境摄像部23输出的周边环境图像Fc生成表示周边的光学环境的周边环境信息Gc。
显示图像生成部14根据属性信息存储部11中存储的属性信息Ja、由状态信息取得部21得到的状态信息Fa、由视点信息处理部12生成的视点信息Gb和由环境信息处理部13生成的周边环境信息Gc生成该对象的图像，合成多个对象的图像，由此生成显示图像。
显示图像生成部14具有层图像生成部15和层图像合成部16。
层图像生成部15根据属性信息Ja、状态信息Fa、视点信息Gb和周边环境信息Gc生成多个层图像。
层图像生成部15将多个对象分别设为属于与该对象相同的进深方向位置的层的对象来进行处理，生成由分别属于各层的1个以上的对象的图像构成的多个层图像。
各层的层图像是将属于该层的对象投影到假想投影面而得到的图像。
在利用像素的集合表示各对象的情况下，通过确定各对象的各像素的像素值而生成该对象的图像，统合属于各层的1个以上的对象的图像，由此生成该层的图像。例如，针对各层准备一组存储板，将属于该层的对象的各像素的像素值写入该存储板，由此生成该层的图像。
在生成各层的层图像时，与上述状态信息Fa、视点信息Gb和周边环境信息Gc一起，参照属性信息存储部11中存储的属性信息Ja中的与属于该层的对象有关的属性信息。
层图像合成部16合成多个层图像，生成显示图像。
在合成时，层图像合成部16对多个层图像实施赋予运动视差的处理和删除隐藏面的处理。
在赋予运动视差的处理中，对属于位于更里侧的层的对象赋予更大的运动视差。
在删除隐藏面的处理中，删除与属于近前侧的层的对象重叠的、属于里侧的层的对象。
图像处理装置10例如由图2所示的图像显示ECU(Electronic Control Unit：电子控制单元)构成。
图2所示的图像显示ECU具有CPU101和存储器102，它们通过总线103连接。CPU101和存储器102还经由总线103，进而分别经由输入接口104、105、106而与状态信息取得部21、观察者摄像部22和周边环境摄像部23连接，并且，经由总线103和输出接口107而与显示部25连接。
CPU101按照存储器102中存储的程序进行动作，实现图1所示的视点信息处理部12、环境信息处理部13和显示图像生成部14的功能。
存储器102除了存储上述程序以外，还发挥作为图1的属性信息存储部11和后述的存储器12m、13m、15m的作用。
下面，针对信息显示装置2显示车辆的仪表盘的情况，更加详细地说明各部的动作。
该情况下，状态信息取得部21取得车辆信息Fa，将其提供给层图像生成部15。
一般而言，车辆信息Fa包含表示引擎的转速的信息、表示车辆的行驶速度的信息、表示冷却水的温度的信息、表示行驶距离的信息、表示燃料余量的信息和表示方向指示器的动作状态的信息。状态信息取得部21从用于控制车辆的各个部分的控制ECU通过CAN(Control Area Network：控制器局域网络)以规定时间间隔得到这些信息。
在以下所示的例子中，假设上述信息中的表示引擎的转速的信息、表示车辆的行驶速度的信息和表示方向指示器的动作状态的信息被提供给层图像生成部15。
图3和图4示出由显示部25中显示的图像表示的仪表盘的一例。
图3是仪表盘的主视图，图4是示出仪表盘的结构部分的分解立体图。在图3中，与仪表盘一起示出观看仪表盘的观察者4，在图4中，与仪表盘一起示出观察者4的视点4E。
图示的仪表盘300包含2个仪表301、302和指示器303。
左侧的仪表301是转速计，表示引擎的转速。具体而言，指针311的旋转方向的位置根据由状态信息取得部21取得的表示引擎的转速的信息而变化。仪表301除了包含指针311以外，还包含字符盘312和环313。
右侧的仪表302是行驶速度计，表示车辆的行驶速度。具体而言，指针321的旋转方向的位置根据由状态信息取得部21取得的表示车辆的行驶速度的信息而变化。仪表302除了包含指针321以外，还包含字符盘322和环323。
指示器303包含一对箭头型的显示灯331、332，表示未图示的方向指示器(设置于车辆的外部，用于对其他车辆等发送信号)的状态。
方向指示器例如根据驾驶者的操作而闪烁。指示器303在方向指示器闪烁时，与其同步地交替重复高亮度状态和低亮度状态。
仪表301、302和指示器303设置于仪表板305。
在显示部25中显示这种仪表盘300的情况下，指针311、321、字符盘312、322、环313、323、指示器303和仪表板305成为被显示物的结构部分。即，被显示物不仅包含主要的显示对象(仪表盘)，还包含其背景(仪表板)。
如图4所示，这些结构部分的能够从观察者4看到的面(可视面)位于不同的进深方向位置(从包含视点4E且与显示部25的显示面25Q平行的基准面Q0起的距离不同的位置)。
在图示的例子中，指针311、321的可视面位于从基准面Q0起距离D1的位置，字符盘312、322的可视面位于从基准面Q0起距离D2的位置，环313、323的可视面位于从基准面Q0起距离D3的位置，指示器303的可视面位于从基准面Q0起距离D4的位置，仪表板305的可视面位于从基准面Q0起距离D5的位置。
在图4中，利用标号Q1～Q5示出位于从基准面Q0起分别距离D1～D5的位置的平面。
这些可视面有时相对于基准面Q0倾斜，此外，有时包含向基准面Q0突出的部分或凹陷的部分，因此，与基准面Q0之间的距离(D1～D5)利用代表性的值表示。作为代表性的值，能够使用平均值、中间值或与主要部分有关的值。
本实施方式的信息显示装置2使用与可视面对应的对象生成显示图像。
图5示出与图3和图4所示的上述结构部分的可视面对应的对象。各对象利用对与具有对应的可视面的结构部分相同的标号标注后缀b而得到的标号表示。
对象在假想空间内对应于实际空间内的显示部25的显示面25Q，配置于跟与假想空间内的平面(假想显示面)25L平行且分别对应的可视面(作为结构部分的指针、字符盘、环、指示器、背景的可视面)的进深方向位置对应的进深方向位置。
这里，与对象有关的进深方向位置由假想空间内的从包含视点4Eb且与假想显示面25L平行的基准面L0起的距离(假想空间内的进深距离)C1～C5定义。
另一方面，与被显示物的结构部分的可视面有关的进深方向位置由如上所述假设被显示物放置于观察者4的前方即显示部25的位置的情况下的、从包含视点4E的基准面Q0到该可视面的距离(实际空间内的进深距离)D1～D5定义。该情况下，例如，以使被显示物的结构部分的可视面中的任意一方例如最接近基准面Q0的可视面(指针311、321的可视面)的进深方向位置与显示部25的显示面25Q的位置一致的方式配置被显示物。
视点4E相对于显示面25Q前后移动(接近或远离)，因此，从显示面25Q到包含视点4E的基准面Q0的距离能够变化。作为从显示面25Q到基准面Q0的距离，可以使用通过测定求出的值，也可以使用根据经验确定的标准值。例如，在该距离变化的情况下，可以使用其中间值或平均值作为标准值。下面，对使用根据经验确定的标准值的情况进行说明。使用通过测定求出的距离的结构容后再述。
在使用标准值的情况下，如后所述，在根据视点4E的前后的运动来改变显示图像的明亮度的情况下，也可以检测前后的运动，根据检测到的运动(位置的变化)使显示图像的明亮度变化。
根据如上所述确定的进深距离D1～D5确定进深距离C1～C5。优选距离C1～C5确定为与距离D1～D5一致。但是，本发明不限于此，只要距离C1～C5相对于距离D1～D5具有比例关系或相同大小关系等具有某些相似性即可。
设为上述对象分别属于与该对象相同的进深方向位置的层进行处理。在多个对象位于相同的进深方向位置的情况下，设为它们属于相同层进行处理。在图示的例子中，设为对象311b和321b属于第1层L1，对象312b和322b属于第2层L2，对象313b和323b属于第3层L3，对象331b和332b属于第4层L4，对象305b属于第5层L5进行处理。
在属性信息存储部11中，预先从外部赋予与上述对象分别有关的属性信息Ja进行存储。
属性信息Ja包含形状信息Jb、质感信息Jc和进深信息Jd。
与各对象有关的形状信息Jb是表示从视点4E侧观看假想地配置于显示部25的位置的被显示物的与该对象对应的结构部分的可视面时的形状的信息。
与各对象有关的质感信息Jc是假想地配置于显示部25的位置的被显示物的与该对象对应的结构部分的可视面的质感信息Jc，包含物体颜色信息Je、镜面反射信息Jf和法线信息Jg。
与各对象有关的物体颜色信息Je是表示与该对象对应的结构部分的可视面的颜色的信息。这里所说的颜色是忽略反射、遮蔽的影响的物体本身的颜色(即分光反射率)。
在将对象表示为像素的集合的情况下，物体颜色信息Je由表示与各像素有关的物体颜色的像素值例如R、G、B的成分值表示。
如果结构部分的可视面的整体为相同的物体颜色，则对象的全部像素的像素值彼此相同。在结构部分的可视面具有图案的情况下，像素值根据对象内的位置而不同。
与各对象有关的镜面反射信息Jf是表示与该对象对应的结构部分的可视面的镜面反射程度(光泽)的信息。
在将对象表示为像素的集合的情况下，镜面反射信息Jf由表示与各像素有关的光泽程度的像素值表示。该像素值例如是0～255的范围内的值。例如，在光泽最强且镜面反射的程度最大的情况下，表示镜面反射信息Jf的像素值为“255”，在表现被稍微表面加工后的哑光(磨砂)风格的表面的情况下，镜面反射信息Jf均匀地为中等程度的值。
与各对象有关的法线信息Jg是表示假想地配置于显示部25的位置的被显示物的与该对象对应的结构部分的可视面的法线方向的信息。
法线方向例如以基准面Q0的法线方向为基准。
法线方向例如利用三维向量表示。三维向量利用3个成分值的组合来表示。
在将对象表示为像素的集合的情况下，法线信息利用表示与各像素有关的法线方向的3个像素值的组合来表示。
在对象的法线信息利用由R、G、B的成分值构成的彩色图像数据的形式表示的情况下，能够将三维向量的3个成分值X、Y、Z分别分配给R、G、B的通道进行表现。在各成分值是0～255的范围的值的情况下，也可以使用0～127表示负值，使用128～255表示正值。
关于平面状的对象，这样具有法线信息Jg是为了更加忠实地再现被显示物的可视面中的光的反射。在根据法线信息Jg进行反射等计算时，视为平面状的对象的表面按照每个像素具有与法线信息Jg对应的倾斜。
例如，在可视面如图6的(a)所示左半部分和右半部分向不同的方向倾斜的情况下，如图6的(b)所示，在对象中的与可视面的左半部分对应的像素Px组和与右半部分对应的像素Px组中具有表示不同的法线方向的法线信息。
与对象分别有关的进深信息Jd表示该对象的进深方向位置。
如上所述，各对象的进深方向位置对应于将被显示物假想地配置于显示部25的位置时的与该对象对应的结构部分的可视面的进深方向位置。
此外，设为各对象属于假想位于该对象的进深方向位置的层进行处理。
该情况下，能够使用与各层有关的进深信息Jd和针对各对象表示该对象所属的层的信息的组合来代替该对象的进深信息。
该情况下，表示从基准面L0到层L1～L5的距离C1～C5的信息和针对各对象表示属于哪个层的信息存储在属性信息存储部11中。
此外，与属于各层的1个以上的对象有关的形状信息Jb和质感信息Jc也被汇总而作为该层的信息进行处理。
在图7～图9中，针对层L1～L5中的层L1、L2、L3，图示物体颜色信息Je、镜面反射信息Jf和法线信息Jg作为每层的信息，即作为映射到各层的各个像素的信息。
观察者摄像部22拍摄观察显示部25的观察者4(特别是其头部)，输出摄像图像作为观察者图像Fb。
观察者摄像部22具有摄像装置(摄像机)，按照每帧进行摄像，依次输出每帧的图像。
观察者摄像部22例如如图10的(a)～(d)那样设置于显示部25的上部。
视点信息处理部12根据从观察者摄像部22输出的观察者图像Fb检测观察者的视点的位置，生成表示视点的位置和运动的信息(视点信息)Gb。
视点信息处理部12可以识别从观察者摄像部22输出的观察者图像Fb中的眼睛，将识别出的眼睛的位置设为视点的位置，也可以识别观察者图像Fb中的头部，将识别出的头部的位置设为视点的位置。总之，只要检测眼睛的位置或观察者的接近眼睛的部分的位置即可。下面，设识别头部并检测头部的位置作为视点的位置进行说明。考虑将头部的位置设为视点的位置进行处理，在图10的(a)～(d)中，对观察者4的头部标注标号4E。
视点信息处理部12根据表示检测到的视点的位置的信息(视点位置信息)追踪视点4E的运动，生成表示视点4E的运动的运动信息。作为该运动信息，例如生成表示移动方向和移动量的信息。
表示视点的位置的信息也可以是表示相对位置的信息。例如视点信息处理部12也可以将最初识别到观察者4的头部时的该头部的位置设为基准位置，对此后的运动进行累积，由此生成表示相对于基准位置的相对位置的信息。
图10的(a)示出视点4E正对着显示部25中显示的仪表盘中的右侧的仪表的状态，图10的(b)示出视点4E正对着显示部25中显示的仪表盘中的左侧的仪表的状态。
图10的(c)示出视点4E位于接近显示部25的位置的状态，图10的(d)示出视点4E位于远离显示部25的位置的状态。
能够根据在观察者图像内识别到的头部的位置变化，检测视点4E的左右上下的运动。
关于视点4E的前后(进深方向)的运动的朝向，例如如果观察者图像中的识别到的头部的面积逐渐增大，则能够判断为向前(向靠近的方向)移动，如果头部的面积逐渐减小，则能够判断为向后(向远离的方向)移动。
视点4E的前后的移动量也得到相对量即可，例如在利用像素数表示头部的面积的情况下，也可以预先定义每1个像素的移动量，根据增加或减少的像素数求出朝向近前侧或里侧的移动量。
关于前后的运动，不限于基于观察者图像中的头部的面积，例如也可以利用观察者图像中的头部的特定部分(特征点)相互间的距离进行判断。
视点信息处理部12将如上所述生成的运动信息提供给层图像生成部15。
视点信息处理部12也可以进行视点位置信息的帧间插值，由此，生成帧率更高的信息。即，视点信息处理部12根据从观察者摄像部22输出的每帧的观察者图像Fb生成每帧的视点信息Gb，但是，也可以对每帧的视点信息中包含的视点位置信息进行帧间插值，由此，生成帧率更高的视点位置信息。根据帧率更高的视点位置信息生成运动信息，由此，能够生成平滑地表现视点4E的运动的运动信息。
周边环境摄像部23拍摄显示部25的周边的环境，输出摄像图像作为周边环境图像Fc。周边环境摄像部23按照每帧进行摄像，依次输出每帧的图像。周边环境摄像部23例如具有全天球摄像机、半天球摄像机、广角摄像机等视场角较广的摄像装置。此外，也可以是2个以上的摄像装置的组合。
这里所说的周边的环境包含车内的显示部25的周边和车外存在的人、物、风景。这里所说的“人”包含观察者自身、其他乘员、车外的步行者等。这里所说的“物”包含车内灯、太阳、路灯、其他车辆的前灯、尾灯等。
环境信息处理部13根据从周边环境摄像部23输出的周边环境图像Fc生成周边环境信息Gc，将其存储在内部的存储器13m中。
环境信息处理部13取得与周边环境图像Fc中包含的人、物、风景中的以下部分有关的信息，该部分在假设在显示部25的位置存在实际的被显示物例如仪表盘的情况下，映入该被显示物的结构部分的可视面的程度即使上述可视面的亮度、颜色等产生变化的程度比较大。
周边环境信息Gc也可以是表示不同方向的光的强度和颜色的信息。例如，也可以是在特定的方向上存在特定的颜色较强的光的光源这样的信息。
优选以观察者对显示部25中显示的图像的变化感觉到平滑的帧率取得周边环境信息Gc，以使车辆的高速移动中的环境变化没有延迟地反映到显示图像中。
另一方面，在车辆的行驶速度较低的情况下或周边的环境变化较少的情况下，或者在被显示物的结构部分的可视面为哑光风格(实施了磨砂处理)且映入较少的情况下，也可以一边对每帧的数据进行间疏一边(例如数帧1次或数秒1次)取得。该情况下，生成的周边环境信息Gc在暂时存储在环境信息处理部13内的存储器13m后，反复读出并使用。
为了提高基于周边环境图像Fc中的人、物、风景的映入的视觉辨认性，环境信息处理部13也可以在实施对由周边环境信息Gc表示的图像(映入图像)的颜色进行校正的处理、提高分辨率的处理等周边环境信息Gc的校正处理后，将其提供给层图像生成部15。
层图像生成部15针对多个层分别生成层图像。各层的层图像是将属于该层的对象投影到假想投影面PL而得到的图像。
层图像生成部15将具有由存储在属性信息存储部11中的形状信息Jb和质感信息Jc表示的形状和质感的对象，配置于由同样存储在属性信息存储部11中的该对象的进深信息(该对象所属的层的进深信息)Jd表示的进深方向位置，朝向假想投影面PL进行投影。
层图像生成部15将属性信息存储部11中存储的形状信息Jb、质感信息Jc和进深信息Jd、由状态信息取得部21取得的车辆信息Fa、从视点信息处理部12提供的视点信息Gb以及从环境信息处理部13提供的周边环境信息Gc作为输入，生成各层的图像。即，生成属于各层的1个以上的对象的图像，统合所生成的1个以上的对象的图像，作为该层的层图像进行输出。
在生成各对象的图像时，根据车辆信息Fa确定要显示的仪表盘的状态(与仪表301、302的指针311、321对应的对象311b、321b的旋转位置、与指示器303的显示灯331、332对应的对象331b、332b的亮度)。
在各对象由像素的集合表示的情况下，层图像生成部15在各对象的图像的生成中确定各像素的像素值(颜色成分值、亮度值等)。
该情况下，在结构部分的可视面具有图案、映入的情况下(即，根据从属性信息存储部11读出的质感信息Jc和由环境信息处理部13生成的周边环境信息Gc判断为应该表现映入时)，还表现这些图案、映入。此外，在根据视点4E的位置(由视点信息Gb表示)而应该使亮度、颜色等产生变化的情况下，还施加该亮度、颜色的变化。
在各对象的图像的生成中，根据质感信息Jc对该对象进行凹凸映射，由此表现与该对象对应的结构部分的可视面的质感。
选择Phong模型、Torrance-Sparrow模型、Blinn模型等符合与对象对应的结构部分的可视面的材质的反射模型来进行光学反射的计算。
此外，公知伴随着视点4E的移动，被显示物的明亮度变化，或者明亮部分(高亮部分)移动。例如，公知伴随着视点4E的上下左右的移动(与基准面Q0平行的移动)，明亮部分(特别是高亮部分)向相同方向移动，并且，伴随着视点4E的前后的移动(与基准面Q0垂直的方向的移动)，被显示物的明亮度变化。在本实施方式中，为了再现这种现象，假想位于假想空间内且伴随着视点4Eb的移动而移动的虚拟光源来进行图像的生成。假想该虚拟光源例如位于与视点4Eb相同的位置。
此时，设假想空间内的对象的位置是固定的，虚拟光源追随于视点4Eb的运动而变化。
例如，如图11所示，各对象配置于层L1～L5中的任意层，上下左右的位置(与基准面L0平行的方向的位置)也没有变化，虚拟光源位于与视点4Eb相同的位置，与视点4Eb一起移动。
层图像生成部15根据该虚拟光源的位置的变化，使来自对象的表面反射光的强度变化，由此使图像的各部分的明亮度变化。通过使亮度变化来进行使明亮度变化的处理。此时，如图6中例示的那样，各对象的表面具有按照每个像素定义的法线方向。
例如，如图10的(a)所示，当视点4E相对于显示部25向右方向移动时，使假想空间内的视点4Eb和虚拟光源同样地移动，由此，使来自对象的表面反射变化，使图像中的明亮部分(高亮部分)向右方向移动。
如图10的(b)所示，当视点4E相对于显示部25向左方向移动时，使假想空间内的视点4Eb和虚拟光源同样地移动，由此，使来自对象的表面反射变化，使图像中的明亮部分(高亮部分)向左方向移动。
此外，如图10的(c)所示，当视点4E接近显示部25时，使假想空间内的视点4Eb和虚拟光源同样地移动，由此，使来自对象的表面反射更强，使图像的亮度更高。
如图10的(d)所示，当视点4E远离显示部25时，使假想空间内的视点4Eb和虚拟光源同样地移动，由此，使来自对象的表面反射更弱，使图像的亮度更低。
进而，层图像生成部15根据各层的进深距离(C1～C5)使来自假想空间内的虚拟光源的光的强度(各对象的表面处的照度)衰减，调整各层的对象的图像的明亮度。通过调整亮度来进行明亮度的调整。此时，设各层中的照度基于与从虚拟光源起的距离的平方成反比这样的法则。
例如在图11中，当设从虚拟光源(位于与视点4Eb相同的位置)到第1层L1的距离为C1，第1层L1中的照度为E1时，第2层L2中的照度E2计算为E2＝(C1/C2)^2×E1 (1)
第3层L3中的照度E3也同样通过
E3＝(C2/C3)^2×E2 (2)
求出。其他层也通过同样的计算而求出照度。
将各层的对象的图像的明亮度确定为与该照度对应的值。由此，能够对图像赋予进深感。
另外，设虚拟光源的强度、虚拟光源的扩展特性作为固有的参数存储在层图像生成部15内的存储器15m中。
如上所述，层图像生成部15计算光泽、遮蔽的影响而不使用复杂的三维形状数据，生成各对象的图像。由于不使用三维形状数据，因此，计算用的数据处理量可以较少。
层图像合成部16按照进深信息Jd使由层图像生成部15生成的层图像L1～L5重合，由此生成显示图像。在该重合中，进行赋予运动视差的处理和删除隐藏面的处理。
用于赋予运动视差的处理如下进行。
如图12所示，设从假想空间内的包含视点4Eb的基准面L0到各个层L1～L5的距离为C1～C5。
伴随着视点4E的移动，使假想空间内的视点4Eb移动，与此相伴使对象向相同方向移动，由此表现运动视差。此时，越是远离视点4Eb的对象，则越大地移动。具体而言，使对象的移动量与从视点4Eb起的距离成比例。
第j层(j为1～5中的任意一方)的对象的移动量Mj被确定为根据视点4Eb的移动量M0利用以下式子求出的值。
Mj＝Cj×M0×K (3)
K是系数，通过实验等确定为没有违和感的值。
在删除隐藏面的处理中，在与更近前的层的对象重叠时删除各层的对象。
层图像合成部16在使各层的对象进行用于赋予运动视差的移动后，进行隐藏面删除而使其重合，由此生成显示图像。
显示部25显示由层图像合成部16生成的显示图像。
此外，在无法确定观察者图像中的视点的位置的情况下，视点信息处理部12输出表示该意思的信息(检测失败信息)，在检测失败信息被输出时，层图像生成部15设视点4Eb位于既定的位置(既定的视点位置)，进行图像的生成(图像的各部的明亮度的决定和用于赋予运动视差的移动量的决定)。表示既定的视点位置的信息例如预先存储在层图像生成部15内的存储器15m中。
层图像合成部16将显示图像发送到显示部25，由此更新显示部25的显示图像。优选显示图像的更新速率例如为20fps以上，以响应视点4E的运动而显示变化平滑且延迟较少的图像。
在观察者图像Fb的取得速率较低而使观察者对图像显示感觉到延迟的情况下，也可以利用卡尔曼滤波器等预测视点4E的运动，并且以更高的速率进行显示图像的更新。
可以在层图像生成部15生成层图像时进行该预测，也可以在层图像合成部16生成显示图像时进行该预测。
接着，参照图13的流程图对基于上述图像处理装置10的图像处理的步骤进行说明。
首先，在步骤ST1中，层图像生成部15取得跟与由显示部25显示的被显示物的结构部分对应的对象相关的属性信息Ja。属性信息Ja包含形状信息Jb、质感信息Jc和进深信息Jd。
接着，平行地进行步骤ST2、ST3、ST4的处理。
在步骤ST2中，视点信息处理部12根据观察者图像Fb生成视点信息Gb。即，尝试检测观察者图像Fb中的视点(确定视点的位置)，保存表示是否能够检测的信息，并且，在能够检测的情况下，将表示检测到的视点的位置的信息存储在内部的存储器12m中。进而，进行视点的运动检测。在运动检测中，例如在2帧连续检测到视点4E的情况下，根据该视点4E的位置的差分求出移动方向和移动量，作为运动信息存储在存储器12m中。
在步骤ST3中，环境信息处理部13根据通过周边环境摄像部23的摄像而得到的周边环境图像Fc生成周边环境信息Gc。
在步骤ST4中，层图像生成部15从状态信息取得部21取得车辆信息Fa。
在步骤ST5中，视点信息处理部12判定是否保存有表示在步骤ST2的处理中能够检测到视点4E的信息。
在保存有表示能够检测到视点4E的信息的情况下，进入步骤ST6。否则进入步骤ST7。
在步骤ST6中，层图像生成部15从存储器12m中读出表示在步骤ST2中检测到的视点的位置的信息。
在步骤ST7中，读出层图像生成部15的存储器15m中预先存储的表示既定的视点位置的信息。
在步骤ST6或步骤ST7之后进入步骤ST8。
在步骤ST8中，显示图像生成部14进行显示图像生成处理(图14)。
具体而言，层图像生成部15根据在步骤ST1中取得的属性信息Ja、在步骤ST6中从存储器12m中读出的表示检测到的视点位置的信息或在步骤ST7中从存储器15m中读出的表示既定的视点位置的信息、在步骤ST3中生成的周边环境信息Gc和在步骤ST4中取得的车辆信息Fa生成多个层图像，层图像合成部16合成由层图像生成部15生成的多个层图像，生成显示图像。
在步骤ST9中，层图像合成部16将在步骤ST8中生成的显示图像发送到显示部25，更新显示部25的显示图像。
接着，参照图14对上述步骤ST8的显示图像生成处理的详细情况进行说明。
首先，在步骤ST11中，层图像生成部15根据在步骤ST6或ST7中读出的表示视点位置的信息决定假想空间内的虚拟光源的位置。
在步骤ST12中，层图像生成部15生成各层的层图像。
在步骤ST13中，层图像合成部16合成在步骤ST12中生成的多个层图像，生成显示图像。
如以上说明的那样，在实施方式1的信息显示装置2中，分别将与被显示物的结构部分的可视面对应的平面状的对象配置于与该可视面的进深方向位置对应的进深方向位置，将其投影到假想投影面，由此生成该对象的图像。然后，统合属于各层的多个对象的图像，由此生成该层的图像，合成多个层的图像，生成显示图像。
在生成各对象的图像时，使照射对象的假想的虚拟光源与视点4E一起移动，由此，能够再现伴随着视点4E的运动的被显示物的可视面的明亮度的变化、高亮部分的移动，能够提高显示图像的真实性。
此外，能够根据质感信息进行凹凸映射，表现与该对象对应的结构部分的可视面的质感，能够提高显示图像的真实性。
在合成层图像时，进行与进深方向位置对应的赋予运动视差的处理和删除隐藏面的处理。其结果是，能够忠实地再现伴随着视点的运动且位于不同的进深方向位置的可视面相对于视点的运动移动不同的移动量的现象，能够提高显示图像的真实性。
此外，对象是平面状的而不使用复杂的三维形状数据，因此，能够减少显示图像生成用的计算处理。其结果是，能够高速地进行处理，能够提高针对观察者的视点4E的运动等的响应性。
此外，如果视点信息处理部12进行视点位置信息的帧间插值，则能够生成平滑地追随于视点4E的运动的视点信息。
通过使用平滑地追随于视点的运动的视点信息，显示图像的变化更加平滑地追随于视点4E的运动，能够进行更加真实的显示。
在上述例子中，观察者摄像部22设置于显示部25的上部，但是，本发明不限于此，观察者摄像部22也可以设置于显示部25的上部以外的位置。例如，也可以设置于显示部25的下部，还可以设置于显示部25的壳体内。此外，也可以设置于显示部25的附近，还可以设置于远离显示部25的位置。总之，观察者摄像部22设置成能够拍摄观察者4且能够根据通过摄像得到的图像掌握视点4E的位置和运动即可。
在上述实施方式中，根据视点的位置和运动确定虚拟光源的位置和运动。但是，视点的位置也可以是相对位置。这是因为，观察者并不是针对每个视点的外观具有准确的识别和记忆，总之，如果显示图像相对于视点的运动而变化，则能够感觉到真实性。因此，在生成对象图像时，也可以不使用表示视点的位置的信息而仅使用表示视点的运动的信息，根据视点的运动使图像变化。
实施方式2
在上述实施方式中，属性信息存储部11中存储的与各对象有关的进深信息Jd表示从基准面L0起的距离C1～C5。取而代之，也可以是如下信息：关于最接近基准面L0的层的对象，表示从基准面L0起的距离，关于除此以外的层的对象，表示与位于比该层更靠基准面侧且相邻的层之间的距离。
例如，如图15所示，也可以将表示从基准面L0到层L1的距离A0、层L1、L2之间的距离A1、层L2、L3之间的距离A2、层L3、L4之间的距离A3和层L4、L5之间的距离A4的信息存储在属性信息存储部11中。
然后，层图像生成部15和层图像合成部16也可以从属性信息存储部11读出这种进深信息Jd，根据由该进深信息Jd表示的距离A0～A5计算从基准面L0起的距离C1～C5，将其用于式(1)～(3)的运算。
此外，也可以是如下信息：关于最接近基准面L0的层(第1层)的对象，表示从基准面L0起的距离，关于除此以外的层的对象，表示从最接近基准面的层(第1层)起的距离。
例如，如图16所示，也可以将表示从基准面L0到层L1的距离B0、层L1、L2之间的距离B1、层L1、L3之间的距离B2、层L1、L4之间的距离B3和层L1、L5之间的距离B4的信息存储在属性信息存储部11中。
然后，层图像生成部15和层图像合成部16也可以从属性信息存储部11读出这种进深信息Jd，根据由该进深信息Jd表示的距离B0～B5计算从基准面L0起的距离C1～C5，分别用于式(1)～(3)的运算。
实施方式3
在实施方式1中，作为观察者的视点的进深方向位置，使用经验性得到的标准位置，进行基于式(1)、(2)的进深方向位置变化的图像明亮度调整用的计算和基于式(3)的用于赋予动态视差的层图像移动量的计算。但是，本发明不限于此，作为观察者摄像部22，也可以测定与观察者的视点之间的距离，根据测定结果计算从显示面到视点的距离，根据计算出的距离进行图像的生成。
为了通过测定而求出与视点4E之间的距离，例如作为观察者摄像部22，使用具有测距功能的摄像部即可。作为与观察者的视点4E之间的距离，例如测定与头部之间的距离即可。
作为具有测距功能的摄像部，例如能够使用具有ToF(Time of Flight)方式的测距功能的摄像部。
图17示出通过测定而求出与视点之间的距离的情况下的信息显示装置的结构。
图17所示的信息显示装置2c与图1的信息显示装置2大致相同，但是，附加有进深距离计算部17，代替属性信息存储部11、观察者摄像部22和视点信息处理部12而设置有属性信息存储部11b、观察者摄像部22b和视点信息处理部12b。属性信息存储部11b、观察者摄像部22b和视点信息处理部12b分别与属性信息存储部11、观察者摄像部22和视点信息处理部12大致相同，但是，以下方面不同。
图17的属性信息存储部11b中存储的进深信息Jd不包含表示从基准面L0起的距离的信息。即，仅存储有表示层相互之间的距离的信息。例如，不存储表示图15所示的距离中的从基准面L0起的距离A0的信息，仅存储表示相邻层之间的距离A1～A4的信息，或者不存储表示图16所示的距离中的从基准面L0起的距离B0的信息，仅存储表示从第1层起的距离B1～B4的信息。
图17的观察者摄像部22b不仅进行被摄体的摄像并输出观察者图像，还生成并输出表示与被摄体之间的距离的信息。
图17的视点信息处理部12b根据来自观察者摄像部22b的观察者图像和表示与被摄体之间的距离的信息确定摄像图像中的视点的位置，生成表示从观察者摄像部22b到视点4E的距离的信息，根据由该生成的信息表示的距离计算从显示面25Q到视点4E的距离D1，生成表示计算出的距离D1的信息，将其提供给进深距离计算部17。
另外，在观察者摄像部22b位于与显示面25Q相同的平面上的情况下，能够直接使用从观察者摄像部22b到视点4E的距离作为从显示面25Q到视点4E的距离D1。
进深距离计算部17根据从视点信息处理部12提供的表示距离D1的信息确定从基准面L0到第1层的距离C1。例如C1被确定为与D1相同的值。进而，使用这样确定的距离C1和由属性信息存储部11中存储的进深信息Jd表示的距离A1～A4或B1～B4计算距离C2～C5。然后，将表示这样确定的距离C1～C5的信息提供给层图像生成部15和层图像合成部16。
层图像生成部15从属性信息存储部11b接受形状信息Jb和质感信息Jc，并且从进深距离计算部17接受表示距离C1～C5的信息，生成层图像。在生成层图像时，层图像生成部15在式(1)和(2)的运算中使用由进深距离计算部17计算出的距离C1～C5。
层图像合成部16合成由层图像生成部15生成的多个层图像，生成显示图像。在合成时，层图像合成部16在式(3)的运算中使用由进深距离计算部17计算出的距离C1～C5。
进而，在实施方式1中，根据观察者图像Fb中的头部的面积的变化等计算从视点4E到显示面25Q的距离的变化，根据计算出的距离的变化改变图像的明亮度，但是，在实施方式2中，能够根据由进深距离计算部17计算出的距离C1～C5的变化改变图像的明亮度。
在本实施方式中，根据基于测定结果计算出的距离D1进行式(1)、(2)、(3)的运算以及基于视点前后运动的图像明亮度变更，因此，能够更加准确地进行明亮度的调整、运动视差的决定。
另外，上述实施方式1～3的信息显示装置搭载于车辆，但是，本发明不限于此，例如，还能够应用于搭载于船舶并显示表示船舶状态的信息(船舶信息)的显示装置。本发明还能够应用于显示表示上述以外的仪表盘，例如其他种类的交通工具例如飞机的仪表盘、交通工具以外的仪表盘的图像的显示装置。
以上，设本发明为信息显示装置进行了说明，但是，由上述信息显示装置进行的信息显示方法和图像显示方法也构成本发明的一部分。进而，上述信息显示装置、信息显示方法或使计算机执行在图像处理方法中进行的处理的程序和记录有该程序的计算机能读取的记录介质也构成本发明的一部分。
标号说明
2、2c：信息显示装置；4：观察者；4E、4Eb：观察者的视点；10：图像处理装置；11、11b：属性信息存储部；12、12b：视点信息处理部；12m：存储器；13：环境信息处理部；13m：存储器；14：显示图像生成部；15：层图像生成部；15m：存储器；16：层图像合成部；17：进深距离计算部；21：状态信息取得部；22、22b：观察者摄像部；23：周边环境摄像部；25：显示部；101：CPU；102：存储器；104、105、106：输入接口；107：输出接口。

Claims (15)

1.一种信息显示装置，其特征在于，该信息显示装置具有：
图像处理装置，其生成表示被显示物的显示图像；
显示部，其显示所述显示图像；
观察者摄像部，其拍摄观看所述显示部的观察者，输出观察者图像；以及
周边环境摄像部，其拍摄所述显示部的周边的环境，输出周边环境图像，
所述图像处理装置具有：
视点信息处理部，其根据所述观察者图像生成表示所述观察者的视点的位置和运动的视点信息；
环境信息处理部，其根据所述周边环境图像生成表示所述显示部的周边的光学环境的周边环境信息；以及
显示图像生成部，其根据与配置于假想空间内的多个平面状的对象分别有关的质感信息、所述视点信息和所述周边环境信息生成该对象的图像，合成多个所述对象的图像，由此生成所述显示图像。
2.根据权利要求1所述的信息显示装置，其特征在于，
所述显示图像是与在假设将所述被显示物放置于所述显示部的位置的情况下能够从所述观察者看到的图像相同的图像。
3.根据权利要求1或2所述的信息显示装置，其特征在于，
所述假想空间是模拟放置所述显示部的空间而成的，
多个所述对象与所述假想空间内的平面平行地配置，所述假想空间内的平面对应于所述显示部的显示面。
4.根据权利要求3所述的信息显示装置，其特征在于，
所述显示图像生成部将多个所述对象投影到与所述假想空间内的平面平行地配置的假想投影面，由此生成所述对象的图像，所述假想空间内的平面对应于所述显示部的显示面。
5.根据权利要求3或4所述的信息显示装置，其特征在于，
多个所述对象分别对应于所述被显示物的多个结构部分的能够从所述观察者看到的可视面，
所述对象分别配置于与对应于该对象的可视面的从所述观察者观看时的进深方向位置对应的所述假想空间内的进深方向位置。
6.根据权利要求5所述的信息显示装置，其特征在于，
所述显示图像生成部根据多个所述对象各自的进深方向位置调整该对象的亮度。
7.根据权利要求5或6所述的信息显示装置，其特征在于，
所述显示图像生成部具有：
层图像生成部，其将多个所述对象分别作为属于与该对象相同的进深方向位置处假想的层的对象来处理，生成由分别属于各层的1个以上的对象的图像构成的多个层图像；以及
层图像合成部，其针对所述多个层图像根据该层的进深方向位置和所述视点信息进行赋予运动视差的处理和删除隐藏面的处理，合成所述多个层图像，生成所述显示图像。
8.根据权利要求7所述的信息显示装置，其特征在于，
所述层图像生成部使所述层图像中的明亮的部分伴随着由所述视点信息表示的所述观察者的视点的移动而移动。
9.根据权利要求1～8中的任意一项所述的信息显示装置，其特征在于，
所述观察者摄像部按照每帧进行摄像，依次输出每帧的所述观察者图像，
所述视点信息处理部根据所述每帧的所述观察者图像生成每帧的所述视点信息，对每帧的所述视点信息中包含的表示视点的位置的信息进行帧间插值，由此，生成帧率更高的表示视点的位置的信息。
10.根据权利要求1～9中的任意一项所述的信息显示装置，其特征在于，
所述信息显示装置还具有状态信息取得部，该状态信息取得部取得确定所述被显示物的状态的状态信息，
所述显示图像生成部还根据所述状态信息生成所述对象的图像。
11.根据权利要求10所述的信息显示装置，其特征在于，
所述被显示物是车辆的仪表盘，
所述状态信息取得部取得表示应该在所述仪表盘显示的车辆状态的信息作为所述状态信息。
12.根据权利要求1～11中的任意一项所述的信息显示装置，其特征在于，
在所述观察者图像内无法确定视点的位置时，所述视点信息处理部输出表示无法确定视点的位置的检测失败信息，
在所述检测失败信息被输出时，所述显示图像生成部设视点位于既定位置，生成所述对象的图像。
13.一种信息显示装置中的信息显示方法，所述信息显示装置具有：
显示部，其显示表示被显示物的显示图像；
观察者摄像部，其拍摄观看所述显示部的观察者，输出观察者图像；以及
周边环境摄像部，其拍摄所述显示部的周边的环境，输出周边环境图像，
所述信息显示装置中的信息显示方法的特征在于，
根据所述观察者图像生成表示所述观察者的视点的位置和运动的视点信息，
根据所述周边环境图像生成表示所述显示部的周边的光学环境的周边环境信息，
根据与配置于假想空间内的多个平面状的对象分别有关的质感信息、所述视点信息和所述周边环境信息生成该对象的图像，合成多个所述对象的图像，由此生成所述显示图像。
14.一种程序，该程序用于使计算机执行权利要求13所述的信息显示方法中的处理。
15.一种计算机能读取的记录介质，该记录介质记录有权利要求14所述的程序。
CN201880060547.7A 2017-09-25 2018-07-19 信息显示装置和方法以及记录介质 Active CN111108530B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-183839 2017-09-25
JP2017183839 2017-09-25
PCT/JP2018/027080 WO2019058734A1 (ja) 2017-09-25 2018-07-19 情報表示装置及び方法、並びにプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
CN111108530A true CN111108530A (zh) 2020-05-05
CN111108530B CN111108530B (zh) 2023-05-12

Family

ID=65811279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880060547.7A Active CN111108530B (zh) 2017-09-25 2018-07-19 信息显示装置和方法以及记录介质

Country Status (5)

Country Link
US (1) US11205402B2 (zh)
JP (1) JP6785983B2 (zh)
CN (1) CN111108530B (zh)
DE (1) DE112018005446T5 (zh)
WO (1) WO2019058734A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604659A (zh) * 2003-09-30 2005-04-06 佳能株式会社 复合现实空间图像生成方法和复合现实感系统
JP2007292574A (ja) * 2006-04-25 2007-11-08 Yazaki Corp 指示装置
CN101287141A (zh) * 2007-03-07 2008-10-15 株式会社东芝 立体影像显示系统
CN102149574A (zh) * 2008-09-12 2011-08-10 株式会社东芝 图像照射系统及图像照射方法
CN102314315A (zh) * 2010-07-09 2012-01-11 株式会社东芝 显示装置、图像数据生成装置、图像数据生成程序及显示方法
CN102652321A (zh) * 2009-12-11 2012-08-29 三菱电机株式会社 图像合成装置以及图像合成程序
CN103370732A (zh) * 2011-02-23 2013-10-23 株式会社Ntt都科摩 对象显示装置、对象显示方法和对象显示程序
JP2014052343A (ja) * 2012-09-10 2014-03-20 Calsonic Kansei Corp 車載装置
JP2015105064A (ja) * 2013-12-02 2015-06-08 矢崎総業株式会社 グラフィックメータ装置
US20150199850A1 (en) * 2014-01-16 2015-07-16 Canon Kabushiki Kaisha Information processing apparatus and information processing method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4407434B2 (ja) 2004-08-31 2010-02-03 株式会社セガ 画像処理装置、画像処理方法及び画像処理プログラム
JP5181939B2 (ja) 2008-09-03 2013-04-10 アイシン・エィ・ダブリュ株式会社 車両用計器表示装置、車両用計器表示方法及びコンピュータプログラム
WO2014020801A1 (ja) 2012-07-31 2014-02-06 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、および画像ファイルのデータ構造
CN114359487A (zh) * 2016-09-16 2022-04-15 松下电器（美国）知识产权公司 三维数据制作方法以及三维数据制作装置
KR102547823B1 (ko) * 2017-12-13 2023-06-26 삼성전자주식회사 컨텐츠 시각화 장치 및 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604659A (zh) * 2003-09-30 2005-04-06 佳能株式会社 复合现实空间图像生成方法和复合现实感系统
JP2007292574A (ja) * 2006-04-25 2007-11-08 Yazaki Corp 指示装置
CN101287141A (zh) * 2007-03-07 2008-10-15 株式会社东芝 立体影像显示系统
CN102149574A (zh) * 2008-09-12 2011-08-10 株式会社东芝 图像照射系统及图像照射方法
CN102652321A (zh) * 2009-12-11 2012-08-29 三菱电机株式会社 图像合成装置以及图像合成程序
CN102314315A (zh) * 2010-07-09 2012-01-11 株式会社东芝 显示装置、图像数据生成装置、图像数据生成程序及显示方法
CN103370732A (zh) * 2011-02-23 2013-10-23 株式会社Ntt都科摩 对象显示装置、对象显示方法和对象显示程序
JP2014052343A (ja) * 2012-09-10 2014-03-20 Calsonic Kansei Corp 車載装置
JP2015105064A (ja) * 2013-12-02 2015-06-08 矢崎総業株式会社 グラフィックメータ装置
US20160274658A1 (en) * 2013-12-02 2016-09-22 Yazaki Corporation Graphic meter device
US20150199850A1 (en) * 2014-01-16 2015-07-16 Canon Kabushiki Kaisha Information processing apparatus and information processing method

Also Published As

Publication number Publication date
US11205402B2 (en) 2021-12-21
DE112018005446T5 (de) 2020-07-30
JP6785983B2 (ja) 2020-11-18
US20210151007A1 (en) 2021-05-20
CN111108530B (zh) 2023-05-12
WO2019058734A1 (ja) 2019-03-28
JPWO2019058734A1 (ja) 2020-05-28

Similar Documents

Publication Publication Date Title
CN104883554B (zh) 通过虚拟透视仪器群集显示直播视频的方法和系统
US8502860B2 (en) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
CN112513712B (zh) 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
JP5397373B2 (ja) 車両用画像処理装置、車両用画像処理方法
CN109690634A (zh) 增强现实显示器
US20200035012A1 (en) Adjusting depth of augmented reality content on a heads up display
CN107878301A (zh) 用于通过机动车辆的投影系统投射图像的方法和相关联的投影系统
JP6149676B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US20160307374A1 (en) Method and system for providing information associated with a view of a real environment superimposed with a virtual object
CN108025672A (zh) 可预先给定的光图案的投影
CN105190703A (zh) 使用光度立体来进行3d环境建模
US11257390B2 (en) Evaluation of a simulated vehicle-related feature
CN115244492A (zh) 物理对象对增强现实中的虚拟对象的遮挡
US11938819B2 (en) Evaluation of a simulated vehicle-related feature
JP2018530467A (ja) 画像を投影面に投影するための自動車用投影方法
EP3811326B1 (en) Heads up display (hud) content control system and methodologies
CN114489332B (zh) Ar-hud输出信息的显示方法及系统
JP7150354B2 (ja) 車両デザイン支援システム
JP2014213636A (ja) 車両用表示装置
CN111108530B (zh) 信息显示装置和方法以及记录介质
CN113840755B (zh) 生成车辆周围环境图像的方法及生成车辆周围环境图像的装置
CN110248845B (zh) 用于显示车辆的周围环境的方法和设备
JP2020162089A (ja) 画像生成装置および画像生成方法
JP7527081B1 (ja) 画像表示システム
US20240317215A1 (en) Driving assistance apparatus and driving assistance method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant