CN113746999B - 成像方法、成像装置、光学成像系统及车辆 - Google Patents

成像方法、成像装置、光学成像系统及车辆 Download PDF

Info

Publication number
CN113746999B
CN113746999B CN202010410182.5A CN202010410182A CN113746999B CN 113746999 B CN113746999 B CN 113746999B CN 202010410182 A CN202010410182 A CN 202010410182A CN 113746999 B CN113746999 B CN 113746999B
Authority
CN
China
Prior art keywords
image
screen
parameter
modulation
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010410182.5A
Other languages
English (en)
Other versions
CN113746999A (zh
Inventor
刘欣
赵晗
陈纾悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010410182.5A priority Critical patent/CN113746999B/zh
Priority to CN202111540387.6A priority patent/CN114415369A/zh
Priority to PCT/CN2021/092925 priority patent/WO2021228058A1/zh
Priority to EP21802918.9A priority patent/EP4142275A4/en
Publication of CN113746999A publication Critical patent/CN113746999A/zh
Priority to US17/986,483 priority patent/US20230085082A1/en
Application granted granted Critical
Publication of CN113746999B publication Critical patent/CN113746999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0196—Supplementary details having transparent supporting structure for display mounting, e.g. to a window or a windshield
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请提供一种成像方法和光学成像系统，应用于AR HUD领域，该系统包括空间光调制器，空间光调制器用于对图像的电信号进行调制以生成图像的成像光束，成像光束经过透镜和屏幕射入至人眼，该方法包括：获取第一调制参数，第一调制参数是根据第一畸变像和第一目标像确定的，第一畸变像是训练图像经过光学成像系统和屏幕的成像处理而呈现的像，所述第一目标像是所述训练图像的像，且所述第一目标像的畸变在预设范围内；控制空间光调制器基于第一调制参数对待成像的第一图像的电信号进行调制,能够在减小图像的像发生畸变的同时，避免因在电域对图像进行补偿处理而造成的成像时延，能够减小因在电域对图像进行补偿处理而增加的处理成本。

Description

成像方法、成像装置、光学成像系统及车辆
技术领域
本申请涉及图像处理领域，并且更具体地，涉及成像方法、成像装置、光学成像系统及车辆。
背景技术
目前，已知一种光学成像系统，通过例如图像处理单元等器件在电域对待成像的图像进行处理生成电信号，通过光调制器将该电信号进行处理生成该图像的光束，并经由一个或多个透镜射出，该光束经过屏幕的反射而射入人眼，从而使人眼观察到该图像的像。
该技术在例如，抬头显示(Heads Up Display，HUD)或增强现实抬头显示(Augmented Reality，AR)HUD中得到广泛应用，即，通过车辆或飞机等交通工具的风挡玻璃作为上述屏幕，从而将图像反射至驾驶员的人眼。
但是，在现有技术中，如果屏幕(例如，上述风挡玻璃)与光学成像系统离轴配置，则导致该屏幕反射至人眼的像发生畸，从而在很大程度上限制图像的显示质量。
目前已知一种技术，通过在电域，对图像进行补偿处理，从而减小人眼观察到该图像的像畸变。
但是，该现有技术需要对每一图像进行补偿处理，在例如图像像素较高或者视频帧率较高的情况下，大大增大该补偿处理的时延进而增大了成像时延，并且对图像处理单元等的性能要求较高，增大了处理成本。
发明内容
本申请提供一种成像方法、成像装置、光学成像系统及车辆，能够减小成像时延，降低处理成本。
第一方面，提供了一种成像方法，其特征在于，应用于光学成像系统，所述系统包括空间光调制器和至少一个透镜，所述空间光调制器用于对图像的电信号进行调制以生成所述图像的成像光束，所述成像光束经过所述透镜和屏幕射入至人眼，其中，所述屏幕相对于所述光学成像系统离轴配置，所述方法包括：
获取第一调制参数，所述第一调制参数是根据第一畸变像和第一目标像确定的，所述第一畸变像是训练图像经过所述光学成像系统和所述屏幕的成像处理而呈现的像，，所述第一目标像是所述训练图像的像，且所述第一目标像的畸变在预设范围内；控制所述空间光调制器基于所述第一调制参数对待成像的第一图像的电信号进行调制。
具体地说，所述第一畸变像是训练图像的电信号经过基于原始调制参数的调制和所述屏幕的反射而呈现的像。
所述第一目标像时所述图像的光束在经过所述屏幕的成像时希望使人眼观察到的像。
在一种实现方式中，所述第一目标像的图像是根据所述第一畸变像的图像确定的，例如，所述第一目标像的图像包括所述第一畸变像的图像中畸变程度在预设范围内的像素区域。
根据本申请的方案，通过基于发生畸变的像和期待呈现的像确定空间光调制器的第一调制参数，并根据该第一调制参数对待呈现的图像的电信号进行调制，能够在减小该待呈现的图像的像发生畸变的同时，避免因在电域对图像进行补偿处理而造成的较大的成像时延，并且，能够减小因在电域对图像进行补偿处理而增加的处理成本。
其中，所述屏幕相对于所述光学成像系统(例如，所述至少一个透镜)离轴配置。
由于在屏幕相对于所述光学成像系统离轴配置时发生畸变较大，因此，根据本申请的方案能够适用于所述屏幕相对于所述光学成像系统离轴配置的场景。
在一种实现方式中，该方法由光学成像系统中的处理器执行。
在另一种实现方式中，该方法由光学成像系统中的空间光调制器执行。
在另一种实现方式中，该方法由空间光调制器中的控制模块执行。
可选地，所述获取第一调制参数包括：控制所述空间光调制器基于原始调制参数对所述训练图像的电信号进行调制，以获取所述第一畸变像；调节所述原始调制参数，以使所述第一畸变像与所述第一目标像之间的偏差在预设范围内；将经过所述调节的原始调制参数确定为第一调制参数。
通过由光学成像系统中的模块完成第一调制参数的确定过程，能够实现在线处理，从而能够应对各种不同环境下的应用，提高实用性和可靠性。
可选地，所述获取第一参数包括：向服务器发送所述第一畸变像的图像；从所述服务器获取所述第一调制参数。
可选地，所述方法还包括向所述服务器发送所述训练图像。
通过由第三方服务器完成第一调制参数的确定过程，能够降低因确定第一参数而造成的设备负担，并且能够减小因在线确定第一调制参数而产生的成像时延。
可选地，所述方法还包括：获取包括所述第一调制参数在内的K个调制参数与K个图像参数的第一对应关系，其中，第k个调制参数是根据具有第k个图像参数的训练图像的畸变像和目标像确定的，所述第k个调制参数与所述第k个图像参数对应，K≥2，k∈[1,K]；以及所述获取第一调制参数包括：根据所述第一对应关系，将所述第一图像的图像参数对应的调制参数，确定为所述第一调制参数
其中，所述K个调制参数中的任意两个调制参数的值不同，所述K个图像参数中的任意两个图像参数的值不同。
或者说，所述方法还包括：获取包括所述第一调制参数在内的多个调制参数与多个图像参数的第一对应关系，其中，每个调制参数是根据具有所述调制参数对应的图像参数的训练图像的畸变像和目标像确定的；以及所述获取第一调制参数包括：根据所述第一对应关系，将所述第一图像的图像参数对应的调制参数，确定为所述第一调制参数。
具体地说，例如，当调制参数包括泽尼克系数时，所述K个调制参数中的任意两个调制参数的值不同可以理解为泽尼克系数的值不同。
当每个调制参数为包括多种参数的参数组时，所述K个调制参数中的任意两个调制参数的值不同可以理解为，两个调制参数组包括的参数中的至少一种参数的值不同。
例如，当所述图像参数包括图像大小时，所述K个图像参数中的任意两个图像参数中的图像大小的值不同。
当每个图像参数为包括多种参数的参数组时，所述K个图像参数中的任意两个图像参数的值不同可以理解为，两个图像参数组包括的参数中的至少一种参数的值不同。
由于具有不同图像参数的图像的产生的畸变可能不同，因此，本申请能够灵活应对具有不同图像参数的图像的成像需求，进一步提高本申请的实用性。
可选地，所述图像参数包括以下至少一种参数：图像大小、图像颜色、图像形状、图像分辨率。
可选地，所述方法还包括：获取包括所述第一调制参数在内的M个调制参数与M个位置参数的第二对应关系，所述位置参数用于指示人眼与所述屏幕之间的位置关系，其中，第m调制参数是根据所述训练图像在第m个位置参数下的畸变像和目标像确定的，所述第m个调制参数与所述第m个位置参数对应，所述M个调制参数中的任意两个调制参数的值不同，所述M个位置参数中的任意两个位置参数的值不同；以及所述获取第一调制参数包括：根据所述第二对应关系，将所述第一图像的位置参数对应的调制参数，确定为所述第一调制参数
或者说，所述方法还包括：获取包括所述第一调制参数在内的多个调制参数与多个位置参数的第二对应关系，所述位置参数用于指示观察图像的像时人眼与所述屏幕之间的相对位置，其中，每个调制参数是根据具有所述调制参数对应的位置参数的训练图像的畸变像和目标像确定的；以及所述获取第一调制参数包括：根据所述第二对应关系，将所述第一图像的位置参数对应的调制参数，确定为所述第一调制参数。
由于在不同位置观察图像的像时观察到畸变可能不同，因此，本申请能够灵活应对在不同位置观察的像需求，进一步提高本申请的实用性。
可选地，所述位置参数包括以下至少一种参数：人眼与光束在屏幕上的射入点的距离，人眼在屏幕上的投影在所述屏幕的水平方向上的位置，人眼在屏幕上的投影在所述屏幕的竖直方向上的位置。
例如，当所述位置参数包括人眼与光束在屏幕上的射入点的距离时，所述M个位置参数中的任意两个位置参数中的人眼与光束在屏幕上的射入点的距离的值不同。
当每个位置参数为包括多种参数的参数组时，所述M个位置参数中的任意两个位置参数的值不同可以理解为，两个位置参数组包括的参数中的至少一种参数的值不同。
可选地，所述方法还包括：获取包括所述第一调制参数在内的N个调制参数与N个屏幕参数的第三对应关系，其中，第n个调制参数是根据所述训练图像经过具有第n个屏幕参数的屏幕成像的畸变像和目标像确定的，所述第n个调制参数与所述第m个屏幕参数对应，所述N个调制参数中的任意两个调制参数的值不同，所述N个屏幕参数中的任意两个屏幕参数的值不同；以及所述获取第一调制参数包括：根据所述第三对应关系，将所述第一屏幕的屏幕参数对应的调制参数，确定为所述第一调制参数，其中，所述第一屏幕是用于所述第一图像的成像的屏幕
或者说，所述方法还包括：获取包括所述第一调制参数在内的多个调制参数与多个屏幕参数的第三对应关系，其中，每个调制参数是根据经过具有所述调制参数对应的屏幕参数的屏幕成像的畸变像和目标像确定的；以及所述获取第一调制参数包括：根据所述第三对应关系，将所述第一屏幕的屏幕参数对应的调制参数，确定为所述第一调制参数，其中，所述第一屏幕是用于所述第一图像的成像的屏幕。
由于具有不同屏幕参数的屏幕产生的畸变可能不同，因此，本申请能够灵活应使用具有不同屏幕参数的屏幕的场景内，进一步提高本申请的实用性。
可选地，所述屏幕参数包括以下至少一种参数：屏幕形状，屏幕厚度，屏幕材质，屏幕折射率，屏幕颜色。
例如，当所述屏幕参数包括屏幕形状时，所述N个屏幕参数中的任意两个位置参数中的屏幕形状(或者说，屏幕形状对应的索引值)不同。
当每个屏幕参数为包括多种参数的参数组时，所述N个屏幕参数中的任意两个屏幕参数的值不同可以理解为，两个屏幕参数组包括的参数中的至少一种参数的值不同。
可选地，所述光学成像系统配置于车辆，以及，所述屏幕包括所述车辆的风挡玻璃。
除了车辆以外，所述光学成像系统配置于具有风挡玻璃等各种能够作为屏幕的装置的交通工具中，例如，火车、飞机或船舶等。
并且，除了风挡玻璃外，该屏幕可以为车窗等具有反射或折射功能的装置。
可选地，所述第一调制参数包括泽尼克系数。
第二方面，提供一种成像装置，包括处理器，所述处理器与存储器耦合，所述存储器用于存储计算机程序或指令，所述处理器用于执行存储器中的所述计算机程序或指令，使得所述处理器获取第一调制参数，所述第一调制参数是根据第一畸变像和第一目标像确定的，所述第一畸变像是训练图像经过空间光调制器的调制而生产的光束经过至少一个透镜和屏幕反射而呈现的像，所述第一目标像是所述训练图像的像，且所述第一目标像的畸变在预设范围内，并用于控制所述空间光调制器基于所述第一调制参数对待成像的第一图像的电信号进行调制。
具体地说，所述第一畸变像是训练图像的电信号经过基于原始调制参数的调制和所述屏幕的反射而呈现的像。
根据本申请的方案，通过基于发生畸变的像和期待呈现的像确定空间光调制器的第一调制参数，并根据该第一调制参数对待呈现的图像的电信号进行调制，能够在减小该待呈现的图像的像发生畸变的同时，避免因在电域对图像进行补偿处理而造成的较大的成像时延，并且，能够减小因在电域对图像进行补偿处理而增加的处理成本。
其中，所述屏幕相对于光学成像系统(例如，所述至少一个透镜)离轴配置。
由于在屏幕相对于所述光学成像系统离轴配置时发生畸变较大，因此，根据本申请的方案能够适用于所述屏幕相对于所述光学成像系统离轴配置的场景。
在一种实现方式中，所述处理器与由学成像系统中的空间光调制器独立配置。
在另一种实现方式中，所述处理器配置在由空间光调制器中。
可选地，所述处理器还用于控制所述空间光调制器基于原始调制参数对所述训练图像的电信号进行调制，以获取所述第一畸变像；调节所述原始调制参数，以使所述第一畸变像与所述第一目标像之间的偏差在预设范围内；将经过所述调节的原始调制参数确定为第一调制参数。
从而能够实现在线处理，从而能够应对各种不同环境下的应用，提高实用性和可靠性。
可选地，所述装置还包括：收发器，用于向服务器发送所述训练图像和所述第一畸变像的图像，并用于从所述服务器获取所述第一调制参数。
通过由第三方服务器完成第一调制参数的确定过程，能够降低因确定第一参数而造成的设备负担，并且能够减小因在线确定第一调制参数而产生的成像时延。
可选地，所述处理器还用于获取包括所述第一调制参数在内的多个调制参数与多个图像参数的第一对应关系，其中，每个调制参数是根据具有所述调制参数对应的图像参数的训练图像的畸变像和目标像确定的，并根据所述第一对应关系，将所述第一图像的图像参数对应的调制参数，确定为所述第一调制参数。
或者说，获取包括所述第一调制参数在内的K个调制参数与K个图像参数的第一对应关系，其中，第k个调制参数是根据具有第k个图像参数的训练图像的畸变像和目标像确定的，所述第k个调制参数与所述第k个图像参数对应，K≥2，k∈[1,K]，所述K个调制参数中的任意两个调制参数的值不同，所述K个图像参数中的任意两个图像参数的值不同。
由于具有不同图像参数的图像的产生的畸变可能不同，因此，本申请能够灵活应对具有不同图像参数的图像的成像需求，进一步提高本申请的实用性。
可选地，所述图像参数包括以下至少一种参数：图像大小、图像颜色、图像形状、图像分辨率。
可选地，所述处理器还用于获取包括所述第一调制参数在内的多个调制参数与多个位置参数的第二对应关系，所述位置参数用于指示观察图像的像时人眼与所述屏幕之间的相对位置，其中，每个调制参数是根据具有所述调制参数对应的位置参数的训练图像的畸变像和目标像确定的；并根据所述第二对应关系，将所述第一图像的位置参数对应的调制参数，确定为所述第一调制参数。
或者说，所述处理器还用于获取包括所述第一调制参数在内的M个调制参数与M个位置参数的第二对应关系，所述位置参数用于指示人眼与所述屏幕之间的位置关系，其中，第m调制参数是根据所述训练图像在第m个位置参数下的畸变像和目标像确定的，所述第m个调制参数与所述第m个位置参数对应，所述M个调制参数中的任意两个调制参数的值不同，所述M个位置参数中的任意两个位置参数的值不同。
由于在不同位置观察图像的像时观察到畸变可能不同，因此，本申请能够灵活应对在不同位置观察的像需求，进一步提高本申请的实用性。
可选地，所述位置参数包括以下至少一种参数：人眼与光束在屏幕上的射入点的距离，人眼在屏幕上的投影在所述屏幕的水平方向上的位置，人眼在屏幕上的投影在所述屏幕的竖直方向上的位置。
可选地，所述处理器还用于获取包括所述第一调制参数在内的多个调制参数与多个屏幕参数的第三对应关系，其中，每个调制参数是根据经过具有所述调制参数对应的屏幕参数的屏幕成像的畸变像和目标像确定的；并根据所述第三对应关系，将所述第一屏幕的屏幕参数对应的调制参数，确定为所述第一调制参数，其中，所述第一屏幕是用于所述第一图像的成像的屏幕。
或者说，所述处理器还用于获取包括所述第一调制参数在内的N个调制参数与N个屏幕参数的第三对应关系，其中，第n个调制参数是根据所述训练图像经过具有第n个屏幕参数的屏幕成像的畸变像和目标像确定的，所述第n个调制参数与所述第m个屏幕参数对应，所述N个调制参数中的任意两个调制参数的值不同，所述N个屏幕参数中的任意两个屏幕参数的值不同。
由于具有不同屏幕参数的屏幕产生的畸变可能不同，因此，本申请能够灵活应使用具有不同屏幕参数的屏幕的场景内，进一步提高本申请的实用性。
可选地，所述屏幕参数包括以下至少一种参数：屏幕形状，屏幕厚度，屏幕材质，屏幕折射率，屏幕颜色。
可选地，所述第一调制参数包括泽尼克系数。
第三方面，提供一种光学成像系统，包括第二方面及其各种实现方式的处理器、空间光调制器和至少一个透镜。
第四方面，提供一种光学成像系统，包括：用于基于第一调制参数对待成像的第一图像的电信号进行调制以生成所述第一图像的成像光束，所述第一调制参数是根据第一畸变像和第一目标像确定的，所述第一畸变像是训练图像经过所述空间光调制器和屏幕的成像处理而呈现的像，所述第一目标像是所述训练图像的像，且所述第一目标像的畸变在预设范围内；至少一个透镜，用于对所述第一图像的成像光束进行折射。
可选地，所述空间光调制器具体用于基于原始调制参数对所述训练图像的电信号进行调制，以获取所述第一畸变像；所述光学成像系统还包括：摄像设备，用于拍摄所述第一畸变图像；所述空间光调制器还用于从所述摄像设备获取所述第一畸变图像，并调节所述原始调制参数，以使所述第一畸变像与所述第一目标像之间的偏差在预设范围内，将经过所述调节的原始调制参数确定为第一调制参数。
可选地，所述光学成像系统还包括：摄像设备，用于获取所述第一畸变像的图像；收发器，用于向服务器发送所述第一畸变像的图像，用于从所述服务器接收所述第一调制参数。
可选地，所述收发器还用于向所述服务器发送所述训练图像。
可选地，所述空间光调制器用于获取包括所述第一调制参数在内的K个调制参数与K个图像参数的第一对应关系，其中，第k个调制参数是根据具有第k个图像参数的训练图像的畸变像和目标像确定的，所述第k个调制参数与所述第k个图像参数对应，K≥2，k∈[1,K]，所述K个调制参数中的任意两个调制参数的值不同，所述K个图像参数中的任意两个图像参数的值不同，并根据所述第一对应关系，将所述第一图像的图像参数对应的调制参数，确定为所述第一调制参数。
或者说，所述空间光调制器用于获取包括所述第一调制参数在内的多个调制参数与多个图像参数的第一对应关系，其中，每个调制参数是根据具有所述调制参数对应的图像参数的训练图像的畸变像和目标像确定的，并根据所述第一对应关系，将所述第一图像的图像参数对应的调制参数，确定为所述第一调制参数。
可选地，所述图像参数包括以下至少一种参数：图像大小、图像颜色、图像形状、图像分辨率。
可选地，所述空间光调制器用于获取包括所述第一调制参数在内的多个调制参数与多个位置参数的第二对应关系，所述位置参数用于指示观察图像的像时人眼与所述屏幕之间的相对位置，其中，每个调制参数是根据具有所述调制参数对应的位置参数的训练图像的畸变像和目标像确定的，并根据所述第二对应关系，将所述第一图像的位置参数对应的调制参数，确定为所述第一调制参数。
或者说，所述空间光调制器用于获取包括所述第一调制参数在内的M个调制参数与M个位置参数的第二对应关系，所述位置参数用于指示人眼与所述屏幕之间的位置关系，其中，第m调制参数是根据所述训练图像在第m个位置参数下的畸变像和目标像确定的，所述第m个调制参数与所述第m个位置参数对应，所述M个调制参数中的任意两个调制参数的值不同，所述M个位置参数中的任意两个位置参数的值不同，并根据所述第二对应关系，将所述第一图像的位置参数对应的调制参数，确定为所述第一调制参数
可选地，人眼与光束在屏幕上的射入点的距离，人眼在屏幕上的投影在所述屏幕的水平方向上的位置，人眼在屏幕上的投影在所述屏幕的竖直方向上的位置。
可选地，所述空间光调制器用于获取包括所述第一调制参数在内的多个调制参数与多个屏幕参数的第一对应关系，其中，每个调制参数是根据经过具有所述调制参数对应的屏幕参数的屏幕成像的畸变像和目标像确定的，并根据所述第三对应关系，将所述第一屏幕的屏幕参数对应的调制参数，确定为所述第一调制参数，其中，所述第一屏幕是用于所述第一图像的成像的屏幕。
或者说，所述空间光调制器用于获取包括所述第一调制参数在内的N个调制参数与N个屏幕参数的第三对应关系，其中，第n个调制参数是根据所述训练图像经过具有第n个屏幕参数的屏幕成像的畸变像和目标像确定的，所述第n个调制参数与所述第m个屏幕参数对应，所述N个调制参数中的任意两个调制参数的值不同，所述N个屏幕参数中的任意两个屏幕参数的值不同，并根据所述第三对应关系，将所述第一屏幕的屏幕参数对应的调制参数，确定为所述第一调制参数，其中，所述第一屏幕是用于所述第一图像的成像的屏幕。
可选地，所述屏幕参数包括以下至少一种参数：屏幕形状，屏幕厚度，屏幕材质，屏幕折射率，屏幕颜色。
可选地，所述第一调制参数包括泽尼克系数。
第五方面，提供一种交通工具(例如，车辆)，包括第三方面及其各种实现方式的光学成像系统。
第六方面，提供一种交通工具(例如，车辆)，包括第四方面及其各种实现方式的光学成像系统。
第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当所述计算机程序被运行时，使得计算机执行上述第一方面及其任一种可能实现方式中的方法。
第八方面，提供了一种计算机可读介质，所述计算机可读介质存储有计算机程序(也可以称为代码，或指令)当其在计算机上运行时，使得计算机执行上述第一方面及其任一种可能实现方式中的方法。
第九方面，提供了一种芯片系统，包括存储器和处理器，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得安装有该芯片系统的通信设备执行上述第一方面及其任一种可能实现方式中的方法。
其中，该芯片系统可以包括用于发送信息或数据的输入电路或者接口，以及用于接收信息或数据的输出电路或者接口。
附图说明
图1是AR HUD系统的成像过程的一例的示意图。
图2是本申请的光学成像系统的示意图。
图3是本申请的成像方法的一例的示意性交互图。
图4是本申请的神经网络设备的一例的结构图。
图5是本申请的神经网络的层次的一例的示意图。
图6是本申请的成像方法的另一例的示意性交互图。
图7本申请的成像装置的一例的示意图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
本申请的方案可以应用于光学成像系统，该光学成像系统可以包括但不限于抬头显示HUD系统或AR HUD系统。
具体地说，HUD也可以称为风挡玻璃仪表显示或平视显示，即，通过光学成像系统可以把重要的信息映射在风窗玻璃上的全息半镜上，使驾驶员不必低头，就能看清重要的信息。
增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
AR HUD可以理解为AR技术和HUD技术的融合，即，在驾驶人视线区域内合理、生动地叠加显示一些驾驶信息，并结合于实际交通路况中。
图1示出了本申请的成像过程的示意图。如图1所示，从光学成像系统发出的待成像的图像的光束，该光束经过风挡玻璃(或者说，风窗玻璃)的反射(或折射)射入人眼，从而使人眼观察到该图像的像，例如，当人眼和光学成像系统位于风挡玻璃的同侧，该像为虚像。当人眼和光学成像系统分别位于风挡玻璃的两侧，该像为实像。
通常情况下，该风挡玻璃相对于光学成像系统(或者说，光学成像系统的透镜)离轴配置，因此，人眼观察到的图像的像会发生畸变。
图2示出了本申请的光学成像系统的一例的示意图。如图2所示，该光学成像系统100包括：
空间光调制器110；
至少一个透镜120；
处理器130。
空间光调制器(Spatial Light Modulator，SLM)是一类能将信息加载于一维或两维的光学数据场上，以便有效的利用光的固有速度、并行性和互连能力的器件,能够实现对二维空间各点光强进行调制。
SLM可在随时间变化的电驱动信号或其他信号的控制下，改变空间上光分布的振幅或强度、相位、偏振态以及波长，或者把非相干光转化成相干光。
SLM在主动控制下，可以通过液晶分子调制光场的某个参量，例如通过调制光场的振幅，通过折射率调制相位，通过偏振面的旋转调制偏振态，或是实现非相干到相干光的转换，从而将一定的信息写入光波中，达到光波调制的目的。它可以方便地将信息加载到一维或二维的光场中，利用光的宽带宽，多通道并行处理等优点对加载的信息进行快速处理。
SLM可以包括多个独立单元，他们在空间上排列成一维或二维阵列，每个单元都可以独立地接收光学信号或电学信号的控制，并按此信号改变自身的光学性质，从而对照明在其上的光波进行调制。
在本申请中，空间光调制器110可以从电域的处理单元，例如，图像处理单元(graphicsprocessing unit，GPU)或中央处理器(central processing unit，CPU)获取待成像的图像的数据(或者说，电信号)，并将该数据调制至光束上，从而形成该图像的光束。
该光束经过透镜120的折射后从空间光调制器110射出。
在本申请中，可以调节该空间光调制器110的某些调制参数，从而可以调节从该空间光调制器110射出的光束形成的像的参数，例如，像的形状，大小等。
作为示例而非限定，该调制参数可以包括但不限于泽尼克系数(zernikecoefficient)，或者说，泽尼克多项式(Zernike Polynomials)中的系数。
具体地说，像差是指光学系统中的成像缺陷。几何光学上把像差(几何像差)分为单色光像差和色光像差，单色光像差包括球差、彗差、像散、场曲和畸变，色光像差包括位置色差和倍率色差；而物理光学上把像差称之为波前像差或波阵面像差，即是点光源发出的球面波经光学系统后形成的波形与理想球面波之间的距离。波前像差可以通过泽尼克多项式周期表或球差、彗差等几何像差来表达。畸变可以理解为方形物体通过光学系统后周边各点产生了不同棱镜像移所致。
光学主反射镜是空问光学遥感器的组成部分，它的镜面面形精度是影响空间光学遥感器分辨率的重要因素之一。在地面装调过程中，反射镜在光轴水平和光轴竖直两种状态下，由于引力场的作用，反射镜的镜面将会发生变形，因此在进行光学反射镜设计时需要做镜面变形分析，以检验所设计的光学反射镜是否满足面形精度要求。镜面变形包括刚体位移和表面变形，刚体位移会引起光学系统像倾斜、离轴和离焦，表面变形将影响光学系统的波前差。刚体位移可以通过调整光学元件之间的相对位置来消除，而表面变形无法消除。因此镜面变形中的表面变形能够真实反映光学反射镜的面形精度。以自由曲面镜面为例，通过有限元分析得到面形数据，用泽尼克多项式对变形后的面形进行精确拟合，并分离出刚体位移部分得到表面变形云图，计算出表面变形的表面变形均方根和表面变形最大值与最小值之差。
应理解，以上列举的调制参数的具体例仅为示例性说明，本申请并未限定于此，其他能够改变从空间光调制器射出的光束所形成的像的形状、大小等的参数，均落入本申请的保护范围内，例如，该调制参数还可以包括空间光调制器的用于控制光束的振幅、强度、相位、偏振态以及波长等的参数。
从而，在本申请中，可以通过调节上述调制参数，减小人眼观察到的像的畸变。
具体地说，该调制参数可以是经过训练的、能够减小人眼观察到的像的畸变的参数，处理器130可以获取该调制参数，并控制上述空间光调制器110使用该调制参数对待成像的图像进行光调制。
需要说明的是，图2所示的光学成像系统100的结构仅为示例性说明，本申请并未限定于此，例如，该处理器130可以集成在空间光调制器110中，或者，该处理器130的功能可以由空间光调制器110中能够实现计算功能的器件或模块实现。
可选地，该光学成像系统100还可以包括摄像装置140。
该摄像装置140用于拍摄畸变像，该畸变像用于调制参数的确定，随后对该过程进行详细说明。
该摄像装置140的配置位置与人眼的位置相对于，以使拍摄的畸变像与人眼观察到的畸变像相同或近似相同。
该摄像装置140可以是可拆卸的，从而，在完成畸变像的拍摄后，可以拆卸下该摄像装置140。
该光学成像系统100还可以包括现有技术中光学成像系统所包括的其他器件，这里，为了避免赘述，省略其详细说明。
下面，对该调制参数的确定(或者说，调节)过程，进行详细说明。
图3示出了该调制参数的确定过程的一例的示意图，如图3所示，在S210，空间光调制器110可以从例如，GPU等电域图形处理器获取图像#A(即，训练图像的一例)的电域数据(或者说，电域信号)。
在S220，空间光调制器110可以基于调制参数#A(即，原始调制参数的一例)对该电域数据进行调制，以生成该图像#A的光束，以下，为了便于理解，称为光束#A。
其中，该调制参数#A可以是默认参数或出厂设置参数，或者，该调制参数#A也可以是处理器130为空间光调制器110配置的参数。
该光束#A经过透镜120的折射以及屏幕#A的反射(或折射)后射入拍摄装置140，从而，拍摄装置140能够拍摄到该图像#A的畸变像，具体地说，是畸变像的图像，以下，为了便于理解和区分，记做图像#B。
在S230，处理器130从拍摄装置140获取该图像#B。
并且，在S240，处理器130可以确定该图像#A的期待像，具体地说，是期待像的图像，以下，为了便于理解和区分，记做图像#C。其中，该图像#A的期待像可以理解为人眼观察到的图像#A的不发生畸变或者畸变程度在预设范围内的像。
作为示例而非限定，该处理器130可以通过以下方式获取图像#A的期待像，或者说图像#C。
具体地说，在空间不同观测位置畸变映射关系是不同的，因此需要对有限的不同观测位置进行相应的标定，再采用插值的方式生成空间任意观测位置的畸变映射关系。同时我们希望在任意位置观测到的最终成像均为空间内某一固定的矩形视场，故需要在标定时针对每个观测位置选择合适的成像区域大小。
我们设定标定观测位置在空间同一水平直线上。在某一特定的观测位置，根据投影的标定点阵对应畸变成像，我们可以采用在畸变点阵内选取内接矩形的方式来确定该位置的最大矩形视场R大小。假设标定观测位置数目为N，对第i个位置，畸变点阵图像(例如，图像#B)最左列横坐标最大值为x_left_i,最右列横坐标最小值为x_right_i，最上行纵坐标最大值为y_up_i，最下行纵坐标最小值为y_down_i。此时矩形范围Ri＝[x_left_i,x_right_i,y_up_i,y_down_i]内接于畸变点阵视场内部。
从而，该矩形范围Ri可以作为图像#A的期待图像(即，图像#C)。
另外，由于不同观测位置畸变量不同，拍摄相片(例如，图像#B)中不同Ri对应的空间实际位置将并不相同，所以需要在不同Ri内部找到公共的视场区域使之对应相同空间范围。因为Ri是由不同的观测位置拍摄的畸变点阵图像所确定的范围，故为了找到空间内公共的矩形视场范围，需要将不同的Ri移动到同一观测位置。在此以两个观测位置i,j为例，由于在同一水平直线上，只有水平位移Δx_ij,若位置j在位置i右侧Δx_ij为正值，否则为负值。则Rj在观测位置i处对应的观测结果Rj_i可由小孔成像模型算出。具体计算公式如下：
Rj_i＝[x_left_j+f/Z*Δx_ij*ppi,x_right_j+f/Z*Δx*_ij*ppi,y_up_j,y_down_j]
其中f是相机焦距，Z是成像面到相机的距离，ppi为相机CCD面单位距离像素数。
在i位置处选取的公共矩形视场区域为R*＝[max{x_left_i,x_left_j+f/Z*Δx_ij*ppi},min{x_right_i,x_right_j+f/Z*Δx_ij*ppi},max{y_up_i,y_up_j},min(y_down_i,y_down_j)]。
当观测位置大于2个时，只需将所有观测位置类似的移动到同一观测位置上如上类似取公共区域即可获取R*。
再获取R*后可以再由小孔成像模型还原在任意观测位置j上的矩形视场范围R*_j：
R*_j＝[max{x_left_i,x_left_j+f/Z*Δx_ij*ppi}-f/Z*Δx_ij*ppi,min{x_right_i,x_right_j+f/Z*Δx_ij*ppi}-f/Z*Δx_ij*ppi,max{y_up_i,y_up_j},min(y_down_i,y_down_j)]。
在完成一条直线上多个观测点的映射关系标定后插值获取任意位置的畸变映射关系：
对于空间任意观测点k，首先获取观测位置投影所在标定观测点的区间。我们利用最相邻的两个已标定观测点的畸变映射表进行线性插值生成在位置k处的畸变映射表P_k。
插值公式如下：
P_k＝(1–α)*P_i+α*P_i+1；
其中，α＝d1/(d1+d2)，P_i和P_i+1分别为相邻两个已标定位置的畸变映射关系表。
在S250，处理器130可以基于该图像#B和图像#C训练得到调制参数#B。
例如，处理器130可以判定图像#B和图像#C之间的相似度是否满足预设条件，例如，同一位置的像素在图像#B和图像#C中的位置的偏差是否小于或等于预设的偏差值。
如果判定为是，则可以将该调制参数#A确定为调制参数#B。
如果判定否，则可以执行以下操作：
在步骤a，处理器130可以基于规定的调节方向和调节步长在调制参数#A的基础上进行调节，得到调制参数#C。
在步骤b，空间光调制器110可以基于调制参数#C对该图像#A电域数据进行调制，以生成该图像#A的光束，以下，为了便于理解，称为光束#B。
在步骤c，该光束#A经过透镜120的折射以及屏幕的反射(或折射)后射入拍摄装置140，从而，拍摄装置140能够拍摄到该图像#A的畸变像，具体地说，是畸变像的图像，以下，为了便于理解和区分，记做图像#D。
在步骤d，处理器130从拍摄装置140获取该图像#D。
在步骤e，处理器130可以判定图像#D和图像#C之间的相似度是否满足预设条件，例如，同一位置的像素在图像#D和图像#C中的位置的偏差是否小于或等于预设的偏差值。
如果判定为是，则可以将该调制参数#C确定为调制参数#B。
如果判定为否，则重复上述步骤a～步骤e，至到基于调节后的调制参数(记做调制参数#X)生成的光束所形成畸变像的图像(记做图像#X)和图像#C之间的相似度满足预设条件，从而，可以将该调制参数#X确定为调制参数#B。
应理解，以上列举的基于该图像#B和图像#C训练得到调制参数#B的过程仅为示例性说明，本申请并未限定于此，例如，还可以将该图像#B和图像#C作为神经网络模型的输入数据，该神经网络模型的输出数据为调制参数#B。
下面，对该神经网络模型的训练过程进行详细说明。
为了便于理解，下面先对本申请实施例涉及的相关术语及神经网络等相关概念进行介绍。
1.神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：
Figure BDA0002492863740000121
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
2.卷积神经网络
卷积神经网络是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。
卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
3.反向传播算法
卷积神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的超分辨率模型中参数的大小，使得超分辨率模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的超分辨率模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的超分辨率模型的参数，例如权重矩阵。
下面，对该神经网络模型的训练过程进行说明。
首先，介绍本申请实施例提供的神经网络模型训练的系统架构。参见附图4，本申请实施例提供了一种系统架构300。如所述系统架构300所示，数据采集设备360(例如，拍摄装置140和处理器130)用于采集训练数据，该训练数据的获取过程可以与上述图像#C和图像#B的获取过程相似，或者说，该图像#C和图像#B本身即可作为训练数据。
并且，数据采集设备360将训练数据存入数据库330，训练设备320基于数据库330中维护的训练数据训练得到神经网络模型301，即，调制参数#B对应的神经网络模型301。
需要说明的是，在实际的应用中，所述数据库330中维护的训练数据不一定都来自于数据采集设备360的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备320也不一定完全基于数据库330维护的训练数据进行神经网络模型301的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。
根据训练设备320训练得到的神经网络模型301可以应用于执行设备310。
在图4中，执行设备310配置有I/O接口312，用于与客户设备340(例如，处理器130或空间光调制器110)进行数据交互，客户设备340向I/O接口312输入数据(例如上述图像#C和图像#B)。
预处理模块313用于根据I/O接口312接收到的输入数据进行预处理，其中，该预处理的过程和方法可以与现有技术相似，这里，为了避免赘述，省略其详细说明。需要说明的是，在本申请中，也可以不对输入数据进行预处理，此情况下，系统架构300也可以不包括预处理模块313。
计算模块311用于根据上述神经网络模型301对来自预处理模块313或者I/O接口312的输入数据执行计算等相关的处理。
需要说明的是，执行设备310可以调用数据存储系统350中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统350中。
最后，I/O接口312将处理结果，如上述得到的调制参数#B返回给客户设备340。
在图4中所示情况下，用户可以手动给定输入数据，该手动给定可以通过I/O接口312提供的界面进行操作。另一种情况下，客户设备340可以自动地向I/O接口312发送输入数据，如果要求客户设备340自动发送输入数据需要获得用户的授权，则用户可以在客户设备340中设置相应权限。用户可以在客户设备340查看执行设备310输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备340也可以作为数据采集端，采集如图4所示输入I/O接口312的输入数据及输出I/O接口312的输出结果作为新的样本数据，并存入数据库330。当然，也可以不经过客户设备340进行采集，而是由I/O接口312直接将如图4所示输入I/O接口312的输入数据及输出I/O接口312的输出结果，作为新的样本数据存入数据库330。
值得注意的是，图4仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图4中，数据存储系统350相对执行设备310是外部存储器，在其它情况下，也可以将数据存储系统350置于执行设备310中。
本申请的神经网络可以包括但不限于卷积神经网络CNN，卷积神经网络是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。
如图5所示，卷积神经网络(CNN)400可以包括输入层410，卷积层/池化层420(其中池化层为可选的)，以及神经网络层430。
卷积层/池化层420：
卷积层：
如图5所示卷积层/池化层420可以包括如示例421-426层，举例来说：在一种实现中，421层为卷积层，422层为池化层，423层为卷积层，424层为池化层，425为卷积层，426为池化层；在另一种实现方式中，421、422为卷积层，423为池化层，424、425为卷积层，426为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。
下面将以卷积层421为例，介绍一层卷积层的内部工作原理。
卷积层421可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的特征图的尺寸也相同，再将提取到的多个尺寸相同的特征图合并形成卷积运算的输出。
这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络400进行正确的预测。
当卷积神经网络400有多个卷积层的时候，初始的卷积层(例如421)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络400深度的加深，越往后的卷积层(例如426)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。
池化层：
由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在如图5中420所示例的421-426各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
神经网络层430：
在经过卷积层/池化层420的处理后，卷积神经网络400还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层420只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络400需要利用神经网络层430来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层430中可以包括多层隐含层(如图4所示的431、432至43n)以及输出层440，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等。
在神经网络层430中的多层隐含层之后，也就是整个卷积神经网络400的最后层为输出层440，该输出层440具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络400的前向传播(如图5由410至440方向的传播为前向传播)完成，反向传播(如图5由440至410方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络400的损失，及卷积神经网络400通过输出层输出的结果和理想结果之间的误差。
需要说明的是，如图5所示的卷积神经网络400仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在。
在S260，处理器130可以将空间光调制器110使用的调制参数设置为该调制参数#B。
从而，当空间光调制器110可以从例如，GPU等电域图形处理器获取新的图像(即，第一图像的一例，记做，图像#1)的电域数据(或者说，电域信号)时，空间光调制器110可以基于调制参数#B(即，第一调制参数的一例)对该电域数据进行调制，以生成该图像#1的光束，以下，为了便于理解，称为光束#1。
由于上述调制参数#B经过训练，能够对畸变进行补偿，因此，能够减小光束#1经过透镜120的折射以及屏幕#A的反射而被人眼观察到的像的畸变。
应理解，以上列举的对图像1的处理过程仅为示例性说明，本申请并未限定于此，例如，还可以采用以下一种或多种方式。
方式a
具体地说处理器130还可以保存该图像#A的图像参数(记做，图像参数#A)与该调制参数#B的映射关系。
或者说，在该调制参数#B是基于多个训练图像训练得到的情况下，该多个训练图像的图像参数可以相同，从而，处理器130还可以包括该相同的图像参数(例如，图像参数#A)与调制参数#B的映射关系。
类似地，可以分别基于具有不同图像参数的训练图像(具体地说，是训练图像的畸变像和期待像)训练得到多个调制参数。该过程与该调制参数#B的确定过程相似，这里，为了避免赘述，省略其详细说明。
作为示例而非限定，该图像参数可以包括但不限于以下一种或多种参数：
图像大小、图像颜色、图像形状、图像分辨率。
从而，处理器130可以生成该多个图像参数与多个调制参数的一一对应关系，记做，对应关系#A(即，第一对应关系的一例)，以下表1示出了该对应关系的一例。
表1
图像参数#A 调制参数#B
…… ……
图像参数#M 调制参数#N
从而，处理器130可以根据图像#1的图像参数(记做，图像参数#1)，并从该对应关系#A中确定与该图像参数#1对应的调制参数(记做，调制参数#1)，处理器130可以将空间光调制器110使用的调制参数设置为该调制参数#1。
进而，空间光调制器110可以基于调制参数#1(即，第一调制参数的一例)对该电域数据进行调制，以生成该图像#1的光束。
方式b
具体地说处理器130还可以保存图像#A的位置参数(记做，位置参数#A)与该调制参数#B的映射关系。
其中，图像的位置参数可以理解为，人眼观察该图像的像时，该人眼相对于屏幕的位置的参数。
或者说，在该调制参数#B是基于多个训练图像训练得到的情况下，该多个训练图像的位置参数可以相同，从而，处理器130还可以包括该相同的位置参数(例如，位置参数#A)与调制参数#B的映射关系。
类似地，可以分别基于具有不同位置参数的训练图像(具体地说，是训练图像的畸变像和期待像)训练得到多个调制参数。该过程与该调制参数#B的确定过程相似，这里，为了避免赘述，省略其详细说明。
作为示例而非限定，该图像参数可以包括但不限于以下一种或多种参数：
人眼与屏幕的距离，人眼在屏幕的水平方向上的位置，人眼在屏幕的竖直方向上的位置。
从而，处理器130可以生成该多个位置参数与多个调制参数的一一对应关系，记做，对应关系#B(即，第二对应关系的一例)，以下表2示出了该对应关系的一例。
表2
位置参数#A 调制参数#B
…… ……
位置参数#M 调制参数#N
从而，处理器130可以根据图像#1的位置参数(即，人眼观察图像#1时的位置参数，记做，位置参数#1)，并从该对应关系#A中确定与该位置参数#1对应的调制参数(记做，调制参数#2)，处理器130可以将空间光调制器110使用的调制参数设置为该调制参数#2。
进而，空间光调制器110可以基于调制参数#2(即，第一调制参数的一例)对该电域数据进行调制，以生成该图像#1的光束。
应理解，以上列举的方式a和方式b可以单独使用也可以联合使用。
例如，具体地说处理器130可以分别基于具有不同参数组的训练图像(具体地说，是训练图像的畸变像和期待像)训练得到多个调制参数。
其中，每个参数组包括一个位置参数和一个图像参数。
进而，处理器130可以生成该多个位置组与多个调制参数的一一对应关系，记做，对应关系，以下表3示出了该对应关系的一例。
表3
图像参数#A 位置参数#A 调制参数#B
…… …… ……
图像参数#M 位置参数#M 调制参数#N
从而，处理器130可以根据图像#1的参数组(即，图像1的位置参数和图像参数)，并从该对应关系中确定与该图像#1的参数组对应的调制参数(记做，调制参数#3)，处理器130可以将空间光调制器110使用的调制参数设置为该调制参数#3。
进而，空间光调制器110可以基于调制参数#3(即，第一调制参数的一例)对该电域数据进行调制，以生成该图像#1的光束。
方式c
具体地说处理器130还可以保存图像#A的屏幕参数(记做，屏幕参数#A)与该调制参数#B的映射关系。
其中，图像的屏幕参数可以理解为，该图像在成像时使用的屏幕的参数。
或者说，在该调制参数#B是基于多个训练图像训练得到的情况下，该多个训练图像的屏幕参数可以相同，从而，处理器130还可以包括该相同的屏幕参数(例如，屏幕参数#A)与调制参数#B的映射关系。
类似地，可以分别基于具有不同屏幕参数的训练图像(具体地说，是训练图像的畸变像和期待像)训练得到多个调制参数。该过程与该调制参数#B的确定过程相似，这里，为了避免赘述，省略其详细说明。
作为示例而非限定，该屏幕参数可以包括但不限于以下一种或多种参数：
屏幕形状，屏幕厚度，屏幕材质，屏幕折射率，屏幕颜色。
从而，处理器130可以生成该多个屏幕参数与多个调制参数的一一对应关系，记做，对应关系#C(即，第三对应关系的一例)，以下表4示出了该对应关系的一例。
表4
屏幕参数#A 调制参数#B
…… ……
屏幕参数#M 调制参数#N
从而，处理器130可以根据图像#1的屏幕参数(即，图像#1成像时使用的屏幕的位置参数，记做，屏幕参数#1)，并从该对应关系#A中确定与该屏幕参数#1对应的调制参数(记做，调制参数#4)，处理器130可以将空间光调制器110使用的调制参数设置为该调制参数#4。
进而，空间光调制器110可以基于调制参数#4(即，第一调制参数的一例)对该电域数据进行调制，以生成该图像#1的光束。
应理解，以上列举的方式a和方式c可以单独使用也可以联合使用，或者，以上列举的方式b和方式c可以单独使用也可以联合使用，或者，以上列举的方式a、方式b和方式c可以联合使用。
例如，处理器130可以分别基于具有不同参数组的训练图像(具体地说，是训练图像的畸变像和期待像)训练得到多个调制参数。
其中，每个参数组包括一个图像参数和一个屏幕参数。
进而，处理器130可以生成该多个位置组与多个调制参数的一一对应关系，记做，对应关系，以下表5示出了该对应关系的一例。
表5
图像参数#A 屏幕参数#A 调制参数#B
…… …… ……
图像参数#M 屏幕参数#M 调制参数#N
从而，处理器130可以根据图像#1的参数组(即，图像1的位图像参数和屏幕参数)，并从该对应关系中确定与该图像#1的参数组对应的调制参数(记做，调制参数#5)，处理器130可以将空间光调制器110使用的调制参数设置为该调制参数#5。
进而，空间光调制器110可以基于调制参数#5(即，第一调制参数的一例)对该电域数据进行调制，以生成该图像#1的光束。
再例如，处理器130可以分别基于具有不同参数组的训练图像(具体地说，是训练图像的畸变像和期待像)训练得到多个调制参数。
其中，每个参数组包括一个位置参数和一个屏幕参数。
进而，处理器130可以生成该多个位置组与多个调制参数的一一对应关系，记做，对应关系，以下表6示出了该对应关系的一例。
表6
位置参数#A 屏幕参数#A 调制参数#B
…… …… ……
位置参数#M 屏幕参数#M 调制参数#N
从而，处理器130可以根据图像#1的参数组(即，图像1的位置参数和屏幕参数)，并从该对应关系中确定与该图像#1的参数组对应的调制参数(记做，调制参数#6)，处理器130可以将空间光调制器110使用的调制参数设置为该调制参数#6。
进而，空间光调制器110可以基于调制参数#6(即，第一调制参数的一例)对该电域数据进行调制，以生成该图像#1的光束。
再例如，处理器130可以分别基于具有不同参数组的训练图像(具体地说，是训练图像的畸变像和期待像)训练得到多个调制参数。
其中，每个参数组包括一个位置参数、一个图像参数和一个屏幕参数。
进而，处理器130可以生成该多个位置组与多个调制参数的一一对应关系，记做，对应关系，以下表7示出了该对应关系的一例。
表7
图像参数#A 位置参数#A 屏幕参数#A 调制参数#B
…… …… …… ……
图像参数#M 位置参数#M 屏幕参数#M 调制参数#N
从而，处理器130可以根据图像#1的参数组(即，图像1的图像参数、位置参数和屏幕参数)，并从该对应关系中确定与该图像#1的参数组对应的调制参数(记做，调制参数#7)，处理器130可以将空间光调制器110使用的调制参数设置为该调制参数#7。
进而，空间光调制器110可以基于调制参数#7(即，第一调制参数的一例)对该电域数据进行调制，以生成该图像#1的光束。
图6示出了该调制参数的确定过程的一例的示意图，与图3所示过程不同的是，处理器130在获取训练数据后，可以将该训练数据发送给服务器。
其中，该训练数据可以包括一个或多个训练图像的畸变像和期待像，例如，图像#B和图像#C。
或者，该训练数据可以包括该训练图像的畸变像，此情况下，服务器可以根据该训练图像的畸变像，确定训练图像的期待像。
从而，服务器可以根据训练数据，训练(或者说，确定)获得一个或多个调制参数(例如，上述调制参数#B)。并且，该训练过程可以与上述方法200中处理器130执行的过程相似，这里，为了避免赘述，省略其详细说明。
其后，服务器将所训练得到的调制参数发送给处理器130。
从而，处理器130在处理图像#1时可以根据服务器反馈的调制参数，确定空间光调制器110需要使用的调制参数。
应理解，以上列举的处理器130获得调制参数的方案仅为示例性说明，上述训练过程也可以在出厂之前通过实验或训练等方式预先配置在处理器130(或者说，处理器130能够访问的存储器)中，并且，该训练过程可以与上述方法200中处理器130执行的过程相似，这里，为了避免赘述，省略其详细说明。
如图7所示，本申请实施例还提供一种成像装置500。成像装置500包括处理器510，处理器510与存储器520耦合，存储器520用于存储计算机程序或指令或者和/或数据，处理器510用于执行存储器520存储的计算机程序或指令和/或者数据，使得上文方法(具体地说，是处理器130执行的方法)实施例中的方法被执行。
可选地，该成像装置500包括的处理器510为一个或多个。
可选地，如图7所示，该通信装置500还可以包括存储器520。具体地，存储器520可以为一个或多个。可选地，该存储器520可以与该处理器510集成在一起，或者分离设置。
如图7所示，该成像装置500还可以包括收发器530，收发器530用于信号的接收和/或发送。例如，处理器510用于控制收发器530进行信号的接收和/或发送。
其中，该成像装置500用于实现上文方法实施例中由处理器130执行的操作。
上述提供的任一种成像装置500中相关内容的解释及有益效果均可参考上文提供的对应的方法实施例，此处不再赘述。
本申请实施例并未对本申请实施例提供的方法的执行主体的具体结构进行特别限定，只要能够通过运行记录有本申请实施例提供的方法的代码的程序，以根据本申请实施例提供的方法进行处理即可。
本申请实施例的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本文中使用的术语“制品”可以涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如，计算机可读介质可以包括但不限于：磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，压缩盘(compact disc，CD)、数字通用盘(digital versatiledisc，DVD)等)，智能卡和闪存器件(例如，可擦写可编程只读存储器(erasableprogrammable read-only memory，EPROM)、卡、棒或钥匙驱动器等)。
本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于：无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
应理解，本申请实施例中提及的处理器可以是中央处理单元(centralprocessing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者任何常规的处理器等。
还应理解，本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)。例如，RAM可以用作外部高速缓存。作为示例而非限定，RAM可以包括如下多种形式：静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)可以集成在处理器中。还需要说明的是，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (22)

1.一种成像方法，其特征在于，应用于光学成像系统，所述系统包括空间光调制器和至少一个透镜，所述空间光调制器用于对待成像的图像的电信号进行调制以生成所述图像的成像光束，所述成像光束经过所述透镜和屏幕射入至人眼，所述方法包括：
获取第一调制参数，所述第一调制参数是根据第一畸变像和第一目标像确定的，所述第一畸变像和所述第一目标像为神经网络模型的输入数据，所述第一调制参数为所述神经网络模型的输出数据，所述第一畸变像是训练图像经过所述光学成像系统和所述屏幕的成像处理而呈现的像，所述第一目标像是所述训练图像的像，且所述第一目标像的畸变在预设范围内，所述第一畸变像与所述第一目标像之间的偏差在预设范围内，所述第一调制参数包括泽尼克系数；
控制所述空间光调制器基于所述第一调制参数对待成像的第一图像的电信号进行调制。
2.根据权利要求1所述的方法，其特征在于，所述获取第一调制参数包括：
控制所述空间光调制器基于原始调制参数对所述训练图像的电信号进行调制，以获取所述第一畸变像；
调节所述原始调制参数，以使所述第一畸变像与所述第一目标像之间的偏差在预设范围内；
将经过所述调节的原始调制参数确定为第一调制参数。
3.根据权利要求1所述的方法，其特征在于，所述获取第一调制参数包括：
向服务器发送所述第一畸变像的图像；
从所述服务器获取所述第一调制参数。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
获取包括所述第一调制参数在内的K个调制参数与K个图像参数的第一对应关系，其中，第k个调制参数是根据具有第k个图像参数的训练图像的畸变像和目标像确定的，所述第k个调制参数与所述第k个图像参数对应，K≥2，k∈[1,K]，所述K个调制参数中的任意两个调制参数的值不同，所述K个图像参数中的任意两个图像参数的值不同；以及
所述获取第一调制参数包括：
根据所述第一对应关系，将所述第一图像的图像参数对应的调制参数，确定为所述第一调制参数。
5.根据权利要求4所述的方法，其特征在于，所述图像参数包括以下至少一种参数：
图像大小、图像颜色、图像形状、图像分辨率。
6.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
获取包括所述第一调制参数在内的M个调制参数与M个位置参数的第二对应关系，所述位置参数用于指示人眼与所述屏幕之间的位置关系，其中，第m个调制参数是根据所述训练图像在第m个位置参数下的畸变像和目标像确定的，所述第m个调制参数与所述第m个位置参数对应，所述M个调制参数中的任意两个调制参数的值不同，所述M个位置参数中的任意两个位置参数的值不同；以及
所述获取第一调制参数包括：
根据所述第二对应关系，将所述第一图像的位置参数对应的调制参数，确定为所述第一调制参数。
7.根据权利要求6所述的方法，其特征在于，所述位置参数包括以下至少一种参数：
人眼与光束在屏幕上的射入点的距离，人眼在屏幕上的投影在所述屏幕的水平方向上的位置，人眼在屏幕上的投影在所述屏幕的竖直方向上的位置。
8.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
获取包括所述第一调制参数在内的N个调制参数与N个屏幕参数的第三对应关系，其中，第n个调制参数是根据所述训练图像经过具有第n个屏幕参数的屏幕成像的畸变像和目标像确定的，所述第n个调制参数与所述第n个屏幕参数对应，所述N个调制参数中的任意两个调制参数的值不同，所述N个屏幕参数中的任意两个屏幕参数的值不同；以及
所述获取第一调制参数包括：
根据所述第三对应关系，将第一屏幕的屏幕参数对应的调制参数，确定为所述第一调制参数，其中，所述第一屏幕是用于所述第一图像的成像的屏幕。
9.根据权利要求8所述的方法，其特征在于，所述屏幕参数包括以下至少一种参数：
屏幕形状，屏幕厚度，屏幕材质，屏幕折射率，屏幕颜色。
10.根据权利要求1至3中任一项所述的方法，其特征在于，所述光学成像系统配置于车辆，以及，所述屏幕包括所述车辆的风挡玻璃。
11.一种成像装置，包括处理器，所述处理器与存储器耦合，所述存储器用于存储计算机程序或指令，所述处理器用于执行存储器中的所述计算机程序或指令，使得
权利要求1至10中任一项所述的方法被执行。
12.一种光学成像系统，包括：
如权利要求11所述的成像装置；
空间光调制器；
至少一个透镜。
13.一种光学成像系统，其特征在于，包括：
空间光调制器，用于基于第一调制参数对待成像的第一图像的电信号进行调制以生成所述第一图像的成像光束，所述第一调制参数是根据第一畸变像和第一目标像确定的，所述第一畸变像和所述第一目标像为神经网络模型的输入数据，所述第一调制参数为所述神经网络模型的输出数据，所述第一畸变像是训练图像经过所述空间光调制器和屏幕的成像处理而呈现的像，所述第一目标像是所述训练图像的像，且所述第一目标像的畸变在预设范围内，所述第一畸变像与所述第一目标像之间的偏差在预设范围内，所述第一调制参数包括泽尼克系数；
至少一个透镜，用于对所述第一图像的成像光束进行折射。
14.根据权利要求13所述的系统，其特征在于，所述空间光调制器具体用于基于原始调制参数对所述训练图像的电信号进行调制，以获取所述第一畸变像；
所述光学成像系统还包括：
摄像设备，用于获取所述第一畸变像；
所述空间光调制器还用于从所述摄像设备获取所述第一畸变像，并调节所述原始调制参数，以使所述第一畸变像与所述第一目标像之间的偏差在预设范围内，将经过所述调节的原始调制参数确定为第一调制参数。
15.根据权利要求13所述的系统，其特征在于，所述光学成像系统还包括：
摄像设备，用于拍摄所述第一畸变像的图像；
收发器，用于向服务器发送所述第一畸变像的图像，用于从所述服务器接收所述第一调制参数。
16.根据权利要求13至15中任一项所述的系统，其特征在于，所述空间光调制器用于获取包括所述第一调制参数在内的K个调制参数与K个图像参数的第一对应关系，其中，第k个调制参数是根据具有第k个图像参数的训练图像的畸变像和目标像确定的，所述第k个调制参数与所述第k个图像参数对应，K≥2，k∈[1,K]，所述K个调制参数中的任意两个调制参数的值不同，所述K个图像参数中的任意两个图像参数的值不同，并根据所述第一对应关系，将所述第一图像的图像参数对应的调制参数，确定为所述第一调制参数。
17.根据权利要求16所述的系统，其特征在于，所述图像参数包括以下至少一种参数：图像大小、图像颜色、图像形状、图像分辨率。
18.根据权利要求13至15中任一项所述的系统，其特征在于，所述空间光调制器用于获取包括所述第一调制参数在内的M个调制参数与M个位置参数的第二对应关系，所述位置参数用于指示人眼与所述屏幕之间的位置关系，其中，第m个调制参数是根据所述训练图像在第m个位置参数下的畸变像和目标像确定的，所述第m个调制参数与所述第m个位置参数对应，所述M个调制参数中的任意两个调制参数的值不同，所述M个位置参数中的任意两个位置参数的值不同，并根据所述第二对应关系，将所述第一图像的位置参数对应的调制参数，确定为所述第一调制参数。
19.根据权利要求18所述的系统，其特征在于，所述位置参数包括以下至少一种参数：
人眼与光束在屏幕上的射入点的距离，人眼在屏幕上的投影在所述屏幕的水平方向上的位置，人眼在屏幕上的投影在所述屏幕的竖直方向上的位置。
20.根据权利要求13至15中任一项所述的系统，其特征在于，所述空间光调制器用于获取包括所述第一调制参数在内的N个调制参数与N个屏幕参数的第三对应关系，其中，第n个调制参数是根据所述训练图像经过具有第n个屏幕参数的屏幕成像的畸变像和目标像确定的，所述第n个调制参数与所述第n个屏幕参数对应，所述N个调制参数中的任意两个调制参数的值不同，所述N个屏幕参数中的任意两个屏幕参数的值不同，并根据所述第三对应关系，将第一屏幕的屏幕参数对应的调制参数，确定为所述第一调制参数，其中，所述第一屏幕是用于所述第一图像的成像的屏幕。
21.根据权利要求20所述的系统，其特征在于，所述屏幕参数包括以下至少一种参数：
屏幕形状，屏幕厚度，屏幕材质，屏幕折射率，屏幕颜色。
22.一种车辆，其特征在于，包括：
如权利要求12所述的光学成像系统；或者
如权利要求13至21中任一项所述的光学成像系统。
CN202010410182.5A 2020-05-15 2020-05-15 成像方法、成像装置、光学成像系统及车辆 Active CN113746999B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010410182.5A CN113746999B (zh) 2020-05-15 2020-05-15 成像方法、成像装置、光学成像系统及车辆
CN202111540387.6A CN114415369A (zh) 2020-05-15 2020-05-15 成像方法、成像装置、光学成像系统及车辆
PCT/CN2021/092925 WO2021228058A1 (zh) 2020-05-15 2021-05-11 成像方法、成像装置、光学成像系统及车辆
EP21802918.9A EP4142275A4 (en) 2020-05-15 2021-05-11 IMAGING METHOD, IMAGING APPARATUS, OPTICAL IMAGING SYSTEM AND VEHICLE
US17/986,483 US20230085082A1 (en) 2020-05-15 2022-11-14 Imaging method, imaging apparatus, optical imaging system, and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010410182.5A CN113746999B (zh) 2020-05-15 2020-05-15 成像方法、成像装置、光学成像系统及车辆

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111540387.6A Division CN114415369A (zh) 2020-05-15 2020-05-15 成像方法、成像装置、光学成像系统及车辆

Publications (2)

Publication Number Publication Date
CN113746999A CN113746999A (zh) 2021-12-03
CN113746999B true CN113746999B (zh) 2023-01-03

Family

ID=78525272

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010410182.5A Active CN113746999B (zh) 2020-05-15 2020-05-15 成像方法、成像装置、光学成像系统及车辆
CN202111540387.6A Pending CN114415369A (zh) 2020-05-15 2020-05-15 成像方法、成像装置、光学成像系统及车辆

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111540387.6A Pending CN114415369A (zh) 2020-05-15 2020-05-15 成像方法、成像装置、光学成像系统及车辆

Country Status (4)

Country Link
US (1) US20230085082A1 (zh)
EP (1) EP4142275A4 (zh)
CN (2) CN113746999B (zh)
WO (1) WO2021228058A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114710615B (zh) * 2022-06-08 2022-08-12 中国人民解放军国防科技大学 高效单像素成像方法及系统
CN115018711B (zh) * 2022-07-15 2022-10-25 成都运荔枝科技有限公司 一种用于仓库调度的图像超分辨率重建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
CN106415696A (zh) * 2013-07-12 2017-02-15 法雷奥舒适驾驶助手公司 产生扫描影像的装置的控制系统和方法、影像产生装置和带该系统的显示器
CN108061968A (zh) * 2018-01-05 2018-05-22 京东方科技集团股份有限公司 一种抬头显示装置及显示图像校正方法
CN109873997A (zh) * 2019-04-03 2019-06-11 贵安新区新特电动汽车工业有限公司 投影画面校正方法及装置
TW201925856A (zh) * 2017-12-07 2019-07-01 盧森堡商喜瑞爾工業公司 平視顯示器
CN109993713A (zh) * 2019-04-04 2019-07-09 百度在线网络技术（北京）有限公司 车载平视显示系统图像畸变矫正方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070049109A (ko) * 2006-12-04 2007-05-10 실리콘 옵틱스 인코포레이션 파노라마 비전 시스템 및 방법
GB2448132B (en) * 2007-03-30 2012-10-10 Light Blue Optics Ltd Optical Systems
JP2014199385A (ja) * 2013-03-15 2014-10-23 日本精機株式会社 表示装置及びその表示方法
CN110726381B (zh) * 2019-11-22 2021-10-15 中国科学院长春光学精密机械与物理研究所 一种光学自由曲面全频段像差检测系统及检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106415696A (zh) * 2013-07-12 2017-02-15 法雷奥舒适驾驶助手公司 产生扫描影像的装置的控制系统和方法、影像产生装置和带该系统的显示器
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
TW201925856A (zh) * 2017-12-07 2019-07-01 盧森堡商喜瑞爾工業公司 平視顯示器
CN108061968A (zh) * 2018-01-05 2018-05-22 京东方科技集团股份有限公司 一种抬头显示装置及显示图像校正方法
CN109873997A (zh) * 2019-04-03 2019-06-11 贵安新区新特电动汽车工业有限公司 投影画面校正方法及装置
CN109993713A (zh) * 2019-04-04 2019-07-09 百度在线网络技术（北京）有限公司 车载平视显示系统图像畸变矫正方法和装置

Also Published As

Publication number Publication date
CN114415369A (zh) 2022-04-29
US20230085082A1 (en) 2023-03-16
CN113746999A (zh) 2021-12-03
EP4142275A4 (en) 2023-11-01
EP4142275A1 (en) 2023-03-01
WO2021228058A1 (zh) 2021-11-18

Similar Documents

Publication Publication Date Title
US11094075B1 (en) Systems and methods utilizing a machine learning model for generating defocus blur effects
Chakravarthula et al. Learned hardware-in-the-loop phase retrieval for holographic near-eye displays
CN109298528B (zh) 传感器组件和头戴式显示器
Ikoma et al. Depth from defocus with learned optics for imaging and occlusion-aware depth estimation
US20230085082A1 (en) Imaging method, imaging apparatus, optical imaging system, and vehicle
US20200099836A1 (en) Elecronic apparatus, and light field imaging system and method with optical metasurface
US8144208B2 (en) Task-based imaging systems
US20200192287A1 (en) Methods, systems, and computer readable media for improved digital holography and display incorporating same
US8760516B2 (en) Task-based imaging systems
US20220252879A1 (en) Image projection
Bhandari et al. Computational Imaging
US20230171385A1 (en) Methods, systems, and computer readable media for hardware-in-the-loop phase retrieval for holographic near eye displays
CN114897752A (zh) 一种基于深度学习的单透镜大景深计算成像系统及方法
AU2022216817B2 (en) Image projection
CN115933346A (zh) 为系统确定图像的全息图的方法
US20210397254A1 (en) Eye tracking in near-eye displays
JP2001275134A (ja) インテグラルフォトグラフィ式立体表示装置
CN111833363B (zh) 图像边缘和显著性检测方法及装置
CN111272144A (zh) 深度感测相机系统
US11967096B2 (en) Methods and apparatuses of depth estimation from focus information
Evdokimova et al. Meta-Learning Approach in Diffractive Lens Computational Imaging
Tilmon et al. Saccadecam: Adaptive visual attention for monocular depth sensing
US20240144431A1 (en) Generating Super Resolution Images using Duo-Camera Artificial Reality Device
US11947114B2 (en) Holographic lens and apparatus including the same
US20240184242A1 (en) Data-efficient Photorealistic 3D Holography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant