CN110880158A - 增强现实图像处理方法及装置、增强现实图像显示设备 - Google Patents

增强现实图像处理方法及装置、增强现实图像显示设备 Download PDF

Info

Publication number
CN110880158A
CN110880158A CN201910829527.8A CN201910829527A CN110880158A CN 110880158 A CN110880158 A CN 110880158A CN 201910829527 A CN201910829527 A CN 201910829527A CN 110880158 A CN110880158 A CN 110880158A
Authority
CN
China
Prior art keywords
image
pixel
reduced
pixel point
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910829527.8A
Other languages
English (en)
Other versions
CN110880158B (zh
Inventor
张志扬
苏进
于勇
李琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aibo Tongxin Medical Technology Co Ltd
Original Assignee
Beijing Aibo Tongxin Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aibo Tongxin Medical Technology Co Ltd filed Critical Beijing Aibo Tongxin Medical Technology Co Ltd
Priority to CN201910829527.8A priority Critical patent/CN110880158B/zh
Publication of CN110880158A publication Critical patent/CN110880158A/zh
Application granted granted Critical
Publication of CN110880158B publication Critical patent/CN110880158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明涉及图像处理领域，具体地涉及增强现实图像处理方法及装置、增强现实图像显示设备。该增强现实图像处理方法包括：采集现实世界的图像；根据已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理；以及对被缩放和预畸形化的图像进行光学缩放处理，其中，所述预畸形化处理用于矫正在所述光学缩放处理时引起的光学畸形。该增强现实图像处理方法及装置、显示设备能够为低视力用户提供能适应其视力状况的AR体验，并且结构简单，体积轻巧，因而便于使用。

Description

增强现实图像处理方法及装置、增强现实图像显示设备
技术领域
本发明涉及图像处理领域，具体地涉及增强现实图像处理方法及装置、增强现实图像显示设备。
背景技术
增强现实(Augmented Reality，AR)技术，是一种通过实时计算影像的位置及角度，在影像上叠加相应的图像、视频、3D模型，进而对虚拟世界与现实世界进行融合的技术。AR客户端可以结合直接存储在其本地的图片识别物料，对用户的线下环境进行实时的图像识别，并在识别出的特定的线下目标在真实场景中的位置上，按照预配置的展示效果增强显示相应的展示数据。
AR显示设备的图像质量主要取决于近眼光学，近眼光学设计最主要的参数之一为视场角(Field Of View，FOV)，在光学仪器中，以光学仪器的镜头为顶点，以被测目标的物象可通过镜头的最大范围的两条边缘所构成的夹角，称为视场角。视场角的大小决定了光学仪器的视野范围，视场角越大，视野就越大，光学倍率就越小。一方面大视场角能带来更大的视野，更多的内容展现，更加沉浸的体验，另一方面大视场角也会导致微显示屏尺寸增大，AR眼镜整体结构体积增大，从而显著降低用户的使用体验。针对AR眼镜这种轻量级近眼显示设备而言，多数FOV都不超过40度，如Google Glass的FOV为十几度，微软标杆性产品HoloLens的FOV达到了近30°。
在FOV小于40°的情况下，现有的AR设备为了追求图像显示清晰度的效果，光学倍率也不会调整的很大，一般对图像放大的倍率不会超过2倍。专利申请CN105843390A公开了一种图像缩放的方法与基于该方法的AR眼镜，涉及到显示图像的分割提取后全屏放大及缩放至原始大小，但该专利申请仅仅是对局部图像的提取缩放，而不能改善FOV。
现有技术中的AR设备为了改善FOV，通常会应用大量的光学元件，以通过光线偏转尽可能地使更大角度范围内的光线能够进入人眼。但是大量光学元件的使用本身会使AR设备体积过大且重量偏重，不便于使用。此外，光线经过光学元件后也会使图像产生畸形，为处理变形，现有技术中还会利用光学元件对产生畸形的图形进行还原，由此又进一步增大了AR设备的体积和重量。
此外，现有技术中的AR设备仅针对视力正常及轻微近视用户而设计，而对于因眼疾等视力较低的低视力用户，无法向其提供能够适应其视力状况的AR体验。
发明内容
本发明实施例的目的是提供一种增强现实图像处理方法及装置，并提供应用该方法及装置的增强现实图像显示设备，该增强现实图像处理方法及装置、显示设备能够为低视力用户提供能适应其视力状况的AR体验，并且结构简单，体积轻巧，因而便于使用。
为了实现上述目的，本发明实施例提供一种增强现实图像处理方法，其特征在于，该方法包括：采集现实世界的图像；根据已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理；以及对被缩放和预畸形化的图像进行光学缩放处理，其中，所述预畸形化处理用于矫正在所述光学缩放处理时引起的光学畸形。
其中，所述已记录的缩放操作通过包括以下步骤的方法获得：接收特定用户针对所述图像的缩放操作；以及记录对应于所述特定用户的缩放操作。
其中，所述已记录的缩放操作与特定用户相关联，该方法还包括：接收所述特定用户的身份标识；所述根据已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理包括：根据所述身份标识和所述身份标识对应的所述已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理。
其中，所述已记录的缩放操作与一种以上特定场景相关联，所述根据已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理包括：根据对应于所述特定场景的所述已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理。
其中，所述缩放处理包括：对所述图像进行放大处理时，将所述图像中的一个被放大像素点拆分为放大图像中的第一预定数量的放大后像素点，所述第一预定数量的放大后像素点中的每个像素点的像素值与所述一个放大前像素点和所述一个放大前像素点的相邻像素点的像素值相关联；对所述图像进行缩小处理时，将所述图像中的第二预定数量的被缩小像素点合并为缩小图像中的一个缩小后像素点，所述一个缩小后像素点的像素值与所述第二预定数量的所述被缩小像素点和每个所述被缩小像素点的相邻像素点的像素值相关联。
其中，所述第一预定数量的放大后像素点中的每个像素点的像素值通过模板卷积对所述一个放大前像素点和所述一个放大前像素点的相邻像素点的像素值进行加权平均得到；所述一个缩小后像素点的像素值通过模板卷积对所述被缩小像素点和每个所述被缩小像素点的相邻像素点的像素值进行加权平均得到。
其中，所述将所述图像中的一个被放大像素点拆分为放大图像中的第一预定数量的放大后像素点通过后述的等式一至等式四实现。所述将所述图像中的第二预定数量的被缩小像素点合并为缩小图像中的一个缩小后像素点通过后述等式五实现。
根据本发明的另一方面，还提供一种增强现实图像处理装置，该装置包括：图像采集模块，用于采集现实世界的图像；预处理模块，根据已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理；以及光学模块，用于对被缩放和预畸形化的图像进行光学缩放处理，其中，所述预畸形化处理用于矫正在所述光学缩放处理时引起的光学畸形。
其中，该装置还包括：接收模块，用于接收特定用户针对所述图像的缩放操作；以及记录模块，用于记录对应于所述特定用户的缩放操作。
其中，所述已记录的缩放操作与特定用户相关联，该装置还包括：接收模块，用于接收所述特定用户的身份标识；所述预处理模块还用于：根据所述身份标识和所述身份标识对应的所述已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理。
其中，所述已记录的缩放操作与一种以上特定场景相关联，所述预处理模块还用于：根据对应于所述特定场景的所述已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理。
其中，所述缩放处理包括：对所述图像进行放大处理时，将所述图像中的一个被放大像素点拆分为放大图像中的第一预定数量的放大后像素点，所述第一预定数量的放大后像素点中的每个像素点的像素值与所述一个放大前像素点和所述一个放大前像素点的相邻像素点的像素值相关联；对所述图像进行缩小处理时，将所述图像中的第二预定数量的被缩小像素点合并为缩小图像中的一个缩小后像素点，所述一个缩小后像素点的像素值与所述第二预定数量的所述被缩小像素点和每个所述被缩小像素点的相邻像素点的像素值相关联。
其中，所述第一预定数量的放大后像素点中的每个像素点的像素值通过模板卷积对所述一个放大前像素点和所述一个放大前像素点的相邻像素点的像素值进行加权平均得到，所述一个缩小后像素点的像素值通过模板卷积对所述被缩小像素点和每个所述被缩小像素点的相邻像素点的像素值进行加权平均得到。
其中，所述将所述图像中的一个被放大像素点拆分为放大图像中的第一预定数量的放大后像素点通过所述等式一至等式四实现。所述将所述图像中的第二预定数量的被缩小像素点合并为缩小图像中的一个缩小后像素点通过所述等式五实现。
其中，所述卷积模板系数满足上述已描述的条件。
根据本发明的另一方面，还提供一种增强现实图像显示设备，该设备包括：本发明的所述增强现实图像处理装置；操作模块，用于对所述图像进行缩放操作；以及显示装置，用于呈现缩放和预畸形化前的所述图像和所述缩放和预畸形化后的图像。
另一方面，本发明提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请所述的增强现实图像处理方法。
通过上述技术方案，用户可对图像进行缩放操作，以使图像缩放到能够适应自己的视力水平的程度，在对图像进行缩放时，根据缩放程度对缩放的图像进行预畸形化处理，然后经过缩放和预畸形化的图像经过反畸形化处理后被还原，并呈现给双眼，将部分图像处理操作由光学元件转换为由软件进行的图像处理。由此，不仅能为各种视力水平的用户提供AR体验，而且简化的硬件结构，使AR设备更方便使用。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是根据本发明一实施例的增强现实图像处理方法的流程图；
图2是根据本发明另一实施例的增强现实图像处理方法的流程图；
图3是根据本发明另一实施例的增强现实图像处理方法的流程图；
图4和图5是现有技术中AR设备中使用的光学模块对图像进行处理的过程的示意图；
图6和图7是根据本发明实施例的增强现实图像处理方法及装置中，使用光学模块对图像进行处理的过程的示意图；
图8和图9分别是示出放大操作和缩小操作时的卷积模板系数的示例。
图10是根据本发明一实施例的增强现实图像处理装置的结构框图；
图11是根据本发明另一实施例的增强现实图像处理装置的结构框图；
图12是据本发明一实施例的增强现实图像显示设备的结构框图；以及
图13是据本发明另一实施例的增强现实图像显示设备的结构框图。
附图标记说明
1、2、3：光学模块 10、40：增强现实图像处理装置
11、41：图像采集模块 12：接收模块
13、42：预处理模块 14、43：光学模块
20、50：操作模块 30、60：显示模块
100、200：增强现实图像处理设备
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
图1是根据本发明一实施例的增强现实图像处理方法的流程图。如图1所示，该方法包括以下步骤：
步骤S110，采集现实世界的图像。现实世界的图像可以是通过摄像机、照相机等摄像设备获取，可以是日常生活的场景，也可以是照片、文字等。这些图像还可以是预先存储的图像，此时可从存储空间中读取预选存储的图像。
步骤S120，接收针对所述图像的缩放操作。对于低视力用户，如果看不清图像，可以对图像进行缩放操作，以将图像调整到适应自己视力水平的程度。
步骤S130，响应于所述缩放操作，对所述图像进行缩放和预畸形化处理。接收到缩放操作时，对图像进行缩放，以将图像缩放到用户期望的程度。在此缩放的过程中(或缩放前、缩放后)对图像进行预畸形化处理。
步骤S140，对被缩放和预畸形化的图像进行光学缩放处理。在当学缩放处理过程中，会使图像产生畸变，利用所述预畸形化处理能够预先矫正在所述光学缩放处理时引起的光学畸形。预畸形化可通过图像处理技术完成，因而不需要增加用于抵消光学缩放过程产生的图像畸形的元件，由此能够使设备更加简化。
在另一实施例中，也可记录缩放操作后，实现自动缩放匹配。具体参照图2进行说明。
图2是根据本发明另一实施例的增强现实图像处理方法的流程图。如图2所示，该方法包括以下步骤：
步骤S210，采集现实世界的图像。
步骤S220，根据已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理。
所述已记录的缩放操作可以是在针对特定用户进行测试后预先存储的缩放操作，此时可直接读取预先存储的缩放操作以进行后续处理。此外，还可以接收特定用户针对所述图像的缩放操作，对记录对应于所述特定用户的缩放操作，以作为已记录的缩放操作。此时，用户只需要在首次使用时手动进行缩放操作后，之后每次使用可根据首次使用时已记录的缩放操作进行处理，而不需要再次手动操作，当用户使用一段时间后认为当前已记录的缩放操作已不能适应自身的视力水平时，可再次手动进行缩放操作后将该缩放操作作为已记录的缩放操作。
步骤S230，对被缩放和预畸形化的图像进行光学缩放处理，所述预畸形化处理用于矫正在所述光学缩放处理时引起的光学畸形。
在另一优选实施例中，同一台AR设备可针对多个用户，此时可使已记录的缩放操作与特定用户相关联，由此每个用户在使用AR设备时可凭借自身的身份标识获得适应自己视力的AR体验。具体参照图3进行说明。
图3是根据本发明另一实施例的增强现实图像处理方法的流程图。如图3所示，该方法可以包括以下步骤：
步骤S310，采集现实世界的图像。
步骤S320，接收特定用户的身份标识。
步骤S330，根据身份标识和身份标识对应的已记录的缩放操作，对图像进行缩放和预畸形化处理。
步骤S340，对被缩放和预畸形化的图像进行光学缩放处理。
通过图3所示的实施例，可实现一台AR设备对应多个用户，每个用户在使用AR设备时可输入自己的身份ID，从而AR设备可记录针对该用户的缩放操作，和/或根据针对该用户的已记录的缩放操作呈现增强现实图像。
图2和图3所示的实施的其它细节可参照针对图1所示的实施例的说明。
通过图1至图3所示实施例，低视力用户可通过调节所呈现的图像的大小来匹配自己的视力，因而即使低视力用户也能够有良好的AR体验。此外，利用光学缩放处理还能够更近一步缩放图像，从而改善FOV。本发明突破了传统AR技术中一味追求清晰度的设计思路，对图像进行更倍率的缩放以适应用户的视力水平，采用牺牲清晰度的方式实现能够匹配不同视力水平的AR用户。虽然缩放会一定程度地降低图像清晰度，这可以由提供清晰度更高的原始图像进行弥补。
图4和图5是现有技术中AR设备中使用的光学模块对图像进行处理的过程的示意图。现有技术中由于光学缩放会使原始图像产生畸形，因而需要设备额外的光学器件进行反畸形化处理。如图4所示，由于额外设置了一个凸透镜(复杂的光学模块1)，经过光学缩放的图像看起来几乎没有产生畸形。如图5所示，使用了简化的光学模块2，此时，由于没有进行充分的反畸形化处理，经过光学缩放处理的图像产生了畸形。
图6和图7是根据本发明实施例的增强现实图像处理方法及装置中，使用光学模块对图像进行处理的过程的示意图。图6中使用了与图5中同样的简化的光学模块2，由于在进行光学缩放处理前进行了预畸形化处理，经过光学缩放的图像的边缘畸形被预畸形化处理抵消，因而最终能够在利用简化的光学模块2的前替下呈现无畸形的图像。
如图7所示，使用了更加简化的光学模块3。此时光学缩放处理产生的畸形没有利用任何光学元件进行抵消(反畸形化)，为了光学模块3更加严重的畸形程度，对原始图像进行了相对于图6更大程度的预畸形化。由此，光学模块3产生的畸形能够被抵消，从而呈现无畸形的AR图像。
虽然图6和图7在示意预畸形化时，没有示出缩放处理，但在进行光学缩放前也可以利用图像处理技术对图像进行缩放处理。预畸形化的程度可以根据被缩放的图像在经过光学缩放处理时产生的畸形程度来确定。
在进行缩放处理的过程中，对所述图像进行放大处理时，可以将所述图像中的一个被放大像素点拆分为放大图像中的第一预定数量的放大后像素点，所述第一预定数量的放大后像素点中的每个像素点的像素值与所述一个放大前像素点和所述一个放大前像素点的相邻像素点的像素值相关联；对所述图像进行缩小处理时，将所述图像中的第二预定数量的被缩小像素点合并为缩小图像中的一个缩小后像素点，所述一个缩小后像素点的像素值与所述第二预定数量的所述被缩小像素点和每个所述被缩小像素点的相邻像素点的像素值相关联。
此外，放大和缩小处理可以经过多级放大或缩小而将图像处理至目标图像，每级放大和缩小通过如上所述的方法实现。此时，为了最大限度地保真，优选为在每级放大或缩小操作时的第一预定数量和第二预定数量为相同的值。
其中，所述第一预定数量的放大后像素点中的每个像素点的像素值通过模板卷积对所述一个放大前像素点和所述一个放大前像素点的相邻像素点的像素值进行加权平均得到；所述一个缩小后像素点的像素值通过模板卷积对所述被缩小像素点和每个所述被缩小像素点的相邻像素点的像素值进行加权平均得到。
图8和图9分别是示出放大操作和缩小操作时的卷积模板系数的示例。
图8示出的是将一个被放大像素点(m,n)拆分为四个放大后像素点ψ↓(x)(2m,2n)、ψ↓(x)(2m+1,2n)、ψ↓(x)(2m,2n+1)和ψ↓(x)(2m+1,2n-1)时的卷积模板的一种示例。
其中，放大后像素点的像素值可根据像素点(m,n)及其8个邻域{(m-1,n-1),(m-1,n),(m-1,n+1),(m,n-1),(m,n+1),(m+1,n-1),(m+1,n),(m+1,n+1)}通过以下等式一至等式四实现：
等式一：
ψ↓(x)(2m,2n)＝p×x(m,n)+q×(x(m-1,n)+x(m,n-1))+r×x(m-1,n-1)
等式二：
ψ↓(x)(2m+1,2n)＝p×x(m,n)+q×(x(m+1,n)+x(m,n-1))+r×x(m+1,n-1)
等式三：
ψ↓(x)(2m,2n+1)＝p×x(m,n)+q×(x(m,n+1)+x(m-1,n))+r×x(m-1,n+1)
等式四：
ψ↓(x)(2m+1,2n-1)＝p×x(m,n)+q×(x(m+1,n)+x(m,n+1))+r×x(m+1,n+1)
其中，x(m,n)为所述一个被放大像素点的像素值，x(m-1,n)、x(m-1,n-1)、x(m-1,n+1)、x(m,n-1)、x(m,n+1)、x(m+1,n)、x(m+1,n-1)和x(m+1,n+1)表示所述一个被放大像素点的相邻相素点的像素值，ψ↓(x)(2m,2n)、ψ↓(x)(2m+1,2n)、ψ↓(x)(2m,2n+1)和ψ↓(x)(2m+1,2n-1)分别表示所述第一预定数量的放大后像素点的像素值。
在放大倍率较大时，可根据如上所述的放大处理方法进行多层放大，每一次可将一个像素点拆分为四个像素点。
图9示出的是将相邻的四个被缩小像素点(2m,2n)、(2m+1,2n)、(2m+1,2n+1)、(2m,2n+1)合并为缩小图像中的一个缩小后像素点(m,n)的卷积模块的示例。
合并后的缩小后像素点(m,n)的像素值可根据上述四个被缩小像素点及以上述四个被缩小像素点的16个相邻相素点的像素值通过以下等式五实现：
等式五：
ψ↑(x)(m,n)＝a×(x(2m,2n)+x(2m+1,2n)+x(2m+1,2n+1)+x(2m,2n+1))+b×
(x(2m-1,2n)+x(2m-1,2n+1))+x(2m,2n-1)+x(2m-1,2n-1)+
x(2m+2,2n)+x(2m+2,2n+1)+x(2m,2n+2)+x(2m+1,2n+2))+
c×(x(2m-1,2n-1)+x(2m+2,2n-1)+x(2m+2,2n+2)+x(2m-1,2n+2))
其中，ψ↑(x)(m,n)表示所述一个缩小后像素点的像素值，x(2m,2n)、x(2m+1,2n)、x(2m+1,2n+1)和x(2m,2n+1)为所述第二预定数量的被缩小像素点的像素值，x(2m-1,2n)、x(2m-1,2n+1)、x(2m,2n-1)、x(2m-1,2n-1)、x(2m+2,2n)、x(2m+2,2n+1)、x(2m,2n+2)、x(2m+1,2n+2)、(x(2m-1,2n-1)、x(2m+2,2n-1)、x(2m+2,2n+2)和x(2m-1,2n+2)分别表每个所述被缩小像素点的相邻像素点的像素值。
以上等式一至五中，m、n为自然数并指示像素点在图像中的位置，a、b、c、p、q、r分别为卷积模板系数。
作为一种优选的示例，缩放处理中的所述卷积模板系数优选为满足以下条件：
4ap+8bq+4ar＝1
2aq+2bq+2br+2cq＝0
ar+2bq+cp＝0
4a+8b+4c＝1
p+2q+r＝1。
以上虽然示例性地说明了将一个像素点拆分为四个像素点的放大处理过程，以及将四个像素点合并为一个像素点的缩小处理过程，但本领域技术人员可根据以上详细说明及等式一至五所描述的技术思想进行扩展，这些扩展的方案应等同于本发明的保护范围内。
图10是根据本发明一实施例的增强现实图像处理装置的结构框图。如图10所示，该装置10包括：图像采集模块11，用于采集现实世界的图像；接收模块12，用于接收针对所述图像的缩放操作；预处理模块13，响应于所述缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理；以及光学模块14，用于对被缩放和预畸形化的图像进行光学缩放处理，其中，所述预畸形化处理用于矫正在所述光学缩放处理时引起的光学畸形。
图11是根据本发明另一实施例的增强现实图像处理装置的结构框图。如图11所示，该装置40包括：图像采集模块41，用于采集现实世界的图像；预处理模块42，根据已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理；以及光学模块43，用于对被缩放和预畸形化的图像进行光学缩放处理，其中，所述预畸形化处理用于矫正在所述光学缩放处理时引起的光学畸形。
在另一优选实施例，该装置40还可以包括：接收模块，用于接收特定用户针对所述图像的缩放操作；以及记录模块，用于记录对应于所述特定用户的缩放操作。
在另一优选实施例，所述已记录的缩放操作与特定用户相关联，该装置40的接收模块还可以用于接收所述特定用户的身份标识；所述预处理模块42还用于：根据所述身份标识和所述身份标识对应的所述已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理。
其中，用于装置10和40的所述缩放处理可以包括：对所述图像进行放大处理时，将所述图像中的一个被放大像素点拆分为放大图像中的第一预定数量的放大后像素点，所述第一预定数量的放大后像素点中的每个像素点的像素值与所述一个放大前像素点和所述一个放大前像素点的相邻像素点的像素值相关联；对所述图像进行缩小处理时，将所述图像中的第二预定数量的被缩小像素点合并为缩小图像中的一个缩小后像素点，所述一个缩小后像素点的像素值与所述第二预定数量的所述被缩小像素点和每个所述被缩小像素点的相邻像素点的像素值相关联。
其中，所述第一预定数量的放大后像素点中的每个像素点的像素值通过模板卷积对所述一个放大前像素点和所述一个放大前像素点的相邻像素点的像素值进行加权平均得到，所述一个缩小后像素点的像素值通过模板卷积对所述被缩小像素点和每个所述被缩小像素点的相邻像素点的像素值进行加权平均得到。
其中，所述将所述图像中的一个被放大像素点拆分为放大图像中的第一预定数量的放大后像素点通过所述等式一至等式四实现。所述将所述图像中的第二预定数量的被缩小像素点合并为缩小图像中的一个缩小后像素点通过所述等式五实现。
其中，所述卷积模板系数优选为满足上述已描述的条件。
关于实现增强现实图像处理装置的具体细节可参照以上对增强现实图像处理方法的具体说明。
图12是据本发明一实施例的增强现实图像显示设备的结构框图。如图11所示，该设备100包括：本发明的所述增强现实图像处理装置10；操作模块30，用于对所述图像进行缩放操作；以及显示装置20，用于呈现缩放和预畸形化前的所述图像和所述缩放和预畸形化后的图像。
图13是据本发明另一实施例的增强现实图像显示设备的结构框图。如图13所示，该设备200包括：本发明所述的增强现实图像处理装置40；操作模块50，用于对所述图像进行缩放操作；以及显示装置60，用于呈现缩放和预畸形化前的所述图像和所述缩放和预畸形化后的图像。
在一优选实施例中，本发明的操作模块例如可以包括触摸板，用户可通过操作触摸板来进行缩放操作，该缩放操作被装置10或40接收后进行相应的处理。操作模块还可以包括触摸板和按钮，按钮可以用于用户手动进入缩放模式和确定缩放结果。例如可以设置为，用户第一次按下按钮时，开始接收用户的缩放操作，用户通过触摸板将图像缩放到适应自己视力水平和合适的清晰度的程度后，可再次按下按钮，此时针对该用户的缩放倍率被记录下来，进而增强现实图像处理装置可根据该缩放倍率进行缩放和预畸形化处理。
在另一优选实施例中，操作模块和显示模块可以合并为触摸显示屏，从而用户可直接在触摸显示屏上进行缩放操作。此外，操作模块还可以是语音模块，此时用户可通过语音进行缩放操作，语音模块接收到关于缩放操作的语音时将其转换为操作指示传送给装置10或40。操作模块还可以附加其它操作部件，例如亮度调节等。
以下举例说明本发明所述的增强现实图像显示设备的使用步骤：
首先，用户佩戴自然形态的眼镜(AR眼镜)，其包括本发明的增强图像显示装置、显示模块和操作模块；
用户将头部正面、眼部朝向需要看清的现实环境；
图像采集单元采集以用户自然视线中心为中心的连续图像；
随着用户头部正面、眼部的运动，图像采集单元连续采集图像；
连续图像被输出到显示模块(例如光线可穿透性近眼显示器)；
用户根据自身需要自行调节影像的放大缩小倍率(自行调节放大缩小倍率的方法包括：手指触控、手势控制、语音命令、按键控制等)到适应其自身视力水平的最佳状态；
眼镜(AR眼镜)系统记录此特定用户的放大缩小倍率，并在后续使用中自动应用，以免除重复以上步骤；
随着用户头部正面、眼部的运动(眼镜随动)，图像采集模块初始采集的连续图像被根据此特定用户的放大缩小倍率进行处理，并输出到显示模块，从而提供适应用户适力水平的AR图像。
本发明还可以针对特定用户记录多种不同的特定场景的缩放操作，以更加方便地由用户自行选择应用，多种不同的特定场景例如可以包括：一般室内日常生活场景、读书场景、听课场景、户外场景等。已记录的缩放操作可以例如通过场景标识与特定场景关联，由此可根据场景标识选择当前的应用场景。或者，也可以将不同的场景标识呈现给用户，由此用户可自行选择当前的应用场景，进而可根据用户选择的场景调用与该场景关联的已记录的缩放操作，从而自动进行缩放和预畸形化处理。在另一实施例中，可以由用户输入场景标识，从而调用相应的已记录的缩放操作。此外，在记录针对特定用户的特定场景的缩放操作时，也可以先由用户选择或设备特定场景，从而根据如上说明的方法记录针对该场景的缩放操作。
由此，本发明不仅能够为不同视力水平的用户提供AR体验，还能够根据不同的生活或学习场景，提供更加丰富和舒适的AR体验，在一定程度上还能够改善用户的视力。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (18)

1.一种增强现实图像处理方法，其特征在于，该方法包括：
采集现实世界的图像；
根据已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理；以及
对被缩放和预畸形化的图像进行光学缩放处理，
其中，所述预畸形化处理用于矫正在所述光学缩放处理时引起的光学畸形。
2.根据权利要求1所述的方法，其特征在于，所述已记录的缩放操作通过包括以下步骤的方法获得：
接收特定用户针对所述图像的缩放操作；以及
记录对应于所述特定用户的缩放操作。
3.根据权利要求1所述的方法，其特征在于，所述已记录的缩放操作与特定用户相关联，该方法还包括：
接收所述特定用户的身份标识；
所述根据已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理包括：
根据所述身份标识和所述身份标识对应的所述已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理。
4.根据权利要求1所述的方法，其特征在于，所述已记录的缩放操作与一种以上特定场景相关联，所述根据已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理包括：
根据对应于所述特定场景的所述已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述缩放处理包括：
对所述图像进行放大处理时，将所述图像中的一个被放大像素点拆分为放大图像中的预定个数的放大后像素点，所述预定数量的放大后像素点中的每个像素点的像素值与所述一个放大前像素点和所述一个放大前像素点的相邻像素点的像素值相关联；
对所述图像进行缩小处理时，将所述图像中的所述预定数量的被缩小像素点合并为缩小图像中的一个缩小后像素点，所述一个缩小后像素点的像素值与所述预定数量的所述被缩小像素点和每个所述被缩小像素点的相邻像素点的像素值相关联。
6.根据权利要求5所述的方法，其特征在于，
所述预定数量的放大后像素点中的每个像素点的像素值通过模板卷积对所述一个放大前像素点和所述一个放大前像素点的相邻像素点的像素值进行加权平均得到，
所述一个缩小后像素点的像素值通过模板卷积对所述被缩小像素点和每个所述被缩小像素点的相邻像素点的像素值进行加权平均得到。
7.根据权利要求6所述的方法，其特征在于，所述将所述图像中的一个被放大像素点拆分为放大图像中的预定个数的放大后像素点通过以下等式一至等式四实现：
等式一：
ψ↓(x)(2m,2n)＝p×x(m,n)+q×(x(m-1,n)+x(m,n-1))+r×x(m-1,n-1)
等式二：
ψ↓(x)(2m+1,2n)＝p×x(m,n)+q×(x(m+1,n)+x(m,n-1))+r×x(m+1,n-1)
等式三：
ψ↓(x)(2m,2n+1)＝p×x(m,n)+q×(x(m,n+1)+x(m-1,n))+r×x(m-1,n+1)
等式四：
ψ↓(x)(2m+1,2n-1)＝p×x(m,n)+q×(x(m+1,n)+x(m,n+1))+r×x(m+1,n+1)
其中，x(m,n)为所述一个被放大像素点的像素值，x(m-1,n)、x(m-1,n-1)、x(m-1,n+1)、x(m,n-1)、x(m,n+1)、x(m+1,n)、x(m+1,n-1)和x(m+1,n+1)表示所述一个被放大像素点的相邻相素点的像素值，ψ↓(x)(2m,2n)、ψ↓(x)(2m+1,2n)、ψ↓(x)(2m,2n+1)和ψ↓(x)(2m+1,2n-1)分别表示所述预定数量的放大后像素点的像素值，
所述将所述图像中的所述预定数量的被缩小像素点合并为缩小图像中的一个缩小后像素点通过以下等式五实现：
等式五：
ψ↑(x)(m,n)＝a×(x(2m,2n)+x(2m+1,2n)+x(2m+1,2n+1)+x(2m,2n+1))+b×(x(2m-1,2n)+x(2m-1,2n+1))+x(2m,2n-1)+x(2m-1,2n-1)+x(2m+2,2n)+x(2m+2,2n+1)+x(2m,2n+2)+x(2m+1,2n+2))+c×(x(2m-1,2n-1)+x(2m+2,2n-1)+x(2m+2,2n+2)+x(2m-1,2n+2))
其中，ψ↑(x)(m,n)表示所述一个缩小后像素点的像素值，x(2m,2n)、x(2m+1,2n)、x(2m+1,2n+1)和x(2m,2n+1)为所述预定数量的被缩小像素点的像素值，x(2m-1,2n)、x(2m-1,2n+1)、x(2m,2n-1)、x(2m-1,2n-1)、x(2m+2,2n)、x(2m+2,2n+1)、x(2m,2n+2)、x(2m+1,2n+2)、(x(2m-1,2n-1)、x(2m+2,2n-1)、x(2m+2,2n+2)和x(2m-1,2n+2)分别表每个所述被缩小像素点的相邻像素点的像素值，
m、n为自然数，a、b、c、p、q、r分别为卷积模板系数。
8.根据权利要求7所述的方法，其特征在于，所述卷积模板系数满足以下条件：
4ap+8bq+4ar＝1
2aq+2bq+2br+2cq＝0
ar+2bq+cp＝0
4a+8b+4c＝1
p+2q+r＝1。
9.一种增强现实图像处理装置，其特征在于，该装置包括：
图像采集模块，用于采集现实世界的图像；
预处理模块，根据已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理；以及
光学模块，用于对被缩放和预畸形化的图像进行光学缩放处理，
其中，所述预畸形化处理用于矫正在所述光学缩放处理时引起的光学畸形。
10.根据权利要求9所述的装置，其特征在于，该装置还包括：
接收模块，用于接收特定用户针对所述图像的缩放操作；以及
记录模块，用于记录对应于所述特定用户的缩放操作。
11.根据权利要求9所述的装置，其特征在于，所述已记录的缩放操作与特定用户相关联，该装置还包括：
接收模块，用于接收所述特定用户的身份标识；
所述预处理模块还用于：
根据所述身份标识和所述身份标识对应的所述已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理。
12.根据权利要求9所述的装置，其特征在于，所述已记录的缩放操作与一种以上特定场景相关联，所述预处理模块还用于：
根据对应于所述特定场景的所述已记录的缩放操作，对所述图像进行缩放处理以适应不同的视力水平，并对所述图像进行预畸形化处理。
13.根据权利要求9-12中任一项所述的装置，其特征在于，所述缩放处理包括：
对所述图像进行放大处理时，将所述图像中的一个被放大像素点拆分为放大图像中的预定个数的放大后像素点，所述预定数量的放大后像素点中的每个像素点的像素值与所述一个放大前像素点和所述一个放大前像素点的相邻像素点的像素值相关联；
对所述图像进行缩小处理时，将所述图像中的所述预定数量的被缩小像素点合并为缩小图像中的一个缩小后像素点，所述一个缩小后像素点的像素值与所述预定数量的所述被缩小像素点和每个所述被缩小像素点的相邻像素点的像素值相关联。
14.根据权利要求13所述的装置，其特征在于，
所述预定数量的放大后像素点中的每个像素点的像素值通过模板卷积对所述一个放大前像素点和所述一个放大前像素点的相邻像素点的像素值进行加权平均得到，
所述一个缩小后像素点的像素值通过模板卷积对所述被缩小像素点和每个所述被缩小像素点的相邻像素点的像素值进行加权平均得到。
15.根据权利要求14述的装置，其特征在于，所述将所述图像中的一个被放大像素点拆分为放大图像中的预定个数的放大后像素点通过以下等式一至等式四实现：
等式一：
ψ↓(x)(2m,2n)＝p×x(m,n)+q×(x(m-1,n)+x(m,n-1))+r×x(m-1,n-1)
等式二：
ψ↓(x)(2m+1,2n)＝p×x(m,n)+q×(x(m+1,n)+x(m,n-1))+r×x(m+1,n-1)
等式三：
ψ↓(x)(2m,2n+1)＝p×x(m,n)+q×(x(m,n+1)+x(m-1,n))+r×x(m-1,n+1)
等式四：
ψ↓(x)(2m+1,2n-1)＝p×x(m,n)+q×(x(m+1,n)+x(m,n+1))+r×x(m+1,n+1)
其中，x(m,n)为所述一个被放大像素点的像素值，x(m-1,n)、x(m-1,n-1)、x(m-1,n+1)、x(m,n-1)、x(m,n+1)、x(m+1,n)、x(m+1,n-1)和x(m+1,n+1)表示所述一个被放大像素点的相邻相素点的像素值，ψ↓(x)(2m,2n)、ψ↓(x)(2m+1,2n)、ψ↓(x)(2m,2n+1)和ψ↓(x)(2m+1,2n-1)分别表示所述预定数量的放大后像素点的像素值，
所述将所述图像中的所述预定数量的被缩小像素点合并为缩小图像中的一个缩小后像素点通过以下等式五实现：
等式五：
ψ↑(x)(m,n)＝a×(x(2m,2n)+x(2m+1,2n)+x(2m+1,2n+1)+x(2m,2n+1))+b×(x(2m-1,2n)+x(2m-1,2n+1))+x(2m,2n-1)+x(2m-1,2n-1)+x(2m+2,2n)+x(2m+2,2n+1)+x(2m,2n+2)+x(2m+1,2n+2))+c×(x(2m-1,2n-1)+x(2m+2,2n-1)+x(2m+2,2n+2)+x(2m-1,2n+2))
其中，ψ↑(x)(m,n)表示所述一个缩小后像素点的像素值，x(2m,2n)、x(2m+1,2n)、x(2m+1,2n+1)和x(2m,2n+1)为所述预定数量的被缩小像素点的像素值，x(2m-1,2n)、x(2m-1,2n+1)、x(2m,2n-1)、x(2m-1,2n-1)、x(2m+2,2n)、x(2m+2,2n+1)、x(2m,2n+2)、x(2m+1,2n+2)、(x(2m-1,2n-1)、x(2m+2,2n-1)、x(2m+2,2n+2)和x(2m-1,2n+2)分别表每个所述被缩小像素点的相邻像素点的像素值，
m、n为自然数，a、b、c、p、q、r分别为卷积模板系数。
16.根据权利要求15所述的装置，其特征在于，所述卷积模板系数满足以下条件：
4ap+8bq+4ar＝1
2aq+2bq+2br+2cq＝0
ar+2bq+cp＝0
4a+8b+4c＝1
p+2q+r＝1。
17.一种增强现实图像显示设备，其特征在于，该设备包括：
权利要求9-16中任一项所述的增强现实图像处理装置；
操作模块，用于对所述图像进行缩放操作；以及
显示装置，用于呈现缩放和预畸形化前的所述图像和所述缩放和预畸形化后的图像。
18.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-8中任一项所述的增强现实图像处理方法。
CN201910829527.8A 2019-09-03 2019-09-03 增强现实图像处理方法及装置、增强现实图像显示设备 Active CN110880158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910829527.8A CN110880158B (zh) 2019-09-03 2019-09-03 增强现实图像处理方法及装置、增强现实图像显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910829527.8A CN110880158B (zh) 2019-09-03 2019-09-03 增强现实图像处理方法及装置、增强现实图像显示设备

Publications (2)

Publication Number Publication Date
CN110880158A true CN110880158A (zh) 2020-03-13
CN110880158B CN110880158B (zh) 2024-02-13

Family

ID=69727650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910829527.8A Active CN110880158B (zh) 2019-09-03 2019-09-03 增强现实图像处理方法及装置、增强现实图像显示设备

Country Status (1)

Country Link
CN (1) CN110880158B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834091A (zh) * 2014-02-11 2015-08-12 绿色光学株式会社 手术用头戴式显示器
CN105955477A (zh) * 2016-04-29 2016-09-21 乐视控股（北京）有限公司 一种调节vr设备的显示图像的方法、装置及对应的vr设备
US20170038607A1 (en) * 2015-08-04 2017-02-09 Rafael Camara Enhanced-reality electronic device for low-vision pathologies, and implant procedure
CN109143570A (zh) * 2017-06-15 2019-01-04 北京海鲸科技有限公司 一种目镜及头戴显示设备
CN109191377A (zh) * 2018-07-25 2019-01-11 西安电子科技大学 一种基于插值的图像放大方法
CN109239928A (zh) * 2018-11-23 2019-01-18 成都炳午科技有限公司 一种头戴式观影及vr设备
CN109283997A (zh) * 2017-07-20 2019-01-29 中兴通讯股份有限公司 显示方法、装置和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834091A (zh) * 2014-02-11 2015-08-12 绿色光学株式会社 手术用头戴式显示器
US20170038607A1 (en) * 2015-08-04 2017-02-09 Rafael Camara Enhanced-reality electronic device for low-vision pathologies, and implant procedure
CN105955477A (zh) * 2016-04-29 2016-09-21 乐视控股（北京）有限公司 一种调节vr设备的显示图像的方法、装置及对应的vr设备
CN109143570A (zh) * 2017-06-15 2019-01-04 北京海鲸科技有限公司 一种目镜及头戴显示设备
CN109283997A (zh) * 2017-07-20 2019-01-29 中兴通讯股份有限公司 显示方法、装置和系统
CN109191377A (zh) * 2018-07-25 2019-01-11 西安电子科技大学 一种基于插值的图像放大方法
CN109239928A (zh) * 2018-11-23 2019-01-18 成都炳午科技有限公司 一种头戴式观影及vr设备

Also Published As

Publication number Publication date
CN110880158B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
US10129520B2 (en) Apparatus and method for a dynamic “region of interest” in a display system
US10284817B2 (en) Device for and method of corneal imaging
JPWO2008012905A1 (ja) 認証装置および認証用画像表示方法
CN108919958A (zh) 一种图像传输方法、装置、终端设备及存储介质
JP6862210B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
CN115103094A (zh) 一种基于注视点的摄像头模组远视角调节方法及系统
CN109493293A (zh) 一种图像处理方法及装置、显示设备
CN111784604B (zh) 图像处理方法、装置、设备及计算机可读存储介质
JP3307075B2 (ja) 撮影装置
CN110880158B (zh) 增强现实图像处理方法及装置、增强现实图像显示设备
CN110876052A (zh) 增强现实图像处理方法及装置、增强现实图像显示设备
CN110728630A (zh) 基于增强现实的互联网图像处理方法及增强现实眼镜
CN110728631A (zh) 基于增强现实的图像动态对比度增强方法及增强现实眼镜
CN110415168B (zh) 人脸局部缩放处理方法、存储介质、电子设备及系统
CN110706164A (zh) 基于增强现实的管状视野图像变形显示方法及眼镜
JP2017049686A (ja) 画像処理装置
WO2017026942A1 (en) Apparatus for display adjustment and method thereof
CN110597386A (zh) 基于增强现实的图像亮度提升方法及增强现实眼镜
CN114092323A (zh) 图像处理方法、装置、存储介质及电子设备
CN110717866B (zh) 基于增强现实的图像锐化方法及增强现实眼镜
CN111861897A (zh) 一种图像处理方法及装置
JP5338248B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
CN115908212A (zh) 一种防眩晕方法
EP4167826A1 (en) Visual assistance
CN115877573A (zh) 显示方法、头戴显示设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant