CN111583329B - 增强现实眼镜显示方法、装置、电子设备和存储介质 - Google Patents
增强现实眼镜显示方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111583329B CN111583329B CN202010273041.3A CN202010273041A CN111583329B CN 111583329 B CN111583329 B CN 111583329B CN 202010273041 A CN202010273041 A CN 202010273041A CN 111583329 B CN111583329 B CN 111583329B
- Authority
- CN
- China
- Prior art keywords
- target
- identified
- image
- determining
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims abstract description 127
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000008859 change Effects 0.000 claims abstract description 126
- 238000012545 processing Methods 0.000 claims description 33
- 238000001914 filtration Methods 0.000 claims description 31
- 238000007781 pre-processing Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 26
- 230000033001 locomotion Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4023—Decimation- or insertion-based scaling, e.g. pixel or line decimation
-
- G06T5/70—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Abstract
本申请涉及一种增强现实眼镜显示方法、装置、电子设备和存储介质。方法包括：接收摄像头采集的当前图像，当前图像中包括待识别目标；根据当前图像获取上一次采集的包括待识别目标的第一图像；确定当前图像中待识别目标对应的第一位置变化信息和第一图像中待识别目标对应的第二位置变化信息；根据第一位置变化信息和第二位置变化信息确定待识别目标的移动方向、移动速度和移动距离信息；获取识别待识别目标的延时时长；根据移动方向、移动速度、移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息信息。采用本方法能够加速AR眼镜显示。
Description
技术领域
本申请涉及增强现实技术领域，特别是涉及一种增强现实眼镜显示方法、装置、电子设备和存储介质。
背景技术
随着增强现实(Augmented Reality，AR)技术的快速发展，AR显示技术趋于成熟，表现在AR显示屏的透光率、视场角、对比度的指标不断提高，体积和重量不断下降等方面；AR眼镜将显示的信息与现实场景叠加，显示更加直观，随着AR眼镜开始广泛应用，人们对AR眼镜显示要求也越来越高。
AR眼镜显示通过把根据视频数据返回的识别结果与现实场景进行叠加进行显示，然而目前的AR眼镜显示存在延迟问题，导致识别结果在AR眼镜中的显示位置不准确。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决AR眼镜显示延迟的增强现实眼镜显示方法、装置、电子设备和存储介质。
一种增强现实眼镜显示方法，所述方法包括：
接收摄像头采集的当前图像，所述当前图像中包括待识别目标；
根据所述当前图像获取上一次采集的包括所述待识别目标的第一图像；
确定所述当前图像中待识别目标对应的第一位置变化信息和所述第一图像中待识别目标对应的第二位置变化信息；
根据所述第一位置变化信息和所述第二位置变化信息确定所述待识别目标的移动方向、移动速度和移动距离信息；
获取识别所述待识别目标的延时时长；
根据所述移动方向、移动速度、移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息。
在其中一个实施例中，所述移动速度通过所述移动距离与所述摄像头的采集时间间隔确定。
在其中一个实施例中，所述确定所述当前图像中待识别目标对应的第一位置变化信息和所述第一图像中待识别目标对应的第二位置变化信息，包括：
根据所述第一图获取上一次采集的包括所述待识别目标的第二图像；
对所述当前图像、第一图像和所述第二图像进行预处理；
根据预处理后的所述当前图像和所述第一图像，确定所述当前图像中待识别目标对应的第一位置变化信息；
根据预处理后的所述第一图像和第二图像，确定所述第一图像中待识别目标对应的第二位置变化信息。
在其中一个实施例中，所述预处理包括单色化预处理和缩放预处理。
在其中一个实施例中，所述根据所述移动方向、移动速度、移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息，包括：
对所述移动方向、移动速度和移动距离信息进行滤波处理；
根据滤波处理后的移动方向、移动速度、移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息。
在其中一个实施例中，所述根据滤波处理后的移动方向、移动速度、移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息，包括：
获取所述摄像头的参数值和观测点与所述增强现实眼镜显示屏的观测距离；
根据所述参数值和所述观测距离确定所述待识别目标在所述增强现实眼镜显示屏中的初始位置信息；
根据所述初始位置信息和所述滤波处理后的移动方向、移动速度和移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息。
在其中一个实施例中，所述方法还包括：
接收所述当前图像中待识别目标的识别结果；
根据所述识别结果和所述目标位置信息将所述待识别目标在所述增强现实眼镜显示屏上进行显示。
一种增强现实眼镜显示装置，所述装置包括：
接收模块，用于接收摄像头采集的当前图像，所述当前图像中包括待识别目标；
图像获取模块，用于获取所述摄像头前一次采集的包括所述待识别目标的第一图像；
第一确定模块，用于确定所述当前图像中待识别目标对应的第一位置变化信息和所述第一图像中待识别目标对应的第二位置变化信息；
第二确定模块，用于根据所述第一位置变化信息和所述第二位置变化信息确定所述待识别目标的移动方向、移动速度和移动距离；
时长获取模块，用于获取所述移动方向、移动速度和移动距离信息的延时时长；
第三确定模块，用于根据所述移动方向、移动速度、移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息。
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收摄像头采集的当前图像，所述当前图像中包括待识别目标；
根据所述当前图像获取上一次采集的包括所述待识别目标的第一图像；
确定所述当前图像中待识别目标对应的第一位置变化信息和所述第一图像中待识别目标对应的第二位置变化信息；
根据所述第一位置变化信息和所述第二位置变化信息确定所述待识别目标的移动方向、移动速度和移动距离信息；
获取所述识别所述待识别目标的延时时长；
根据所述移动方向、移动速度、移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收摄像头采集的当前图像，所述当前图像中包括待识别目标；
根据所述当前图像获取上一次采集的包括所述待识别目标的第一图像；
确定所述当前图像中待识别目标对应的第一位置变化信息和所述第一图像中待识别目标对应的第二位置变化信息；
根据所述第一位置变化信息和所述第二位置变化信息确定所述待识别目标的移动方向、移动速度和移动距离信息；
获取识别所述待识别目标点的延时时长
根据所述移动方向、移动速度、移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息。
上述增强现实眼镜显示方法、装置、电子设备和存储介质，通过接收摄像头采集的当前图像，其中当前图像中包括待识别目标；根据当前图像获取上一次采集的包括待识别目标的第一图像；确定当前图像中待识别目标对应的第一位置变化信息和第一图像中待识别目标对应的第二位置变化信息；根据第一位置变化信息和第二位置变化信息确定待识别目标的移动方向、移动速度和移动距离信息；获取识别待识别目标的延时时长；根据移动方向、移动速度、移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。即根据移动方向、移动速度和移动距离信息以及对应的延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息；通过降低数据的处理难度和数据计算量来提高AR眼镜计算能力和处理速度，解决了延迟显示的问题以及提高了待识别目标在AR眼镜中的显示位置的准确性。
附图说明
图1为一个实施例中增强现实眼镜显示方法的应用环境图；
图2为一个实施例中AR眼镜的内部结构框图；
图3为一个实施例中增强现实眼镜显示方法的流程示意图；
图4为一个实施例中增强现实眼镜显示步骤的流程示意图；
图5为另一个实施例中增强现实眼镜显示方法的流程示意图；
图6a和图6b为一个实施例中待识别目标移动前后的显示效果图；
图7为一个实施例中增强现实眼镜显示装置的结构框图；
图8为另一个实施例中增强现实眼镜显示装置的结构框图；
图9为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的增强现实眼镜显示方法，可以应用于如图1所示的应用环境中。其中，电子设备102通过网络与服务器104通过网络进行通信。电子设备102接收摄像头采集的当前图像，当前图像中包括待识别目标；根据当前图像获取上一次采集的包括待识别目标的第一图像；确定当前图像中待识别目标对应的第一位置变化信息和第一图像中待识别目标对应的第二位置变化信息；根据第一位置变化信息和第二位置变化信息确定待识别目标的移动方向、移动速度和移动距离信息；获取识别待识别目标的延时时长；根据移动方向、移动速度、移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。其中，电子设备102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，电子设备102为AR眼镜，AR眼镜的结构框图如图2所示，包括摄像头、显示器、显示控制器和数据处理模组。AR眼镜接收摄像头采集的当前图像，采集的当前图像中包括待识别目标，根据当前图像获取上一次采集的包括待识别目标的第一图像；通过数据处理模组确定当前图像中待识别目标对应的第一位置变化信息和第一图像中待识别目标对应的第二位置变化信息；根据第一位置变化信息和第二位置变化信息确定所述待识别目标的移动方向、移动速度和移动距离信息，获取识别待识别目标的延时时长，根据移动方向、移动速度、移动距离信息和延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息。其中，待识别目标可以通过云端的图像识别服务器识别，也可以移动终端识别。
在一个实施例中，如图3所示，提供了一种增强现实眼镜显示方法，以该方法应用于图1中的电子设备为例进行说明，包括以下步骤：
步骤302，接收摄像头采集的当前图像，当前图像中包括待识别目标。
其中，摄像头可位于AR眼镜上以头戴式等其它方式固定，使其可随佩戴者头部运动；摄像头的采集视角与AR眼镜佩戴者的视角相同，或与AR眼镜佩戴者的视角成固定角度。待识别目标是要在AR眼镜显示屏中显示的目标，待识别目标可以是人脸、物品等。待识别目标可以通过图像识别服务器识别，也可以通过与电子设备通讯的移动终端来识别。
具体地，AR眼镜接收摄像头采集到包括待识别目标的当前图像，其中，AR眼镜可以是一体式AR眼镜或分体式AR眼镜。
步骤304，根据当前图像获取上一次采集的包括待识别目标的第一图像。
步骤306，确定当前图像中待识别目标对应的第一位置变化信息和第一图像中待识别目标对应的第二位置变化信息。
其中，位置变化信息可以是图像中待识别目标的位置坐标变化。第一位置变化信息是指当前图像中待识别目标的位置坐标变化；第二位置变化信息是指上一次采集的第一图像中待识别目标的位置坐标变化。
具体地，根据当前图像从服务器中获取上一次采集的第一图像，通过把当前图像中待识别目标的每个像素点的像素值与第一图像中每个像素点的像素值相减，确定当前图像相对于第一图像中的变化区域，确定变化区域中每个像素点在当前图像中的位置坐标，即第一位置变化信息；获取第一图像的前一张图像，通过把第一图像中待识别目标的每个像素点的像素值与第一图像的前一张图像中每个像素点的像素值相减，确定第一图像相对于第一图像的前一张图像中的变化区域，确定变化区域中每个像素点在第一图像中的位置坐标，即第二位置变化信息。
步骤308，根据第一位置变化信息和第二位置变化信息确定待识别目标的移动方向、移动速度和移动距离信息。
具体地，根据第一位置变化信息和第二位置变化信息的可以确定待识别目标移动的方向和移动距离信息；例如，第一位置变化信息的位置坐标为（x0，y0），第二位置变化信息的位置坐标为（x1，y1），根据坐标可以确定待识别目标的移动距离信息和方向向量（即移动方向）；根据移动距离和摄像头的采集时间间隔确定移动速度，其中，移动距离信息可以是摄像头采集的图像中移动的像素点的个数。如图4所示，图像3为当前图像，图像2为第一图像，图像1为第一图像的前一张图像，通过图像3与图像2相减可以得到当前图像的变化区域3-2；通过图像2与图像1相减可以得到第一图像的变化区域2-1；根据变化区域3-2和变化区域2-1可以确定待识别目标的移动方向和移动距离信息。
步骤310，获取识别待识别目标对应的延时时长。
其中，延时时长可包括网络传输产生的延时时长和图像识别服务器识别待识别目标产生的延时时长。网络传输产生的延时时长是指图像在传输过程中所消耗的时间，导致获取到初始位置信息时存在延时。图像识别服务器待识别目标产生的延时时长是指图像识别服务器识别采集图像中的待识别目标产生的识别时长。可选地，待识别图像也可以通过终端进行识别，终端中可以包括图像识别单元和数据处理单元等。
具体地，当电子设备根据第一位置变化信息和第二位置变化信息确定待识别目标的移动方向、移动速度和移动距离信息时，获取初始位置信息时对应的延时时长。
步骤312，根据移动方向、移动速度、移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。
具体地，根据移动速度和延时时长确定延时过程中待识别目标的延时移动距离；根据延时移动距离、移动距离信息和移动方向确定待识别目标在在增强现实眼镜显示屏的目标位置信息。
上述增强现实眼镜显示方法中，通过接收摄像头采集的当前图像，其中当前图像中包括待识别目标；根据当前图像获取上一次采集的包括待识别目标的第一图像；确定当前图像中待识别目标对应的第一位置变化信息和第一图像中待识别目标对应的第二位置变化信息；根据第一位置变化信息和第二位置变化信息确定待识别目标的移动方向、移动速度和移动距离信息；获取识别待识别目标的延时时长；根据移动方向、移动速度、移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。即根据移动方向、移动速度和移动距离信息以及对应的延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息；通过缩短传输路径和减少计算量来提高AR眼镜计算能力和处理速度，解决了延迟显示的问题以及提高了待识别目标在AR眼镜中的显示位置的准确性。
在另一个实施例中，如图5所示，提供了一种增强现实眼镜显示方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤502，接收摄像头采集的当前图像，当前图像中包括待识别目标。
步骤504，根据第一图获取上一次采集的包括待识别目标的第二图像；对当前图像、第一图像和第二图像进行预处理。
其中，预处理包括单色化预处理和缩放处理；单色化预处理是把采集的图像转换为单色图像，单色图中每个像素点仅占一位，像素点对应的像素值为0或1（如，0 代表黑，1代表白）。缩放处理是指图像缩放算法对图像放大或缩小，图像缩放算法可以包括近邻取样插值、双线性和双三次插值和矢量提取方法等。
具体地，根据第一图获取上一次采集的包括待识别目标的第二图像；对当前图像、第一图像和第二图像进行单色化预处理后，使得当前图像、第一图像和第二图像中每个像素点的像素值为0或1，对单色当前图像、第一图像和第二图像进行缩放，得到缩放后的图像。
步骤506，根据预处理后的当前图像和第一图像，确定当前图像中待识别目标对应的第一位置变化信息。
具体地，根据预处理后的当前图像中待识别目标的每个像素点的像素值与第一图像中每个像素点的像素值相减，确定当前图像相对于第一图像中的变化区域，确定变化区域中每个像素点在当前图像中的位置坐标，即第一位置变化信息。
步骤508，根据预处理后的第一图像和第二图像，确定第一图像中待识别目标对应的第二位置变化信息。
具体地，根据预处理后的第一图像中待识别目标的每个像素点的像素值与第二图像中每个像素点的像素值相减，确定第一图像相对于第二图像中的变化区域，确定变化区域中每个像素点在当前图像中的位置坐标，即第二位置变化信息。
步骤510，根据第一位置变化信息和第二位置变化信息确定待识别目标的移动方向、移动速度和移动距离信息。
步骤512，对移动方向、移动速度和移动距离信息进行滤波处理；根据滤波处理后的移动方向、移动速度、移动距离信息和延时时长确定待识别目标在AR眼镜显示屏的目标位置信息。
其中，滤波处理是通过数字滤波器对移动方向、移动速度、移动距离信息进行滤波处理，消除摄像头在采集图像中因佩戴者抖动引起的数据误差。例如，待识别目标向右移动，但由于佩戴者头部抖动，某一时刻得到的值可能是向左移动，通过数字滤波器把异常数据消除。
在一个实施例中，根据滤波处理后的移动方向、移动速度、移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息，包括：
获取摄像头的参数值和观测点与增强现实眼镜显示屏的观测距离；根据参数值和观测距离确定待识别目标在增强现实眼镜显示屏中的初始位置信息；根据初始位置信息和滤波处理后的移动方向、移动速度和移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。
其中，摄像头的参数值包括摄像头的采集视角、焦距、分辨率等，摄像头的图像像素与显示器的图像像素之间位置坐标存在对应关系，对应关系可以是线性关系，例如，摄像头的图像像素与显示器的图像像素之间存在对应关系为y=x/2+6。当计算得出1s内向右移动了100个像素，对应到显示器上，就将显示信息向右移动50个像素；其中，偏移量（+6）可以忽略不计。根据初始位置信息和滤波处理后的移动方向、移动速度和移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。可选地，根据延时时长和待识别目标移动的移动方向、移动速度可以确定待识别目标因识别延时产生的延时移动距离。
具体地，根据摄像头的参数值和观测点与增强现实眼镜显示屏的观测距离确定待识别目标在AR眼镜显示屏中的初始位置信息；根据滤波处理后的移动方向、移动速度和移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息与初始位置信息进行叠加，确定待识别目标在AR眼镜显示屏中的目标位置信息。通过计算摄像头与AR眼镜显示屏之间的初始位置信息以及计算待识别目标的相对运动和识别延时产生的位置偏移量，确定待识别目标在AR眼镜显示屏的目标位置信息，提高了AR眼镜显示的准确性。
步骤514，接收当前图像中待识别目标的识别结果；根据识别结果和目标位置信息将待识别目标在增强现实眼镜显示屏上进行显示。
具体地，AR眼镜从图像识别服务器中获取当前图像中待识别目标的识别结果，根据识别结果和目标位置信息在将待识别目标在增强现实眼镜显示屏进行显示。其中，图像识别服务器可以是云端图像识别服务器可以是本地图像识别服务器。
以下为AR眼镜显示在一个场景应用中，观察者在AR眼镜显示屏上看的待识别目标在移动前后的效果图，如图6a图6b所示，其中，图6a为待识别目标移动前的显示效果图，图6b为待识别目标移动后的显示效果图。待识别目标在移动前，如图6a所示，用户通过AR眼镜屏幕可以看到画面包括识别结果和现实场景中的待识别目标；用户与AR眼镜屏幕之间的距离不变，当待识别目标向右移动一段距离后，用户通过AR眼镜屏幕可以看到画面的识别结果和现场场景中的待识别目标发生一定距离的偏移，偏移后的画面为图6b所示。
本实施例中，通过接收摄像头采集的当前图像，当前图像中包括待识别目标；根据第一图获取上一次采集的包括待识别目标的第二图像；对当前图像、第一图像和第二图像进行预处理；对图像进行单色化预处理把图像转化为1位图像，减少数据处理量和提高图像数据的准确性；根据预处理后的当前图像和第一图像，确定当前图像中待识别目标对应的第一位置变化信息；根据预处理后的第一图像和第二图像，确定第一图像中待识别目标对应的第二位置变化信息；根据第一位置变化信息和第二位置变化信息确定待识别目标的移动方向、移动速度和移动距离信息；对移动方向、移动速度和移动距离信息进行滤波处理；根据滤波处理后的移动方向、移动速度、移动距离信息和延时时长确定待识别目标在AR眼镜显示屏的目标位置信息；通过滤波可以避免摄像机抖动造成的干扰，提高了数据的准确性；接收当前图像中待识别目标的识别结果；根据识别结果和目标位置信息在将待识别目标在增强现实眼镜显示屏进行显示；通过降低数据的处理难度和数据计算量来提高AR眼镜计算能力和处理速度，解决了延迟显示的问题以及提高了待识别目标在AR眼镜中的显示位置的准确性。
应该理解的是，虽然图3、图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种增强现实眼镜显示装置，包括：接收模块702、图像获取模块704、第一确定模块706、第二确定模块708、时长获取模块710和第三确定模块712，其中：
接收模块702，用于接收摄像头采集的当前图像，当前图像中包括待识别目标。
图像获取模块704，用于获取摄像头前一次采集的包括待识别目标的第一图像。
第一确定模块706，用于确定当前图像中待识别目标对应的第一位置变化信息和第一图像中待识别目标对应的第二位置变化信息。
第二确定模块708，用于根据第一位置变化信息和第二位置变化信息确定待识别目标的移动方向、移动速度和移动距离。
时长获取模块710，用于获取识别待识别目标的延时时长。
第三确定模块712，用于根据移动方向、移动速度、移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。
上述增强现实眼镜显示装置中，通过接收摄像头采集的当前图像，其中当前图像中包括待识别目标；根据当前图像获取上一次采集的包括待识别目标的第一图像；确定当前图像中待识别目标对应的第一位置变化信息和第一图像中待识别目标对应的第二位置变化信息；根据第一位置变化信息和第二位置变化信息确定待识别目标的移动方向、移动速度和移动距离信息；获取识别待识别目标的延时时长；根据移动方向、移动速度、移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。即根据移动方向、移动速度和移动距离信息以及对应的延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息；通过降低数据的处理难度和数据计算量来提高AR眼镜计算能力和处理速度，解决了延迟显示的问题以及提高了待识别目标在AR眼镜中的目标位置信息的准确性。
在另一个实施例中，如图8所示，提供了一种增强现实眼镜装置，除包括接收模块702、图像获取模块704、第一确定模块706、第二确定模块708、时长获取模块710和第三确定模块712外，还包括：预处理模块714、滤波处理模块716、计算模块718和显示模块720，其中：
预处理模块614，用于根据第一图获取上一次采集的包括待识别目标的第二图像；对当前图像、第一图像和第二图像进行预处理。预处理包括单色化预处理和缩放预处理。
在一个实施例中，第一确定模块706，还用于根据预处理后的当前图像和第一图像，确定当前图像中待识别目标对应的第一位置变化信息；根据预处理后的第一图像和第二图像，确定第一图像中待识别目标对应的第二位置变化信息。
滤波处理模块716，用于对移动方向、移动速度和移动距离信息进行滤波处理；根据滤波处理后的移动方向、移动速度、移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。
计算模块718，用于获取摄像头的参数值和观测点与增强现实眼镜显示屏的观测距离；根据参数值和观测距离确定待识别目标在增强现实眼镜显示屏中的初始位置信息。
在一个实施例中，第三确定模块712还用于根据初始位置信息和滤波处理后的移动方向、移动速度和移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。
显示模块720，用于接收当前图像中待识别目标的识别结果；根据识别结果和目标位置信息将待识别目标在增强现实眼镜显示屏上进行显示。
在一个实施例中，通过接收摄像头采集的当前图像，当前图像中包括待识别目标；根据第一图获取上一次采集的包括待识别目标的第二图像；对当前图像、第一图像和第二图像进行预处理；对图像进行单色化预处理把图像转化为1位图像，减少数据处理量和提高图像数据的准确性；根据预处理后的当前图像和第一图像，确定当前图像中待识别目标对应的第一位置变化信息；根据预处理后的第一图像和第二图像，确定第一图像中待识别目标对应的第二位置变化信息；根据第一位置变化信息和第二位置变化信息确定待识别目标的移动方向、移动速度和移动距离信息；对移动方向、移动速度和移动距离信息进行滤波处理；根据滤波处理后的移动方向、移动速度、移动距离信息和延时时长确定待识别目标在AR眼镜显示屏的目标位置信息；通过滤波可以避免摄像机抖动造成的干扰，提高了数据的准确性；接收当前图像中待识别目标的识别结果；根据识别结果和目标位置信息在将待识别目标在增强现实眼镜显示屏进行显示；通过降低数据的处理难度和数据计算量来提高AR眼镜计算能力和处理速度，解决了延迟显示的问题以及提高了待识别目标在AR眼镜中的显示位置的准确性。
关于增强现实眼镜装置的具体限定可以参见上文中对于增强现实眼镜方法的限定，在此不再赘述。上述增强现实眼镜装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图9所示。该电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种增强现实眼镜显示方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
接收摄像头采集的当前图像，当前图像中包括待识别目标；
根据当前图像获取上一次采集的包括待识别目标的第一图像；
确定当前图像中待识别目标对应的第一位置变化信息和第一图像中待识别目标对应的第二位置变化信息；
根据第一位置变化信息和第二位置变化信息确定待识别目标的移动方向、移动速度和移动距离信息；
获取待识别目标对应的延时时长；
根据移动方向、移动速度、移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
移动速度通过移动距离与摄像头的采集时间间隔确定。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据第一图获取上一次采集的包括待识别目标的第二图像；
对当前图像、第一图像和第二图像进行预处理；
根据预处理后的当前图像和第一图像，确定当前图像中待识别目标对应的第一位置变化信息；
根据预处理后的第一图像和第二图像，确定第一图像中待识别目标对应的第二位置变化信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
预处理包括单色化预处理和缩放预处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对移动方向、移动速度和移动距离信息进行滤波处理；
根据滤波处理后的移动方向、移动速度、移动距离信息和延时时长确定待识别目标在AR眼镜显示屏的目标位置信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取摄像头的参数值和观测点与增强现实眼镜显示屏的观测距离；
根据参数值和观测距离确定待识别目标在增强现实眼镜显示屏中的初始位置信息；
根据初始位置信息和滤波处理后的移动方向、移动速度和移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
接收当前图像中待识别目标的识别结果；
根据识别结果和目标位置信息将待识别目标在增强现实眼镜显示屏上进行显示。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收摄像头采集的当前图像，当前图像中包括待识别目标；
根据当前图像获取上一次采集的包括待识别目标的第一图像；
确定当前图像中待识别目标对应的第一位置变化信息和第一图像中待识别目标对应的第二位置变化信息；
根据第一位置变化信息和第二位置变化信息确定待识别目标的移动方向、移动速度和移动距离信息；
获取待识别目标对应的延时时长；
根据移动方向、移动速度、移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
移动速度通过移动距离与摄像头的采集时间间隔确定。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据第一图获取上一次采集的包括待识别目标的第二图像；
对当前图像、第一图像和第二图像进行预处理；
根据预处理后的当前图像和第一图像，确定当前图像中待识别目标对应的第一位置变化信息；
根据预处理后的第一图像和第二图像，确定第一图像中待识别目标对应的第二位置变化信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
预处理包括单色化预处理和缩放预处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对移动方向、移动速度和移动距离信息进行滤波处理；
根据滤波处理后的移动方向、移动速度、移动距离信息和延时时长确定待识别目标在AR眼镜显示屏的目标位置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取摄像头的参数值和观测点与增强现实眼镜显示屏的观测距离；
根据参数值和观测距离确定待识别目标在增强现实眼镜显示屏中的初始位置信息；
根据初始位置信息和滤波处理后的移动方向、移动速度和移动距离信息和延时时长确定待识别目标在增强现实眼镜显示屏的目标位置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
接收当前图像中待识别目标的识别结果；
根据识别结果和目标位置信息将待识别目标在增强现实眼镜显示屏上进行显示。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种增强现实眼镜显示方法，其特征在于，所述方法包括：
接收摄像头采集的当前图像，所述当前图像中包括待识别目标；
根据所述当前图像获取上一次采集的包括所述待识别目标的第一图像；
确定所述当前图像中待识别目标对应的第一位置变化信息和所述第一图像中待识别目标对应的第二位置变化信息；其中，所述第一位置变化信息表示当前图像中待识别目标相对于第一图像中待识别目标的位置坐标变化；所述第二位置变化信息表示所述第一图像中待识别目标相对于上一次采集的包括所述待识别目标的第二图像中的所述待识别目标的位置坐标变化；
根据所述第一位置变化信息和所述第二位置变化信息确定所述待识别目标的移动方向、移动速度和移动距离信息；其中，所述移动速度通过所述移动距离信息与所述摄像头的采集时间间隔确定；
获取识别所述待识别目标的延时时长；
根据所述移动方向、移动速度、移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息。
2.根据权利要求1所述的方法，其特征在于，所述延时时长包括网络传输产生的延时时长和图像识别服务器识别待识别目标产生的延时时长。
3.根据权利要求1所述的方法，其特征在于，所述确定所述当前图像中待识别目标对应的第一位置变化信息和所述第一图像中待识别目标对应的第二位置变化信息，包括：
根据所述第一图像获取所述第二图像；
对所述当前图像、第一图像和所述第二图像进行预处理；
根据预处理后的所述当前图像和所述第一图像，确定所述当前图像中待识别目标对应的第一位置变化信息；
根据预处理后的所述第一图像和第二图像，确定所述第一图像中待识别目标对应的第二位置变化信息。
4.根据权利要求3所述的方法，其特征在于，所述预处理包括单色化预处理和缩放预处理。
5.根据权利要求1所述的方法，其特征在于，所述根据所述移动方向、移动速度、移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息，包括：
对所述移动方向、移动速度和移动距离信息进行滤波处理；
根据滤波处理后的移动方向、移动速度、移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息。
6.根据权利要求5所述的方法，其特征在于，所述根据滤波处理后的移动方向、移动速度、移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息，包括：
获取所述摄像头的参数值和观测点与所述增强现实眼镜显示屏的观测距离；
根据所述参数值和所述观测距离确定所述待识别目标在所述增强现实眼镜显示屏中的初始位置信息；
根据所述初始位置信息和所述滤波处理后的移动方向、移动速度和移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述方法还包括：
接收所述当前图像中待识别目标的识别结果；
根据所述识别结果和所述目标位置信息将所述待识别目标在所述增强现实眼镜显示屏上进行显示。
8.一种增强现实眼镜显示装置，其特征在于，所述装置包括：
接收模块，用于接收摄像头采集的当前图像，所述当前图像中包括待识别目标；
图像获取模块，用于获取所述摄像头前一次采集的包括所述待识别目标的第一图像；
第一确定模块，用于确定所述当前图像中待识别目标对应的第一位置变化信息和所述第一图像中待识别目标对应的第二位置变化信息；其中，所述第一位置变化信息表示当前图像中待识别目标相对于第一图像中待识别目标的位置坐标变化；所述第二位置变化信息表示所述第一图像中待识别目标相对于上一次采集的包括所述待识别目标的第二图像中的所述待识别目标的位置坐标变化；
第二确定模块，用于根据所述第一位置变化信息和所述第二位置变化信息确定所述待识别目标的移动方向、移动速度和移动距离信息；其中，所述移动速度通过所述移动距离与所述摄像头的采集时间间隔确定；
时长获取模块，用于获取识别所述待识别目标的延时时长；
第三确定模块，用于根据所述移动方向、移动速度、移动距离信息和所述延时时长确定所述待识别目标在增强现实眼镜显示屏的目标位置信息。
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010273041.3A CN111583329B (zh) | 2020-04-09 | 2020-04-09 | 增强现实眼镜显示方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010273041.3A CN111583329B (zh) | 2020-04-09 | 2020-04-09 | 增强现实眼镜显示方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111583329A CN111583329A (zh) | 2020-08-25 |
| CN111583329B true CN111583329B (zh) | 2023-08-04 |
Family
ID=72117795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010273041.3A Active CN111583329B (zh) | 2020-04-09 | 2020-04-09 | 增强现实眼镜显示方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583329B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096151B (zh) * | 2021-04-07 | 2022-08-09 | 地平线征程(杭州)人工智能科技有限公司 | 对目标的运动信息进行检测的方法和装置、设备和介质 |
| CN113724398A (zh) * | 2021-09-01 | 2021-11-30 | 北京百度网讯科技有限公司 | 增强现实方法、装置、设备以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104205012A (zh) * | 2012-03-26 | 2014-12-10 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
| CN108875460A (zh) * | 2017-05-15 | 2018-11-23 | 腾讯科技（深圳）有限公司 | 增强现实处理方法及装置、显示终端及计算机存储介质 |
| CN109445112A (zh) * | 2019-01-05 | 2019-03-08 | 西安维度视界科技有限公司 | 一种ar眼镜及基于ar眼镜的增强现实方法 |
| CN110969706A (zh) * | 2019-12-02 | 2020-04-07 | Oppo广东移动通信有限公司 | 增强现实设备及其图像处理方法、系统以及存储介质 |
-
2020
- 2020-04-09 CN CN202010273041.3A patent/CN111583329B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104205012A (zh) * | 2012-03-26 | 2014-12-10 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
| CN108875460A (zh) * | 2017-05-15 | 2018-11-23 | 腾讯科技（深圳）有限公司 | 增强现实处理方法及装置、显示终端及计算机存储介质 |
| CN109445112A (zh) * | 2019-01-05 | 2019-03-08 | 西安维度视界科技有限公司 | 一种ar眼镜及基于ar眼镜的增强现实方法 |
| CN110969706A (zh) * | 2019-12-02 | 2020-04-07 | Oppo广东移动通信有限公司 | 增强现实设备及其图像处理方法、系统以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111583329A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111242881B (zh) | 显示特效的方法、装置、存储介质及电子设备 | |
| CN110062176B (zh) | 生成视频的方法、装置、电子设备和计算机可读存储介质 | |
| CN109074657B (zh) | 一种目标跟踪方法、装置、电子设备和可读存储介质 | |
| CN111062981A (zh) | 图像处理方法、装置及存储介质 | |
| CN111583329B (zh) | 增强现实眼镜显示方法、装置、电子设备和存储介质 | |
| US11127126B2 (en) | Image processing method, image processing device, image processing system and medium | |
| CN109754464B (zh) | 用于生成信息的方法和装置 | |
| CN112991180A (zh) | 图像拼接方法、装置、设备以及存储介质 | |
| CN110796664A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110874853A (zh) | 目标运动的确定方法、装置、设备及存储介质 | |
| CN110825286A (zh) | 图像处理方法、装置和电子设备 | |
| US11494961B2 (en) | Sticker generating method and apparatus, and medium and electronic device | |
| CN109981989B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| CN116310036A (zh) | 场景渲染方法、装置、设备、计算机可读存储介质及产品 | |
| CN111833459B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN104917963A (zh) | 一种图像处理方法及终端 | |
| KR20130103217A (ko) | 블러화된 이미지의 제공 장치 및 블러화된 이미지의 제공 방법 | |
| CN110047126B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| CN109816791B (zh) | 用于生成信息的方法和装置 | |
| CN113496506A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113436247B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN115914497A (zh) | 视频处理方法、装置、设备、介质及程序产品 | |
| CN115937010B (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN115984950B (zh) | 视线检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |