CN113079315B - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113079315B
CN113079315B CN202110319267.7A CN202110319267A CN113079315B CN 113079315 B CN113079315 B CN 113079315B CN 202110319267 A CN202110319267 A CN 202110319267A CN 113079315 B CN113079315 B CN 113079315B
Authority
CN
China
Prior art keywords
image
angle
image acquisition
pose
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110319267.7A
Other languages
English (en)
Other versions
CN113079315A (zh
Inventor
盛兴东
毛世杰
刘万凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202110319267.7A priority Critical patent/CN113079315B/zh
Publication of CN113079315A publication Critical patent/CN113079315A/zh
Application granted granted Critical
Publication of CN113079315B publication Critical patent/CN113079315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种图像处理方法、装置、电子设备及计算机可读存储介质。其中，图像处理方法应用于图像采集设备，图像采集设备的视场角大于显示设备的视场角，包括：接收显示设备的位姿；根据位姿确定图像采集设备的图像采集角度；在图像采集角度不变的情况下，根据位姿从第一图像中抠取第二图像，第一图像为图像采集设备在上一帧的采集角度采集的图像，第二图像在第一图像中的位置与显示设备采用位姿时的视野区域在图像采集设备当前的视野区域中的位置相同；向显示设备发送第二图像。这样，能够减少图像采集设备的机械角度调整这一步骤，进而能够将图像更快地发送至显示设备，减少显示设备显示延迟。

Description

图像处理方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及智能设备技术领域，尤其涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
随着科技的不断发展，智能设备在生产、生活中也得到了广泛的应用。通过智能设备能够进行遥操作。所谓遥操作，是指将某一设备放置在指定位置，采集图像，然后将采集的图像发送至远处的另一设备，用户可以从另一设备接收的图像中获知指定位置的环境，进而控制指定位置的设备进行相应操作。
但是，在两个设备交互的过程中，耗时较长，使得显示图像的设备在进行图像显示时产生较大的延迟，进而降低用户的视觉体验，以及降低遥操作的操控感。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置、电子设备及计算机可读存储介质。
本申请第一方面提供一种图像处理方法，所述方法应用于图像采集设备，所述图像采集设备的视场角大于显示设备的视场角，所述方法包括：接收所述显示设备的位姿；根据所述位姿确定所述图像采集设备的图像采集角度；在所述图像采集角度不变的情况下，根据所述位姿从第一图像中抠取第二图像，所述第一图像为所述图像采集设备在上一帧的采集角度采集的图像，所述第二图像在所述第一图像中的位置与所述显示设备采用所述位姿时的视野区域在所述图像采集设备当前的视野区域中的位置相同；向所述显示设备发送所述第二图像。
在本申请第一方面的一些变更实施方式中，在所述根据所述位姿确定所述图像采集设备的图像采集角度之前，所述方法还包括：确定所述图像采集设备的位置；在所述位置发生变化的情况下，采集第三图像；所述根据所述位姿确定所述图像采集设备的图像采集角度，包括：在所述位置不变的情况下，根据所述位姿确定所述图像采集设备的图像采集角度。
在本申请第一方面的一些变更实施方式中，在所述根据所述位姿确定所述图像采集设备的图像采集角度之后，所述方法还包括：在所述图像采集角发生变化的情况下，确定所述图像采集角度与所述图像采集设备在上一帧的采集角度的角度差；在所述角度差小于预设角度阈值的情况下，根据所述位姿从第一图像中抠取第二图像；在所述角度差大于或等于预设角度阈值的情况下，调整所述图像采集设备的采集角度，使得调整后的采集角度与确定的图像采集角度之间的差异减小。
在本申请第一方面的一些变更实施方式中，所述在所述角度差大于或等于预设角度阈值的情况下，调整所述图像采集设备的采集角度，包括：当所述角度差大于或等于第一预设角度阈值，且小于第二预设角度阈值时，采用第一角度调整所述图像采集设备的采集角度；当所述角度差大于或等于第二预设角度值时，采用第二角度调整所述图像采集设备的采集角度；其中，所述第一预设角度阈值小于所述第二预设角度阈值，所述第一角度小于所述第二角度。
在本申请第一方面的一些变更实施方式中，所述调整所述图像采集设备的采集角度，包括：基于所述角度差采用比例积分微分(proportional integral derivative，PID)算法调整所述图像采集设备的采集角度。
在本申请第一方面的一些变更实施方式中，在所述根据所述位姿确定所述图像采集设备的图像采集角度之前，所述方法还包括：将所述图像采集设备与所述显示设备统一到同一个坐标系。
在本申请第一方面的一些变更实施方式中，在所述接收所述显示设备的位姿之前，所述方法还包括：采集所述第一图像。
本申请第二方面提供一种图像处理装置，所述装置应用于图像采集设备，所述图像采集设备的视场角大于显示设备的视场角，所述装置包括：接收模块，用于接收所述显示设备的位姿；确定模块，用于根据所述位姿确定所述图像采集设备的图像采集角度；抠取模块，用于在所述图像采集角度不变的情况下，根据所述位姿从第一图像中抠取第二图像，所述第一图像为所述图像采集设备在上一帧的采集角度采集的图像，所述第二图像在所述第一图像中的位置与所述显示设备采用所述位姿时的视野区域在所述图像采集设备当前的视野区域中的位置相同；发送模块，用于向所述显示设备发送所述第二图像。
在本申请第二方面的一些变更实施方式中，所述确定模块，还用于确定所述图像采集设备的位置；所述装置还包括，采集模块，用于在所述位置发生变化的情况下，采集第三图像；所述确定模块，还用于在所述位置不变的情况下，根据所述位姿确定所述图像采集设备的图像采集角度。
在本申请第二方面的一些变更实施方式中，所述确定模块，还用于在所述图像采集角发生变化的情况下，确定所述图像采集角度与所述图像采集设备在上一帧的采集角度的角度差；所述抠取模块，还用于在所述角度差小于预设角度阈值的情况下，根据所述位姿从第一图像中抠取第二图像；所述装置还包括：调整模块，用于在所述角度差大于或等于预设角度阈值的情况下，调整所述图像采集设备的采集角度，使得调整后的采集角度与确定的图像采集角度之间的差异减小。
在本申请第二方面的一些变更实施方式中，所述调整模块，具体用于当所述角度差大于或等于第一预设角度阈值，且小于第二预设角度阈值时，采用第一角度调整所述图像采集设备的采集角度；当所述角度差大于或等于第二预设角度值时，采用第二角度调整所述图像采集设备的采集角度；其中，所述第一预设角度阈值小于所述第二预设角度阈值，所述第一角度小于所述第二角度。
在本申请第二方面的一些变更实施方式中，所述调整模块，具体用于基于所述角度差采用比例积分微分算法调整所述图像采集设备的采集角度。
在本申请第二方面的一些变更实施方式中，所述调整模块，还用于将所述图像采集设备与所述显示设备统一到同一个坐标系。
在本申请第二方面的一些变更实施方式中，所述采集模块，还用于采集所述第一图像。
本申请第三方面提供一种电子设备，包括：处理器、存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行第一方面中的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，包括：存储的程序；其中，在所述程序运行时控制所述存储介质所在设备执行第一方面中的方法。
相较于现有技术，本申请第一方面提供的图像处理方法，图像采集设备在接收到显示设备的位姿后，根据显示设备的位姿确定图像采集设备的图像采集角度，由于图像采集设备的视场角大于显示设备的视场角，故存在图像采集角度不变的情况，在此情况下，从图像采集设备在上一帧的采集角度采集的第一图像中抠取符合显示设备当前位姿的第二图像，并将第二图像回传给显示设备。这样，在图像采集设备与显示设备之间进行图像传输的过程中，能够减少图像采集设备的机械角度调整这一步骤，进而能够将图像更快地发送至显示设备，减少显示设备显示延迟。
附图说明
通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，相同或对应的标号表示相同或对应的部分，其中：
图1为现有技术中遥操作的流程示意图；
图2为本申请实施例中图像处理方法的流程示意图一；
图3为本申请实施例中确定图像采集角度的示意图；
图4为本申请实施例中图像处理方法的流程示意图二；
图5为本申请实施例中图像处理装置的结构示意图；
图6为本申请实施例中电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
图1为现有技术中遥操作的流程示意图，参见图1，当用户101存在遥操作需求时，用户101可以通过使用显示设备102将用户101的位姿(也就是显示设备102的位姿)发送给图像采集设备103。图像采集设备103根据接收到的位姿对图像采集设备103的图像采集角度进行调整，然后采集图像。最后，图像采集设备103将其采集的图像回传给显示设备102，以便用户101根据显示设备103接收的图像进行遥操作。
但是，从显示设备将其位姿发送给图像采集设备，到图像采集设备将其采集的图像回传给显示设备的过程，耗时较长，使得显示设备在进行图像显示时产生较大的延迟，进而降低用户的视觉体验，以及降低遥操作的操控感。
鉴于现有技术中存在“从显示设备将其位姿发送给图像采集设备，到图像采集设备将其采集的图像回传给显示设备的过程，耗时较长，使得显示设备在进行图像显示时产生较大的延迟”的问题。申请人经过研究后发现，导致“延迟”问题的来源在于“图像采集设备需要根据显示设备的位姿变化实时调整图像采集设备采集图像的角度”。故而，本申请通过“减少图像采集设备的机械转动”来解决“显示设备图像显示延迟”的问题。
一般来说，现有技术中图像采集设备的视场角(field of view，FOV)与显示设备的FOV相同或基本相同。当显示设备的位姿(six degree of freedom，6DOF)发生变化时，图像采集设备为了能够采集到显示设备需要的图像，会根据显示设备的6DOF进行相应的位姿调整，即调整采集图像的机械角度。图像采集设备进行机械调整，就会延迟显示设备获取图像的时间。有鉴于此，本申请采取“增大图像采集设备的FOV(不超过360°，因为采集360°的全景图像也需要耗费较多的时间。如果直接向显示设备传输360°全景图像，数据传输量较大，也会产生延迟)，使得图像采集设备的FOV大于显示设备的FOV”，以减少图像采集设备的机械转动，进而减少图像传输过程的延迟。
具体来说，当显示设备的6DOF发生改变时，只要显示设备当前的视野区域仍然处于图像采集设备当前的视野区域内，图像采集设备就无需进行机械角度的调整。这样，能够减少图像采集设备的机械转动，进而减少图像传输过程的延迟。
本申请实施例提供一种图像处理方法，该方法的执行主体为图像采集设备。图2为本申请实施例中图像处理方法的流程示意图一，参见图2，该方法可以包括：
S201：接收显示设备的位姿。
当显示设备需要进行图像显示时，显示设备会将其自身的位姿发送给图像采集设备。图像采集设备接收显示设备的位姿，进而根据显示设备的位姿进行后续操作。
在实际应用中，显示设备的位姿就代表了使用显示设备的用户的位姿。例如：显示设备为增强现实(augmented reality，AR)眼镜。在用户戴上AR眼镜后，用户头部转动，AR眼镜就会随用户的头部一起转动，AR眼镜的位姿时刻与用户头部的位姿保持一致。图像采集设备接收的显示设备的位姿就相当于接收到了用户的位姿，进而回传给显示设备的图像就是用户所需的图像。
S202：根据位姿确定图像采集设备的图像采集角度。
图像采集设备在接收到显示设备的位姿后，图像采集设备根据显示设备的位姿确定图像采集设备的图像采集角度，也就是确定图像采集设备是否需要进行机械角度的调整。
图3为本申请实施例中确定图像采集角度的示意图，参见图3，假设图像采集设备的FOV为120°，显示设备的FOV为60°。在上一帧，图像采集设备的视角Rr与显示设备的视角Ra都为正北方向。在当前帧，显示设备向右转动了10°，即显示设备的视角Ra变为北偏东10°方向。那么，确定图像采集设备的视角Rr(即图像采集角度)为北偏东10°方向。然而，显示设备对应的视野区域仍然位于图像采集设备对应的视野区域内，只是显示设备对应的视野区域从图像采集设备对应的视野区域的中心位置向右移动了10°，故图像采集设备的图像采集角度无需进行调整。
S203：在图像采集角度不变的情况下，根据位姿从第一图像中抠取第二图像。
其中，第一图像为图像采集设备在上一帧的采集角度采集的图像。第二图像在第一图像中的位置与显示设备采用位姿时的视野区域在图像采集设备当前的视野区域中的位置相同。
仍参见图3，在上一帧，图像采集设备的视角Rr与显示设备的视角Ra都为正北方向。图像采集设备采集了正北方向120°范围内的图像。在当前帧，显示设备向右转动了10°。由于显示设备对应的视野区域仍然位于图像采集设备对应的视野区域内，那么，图像采集设备就无需调整图像采集角度，直接从上一帧其采集的图像的中心位置向右10°，抠取60°范围的图像。抠出的图像就是第二图像。
当显示设备的位姿变化不大，即显示设备在位姿变化后的视野区域仍然处于图像采集设备的视野区域内时，图像采集设备就无需调整图像采集角度，进而更快地获取到显示设备所需的图像，减少显示设备显示延迟。
S204：向显示设备发送第二图像。
图像采集设备从第一图像中抠取出第二图像后，就将第二图像发送给显示设备。显示设备就能够显示第二图像。
这里需要说明的是，步骤201中发送/接收位姿以及步骤204中发送/接收图像与现有技术中图像采集设备与显示设备之间发送/接收信息的方式相同，此处不再赘述。
由上述内容可知，本申请实施例提供的图像处理方法，图像采集设备在接收到显示设备的位姿后，根据显示设备的位姿确定图像采集设备的图像采集角度，由于图像采集设备的视场角大于显示设备的视场角，故存在图像采集角度不变的情况，在此情况下，从图像采集设备在上一帧的采集角度采集的第一图像中抠取符合显示设备当前位姿的第二图像，并将第二图像回传给显示设备。这样，在图像采集设备与显示设备之间进行图像传输的过程中，能够减少图像采集设备的机械角度调整这一步骤，进而能够将图像更快地发送至显示设备，减少显示设备显示延迟。
进一步地，作为图2所示方法的细化和扩展，本申请实施例还提供了一种图像处理方法。图4为本申请实施例中图像处理方法的流程示意图二，参见图4所示，该方法可以包括：
S401：将图像采集设备与显示设备统一到同一个坐标系。
由于后续需要根据显示设备的位姿从图像采集设备采集的第一图像中抠取第二图像，故需要先将图像采集设备与显示设备统一到同一个坐标系，以便于后续直接根据显示设备的位姿从图像采集设备采集的第一图像中抠取第二图像。
在实际应用中，可以将图像采集设备与显示设备统一到世界坐标系下，也可以将显示设备转换到图像采集设备的坐标系下，也可以将图像采集设备转换到显示设备的坐标系下。只要图像采集设备与显示设备位于同一坐标系下即可。
S402：采集第一图像。
第一图像是图像采集设备在上一帧的采集角度采集的图像。也就是说，在上一帧，图像采集设备以当时的图像采集角度采集第一图像。
S403：接收显示设备的位姿。
在当前帧，显示设备将其当前的位姿发送给图像采集设备，图像采集设备接收显示设备当前的位姿。
这里需要说明的是，步骤S401与步骤S403的执行顺序并无先后限定。
当先执行步骤S401时，就是先将图像采集设备和显示设备统一到同一个坐标系，显示设备再将统一坐标系后的显示设备的视角Rra(即统一坐标系后的位姿)发送给图像采集设备。图像采集设备接收到的位姿就是图像采集设备当前所处坐标系下的位姿，故图像采集设备就无需再对显示设备发送的位姿进行转换，可以直接根据显示设备发送的位姿进行后续处理。
当先执行步骤S403时，就是显示设备先将其位姿发送给图像采集设备，图像采集设备再对显示设备发送的位姿进行坐标转换，将位姿转到与图像采集设备相同的坐标系下(即统一坐标系后的视角Rra)。然后，图像采集设备再对坐标转换后的位姿进行后续处理。
S404：确定图像采集设备的位置。
如果图像采集设备当前的位置发生了变化，即便图像采集设备在上一帧采集有第一图像，从第一图像中抠取出的第二图像也不是显示设备所需的图像。故而，在接收到显示设备的位姿后，需要先判断图像采集设备的位置是否发生变化。
具体的，可以先确定图像采集设备当前的位置，再将图像采集设备当前的位置与上一帧的位置进行对比，进而确定图像采集设备的位置是否发生变化。
例如：在世界坐标系下，假设图像采集设备在上一帧的位置为(x1，y1)。当前检测到图像采集设备的位置为(x2，y2)。x1与x2不同，所以确定图像采集设备的位置发生了变化。
S405：在位置发生变化的情况下，采集第三图像，从第三图像中抠取第二图像。
如果图像采集设备的位置发生了变化，那么，图像采集设备就需要在当前的位置重新采集图像，即第三图像。
在图像采集设备采集到第三图像后，图像采集设备继续根据接收到的显示设备的位姿从第三图像中抠取第二图像。具体的图像抠取方式与步骤S202-203的实现方式相同，此处不再赘述。
S406：在位置不变的情况下，根据位姿确定图像采集设备的图像采集角度。
如果图像采集设备的位置没有发生变化，那么，图像采集设备就无需再重新采集图像，可以继续使用其在上一帧采集的第一图像。继续根据显示设备的位姿确定图像采集设备的图像采集角度。具体确定图像采集设备的图像采集角度的方式与步骤S202的实现方式相同，此处不再赘述。
以上根据显示设备的位姿确定图像采集设备的图像采集角度是在显示设备的位姿为绝对值的前提下进行的。例如：显示设备的位姿为(x1，y1，z1，α1，β1，γ1)。其中，x1，y1，z1为空间坐标系下三个方向的绝对位置，α1，β1，γ1为空间坐标系下三个方向的绝对角度。
当然，位姿也可以是相对值。例如：显示设备的位姿为(Δx1，Δy1，Δz1，Δα1，Δβ1，Δγ1)。其中，Δx1，Δy1，Δz1为空间坐标系下三个方向的位置变化量，Δα1，Δβ1，Δγ1为空间坐标系下三个方向的角度变化量。图像采集设备在接收到为相对值的位姿后，通过该位姿，就能够确定显示设备的位姿变化了多少。进而根据显示设备的位姿变化量确定图像采集设备的图像采集角度的变化量。若确定显示设备的位姿变化量不大(即小于预设阈值)，则确定图像采集设备的图像采集角度不变；若确定显示设备的位姿变化量较大(即大于或等于预设阈值)，则确定图像采集设备的图像采集角度根据显示设备的位姿变化量进行变化。
S407：在图像采集角度不变的情况下，根据位姿从第一图像中抠取第二图像。
在当前确定的图像采集角度与上一帧中图像采集设备的图像采集角度相同的情况下，可以直接根据显示设备的位姿从第一图像中抠取第二图像。具体的图像抠取方式与步骤203的实现方式相同，此处不再赘述。
S408：在图像采集角发生变化的情况下，确定图像采集角度与图像采集设备在上一帧的采集角度的角度差alpha。
如果显示设备的位姿发生变化，那么，确定的图像采集设备的图像采集角度也会随之变化。例如：显示设备的位姿从正北朝向变为北偏东10°朝向，那么，确定图像采集设备的图像采集角度也从正北朝向变为北偏东10°朝向。这样，图像采集设备的图像采集角度就发生了变化。
然而，由于图像采集设备的FOV大于显示设备的FOV，若显示设备的位姿变化较小(小于预设阈值)，则显示设备位姿变化后的视野区域仍然会落在图像采集设备图像采集角度不变时的视野区域内。例如：假设图像采集设备的FOV为120°，显示设备的FOV为60°。显示设备转向北偏东10°后的视野区域仍然落在图像采集设备朝向正北时的视野区域内。那么，图像采集设备就无需调整图像采集角度，可以直接根据显示设备当前的位姿从上一帧采集的第一图像中抠取第二图像，进而提高第二图像的获取效率，减少显示设备的显示延迟。所以，在确定的图像采集角发生变化的情况下，需要计算现已确定的图像采集角度与图像采集设备在上一帧的采集角度的角度差，以及确定一个预设角度阈值，以确定显示设备位姿变化后的视野区域是否还会落在图像采集设备图像采集角度不变时的视野区域内，进而确定是否调整图像采集设备的图像采集角度。
在这里，预设角度阈值可以根据图像采集设备的FOV与显示设备的FOV之间大小关系设置。具体来说，当图像采集设备的FOV远大于显示设备的FOV时，预设角度阈值可以设置的大一些。当图像采集设备的FOV略大于显示设备的FOV时，预设角度阈值可以设置的小一些。只要使得按照预设角度阈值进行位姿变化后的显示设备的视野区域仍然能够落在图像采集角度不变时的图像采集设备的视野区域内即可。当然，可以将预设角度阈值设置为小于
Figure BDA0002992482930000111
的值。这样，当位姿变换后的显示设备的视野区域到达图像采集设备的视野区域的边缘之前，图像采集设备就能够调整图像采集角度，避免无法从第一图像中抠取到完整的第二图像。
S409：在角度差小于预设角度阈值的情况下，根据位姿从第一图像中抠取第二图像。
具体抠取图像的方式与步骤S203的实现方式相同，此处不再赘述。
S410：在角度差大于或等于预设角度阈值的情况下，调整图像采集设备的采集角度，使得调整后的采集角度与确定的图像采集角度之间的差异减小。
也就是说，当显示设备的位姿变化到一定程度时，第二图像就会位于第一图像中的边缘位置。此时，调整图像采集设备的图像采集角度，使得调整后的采集角度与确定的图像采集角度之间的差异减小。
具体的，S401可以包括：
S4011：当角度差大于或等于第一预设角度阈值，且小于第二预设角度阈值时，采用第一角度调整图像采集设备的采集角度。
S4012：当角度差大于或等于第二预设角度值时，采用第二角度调整图像采集设备的采集角度。
其中，第一预设角度阈值小于第二预设角度阈值，第一角度小于第二角度。
这里需要说明的是，预设角度阈值(第一预设角度阈值、第二预设角度阈值)的数量并不仅限于两个。相应的，角度(第一角度、第二角度)的数量也不仅限于两个。设置的角度的数量可以与设置的预设角度阈值的数量相同。上述的第一预设角度阈值和第二预设角度阈值仅是为了鉴别图像采集角度与上一帧图像采集设备的图像采集角度的角度差的大小。当显示设备的位姿变化较明显，即确定的角度差较大时，就采用较大的角度调整图像采集设备的采集角度。相应的，当显示设备的位姿变化较不明显，即确定的角度差较小时，就采用较小的角度调整图像采集设备的采集角度。也就是说，可以采用阶梯式的方式调整图像采集设备的采集角度。
S4013：基于角度差采用PID算法调整图像采集设备的采集角度。
所谓PID算法，就是根据给定值和实际输出值构成控制偏差，将偏差按比例、积分和微分通过线性组合构成控制量，对被控对象进行控制。因此，将计算出的实际角度差与给定的理想角度差代入到PID算法中，就能够得到一个采集角度，进而采用该采集角度调整图像采集设备的采集角度。
这里需要说明的是，步骤S4011-S4012与步骤S4013属于并列的关系。在调整图像采集设备的采集角度时，可以选择步骤S4011-S4012或者步骤S4013中的任意一种方式。
S411：采集第四图像，从第四图像中抠取第二图像。
在调整了图像采集设备的采集角度后，图像采集设备就需要在当前的采集角度重新采集图像，即第四图像。
在图像采集设备采集到第四图像后，图像采集设备继续根据接收到的显示设备的位姿从第四图像中抠取第二图像。具体的图像抠取方式与步骤S202-203的实现方式相同，此处不再赘述。
S4012：向显示设备发送第二图像。
步骤S4012与步骤S204的实现方式相同，此处不再赘述。
最后需要说明的是，在实际应用中，图像采集设备可以是具有图像采集功能的遥操作机器人，例如：具有双目红绿蓝(red green blue，RGB)相机的遥操作机器人、具有激光雷达的车辆等。显示设备可以是AR眼镜或虚拟现实(virtual reality，VR)眼镜。当然，图像采集设备也可以是其它类型的具有图像采集功能的设备，显示设备也可以是其它具有显示功能的设备。对于各设备的具体类型，此处不做限定。
由上述内容可知，本申请实施例提供的图像处理方法，图像采集设备在接收到显示设备的位姿后，根据显示设备的位姿确定图像采集设备的图像采集角度，由于图像采集设备的视场角大于显示设备的视场角，故存在图像采集角度不变的情况，在此情况下，从图像采集设备在上一帧的采集角度采集的第一图像中抠取符合显示设备当前位姿的第二图像，并将第二图像回传给显示设备。这样，在图像采集设备与显示设备之间进行图像传输的过程中，能够减少图像采集设备的机械角度调整这一步骤，进而能够将图像更快地发送至显示设备，减少显示设备显示延迟。
基于同一发明构思，作为对上述方法的实现，本申请实施例还提供了一种图像处理装置。所述装置应用于图像采集设备，所述图像采集设备的视场角大于显示设备的视场角。图5为本申请实施例中图像处理装置的结构示意图，参见图5所示，该装置可以包括：
接收模块501，用于接收所述显示设备的位姿；
确定模块502，用于根据所述位姿确定所述图像采集设备的图像采集角度；
抠取模块503，用于在所述图像采集角度不变的情况下，根据所述位姿从第一图像中抠取第二图像，所述第一图像为所述图像采集设备在上一帧的采集角度采集的图像，所述第二图像在所述第一图像中的位置与所述显示设备采用所述位姿时的视野区域在所述图像采集设备当前的视野区域中的位置相同；
发送模块504，用于向所述显示设备发送所述第二图像。
基于前述实施例，所述确定模块，还用于确定所述图像采集设备的位置；
所述装置还包括，采集模块，用于在所述位置发生变化的情况下，采集第三图像；
所述确定模块，还用于在所述位置不变的情况下，根据所述位姿确定所述图像采集设备的图像采集角度。
基于前述实施例，所述确定模块，还用于在所述图像采集角发生变化的情况下，确定所述图像采集角度与所述图像采集设备在上一帧的采集角度的角度差；
所述抠取模块，还用于在所述角度差小于预设角度阈值的情况下，根据所述位姿从第一图像中抠取第二图像；
所述装置还包括：调整模块，用于在所述角度差大于或等于预设角度阈值的情况下，调整所述图像采集设备的采集角度，使得调整后的采集角度与确定的图像采集角度之间的差异减小。
基于前述实施例，所述调整模块，具体用于，
当所述角度差大于或等于第一预设角度阈值，且小于第二预设角度阈值时，采用第一角度调整所述图像采集设备的采集角度；
当所述角度差大于或等于第二预设角度值时，采用第二角度调整所述图像采集设备的采集角度；
其中，所述第一预设角度阈值小于所述第二预设角度阈值，所述第一角度小于所述第二角度。
基于前述实施例，所述调整模块，具体用于基于所述角度差采用比例积分微分算法调整所述图像采集设备的采集角度。
基于前述实施例，所述调整模块，还用于将所述图像采集设备与所述显示设备统一到同一个坐标系。
基于前述实施例，所述采集模块，还用于采集所述第一图像。
这里需要指出的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
基于同一发明构思，本申请实施例还提供了一种电子设备。图6为本申请实施例中电子设备的结构示意图，参见图6所示，该电子设备可以包括：处理器601、存储器602、总线603；其中，处理器601、存储器602通过总线603完成相互间的通信；处理器601用于调用存储器602中的程序指令，以执行上述一个或多个实施例中的方法。
这里需要指出的是，以上电子设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请电子设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，包括：存储的程序；其中，在程序运行时控制存储介质所在设备执行上述一个或多个实施例中的方法。
这里需要指出的是，以上存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法应用于图像采集设备，所述图像采集设备的视场角大于显示设备的视场角，所述方法包括：
接收所述显示设备的位姿；
根据所述位姿确定所述图像采集设备的图像采集角度；
在所述图像采集角度不变的情况下，根据所述位姿从第一图像中抠取第二图像，所述第一图像为所述图像采集设备在上一帧的采集角度采集的图像，所述第二图像在所述第一图像中的位置与所述显示设备采用所述位姿时的视野区域在所述图像采集设备当前的视野区域中的位置相同；
向所述显示设备发送所述第二图像；
在所述根据所述位姿确定所述图像采集设备的图像采集角度之后，所述方法还包括：
在所述图像采集角度发生变化的情况下，确定所述图像采集角度与所述图像采集设备在上一帧的采集角度的角度差；
在所述角度差小于预设角度阈值的情况下，根据所述位姿从第一图像中抠取第二图像；
在所述角度差大于或等于预设角度阈值的情况下，调整所述图像采集设备的采集角度，使得调整后的采集角度与确定的图像采集角度之间的差异减小。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述位姿确定所述图像采集设备的图像采集角度之前，所述方法还包括：
确定所述图像采集设备的位置；
在所述位置发生变化的情况下，采集第三图像；
所述根据所述位姿确定所述图像采集设备的图像采集角度，包括：
在所述位置不变的情况下，根据所述位姿确定所述图像采集设备的图像采集角度。
3.根据权利要求1所述的方法，其特征在于，所述在所述角度差大于或等于预设角度阈值的情况下，调整所述图像采集设备的采集角度，包括：
当所述角度差大于或等于第一预设角度阈值，且小于第二预设角度阈值时，采用第一角度调整所述图像采集设备的采集角度；
当所述角度差大于或等于第二预设角度值时，采用第二角度调整所述图像采集设备的采集角度；
其中，所述第一预设角度阈值小于所述第二预设角度阈值，所述第一角度小于所述第二角度。
4.根据权利要求1所述的方法，其特征在于，所述调整所述图像采集设备的采集角度，包括：
基于所述角度差采用比例积分微分算法调整所述图像采集设备的采集角度。
5.根据权利要求1所述的方法，其特征在于，在所述根据所述位姿确定所述图像采集设备的图像采集角度之前，所述方法还包括：
将所述图像采集设备与所述显示设备统一到同一个坐标系。
6.根据权利要求1所述的方法，其特征在于，在所述接收所述显示设备的位姿之前，所述方法还包括：
采集所述第一图像。
7.一种图像处理装置，其特征在于，所述装置应用于图像采集设备，所述图像采集设备的视场角大于显示设备的视场角，所述装置包括：
接收模块，用于接收所述显示设备的位姿；
确定模块，用于根据所述位姿确定所述图像采集设备的图像采集角度；
抠取模块，用于在所述图像采集角度不变的情况下，根据所述位姿从第一图像中抠取第二图像，所述第一图像为所述图像采集设备在上一帧的采集角度采集的图像，所述第二图像在所述第一图像中的位置与所述显示设备采用所述位姿时的视野区域在所述图像采集设备当前的视野区域中的位置相同；
发送模块，用于向所述显示设备发送所述第二图像；
所述确定模块，还用于在所述图像采集角度发生变化的情况下，确定所述图像采集角度与所述图像采集设备在上一帧的采集角度的角度差；
所述抠取模块，还用于在所述角度差小于预设角度阈值的情况下，根据所述位姿从第一图像中抠取第二图像；
所述装置还包括：调整模块，用于在所述角度差大于或等于预设角度阈值的情况下，调整所述图像采集设备的采集角度，使得调整后的采集角度与确定的图像采集角度之间的差异减小。
8.一种电子设备，其特征在于，包括：处理器、存储器、总线；
其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，包括：存储的程序；
其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1至6中任一项所述的方法。
CN202110319267.7A 2021-03-25 2021-03-25 图像处理方法、装置、电子设备及计算机可读存储介质 Active CN113079315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110319267.7A CN113079315B (zh) 2021-03-25 2021-03-25 图像处理方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110319267.7A CN113079315B (zh) 2021-03-25 2021-03-25 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113079315A CN113079315A (zh) 2021-07-06
CN113079315B true CN113079315B (zh) 2022-04-22

Family

ID=76610363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110319267.7A Active CN113079315B (zh) 2021-03-25 2021-03-25 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113079315B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105721856A (zh) * 2014-12-05 2016-06-29 北京蚁视科技有限公司 一种用于近眼显示器的远程图像显示方法
CN106303448A (zh) * 2016-08-29 2017-01-04 零度智控（北京）智能科技有限公司 航拍图像处理方法、无人机、头戴显示设备及系统
CN107368192A (zh) * 2017-07-18 2017-11-21 歌尔科技有限公司 Vr眼镜的实景观测方法及vr眼镜
CN107850778A (zh) * 2015-06-05 2018-03-27 马克·莱姆陈 使用头戴式摄像机和计算机系统对医疗图像或牙科图像进行图像捕获的设备和方法
WO2019128400A1 (zh) * 2017-12-29 2019-07-04 北京亮亮视野科技有限公司 控制智能眼镜拍摄视角移动的方法
CN110505458A (zh) * 2016-09-18 2019-11-26 深圳市大疆创新科技有限公司 在可穿戴设备与可移动物体中提供图像的方法和设备
CN111223187A (zh) * 2018-11-23 2020-06-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105721856A (zh) * 2014-12-05 2016-06-29 北京蚁视科技有限公司 一种用于近眼显示器的远程图像显示方法
CN107850778A (zh) * 2015-06-05 2018-03-27 马克·莱姆陈 使用头戴式摄像机和计算机系统对医疗图像或牙科图像进行图像捕获的设备和方法
CN106303448A (zh) * 2016-08-29 2017-01-04 零度智控（北京）智能科技有限公司 航拍图像处理方法、无人机、头戴显示设备及系统
CN110505458A (zh) * 2016-09-18 2019-11-26 深圳市大疆创新科技有限公司 在可穿戴设备与可移动物体中提供图像的方法和设备
CN107368192A (zh) * 2017-07-18 2017-11-21 歌尔科技有限公司 Vr眼镜的实景观测方法及vr眼镜
WO2019128400A1 (zh) * 2017-12-29 2019-07-04 北京亮亮视野科技有限公司 控制智能眼镜拍摄视角移动的方法
CN111223187A (zh) * 2018-11-23 2020-06-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及系统

Also Published As

Publication number Publication date
CN113079315A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
US10212337B2 (en) Camera augmented reality based activity history tracking
CN108283018B (zh) 电子设备和用于电子设备的姿态识别的方法
TWI393072B (zh) 廣角感測器陣列模組及其影像校正方法、運作方法與應用
WO2023071884A1 (zh) 注视检测方法、电子设备的控制方法及相关设备
WO2017020150A1 (zh) 一种图像处理方法、装置及摄像机
WO2022022141A1 (zh) 图像显示方法、装置、计算机设备及存储介质
CN106780550B (zh) 一种目标跟踪方法及电子设备
JP2002259992A (ja) 画像処理装置およびその方法並びにプログラムコード、記憶媒体
TW202011353A (zh) 深度資料處理系統的操作方法
CN113505694B (zh) 一种基于视线追踪的人机交互方法、装置及计算机设备
KR20130105286A (ko) 단말, 표시 화면 묘화 방향 보정 방법, 및 컴퓨터 판독 가능한 기록 매체
TW202117384A (zh) 提供滑動變焦效果的方法以及電子裝置
CN111741223B (zh) 一种全景图像拍摄方法、装置和系统
KR101718081B1 (ko) 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
CN111193918B (zh) 影像处理系统及影像处理方法
CN110248148B (zh) 一种确定定位参数的方法及装置
WO2023280082A1 (zh) 一种手柄inside-out视觉6自由度定位方法及系统
CN113079315B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111353945A (zh) 鱼眼图像校正方法、装置及存储介质
WO2022000149A1 (zh) 交互方法及电子设备
CN108171802B (zh) 一种云端与终端结合实现的全景增强现实实现方法
CN108108694B (zh) 一种人脸特征点定位方法及装置
CN114241127A (zh) 全景图像生成方法、装置、电子设备和介质
CN108781251A (zh) 图像处理装置、图像处理方法和图像处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant