CN107566685B - 一种图像数据处理方法及电子设备 - Google Patents

一种图像数据处理方法及电子设备 Download PDF

Info

Publication number
CN107566685B
CN107566685B CN201710884233.6A CN201710884233A CN107566685B CN 107566685 B CN107566685 B CN 107566685B CN 201710884233 A CN201710884233 A CN 201710884233A CN 107566685 B CN107566685 B CN 107566685B
Authority
CN
China
Prior art keywords
image data
electronic device
acquisition pose
pose
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710884233.6A
Other languages
English (en)
Other versions
CN107566685A (zh
Inventor
邹李兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710884233.6A priority Critical patent/CN107566685B/zh
Publication of CN107566685A publication Critical patent/CN107566685A/zh
Priority to US16/142,904 priority patent/US10922825B2/en
Application granted granted Critical
Publication of CN107566685B publication Critical patent/CN107566685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00129—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明公开了一种图像数据处理方法包括：第一电子设备获得第二电子设备以第一采集位姿采集环境的第一图像数据；基于所述第一图像数据，确定在接收到所述第一图像数据的时刻，所述第一图像数据对应的显示参数；根据所确定的显示参数对所述第一图像数据进行处理，生成第二图像数据；显示所述第二图像数据。本发明还公开了两种电子设备。

Description

一种图像数据处理方法及电子设备
技术领域
本发明涉及显示技术，尤其涉及一种图像数据处理方法及电子设备。
背景技术
随着机器人的在各个领域的应用越来越广泛，机器人与用户终端(客户端)的之间能够进行信息交互的范围也越来越广，例如，客户端与机器人可进行远程视频通话，即客户端通过远程遥控功能控制机器人的行为，查看机器人所看到的场景；实现过程为机器人根据客户端的指令采集图像数据，并将图像数据进行压缩处理后，发送给客户端。
但是，由于客户端向机器人发送指令到机器人接收到指令之间，存在时间延迟；同时，机器人对视频数据进行压缩、传输的过程存在时间延迟；因此，客户端接收到的图像数据，并非是机器人采集该图像数据的时间，而是晚于机器人采集该图像数据的时间。如此，不仅严重影响机器人在制造业、资源勘探开发、救灾排险、医疗服务、家庭娱乐、军事和航天等领域的应用效果，而且降低用户的使用体验。
发明内容
本发明实施例提供一种图像数据处理方法，能够实现客户端接收到的图像数据即为当前时刻的图像数据，提高用户的使用体验。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种图像数据处理方法，应用于第一电子设备，包括：获得第二电子设备以第一采集位姿采集环境的第一图像数据；基于所述第一图像数据，确定在接收到所述第一图像数据的时刻，所述第一图像数据对应的显示参数；根据所确定的显示参数对所述第一图像数据进行处理，生成第二图像数据；显示所述第二图像数据。
上述方案中，所述确定在接收到所述第一图像数据的时刻，所述第一图像数据对应的显示参数，包括：
确定在接收到所述第一图像数据的时刻，所述第二电子设备的第二采集位姿；
确定显示所述第一图像数据时与所述第二采集位姿匹配的显示参数。
上述方案中，所述确定在接收到所述第一图像数据的时刻，所述第二电子设备的第二采集位姿，包括：
接收到第一图像数据时，提取所述第一图像数据中携带的所述第二电子设备的运动参数；基于所述运动参数和所述传输延迟时间，对记录的第二电子设备的采集位姿更新，得到所述第二采集位姿；
或，根据多次接收来自所述第二电子设备的历史图像数据训练机器学习模型，基于所述机器学习模型分析出所述第二电子设备的运动参数和传输延迟时间；基于所述运动参数和所述传输延迟时间，对记录的第二电子设备的采集位姿更新，得到所述第二采集位姿；
或，接收到第一图像数据时，提取所述第一图像数据中携带的所述第二电子设备第二采集位姿。
上述方案中，所述确定传输延迟时间，包括：
根据所述第一图像数据确定所述第一图像数据的发送时间；
记录所述第一图像数据的接收时间；
基于所述接收时间和所述发送时间的差值，确定所述传输延迟时间。
上述方案中，所述确定显示所述第一图像数据时与所述第二采集位姿匹配的显示参数，包括：
根据所述第一采集位姿和所述第二采集位姿，确定所述第二电子设备的采集位姿变化量；
基于所述采集位姿变化量确定显示补偿参数；
基于所述显示补偿参数及所述第一图像数据，确定显示所述第一图像数据时与所述第二采集位姿匹配的显示参数。
本发明实施例还提供一种电子设备，包括：第一处理器，用于获得第二电子设备以第一采集位姿采集环境的第一图像数据；
基于所述第一图像数据，确定在接收到所述第一图像数据的时刻，所述第一图像数据对应的显示参数；
根据所确定的显示参数对所述第一图像数据进行处理，生成第二图像数据；
显示器，用于显示所述第二图像数据。
本发明实施例还提供一种图像处理方法，应用于第二电子设备，包括：以第一采集位姿采集环境的第一图像数据；
基于所述第一图像数据，确定第一电子设备在接收到所述第一图像数据的时刻，所述第一图像数据对应的显示参数；
根据所确定的显示参数对所述第一图像数据进行处理，生成第二图像数据；
发送所述第二图像数据至所述第一电子设备。
上述方案中，所述确定第一电子设备在接收到所述第一图像数据的时刻，所述第一图像数据对应的显示参数，包括：
确定所述第一电子设备在接收到所述第一图像数据的时刻，所述第二电子设备的第二采集位姿；
确定显示所述第一图像数据时与所述第二采集位姿匹配的显示参数。
上述方案中，所述确定所述第一电子设备在接收到所述第一图像数据的时刻，所述第二电子设备的第二采集位姿，包括：
基于自身的运动参数和传输时延，对记录的自身的采集位姿更新，得到所述第二采集位姿；
或，根据自身多次发送的历史图像数据，训练机器学习模型，基于所述机器学习模型分析自身的运动参数和传输延迟时间；基于所述运动参数和所述传输延迟时间，对记录的自身的采集位姿更新，得到所述第二采集位姿；
或，根据预设策略确定自身的第二采集位姿。
本发明实施例还提供一种电子设备，包括：第二处理器，用于以第一采集位姿采集环境的第一图像数据；
基于所述第一图像数据，确定第一电子设备在接收到所述第一图像数据的时刻，所述第一图像数据对应的显示参数；
根据所确定的显示参数对所述第一图像数据进行处理，生成第二图像数据；
发送器，发送所述第二图像数据至所述第一电子设备。
本发明实施例中，首先确定第一电子设备接收到第一图像数据的时刻，第一图像数据对应的显示参数，再根据确定的显示参数对第一图像进行处理后生成第二图像数据；如此，能够补偿第一电子设备与第二电子设备进行指令及数据传输产生的时间延迟，以及第二电子设备向第一电子设备发送图像数据时，对图像数据进行处理产生的时间延迟，实现第一电子设备接收到的图像数据即为当前时刻的图像数据，提高了用户的使用体验。
附图说明
图1-1为本发明实施例提供的图像处理方法的一个可选的架构示意图；
图1-2为本发明实施例提供的图像处理方法的另一个可选的架构示意图
图2为本发明实施例提供的图像数据处理方法的一个可选流程示意图；
图3为本发明实施例提供的在T1时刻采集到的第一图像的示意图；
图4为本发明实施例提供的在T2时刻采集到的第一图像的示意图一；
图5为本发明实施例提供的在T2时刻采集到的第一图像的示意图二；
图6为本发明实施例提供的图像数据处理方法的另一个可选流程示意图；
图7为本发明实施例提供的第一图像在T3时刻的示意图；
图8为本发明实施例提供的第一图像在T1时刻与在T3时刻重合的示意图；
图9为本发明实施例一种电子设备的组成结构示意图；
图10为本发明实施例另一种电子设备的组成结构示意图。
具体实施方式
对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)机器人，是自动执行工作的机器装置，不仅可以接受人类指挥，还可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。
2)第一电子设备，用户侧使用的智能手机、平板电脑和可穿戴设备等各种形式的计算设备。
3)位姿，机器人未端操作器在指定坐标系中的位置和位姿。
4)景深，是指在摄影机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。
下面结合附图和具体实施例对本发明作进一步详细说明。
作为一个示例，图像处理方法在第一电子设备侧实施，第一电子设备可以是智能手机、平板电脑、笔记本电脑或穿戴式设备(如智能眼镜、智能手表等)，第一电子设备上存储有用于实现图像处理方法的应用程序，可以是特定的用于实现图像处理方法的应用程序，也可以是存储在移动终端内的其他应用程序；移动终端的操作系统可以是安卓操作系统、IOS操作系统或其他任意第三方开发的可以运行于微型计算机结构(至少包括处理器和内存)的操作系统(如移动版Linux系统、黑莓QNX操作系统等)。
图1-1示出了本发明实施例提供的图像处理方法的一个可选的架构示意图，第一电子设备通过网络服务器获取第二电子设备(机器人)以第一采集位姿采集环境的第一图像数据；基于所述第一图像数据，确定在接收到所述第一图像数据的时刻，所述第一图像数据对应的显示参数；根据所确定的显示参数对所述第一图像数据进行处理，生成第二图像数据；显示所述第二图像数据。
下面结合图1-1示出的架构示意图对本发明实施例提供的图像数据处理方法进行说明，本发明实施例提供的图像数据处理方法的一个可选流程示意图，如图2所示，将基于各个步骤进行说明。
步骤S101，第一电子设备获得第二电子设备以第一采集位姿采集环境的第一图像数据；
在一可选实施例中，第一电子设备向第二电子设备发送的采集图像数据的指令，第二电子设备基于该指令以第一采集位姿采集环境的第一图像数据，并通过网络将第一图像数据发送至第一电子设备，以使第一电子设备获取到第一图像数据。
这里，第一采集位姿可以是第二电子设备接收到指令时刻的位姿，也可以是第一电子设备发送的采集图像数据的指令中携带的，指定第二电子设备采集图像数据时的位姿。
步骤S102，第一电子设备基于所述第一图像数据，确定在接收到所述第一图像数据的时刻，所述第一图像数据对应的显示参数；
在一可选实施例中，第一电子设备基于所述第一图像数据，确定在接收到第一图像数据的时刻，第二电子设备的第二采集位姿，并确定显示第一图像数据时，与第二采集位姿匹配的显示参数。
基于上述可选实施例，第一电子设备确定在接收到第一图像数据的时刻，第二电子设备的采集位姿至少包括如下实施方式：
在一可选实施方式中，第一电子设备接收到第一图像数据时，提取第一图像数据中携带的第二电子设备的运动参数；确定第一电子设备与和第二电子设备进行数据传输及指令传输产生的传输延迟时间；基于运动参数和传输延迟对记录的第二电子设备的采集位姿更新，得到第二采集位姿。
这里，第二电子设备的运动参数，至少包括第二电子设备的运动速度和运动方向。
其中，确定传输延迟的一种实现方式为：第一电子设备根据接收到的第一图像数据，确定自身接收第一图像数据的时间，以及第二电子设备发送第一图像数据的时间；根据第一电子设备接收第一图像数据的时间与第二电子设备发送第一图像数据的时间的差值，确定传输延迟。
在另一可选实施方式中，第一电子设备根据多次接收来自所述第二电子设备的历史图像数据训练机器学习模型，基于所述机器学习模型分析出所述第二电子设备的运动参数和传输延迟时间；基于所述运动参数和所述传输延迟时间，对记录的第二电子设备的采集位姿更新，得到所述第二采集位姿。
这里，第一电子设备基于第二电子设备多次发送的历史图像数据样本构造的训练样本(第二电子设备发送数据的时间、第一电子设备接收数据的时间、第一电子设备采集数据的位姿、第二电子设备的运动参数)，以及所述训练样本标记的目标状态(在第一电子设备接收数据的时刻，第二电子设备的运动参数和传输延迟时间)，训练机器学习模型，使得所述机器学习模型具有根据所述训练样本预测相应的目标状态的性能；将接收到的图像数据输入机器学习模型，利用所述机器学习模型预测目标状态(第一电子设备接收数据的时刻，第二电子设备的运动参数和传输延迟时间)。
在又一可选实施方式中，第一电子设备接收到第一图像数据时，提取所述第一图像数据中携带的第二电子设备的第二采集位姿。在该可选实施方式中，由第二电子设备确定自身的第二采集位姿，并将确定的第二采集位姿携带于第一图像数据中，发送至第一电子设备。第二电子设备确定第二采集位姿的实现方式可以是基于上述训练机器学习模型的方式获得，也可以是第二电子设备基于自身的运动参数和传输延迟时间来获得。
基于上面的描述，第一电子设备确定在接收到所述第一图像数据的时刻，所述第二电子设备的第二采集位姿之后，第一电子设备根据第一采集位姿和第二采集位姿，确定第二电子设备的采集位姿变化量；基于采集位姿变化量确定显示补偿参数，显示补偿参数包括景深补偿参数和视角补偿参数；利用显示补偿参数对第一图像数据的显示参数进行补偿，得到显示第一图像数据时，与第二采集位姿匹配的显示参数。
步骤S103，根据所确定的显示参数对第一图像进行处理，生成第二图像数据；
在一可选实施例中，第一电子设备根据确定的显示参数，对第一图像数据进行修正，包括对第一图像数据的景深和视角进行修正，生成第二图像数据。
举例来说，在第二电子设备的行进路径为直行前进时，对第一图像数据进行处理时，第一图像数据的视角不改变，通过改变第一图像数据的景深，使得第一图像数据对应的第一图像部分区域(如中心区域)，实现特定比例的放大。可以理解为，如图3所示，在第二电子设备以第一采集位姿采集第一图像数据的时刻T1，第一图像数据对应的图像尺寸为A；第二电子设备对第一图像数据进行处理、发送至第一电子设备的过程中，存在数据处理延时及数据传输延时；在数据处理延时及数据传输延时的时间段ΔT内，第二电子设备已经从第一采集位姿对应的位置，变更为以第二采集位姿对应的位置；第二电子设备以第二采集位姿采集图像数据的时刻为T2，T2＝T1+ΔT。在T2时刻，第二电子设备在T2时刻以第二采集位姿采集到的图像数据，与第二电子设备在T1时刻以第一采集位姿采集到的第一图像数据相比，图像内容不变，图像尺寸变大。如图4所示，将第二电子设备在T1时刻以第一采集位姿采集到的第一图像数据进行放大显示处理，使得第一图像数据在T2时刻对应的显示图像尺寸为B，B大于A。这里，可以对第一图像数据对应的第一图像的特定区域(如中间区域)进行放大处理。
同理，在第二电子设备的行进路径为直行后退时，对第一图像数据进行处理时，第一图像数据的视角不改变，通过改变第一图像数据的景深，使得第一图像数据对应的第一图像、或第一图像的部分区域(如中心区域)，实现特定比例的缩小，如图5所示。
步骤S104，显示所述第二图像数据。
第一电子设备通过自身的显示装置(如屏幕)显示第二图像数据。
作为一个示例，图像处理方法在第二电子设备侧实施，第二电子设备可以是机器人等具备图像采集及数据处理、发送功能的电子设备，第二电子设备上存储有用于实现图像处理方法的应用程序，可以是特定的用于实现图像处理方法的应用程序。
图1-2示出了本发明实施例提供的图像处理方法的另一个可选的架构示意图，第二电子设备(机器人)以第一采集位姿采集环境的第一图像数据；基于所述第一图像数据，确定第一电子设备在接收到所述第一图像数据的时刻，所述第一图像数据对应的显示参数；根据所确定的显示参数对所述第一图像数据进行处理，生成第二图像数据；通过网络发送所述第二图像数据至所述第一电子设备。
下面结合图1-2示出的架构示意图对本发明实施例提供的图像数据处理方法进行说明，本发明实施例提供的图像数据处理方法的一个可选流程示意图，如图6所示，将基于各个步骤进行说明。
步骤S201，第二电子设备以第一采集位姿采集环境的第一图像数据；
在一可选实施例中，第一电子设备向第二电子设备发送的采集图像数据的指令，第二电子设备基于该指令以第一采集位姿采集环境的第一图像数据。
这里，第一采集位姿可以是第二电子设备接收到指令时刻的位姿，也可以是第一电子设备发送的采集图像数据的指令中携带的，指定第二电子设备采集图像数据时的位姿。
步骤S202，第二电子设备基于所述第一图像数据，确定第一电子设备在接收到所述第一图像数据的时刻，所述第一图像数据对应的显示参数。
在一可选实施例中，第二电子设备基于所述第一图像数据，确定第一电子设备在接收到第一图像数据的时刻，第二电子设备的第二采集位姿，并确定第一电子设备在显示第一图像数据的时刻，与第二采集位姿匹配的显示参数。
基于上述可选实施例，第二电子设备确定在接收到第一图像数据的时刻，第二电子设备的采集位姿至少包括如下实施方式：
在一可选实施方式中，基于自身的运动参数和传输时延，对记录的自身的采集位姿更新，得到所述第二采集位姿；
这里，第二电子设备的运动参数，至少包括第二电子设备的运动速度和运动方向。
其中，确定传输延迟的一种实现方式为：第一电子设备根据接收到的第一图像数据，确定自身接收第一图像数据的时间，以及第二电子设备发送第一图像数据的时间；根据第一电子设备接收第一图像数据的时间与第二电子设备发送第一图像数据的时间的差值，确定传输延迟。
在另一可选实施方式中，第二电子设备根据多次发送至第一电子设备的历史图像数据训练机器学习模型，基于所述机器学习模型分析出第二电子设备的运动参数和传输延迟时间；基于所述运动参数和所述传输延迟时间，对记录的第二电子设备的采集位姿更新，得到所述第二采集位姿。
这里，第二电子设备基于多次发送至第一电子设备的历史图像数据样本构造的训练样本(第二电子设备发送数据的时间、第一电子设备接收数据的时间、第一电子设备采集数据的位姿、第二电子设备的运动参数)，以及所述训练样本标记的目标状态(在第一电子设备接收数据的时刻，第二电子设备的运动参数和传输延迟时间)，训练机器学习模型，使得所述机器学习模型具有根据所述训练样本预测相应的目标状态的性能；将接收到的图像数据输入机器学习模型，利用所述机器学习模型预测目标状态(第一电子设备接收数据的时刻，第二电子设备的运动参数和传输延迟时间)。
在又一可选实施方式中，第一电子设备根据预设的策略确定自身的第二采集位姿。
基于上面的描述，第二电子设备确定第一电子设备在接收到所述第一图像数据的时刻，第二电子设备的第二采集位姿之后，第二电子设备根据第一采集位姿和第二采集位姿，确定第二电子设备的采集位姿变化量；基于采集位姿变化量确定显示补偿参数，显示补偿参数包括景深补偿参数和视角补偿参数；利用显示补偿参数对第一图像数据的显示参数进行补偿，得到第一电子设备显示第一图像数据时，与第二采集位姿匹配的显示参数。
步骤S203，第二电子设备根据所确定的显示参数对所述第一图像数据进行处理，生成第二图像数据。
在一可选实施例中，第二电子设备根据确定的显示参数，对第一图像数据进行修正，包括对第一图像数据的景深和视角进行修正，生成第二图像数据。
举例来说，在第二电子的行进路径为转弯时，对第一图像数据进行处理时，第一图像数据的视角及景深均发生变化。第二电子设备在T1时刻，采集到的第一图像数据对应的第一图像如图3所示，以及第二电子设备在T3时刻，采集到的图像数据对应的第二图像如图7所示；其中，T3时刻为第一电子设备接收到第一图像数据的时刻。结合图3和图7可以看出，在T3时刻，第二电子设备采集到的图像数据包括第一图像数据的部分内容，如图8所示；因此，为了使在T3时刻，第一电子设备接收到第一图像数据，与第二电子设备采集的图像数据匹配，需将第二电子设备在T3时刻采集到的图像数据与第二电子设备在T1时刻采集到的第一图像数据重合的部分进行剥。对于剥离的图像数据，第二电子设备在T1时刻的采集位姿与在T3时刻的采集位姿不同，因此，在T3时刻，剥离的图像数据的显示参数(景深和视角)均会发生变化。根据修正后的显示参数对剥离的图像数据进行处理，即得到与第二电子设备在T3时刻的采集位姿相匹配的第二图像数据。
步骤S204，发送所述第二图像数据至所述第一电子设备。
在一可选实施例中，第一电子设备发送第二图像数据至第一电子设备，以使第一电子设备对第二图像数据进行显示。
本发明上述实施例第一电子设备与第二电子设备基于图像数据进行通信的过程中，第二电子设备还可以将自身的位置信息及行进方向信息发送至第一电子设备，以使第一电子设备与第二电子设备在进行远程通信的过程中，第一电子设备可以实时同步第二电子设备所在位置的地图。
本发明实施例还提供一种电子设备，组成结构如图9所示，包括：
第一处理器10，用于获得第二电子设备以第一采集位姿采集环境的第一图像数据；
基于所述第一图像数据，确定在接收到所述第一图像数据的时刻，所述第一图像数据对应的显示参数；
根据所确定的显示参数对所述第一图像数据进行处理，生成第二图像数据；
显示器11，用于显示所述第二图像数据。
所述电子设备还包括存储介质13以及至少一个外部通信接口14；所述第一处理器10、显示器11、存储介质13以及外部通信接口14均通过总线12连接。
本发明实施例还提供另一种电子设备，组成结构如图10所示，包括：
第二处理器20，用于以第一采集位姿采集环境的第一图像数据；
基于所述第一图像数据，确定第一电子设备在接收到所述第一图像数据的时刻，所述第一图像数据对应的显示参数；
根据所确定的显示参数对所述第一图像数据进行处理，生成第二图像数据；
发送器21，发送所述第二图像数据至所述第一电子设备。
所述电子设备还包括存储介质23以及至少一个外部通信接口24；所述第二处理器20、发送器21、存储介质23、以及外部通信接口24均通过总线22连接。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
相应的，本发明实施例还提供一种计算机存储介质，存储有可执行程序，所述可执行程序被处理器执行时，实现上述的图像数据处理方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种图像数据处理方法，其特征在于，应用于第一电子设备，包括：
获得第二电子设备以第一采集位姿采集环境的第一图像数据；
基于所述第一图像数据，确定在接收到所述第一图像数据的时刻，所述第二电子设备的第二采集位姿；
确定显示所述第一图像数据时与所述第二采集位姿匹配的显示参数；
根据所确定的所述显示参数对所述第一图像数据对应的第一图像中的至少部分区域进行放大或缩小，生成第二图像数据；
显示所述第二图像数据。
2.根据权利要求1所述的方法，其特征在于，所述确定在接收到所述第一图像数据的时刻，所述第二电子设备的第二采集位姿，包括：
接收到第一图像数据时，提取所述第一图像数据中携带的所述第二电子设备的运动参数；基于所述运动参数和传输延迟时间，对记录的第二电子设备的采集位姿更新，得到所述第二采集位姿；
或，根据多次接收来自所述第二电子设备的历史图像数据训练机器学习模型， 基于所述机器学习模型分析出所述第二电子设备的运动参数和传输延迟时间；基于所述运动参数和所述传输延迟时间，对记录的第二电子设备的采集位姿更新，得到所述第二采集位姿；
或，接收到第一图像数据时，提取所述第一图像数据中携带的所述第二电子设备第二采集位姿。
3.根据权利要求2所述的方法，其特征在于，还包括：
根据所述第一图像数据确定所述第一图像数据的发送时间；
记录所述第一图像数据的接收时间；
基于所述接收时间和所述发送时间的差值，确定所述传输延迟时间。
4.根据权利要求1所述的方法，其特征在于，所述确定显示所述第一图像数据时与所述第二采集位姿匹配的显示参数，包括：
根据所述第一采集位姿和所述第二采集位姿，确定所述第二电子设备的采集位姿变化量；
基于所述采集位姿变化量确定显示补偿参数；
基于所述显示补偿参数及所述第一图像数据，确定显示所述第一图像数据时与所述第二采集位姿匹配的显示参数。
5.一种电子设备，包括：
第一处理器，用于获得第二电子设备以第一采集位姿采集环境的第一图像数据；
基于所述第一图像数据，确定在接收到所述第一图像数据的时刻，所述第二电子设备的第二采集位姿；
确定显示所述第一图像数据时与所述第二采集位姿匹配的显示参数；
根据所确定的所述显示参数对所述第一图像数据对应的第一图像中的至少部分区域进行放大或缩小，生成第二图像数据；
显示器，用于显示所述第二图像数据。
6.一种图像数据处理方法，其特征在于，应用于第二电子设备，包括：
以第一采集位姿采集环境的第一图像数据；
基于所述第一图像数据，确定第一电子设备在接收到所述第一图像数据的时刻，所述第二电子设备的第二采集位姿；
确定显示所述第一图像数据时与所述第二采集位姿匹配的显示参数；
根据所确定的所述显示参数对所述第一图像数据对应的第一图像中的至少部分区域进行放大或缩小，生成第二图像数据；
发送所述第二图像数据至所述第一电子设备。
7.根据权利要求6所述的方法，其特征在于，所述确定第一电子设备在接收到所述第一图像数据的时刻，所述第二电子设备的第二采集位姿，包括：
基于自身的运动参数和传输时延，对记录的自身的采集位姿更新，得到所述第二采集位姿；
或，根据自身多次发送的历史图像数据，训练机器学习模型，基于所述机器学习模型分析自身的运动参数和传输延迟时间；基于所述运动参数和所述传输延迟时间，对记录的自身的采集位姿更新，得到所述第二采集位姿；
或，根据预设策略确定自身的第二采集位姿。
8.一种电子设备，包括：
第二处理器，用于以第一采集位姿采集环境的第一图像数据；
基于所述第一图像数据，确定第一电子设备在接收到所述第一图像数据的时刻，第二电子设备的第二采集位姿；
确定显示所述第一图像数据时与所述第二采集位姿匹配的显示参数；
根据所确定的所述显示参数对所述第一图像数据对应的第一图像中的至少部分区域进行放大或缩小，生成第二图像数据；
发送器，发送所述第二图像数据至所述第一电子设备。
CN201710884233.6A 2017-09-26 2017-09-26 一种图像数据处理方法及电子设备 Active CN107566685B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710884233.6A CN107566685B (zh) 2017-09-26 2017-09-26 一种图像数据处理方法及电子设备
US16/142,904 US10922825B2 (en) 2017-09-26 2018-09-26 Image data processing method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710884233.6A CN107566685B (zh) 2017-09-26 2017-09-26 一种图像数据处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN107566685A CN107566685A (zh) 2018-01-09
CN107566685B true CN107566685B (zh) 2020-10-27

Family

ID=60982896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710884233.6A Active CN107566685B (zh) 2017-09-26 2017-09-26 一种图像数据处理方法及电子设备

Country Status (2)

Country Link
US (1) US10922825B2 (zh)
CN (1) CN107566685B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7297412B2 (ja) 2018-06-13 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびレンズ装置
CN113589919A (zh) * 2020-04-30 2021-11-02 华为技术有限公司 图像处理的方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3089154B1 (en) * 2013-12-25 2020-04-08 Sony Corporation Image processing device and image display system for pose prediction-based display
US9413926B2 (en) * 2014-04-28 2016-08-09 Lynx System Developers, Inc. Systems for processing event timing images
JP6642432B2 (ja) * 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
CN105847785A (zh) * 2016-05-09 2016-08-10 上海乐相科技有限公司 一种图像处理方法、设备和系统
US20180150718A1 (en) * 2016-11-30 2018-05-31 Gopro, Inc. Vision-based navigation system
US10687050B2 (en) * 2017-03-10 2020-06-16 Qualcomm Incorporated Methods and systems of reducing latency in communication of image data between devices
US10425622B2 (en) * 2017-07-18 2019-09-24 The United States Of America As Represented By The Secretary Of The Army Method of generating a predictive display for tele-operation of a remotely-operated ground vehicle

Also Published As

Publication number Publication date
US10922825B2 (en) 2021-02-16
CN107566685A (zh) 2018-01-09
US20190096071A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
CN110058694B (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
CN108491775B (zh) 一种图像修正方法及移动终端
US11222409B2 (en) Image/video deblurring using convolutional neural networks with applications to SFM/SLAM with blurred images/videos
CN107566749B (zh) 拍摄方法及移动终端
CN110059623B (zh) 用于生成信息的方法和装置
TWI752594B (zh) 一種資訊處理方法、電子設備、儲存媒體和程式
CN109992111B (zh) 增强现实扩展方法和电子设备
US11599974B2 (en) Joint rolling shutter correction and image deblurring
US20150244984A1 (en) Information processing method and device
CN107566685B (zh) 一种图像数据处理方法及电子设备
CN109766006B (zh) 虚拟现实场景的显示方法、装置及设备
US20210245368A1 (en) Method for virtual interaction, physical robot, display terminal and system
CN111860071A (zh) 用于识别物品的方法和装置
CN111325786B (zh) 图像处理方法及装置、电子设备和存储介质
CN113379896A (zh) 三维重建方法及装置、电子设备和存储介质
CN112307323B (zh) 信息推送方法和装置
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
CN112948411B (zh) 位姿数据的处理方法及接口、装置、系统、设备和介质
CN110889359A (zh) 一种员工培训方法、装置、电子设备及存储介质
CN108810395B (zh) 一种快速显示最初帧图像、快速拍摄图像的方法和装置
CN110619734A (zh) 信息推送方法和装置
CN111866366A (zh) 用于发送信息的方法和装置
CN114401341B (zh) 摄像头的控制方法、装置、电子设备及存储介质
CN115499596B (zh) 一种处理图像的方法和装置
CN113240796B (zh) 视觉任务处理方法及装置、计算机可读介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant