CN111077999B - 一种信息处理方法、设备及系统 - Google Patents

一种信息处理方法、设备及系统 Download PDF

Info

Publication number
CN111077999B
CN111077999B CN201911112664.6A CN201911112664A CN111077999B CN 111077999 B CN111077999 B CN 111077999B CN 201911112664 A CN201911112664 A CN 201911112664A CN 111077999 B CN111077999 B CN 111077999B
Authority
CN
China
Prior art keywords
image
pose
information processing
axis coordinate
coordinate information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911112664.6A
Other languages
English (en)
Other versions
CN111077999A (zh
Inventor
唐河云
蔡勇亮
郭琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201911112664.6A priority Critical patent/CN111077999B/zh
Publication of CN111077999A publication Critical patent/CN111077999A/zh
Application granted granted Critical
Publication of CN111077999B publication Critical patent/CN111077999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种信息处理方法，所述方法包括：建立第一图像的位姿与第二图像的位姿之间的关联关系；其中，所述第一图像为采集的电子设备的显示屏幕的图像，所述第二图像为增强现实AR设备生成的虚拟图像；在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系，调整所述第二图像的位姿。本申请实施例还公开了一种信息处理设备及系统。

Description

一种信息处理方法、设备及系统
技术领域
本申请实施例涉及电子技术领域，涉及但不限于一种信息处理方法、设备及系统。
背景技术
相关技术中，当空间同时存在虚拟图像和实体图像时，用户需要同时阅读或观看虚实两种图像，如果用户因姿态或位置的变化调整了实体图像的角度或位置，则需要用户相应地调整虚拟图像的角度或位置；如此，操作成本高，且调整后虚实图像相对位置有变，调整前后体验不一致。
发明内容
本申请实施例提供了一种信息处理方法、设备及系统。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种信息处理方法，所述方法包括：
建立第一图像的位姿与第二图像的位姿之间的关联关系；其中，所述第一图像为采集的电子设备的显示屏幕的图像，所述第二图像为增强现实AR设备生成的虚拟图像；
在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系，调整所述第二图像的位姿。
第二方面，本申请实施例还提供了一种信息处理设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述方案中任一项所述信息处理方法。
第三方面，本申请实施例还提供一种信息处理系统，包括：电子设备和增强现实AR设备；其中，
所述电子设备，用于在显示屏幕上显示第一图像；
所述AR设备，用于建立第一图像的位姿与第二图像的位姿之间的关联关系；其中，所述第一图像为采集的电子设备的显示屏幕的图像，所述第二图像为AR设备生成的虚拟图像；
在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系，调整所述第二图像的位姿。
本申请实施例中，建立第一图像的位姿与第二图像的位姿之间的关联关系；其中，所述第一图像为采集的电子设备的显示屏幕的图像，所述第二图像为增强现实AR设备生成的虚拟图像；在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系，调整所述第二图像的位姿；如此，本申请实施例能够根据第一图像的位姿变化，自动调整第二图像的位姿，提高了用户体验。
附图说明
在附图(其不一定是按比例绘制的)中，相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1为本申请实施例所提供的信息处理方法的系统架构图；
图2为本申请实施例所提供的信息处理方法的实现流程示意图一；
图3为本申请实施例所提供的信息处理方法的实现流程示意图二；
图4为本申请实施例所提供的信息处理方法的实现流程示意图三；
图5为本申请实施例所提供的信息处理方法的实现流程示意图四；
图6为本申请实施例所提供的信息处理方法的实现流程示意图五；
图7A为本申请实施例所提供的信息处理方法的位姿调整前的示意图；
图7B为本申请实施例所提供的信息处理方法的位姿调整后的示意图；
图8为本申请实施例所提供的信息处理方法的开合角度调整后的示意图；
图9为本申请实施例所提供的信息处理装置的组成结构示意图；
图10为本申请实施例所提供的信息处理设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
在详述本申请实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本申请保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
本申请实施例提供的信息处理方法可应用于信息处理装置，信息处理装置可实施于信息处理设备上。信息处理设备建立第一图像的位姿与第二图像的位姿之间的关联关系；在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系，调整所述第二图像的位姿。
本申请实施例提供一种信息处理方法，该方法应用于实施信息处理方法的信息处理设备，信息处理设备中的各功能模块可以由信息处理设备(如终端设备、服务器)的硬件资源，如处理器等计算资源、传感器等探测资源、通信资源协同实现。
信息处理设备可以是任何具有信息处理能力的电子设备，在一种实施例中，电子设备可以是智能终端，例如可以是笔记本等具有无线通信能力的移动终端、AR/VR设备。在另一种实施例中，电子设备还可以是不便移动的具有计算功能的终端设备，比如台式计算机、桌面电脑、服务器等。
当然，本申请实施例不局限于提供为方法和硬件，还可有多种实现方式，例如提供为存储介质(存储有用于执行本申请实施例提供的信息处理方法的指令)。
本申请实施例中的信息处理方法的系统架构，如图1所示，电子设备11与增强现实(Augmented Reality，AR)设备12相连，电子设备11与AR设备12可以是通过数据线，或者通过Wi-Fi，或者蓝牙进行连接的。第一图像为采集的电子设备11的显示屏幕的图像，AR设备生成第二图像，在第一图像的位姿发生变化的情况下，AR设备根据关联关系，调整第二图像的位姿，以使第一图像位姿和第二图像的位姿同步变化。
图2为本申请实施例中的信息处理方法的实现流程示意图一，如图2所示，该方法包括以下步骤：
步骤201：建立第一图像的位姿与第二图像的位姿之间的关联关系；
其中，所述第一图像为采集的电子设备的显示屏幕的图像，所述第二图像为增强现实AR设备生成的虚拟图像。
这里，AR设备在第一图像的边缘能够生成多个第二图像，如果AR设备确定某个第二图像的位姿与第一图像的位姿保持同步变化，则在第一图像的位姿与该第二图像的位姿之间建立关联关系；如果AR设备确定某个第二图像的位姿与第一图像的位姿不能保持同步变化，则第一图像的位姿与该第二图像的位姿之间不存在关联关系。
比如：AR设备在第一图像A的边缘生成了第二图像B、第二图像C和第二图像D，如果第二图像B的位姿、第二图像C的位姿、第二图像D的位姿与第一图像A的位姿保持同步变化，则在第一图像A的位姿分别与第二图像B的位姿、第二图像C的位姿、第二图像D的位姿之间建立关联关系；如果第二图像B的位姿、第二图像D的位姿与第一图像A的位姿不能保持同步变化，则第一图像A的位姿分别与第二图像B的位姿、第二图像D的位姿之间不存在关联关系。
在实际应用中，AR设备确定与第一图像的位姿保持同步变化的第二图像，以建立第一图像的位姿与第二图像的位姿之间的关联关系。
步骤202：在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系，调整所述第二图像的位姿。
其中，位姿可以包括位置和/或角度。
这里，当检测到第一图像的位置发生变化的情况下，根据关联关系，调整第二图像的位置。比如：在第一图像A的位置发生变化的情况下，根据关联关系，调整与第一图像A的位姿具有关联关系的第二图像B的位置。
当检测到第一图像的角度发生变化的情况下，根据关联关系，调整第二图像的角度。比如：在第一图像A的角度发生变化的情况下，根据关联关系，调整与第一图像A的位姿具有关联关系的第二图像C的角度。
在一些实施例中，所述根据所述关联关系，调整所述第二图像的位姿，包括：根据所述关联关系和所述第一图像的位姿的变化量，调整所述第二图像的位姿。
本申请实施例提供的信息处理方法，建立第一图像的位姿与第二图像的位姿之间的关联关系；其中，所述第一图像为采集的电子设备的显示屏幕的图像，所述第二图像为增强现实AR设备生成的虚拟图像；在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系，调整所述第二图像的位姿；如此，本申请实施例能够根据第一图像的位姿变化，自动调整第二图像的位姿，提高了用户体验。
本申请实施例中提供一种信息处理方法，如图3所示，该方法包括以下步骤：
步骤301：确定所述第一图像与所述第二图像的相对显示关系；
其中，所述相对显示关系包括：距离和/或角度。
这里，在建立第一图像的位姿与第二图像的位姿之间的关联关系之前，AR设备确定第一图像与第二图像的相对显示关系。此时，第一图像的周围显示多个第二图像。第一图像分别与多个第二图像之间具有相对显示关系。
比如：多个第二图像包括：第二图像B、第二图像C、第二图像D，第一图像A与第二图像B、第二图像C、第二图像D之间的相对显示关系为距离。如果第一图像A与第二图像B的距离为5厘米，则第一图像A与第二图像B之间的相对显示关系为5厘米；如果第一图像A与第二图像C的距离为10厘米，则第一图像A与第二图像C之间的相对显示关系为10厘米；如果第一图像A与第二图像D的距离为15厘米，则第一图像A与第二图像D之间的相对显示关系为15厘米。
又比如：多个第二图像包括：第二图像B、第二图像C、第二图像D，第一图像A与第二图像B、第二图像C、第二图像D之间的相对显示关系为角度。如果第一图像A与第二图像B的角度为5度，则第一图像A与第二图像B之间的相对显示关系为5度；如果第一图像A与第二图像C的角度为10度，则第一图像A与第二图像C之间的相对显示关系为10度；如果第一图像A与第二图像D的角度为15度，则第一图像A与第二图像D之间的相对显示关系为15度。
步骤302：确定与所述第一图像的位姿保持同步变化的第二图像，以建立所述第一图像的位姿与第二图像的位姿之间的联动关系；
这里，第一图像分别与多个第二图像之间具有相对显示关系，AR设备需要在与第一图像具有相对显示关系的多个第二图像中确定与第一图像的位姿保持同步变化的第二图像，如果存在与第一图像的位姿保持同步变化的第二图像，则建立第一图像的位姿与第二图像的位姿之间的联动关系。
比如：第一图像A分别与第二图像B、第二图像C、第二图像D之间具有相对显示关系，AR设备需要从与第一图像A具有相对显示关系的第二图像B、第二图像C、第二图像D中确定与第一图像A的位姿保持同步变化的第二图像。当确定第二图像C的位姿、第二图像D的位姿与第一图像A的位姿保持同步变化，则建立第一图像A的位姿与第二图像C的位姿、第二图像D的位姿之间的联动关系。
步骤303：在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系，调整所述第二图像的位姿。
其中，步骤303分别参见上述实施例中的步骤202。
本申请实施例提供的信息处理方法，从多个第二图像中确定出与第一图像的位姿保持同步变化的第二图像；如此，能够使具有关联关系的第一图像与第二图像保持同步变化。
本申请实施例中提供一种信息处理方法，如图4所示，该方法包括以下步骤：
步骤401：建立第一图像的位姿与第二图像的位姿之间的关联关系；
其中，所述第一图像为采集的电子设备的显示屏幕的图像，所述第二图像为增强现实AR设备生成的虚拟图像。
其中，步骤401参见上述实施例中的步骤201。
步骤402：检测所述第一图像的位姿，并确定所述第一图像的位姿是否发生变化；
其中，位姿可以包括：位置和/或角度。
这里，在建立第一图像的位姿与第二图像的位姿之间的关联关系之后，确定第一图像的位姿是否发生变化。其中，第一图像的位姿的变化可以是用户调整的，也可以是电子设备自身调整的。
在检测所述第一图像的位姿时，可以对第一图像的位置进行检查，如果第一图像的位置发生了变化，则第一图像的位姿发生了变化。比如：第一图像的位置从(2，5，8)变化成了(2，5，9)，则第一图像的位姿发生了变化。
在检测所述第一图像的位姿时，可以对第一图像的角度进行检查，如果第一图像的角度发生了变化，则第一图像的位姿发生了变化。比如：第一图像的角度从40度变化成了50度，则第一图像的位姿发生了变化。
在检测所述第一图像的位姿时，还可以对第一图像的位置和角度同时进行检查，如果第一图像的位置和角度都发生了变化，则第一图像的位姿发生了变化。比如：第一图像的位置从(2，5，8)变化成了(2，5，9)，并且第一图像的角度从40度变化成了50度，则第一图像的位姿发生了变化。
如果检测第一图像的位姿发生了变化，则根据第一图像的位姿，调整第二图像的位姿；如果检测第一图像的位姿没有发生变化，则继续对第一图像的位姿进行检测。
这里，检测第一图像的位姿可以包括以下两种方式中一种或两种的组合：方式1)、通过AR设备的摄像头检测第一图像的位姿；方式2)、通过电子设备上的传感器检测第一图像的位姿。下面对这两种方式分别进行介绍。
在方式1)中，所述检测所述第一图像的位姿，包括：通过摄像头检测所述第一图像中的显示屏幕的位姿，得到所述第一图像的位姿。
这里，通过AR设备的摄像头检测第一图像中的显示屏幕的位姿，根据第一图像中的显示屏幕的位姿，得到第一图像的位姿。比如：AR设备12通过摄像头检测电子设备11的显示屏幕的位姿，得到显示屏幕的位姿为A，将位姿A作为第一图像的位姿。
在方式2)中，所述检测所述第一图像的位姿，包括：通过与所述电子设备之间的连接，接收所述电子设备上的传感器所检测的显示屏幕的位姿，得到所述第一图像的位姿。
其中，传感器可以包括：加速度传感器、重力传感器等能够检测显示屏幕的位姿的传感器。
这里，电子设备通过传感器检测显示屏幕的位姿，并将显示屏幕的位姿通过电子设备与AR设备之间的连接，传输至AR设备，AR设备得到第一图像的位姿。比如：电子设备11通过传感器检测显示屏幕的位姿，得到显示屏幕的位姿为B，并将显示屏幕的位姿B通过电子设备11与AR设备12之间的连接，传输至AR设备，AR设备确定得到的第一图像的位姿为B。
步骤403：在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系，调整所述第二图像的位姿。
其中，步骤403参见上述实施例中的步骤202。
本申请实施例提供的信息处理方法，根据AR设备的摄像头或电子设备上设置的传感器获得第一图像的位姿，并在位姿发生变化的情况下，根据关联关系调整第二图像的位姿；如此增加了获得第一图像的位姿的方法的多样性，提高了用户体验。
本申请实施例中提供一种信息处理方法，如图5所示，该方法包括以下步骤：
步骤501：建立第一图像的位姿与第二图像的位姿之间的关联关系；
其中，所述第一图像为采集的电子设备的显示屏幕的图像，所述第二图像为增强现实AR设备生成的虚拟图像。
其中，步骤501参见上述实施例中的步骤201。
步骤502：在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系和所述第一图像的位姿的变化量，调整所述第二图像的位姿。
其中，位姿包括：位置和角度。
这里，在检测到第一图像的位姿发生变化的情况下，根据第一图像的位姿与第二图像的位姿之间的关联关系和第一图像的位姿的变化量，调整第二图像的位姿。
在实际应用中，在检测到第一图像的位姿发生变化的情况下，可以确定第一图像的位姿的变化量，同时确定与第一图像的位姿具有关联关系的第二图像，根据第一图像的位姿的变化量，调整与第一图像的位姿具有关联关系的第二图像的位姿。
比如：与第一图像A的位姿具有关联关系的是第二图像B，第一图像A的位置由(3，2，7)变化为(3，3，9)，第一图像A的位置的变化量为(0，1，2)，根据第一图像A的位置的变化量(0，1，2)，则调整与第一图像A的位姿具有关联关系的第二图像B的位姿。
又比如：与第一图像A的位姿具有关联关系的是第二图像C，第一图像A的角度由30度变化为50度，第一图像A的角度的变化量为20度，根据第一图像A的角度的变化量20度，则调整与第一图像A的位姿具有关联关系的第二图像C的位姿。
再比如：与第一图像A的位姿具有关联关系的是第二图像D，第一图像A的位置由(3，2，7)变化为(3，3，9)，且第一图像A的角度由30度变化为50度，第一图像A的位置的变化量为(0，1，2)，且第一图像A的角度的变化量为20度，根据第一图像A的位置的变化量(0，1，2)和第一图像A的角度的变化量20度，则调整与第一图像A的位姿具有关联关系的第二图像D的位姿。
本申请实施例提供的信息处理方法，根据关联关系和第一图像的位姿的变化量，调整第二图像的位姿；如此，能够根据第一图像的位姿的变化量，自动调整第二图像的位姿，提高了用户体验。
本申请实施例中提供一种信息处理方法，如图6所示，该方法包括以下步骤：
步骤601：建立第一图像的位姿与第二图像的位姿之间的关联关系；
其中，所述第一图像为采集的电子设备的显示屏幕的图像，所述第二图像为增强现实AR设备生成的虚拟图像。
其中，步骤601参见上述实施例中的步骤201。
步骤602：确定所述第二图像在所述第一图像的位姿发生变化之前的第一六轴坐标信息；
其中，位姿包括六轴坐标信息。
这里，在建立第一图像的位姿与第二图像的位姿之间的关联关系之后，AR设备确定第二图像在所述第一图像的位姿发生变化之前的第一六轴坐标信息。比如：第二图像在第一图像的位姿发生变化之前的第一六轴坐标信息为(2，4，6，30，40，50)；其中，2表征第二图像距离X轴的距离，4表征第二图像距离Y轴的距离，6表征第二图像距离Z轴的距离，30表征第二图像相对X轴的转动角度，40表征第二图像相对Y轴的转动角度，50表征第二图像相对Z轴的转动角度。
步骤603：根据所述第一图像的六轴坐标信息的变化量和所述第一六轴坐标信息，得到第二六轴坐标信息，并将所述第二图像的六轴坐标信息调整为所述第二六轴坐标信息。
这里，在确定了第一图像的六轴坐标信息的变化量和第一六轴坐标信息之后，根据第一图像的六轴坐标信息的变化量和第一六轴坐标信息，得到第二六轴坐标信息，并将第二图像的六轴坐标信息调整为第二六轴坐标信息。
比如：第一图像的六轴坐标信息的变化量为(1，1，2，10，20，10)，第二图像的第一六轴坐标信息为(3，2，2，5，20，10)，则可以得到第二六轴坐标信息为(4，3，4，15，40，20)，将第二图像的六轴坐标信息调整为(4，3，4，15，40，20)。
其中，位姿也可以包括开合角度。
在一些实施例中，确定所述第二图像在所述第一图像的位姿发生变化之前的第一开合角度；根据所述第一图像的开合角度的变化量和所述第一开合角度，得到第二开合角度，并将所述第二图像的开合角度调整为所述第二开合角度。
这里，在确定了第一图像的开合角度的变化量和第一开合角度之后，根据第一图像的开合角度的变化量和第一开合角度，得到第二开合角度，并将第二图像的开合角度调整为第二开合角度。
比如：第一图像的开合角度的变化量为10度，第二图像的第一开合角度为20度，则可以得到第二开合角度为30度，将第二图像的开合角度调整为30度。
本申请实施例提供的信息处理方法，根据第一图像的六轴坐标信息的变化量和第一六轴坐标信息，得到第二六轴坐标信息，并将第二图像的六轴坐标信息调整为第二六轴坐标信息；如此，能够根据第一图像的六轴坐标信息的变化量，自动调整第二图像的六轴坐标信息，提高了用户体验。
本申请实施例中通过具体场景对本申请实施例提供的信息处理方法进行说明。
当空间同时存在虚拟图像和实体屏幕图像时，如笔记本屏幕等，用户需要同时阅读或观看虚拟图像和实体屏幕图像，此时用户因姿态的变化调整了实体屏幕图像的角度或位置，因虚拟图像已经初始化完成并锚定在空间中，虚拟图像的位姿需要用户重新设定，才能与实体屏幕图像有效组合显示，方便用户阅读和观看。
本申请实施例提出将虚拟图像与实体屏幕图像进行绑定，利用AR设备上的摄像头侦测实体屏幕图像的姿态变化，或利用实体屏幕本身的加速度传感器等检测到的自身屏幕的状态参数并同步给AR设备，同步调整虚拟图像和实体屏幕图像的姿态，减少用户操作成本，提供更智能的用户体验。
本申请实施例包括以下步骤，这里，AR设备为眼镜，电子设备为计算机。
1)、建立眼镜与计算机之间的连接，并确定计算机的实体屏幕图像的位姿；
将眼镜与计算机连接，连接方式可以是通过数据线，或者通过Wi-Fi，或者通过蓝牙进行连接，眼镜通过图像识别算法确定实体屏幕图像的位姿，比如：大小尺寸，边缘和坐标参数等。
2)、通过眼镜的摄像头确定虚拟图像的位姿。
在AR设备采集到的显示屏幕图像(即第一图像)的边缘显示一个或多个虚拟屏幕，作为实体屏幕的扩展屏幕(即第二图像)。在一示例中，如图7A所示，在显示实体屏幕图像71的边缘外围(比如：x，y轴各增加一定的间距(单位cm/mm)后)显示三个虚拟图像72。如图7B所示，当实体屏幕图像71的位姿发生变化时，虚拟图像72的位姿相应变化。通过眼镜的摄像头持续追踪笔记本的实体屏幕图像71的6自由度(Degree of Freedom，DoF)坐标信息，虚拟图像72做同步的变化。
3)、通过笔记本上的加速度传感器侦测笔记本屏幕角度开合角度，以确定虚拟图像的位姿。
如图8所示，利用笔记本81-1上的加速度传感器82-1，实时侦测笔记本81-1的屏幕的开合角度(如图中的箭头83-1所示)，笔记本81-1通过数据线，或者WiFi，或者蓝牙将数据同步到眼镜，眼镜相应调整虚拟图像的位姿；或者利用笔记本81-2上的加速度传感器82-2，实时侦测笔记本81-2的屏幕的开合角度(如图中的箭头83-2所示)，笔记本81-2通过数据线，或者WiFi，或者蓝牙将数据同步到眼镜，眼镜相应调整虚拟图像的位姿。
本申请实施例的优势是：
1)、减少用户操作成本，提供更便捷，更智能的用户体验；
2)、能保证实体屏幕图像和虚拟图像的实时同步调整，在实体屏幕图像的姿态改变时，实体屏幕图像和虚拟图像能提供一致的阅读和观看体验。
本申请实施例还提供一种信息处理装置，该装置所包括的各模块、各模块所包括的各单元，可以通过信息处理装置的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
如图9所示，信息处理装置90包括：
建立模块901，用于建立第一图像的位姿与第二图像的位姿之间的关联关系；其中，所述第一图像为采集的电子设备的显示屏幕的图像，所述第二图像为增强现实AR设备生成的虚拟图像；
调整模块902，用于在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系，调整所述第二图像的位姿。
在一些实施例中，建立模块901，还用于确定与所述第一图像的位姿保持同步变化的第二图像，以建立所述第一图像的位姿与第二图像的位姿之间的联动关系。
在一些实施例中，信息处理装置90还包括：确定模块，用于确定所述第一图像与所述第二图像的相对显示关系；所述相对显示关系包括：距离和/或角度。
在一些实施例中，信息处理装置90还包括：检测模块，用于检测所述第一图像的位姿，并确定所述第一图像的位姿是否发生变化。
在一些实施例中，检测模块，还用于通过摄像头检测所述第一图像中的显示屏幕的位姿，得到所述第一图像的位姿；
在一些实施例中，检测模块，还用于通过与所述电子设备之间的连接，接收所述电子设备上的传感器所检测的显示屏幕的位姿，得到所述第一图像的位姿。
在一些实施例中，调整模块902，还用于根据所述关联关系和所述第一图像的位姿的变化量，调整所述第二图像的位姿。
在一些实施例中，所述位姿包括：六轴坐标信息，调整模块902还包括：第一确定单元和调整单元；其中，
第一确定单元，用于确定所述第二图像在所述第一图像的位姿发生变化之前的第一六轴坐标信息；
调整单元，用于根据所述第一图像的六轴坐标信息的变化量和所述第一六轴坐标信息，得到第二六轴坐标信息，并将所述第二图像的六轴坐标信息调整为所述第二六轴坐标信息。
需要说明的是：上述实施例提供的信息处理装置在信息处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的信息处理装置与信息处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图10所示的信息处理设备100包括：至少一个处理器1010、存储器1040、至少一个网络接口1020和用户接口1030。信息处理设备100中的各个组件通过总线系统1050耦合在一起。可理解，总线系统1050用于实现这些组件之间的连接通信。总线系统1050除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统1050。
用户接口1030可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
存储器1040可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器1040旨在包括任意适合类型的存储器。
本发明实施例中的存储器1040能够存储数据以支持信息处理设备100的操作。这些数据的示例包括：用于在信息处理设备100上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
其中，处理器1010用于运行所述计算机程序时，以实现上述实施例中提供的信息处理方法中的步骤。
作为本发明实施例提供的方法采用软硬件结合实施的示例，本发明实施例所提供的方法可以直接体现为由处理器1010执行的软件模块组合，例如本本发明实施例提供的信息处理装置，信息处理装置的软件模块可以存储于存储器1040，处理器1010读取存储器1040中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器1010以及连接到总线1050的其他组件)完成本发明实施例提供的信息处理方法。
作为示例，处理器1010可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
这里需要指出的是：以上信息处理设备实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本申请信息处理设备实施例中未披露的技术细节，本领域的技术人员请参照本申请方法实施例的描述而理解，为节约篇幅，这里不再赘述。
本申请实施例还提供一种信息处理系统，如图1所示，包括：电子设备11和增强现实AR设备12；其中，
电子设备11，用于在显示屏幕上显示第一图像；
AR设备12，用于建立所述第一图像的位姿与第二图像的位姿之间的关联关系，以及在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系，调整所述第二图像的位姿，其中，所述第二图像为AR设备生成的虚拟图像。
这里需要指出的是：以上信息处理系统实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本申请信息处理系统实施例中未披露的技术细节，本领域的技术人员请参照本申请方法实施例的描述而理解，为节约篇幅，这里不再赘述。
在示例性实施例中，本申请实施例还提供了一种存储介质，可以为计算机可读存储介质，例如包括存储计算机程序的存储器，上述计算机程序可由处理器处理，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器处理时实现上述实施例中提供的信息处理方法中的步骤。
这里需要指出的是：以上计算机介质实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本申请存储介质实施例中未披露的技术细节，本领域的技术人员请参照本申请方法实施例的描述而理解，为节约篇幅，这里不再赘述。
上述本申请实施例揭示的方法可以应用于所述处理器中，或者由所述处理器实现。所述处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过所述处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的所述处理器可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，所述处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。
可以理解，本申请实施例的存储器(存储器)可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccess Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域内的技术人员应明白，本申请实施例的信息处理方法的其他构成以及作用，对于本领域的技术人员而言都是已知的，为了减少冗余，本申请实施例不做赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同限定。

Claims (9)

1.一种信息处理方法，所述方法包括：
建立第一图像的位姿与第二图像的位姿之间的关联关系；其中，所述第一图像为采集的电子设备的显示屏幕的图像，所述第二图像为增强现实AR设备生成的虚拟图像；
检测所述第一图像的位姿，并确定所述第一图像的位姿是否发生变化；
在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系，调整所述第二图像的位姿。
2.根据权利要求1所述的方法，所述建立第一图像的位姿与第二图像的位姿之间的关联关系，包括：
确定与所述第一图像的位姿保持同步变化的第二图像，以建立所述第一图像的位姿与第二图像的位姿之间的联动关系。
3.根据权利要求1所述的方法，在建立第一图像的位姿与第二图像的位姿之间的关联关系之前，所述方法还包括：
确定所述第一图像与所述第二图像的相对显示关系；所述相对显示关系包括：距离和/或角度。
4.根据权利要求1所述的方法，所述检测所述第一图像的位姿，包括：
通过摄像头检测所述第一图像中的显示屏幕的位姿，得到所述第一图像的位姿。
5.根据权利要求1所述的方法，所述检测所述第一图像的位姿，包括：
通过与所述电子设备之间的连接，接收所述电子设备上的传感器所检测的显示屏幕的位姿，得到所述第一图像的位姿。
6.根据权利要求1至5任一项所述的方法，所述根据所述关联关系，调整所述第二图像的位姿，包括：
根据所述关联关系和所述第一图像的位姿的变化量，调整所述第二图像的位姿。
7.根据权利要求6所述的方法，所述位姿包括：六轴坐标信息；
所述根据所述关联关系和所述第一图像的位姿的变化量，调整所述第二图像的位姿，包括：
确定所述第二图像在所述第一图像的位姿发生变化之前的第一六轴坐标信息；
根据所述第一图像的六轴坐标信息的变化量和所述第一六轴坐标信息，得到第二六轴坐标信息，并将所述第二图像的六轴坐标信息调整为所述第二六轴坐标信息。
8.一种信息处理设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述信息处理方法。
9.一种信息处理系统，包括：电子设备和增强现实AR设备；其中，
所述电子设备，用于在显示屏幕上显示第一图像；
所述AR设备，用于建立所述第一图像的位姿与第二图像的位姿之间的关联关系，以及在检测到所述第一图像的位姿发生变化的情况下，根据所述关联关系，调整所述第二图像的位姿，其中，所述第二图像为AR设备生成的虚拟图像；
所述AR设备，还用于检测所述第一图像的位姿，并确定所述第一图像的位姿是否发生变化。
CN201911112664.6A 2019-11-14 2019-11-14 一种信息处理方法、设备及系统 Active CN111077999B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911112664.6A CN111077999B (zh) 2019-11-14 2019-11-14 一种信息处理方法、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911112664.6A CN111077999B (zh) 2019-11-14 2019-11-14 一种信息处理方法、设备及系统

Publications (2)

Publication Number Publication Date
CN111077999A CN111077999A (zh) 2020-04-28
CN111077999B true CN111077999B (zh) 2021-08-13

Family

ID=70310974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911112664.6A Active CN111077999B (zh) 2019-11-14 2019-11-14 一种信息处理方法、设备及系统

Country Status (1)

Country Link
CN (1) CN111077999B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612637A (zh) * 2022-03-15 2022-06-10 北京字跳网络技术有限公司 一种场景画面显示方法、装置、计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427102A (zh) * 2019-07-09 2019-11-08 河北经贸大学 一种混合现实实现系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866080B (zh) * 2014-02-24 2020-08-18 腾讯科技（深圳）有限公司 屏幕内容显示方法和系统
US9916002B2 (en) * 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
CN107229706A (zh) * 2017-05-25 2017-10-03 广州市动景计算机科技有限公司 一种基于增强现实的信息获取方法及其装置
EP3743901A4 (en) * 2018-01-25 2021-03-31 Facebook Technologies, Inc. REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES
CN108537889A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 增强现实模型的调整方法、装置、存储介质和电子设备
CN109300184A (zh) * 2018-09-29 2019-02-01 五八有限公司 Ar动态展示方法、装置、计算机设备及可读存储介质
CN109976523B (zh) * 2019-03-22 2021-05-18 联想(北京)有限公司 信息处理方法和电子设备
CN109992111B (zh) * 2019-03-25 2021-02-19 联想(北京)有限公司 增强现实扩展方法和电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427102A (zh) * 2019-07-09 2019-11-08 河北经贸大学 一种混合现实实现系统

Also Published As

Publication number Publication date
CN111077999A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
US20200327694A1 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
US20200334836A1 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
US20200327692A1 (en) Position and pose determining method, apparatus, smart device, and storage medium
US20180020158A1 (en) Camera Augmented Reality Based Activity History Tracking
CN109977333B (zh) 网页显示方法、装置、计算机设备及存储介质
KR101999154B1 (ko) 데이터 표시 방법 및 휴대 단말
WO2016134534A1 (zh) 自动调整摄像头的方法和电子设备
US11402992B2 (en) Control method, electronic device and non-transitory computer readable recording medium device
JP2021524957A (ja) 画像処理方法およびその、装置、端末並びにコンピュータプログラム
CN108462818B (zh) 电子设备及用于在该电子设备中显示360度图像的方法
US10564843B2 (en) Display device and method of displaying screen on said display device
US20190251672A1 (en) Display apparatus and image processing method thereof
CN105190504A (zh) 由陀螺仪和加速度计修改的基于触摸的手势
US10459596B2 (en) User interface display method and apparatus therefor
JP7487293B2 (ja) 仮想カメラの動きを制御する方法及び装置並びコンピュータ装置及びプログラム
US9411412B1 (en) Controlling a computing device based on user movement about various angular ranges
WO2022042425A1 (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN109829982B (zh) 模型匹配方法、装置、终端设备及存储介质
CN112230914A (zh) 小程序的制作方法、装置、终端及存储介质
US20170169546A1 (en) Method and electronic device for adjusting panoramic video
US9665249B1 (en) Approaches for controlling a computing device based on head movement
CN110968815B (zh) 页面刷新方法、装置、终端及存储介质
CN111077999B (zh) 一种信息处理方法、设备及系统
US20150160841A1 (en) Desktop-like device and method for displaying user interface
US10466814B2 (en) Electronic system, indicating device and operating method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant