CN106127858B - 一种信息处理方法及电子设备 - Google Patents
一种信息处理方法及电子设备 Download PDFInfo
- Publication number
- CN106127858B CN106127858B CN201610474237.2A CN201610474237A CN106127858B CN 106127858 B CN106127858 B CN 106127858B CN 201610474237 A CN201610474237 A CN 201610474237A CN 106127858 B CN106127858 B CN 106127858B
- Authority
- CN
- China
- Prior art keywords
- virtual object
- target
- content
- virtual
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
本发明公开了一种信息处理方法及电子设备，所述电子设备具有投影模块，利用所述投影模块能够向目标区域投射第一内容，所述方法包括：采集所述目标区域处的图像；对所述图像进行解析，提取出所述目标区域处的目标物体，并确定出所述目标物体的属性信息；根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象；结合所述虚拟对象和所述第一内容，生成第二内容；向所述目标区域投射所述第二内容。
Description
技术领域
本发明涉及增强现实技术，尤其涉及增强现实技术中的信息处理方法及电子设备。
背景技术
增强现实(AR，Augmented Reality)技术是把虚拟信息或对象融合到真实场景当中的一种技术，以实现用户与真实或虚拟客体/场景之间的交互。对于投影终端用户而言，真实和虚拟客体同时存在，目前的交互操作是在用户与虚拟客体之间，但是对于真实客体与虚拟客体之间的交互，以及基于这两种客体交互的基础上再与用户之间发生的交互，并没有相关解决方案。
发明内容
为解决上述技术问题，本发明实施例提供了一种信息处理方法及电子设备。
本发明实施例提供的信息处理方法，应用于电子设备，所述电子设备具有投影模块，利用所述投影模块能够向目标区域投射第一内容，所述方法包括：
采集所述目标区域处的图像；
对所述图像进行解析，提取出所述目标区域处的目标物体，并确定出所述目标物体的属性信息；
根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象；
结合所述虚拟对象和所述第一内容，生成第二内容；
向所述目标区域投射所述第二内容。
本发明实施例中，所述方法还包括：
根据所述目标物体的物理属性，生成所述目标物体对应的虚拟对象的画面；
向所述目标区域投射所述第二内容时，将所述虚拟对象的画面投射在对应的目标物体上。
本发明实施例中，所述对所述图像进行解析，提取出所述目标区域处的目标物体，并确定出所述目标物体的属性信息，包括：
对所述图像进行解析，提取出所述目标区域处的目标物体；
在数据库中查找与所述目标物体相匹配的类型标识，所述类型标识用于表征所述目标物体的属性信息。
本发明实施例中，所述方法还包括：
根据与所述目标物体相匹配的类型标识，确定所述虚拟对象对应的响应策略；
当所述第一内容中的第一对象相对于所述虚拟对象触发第一事件时，根据所述虚拟对象的响应策略，确定所述第一对象相对于所述虚拟对象响应的第二事件；
控制所述第一对象执行所述第二事件，以对所述第一事件进行响应。
本发明实施例中，当所述第一事件表明所述第一对象移动至所述虚拟对象时，所述根据所述虚拟对象的响应策略，确定所述第一对象相对于所述虚拟对象响应的第二事件，包括：
根据所述响应策略和所述虚拟对象的属性信息，调整所述第一对象的运动路径，其中，所述运动路径基于所述虚拟对象的位置而确定。
本发明实施例中，所述根据所述虚拟对象的响应策略，确定所述第一对象相对于所述虚拟对象响应的第二事件，包括：
根据所述响应策略和所述虚拟对象的属性信息，调整所述第一对象的显示效果；其中，所述显示效果基于所述虚拟对象作用在所述第一对象上的动作而确定。
本发明实施例中，所述方法还包括：
根据与所述目标物体相匹配的类型标识，确定所述虚拟对象对应的响应策略；
当获得针对所述虚拟对象的第三操作时，根据所述虚拟对象的响应策略，确定所述虚拟对象响应的第四操作；
控制所述虚拟对象执行所述第四操作，以对所述第三操作进行响应。
本发明实施例提供的电子设备具有投影模块，利用所述投影模块能够向目标区域投射第一内容，所述电子设备还包括：
图像采集模块，用于采集所述目标区域处的图像；
处理模块，用于对所述图像进行解析，提取出所述目标区域处的目标物体，并确定出所述目标物体的属性信息；根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象；结合所述虚拟对象和所述第一内容，生成第二内容；
所述投影模块，用于向所述目标区域投射所述第二内容。
本发明实施例中，所述处理模块，还用于根据所述目标物体的物理属性，生成所述目标物体对应的虚拟对象的画面；
所述投影模块，还用于向所述目标区域投射所述第二内容时，将所述虚拟对象的画面投射在对应的目标物体上。
本发明实施例中，所述处理模块，还用于对所述图像进行解析，提取出所述目标区域处的目标物体；在数据库中查找与所述目标物体相匹配的类型标识，所述类型标识用于表征所述目标物体的属性信息。
本发明实施例中，所述处理模块，还用于根据与所述目标物体相匹配的类型标识，确定所述虚拟对象对应的响应策略；当所述第一内容中的第一对象相对于所述虚拟对象触发第一事件时，根据所述虚拟对象的响应策略，确定所述第一对象相对于所述虚拟对象响应的第二事件；控制所述第一对象执行所述第二事件，以对所述第一事件进行响应。
本发明实施例中，所述处理模块，还用于根据所述响应策略和所述虚拟对象的属性信息，调整所述第一对象的运动路径，其中，所述运动路径基于所述虚拟对象的位置而确定。
本发明实施例中，所述处理模块，还用于根据所述响应策略和所述虚拟对象的属性信息，调整所述第一对象的显示效果；其中，所述显示效果基于所述虚拟对象作用在所述第一对象上的动作而确定。
本发明实施例中，所述处理模块，还用于根据与所述目标物体相匹配的类型标识，确定所述虚拟对象对应的响应策略；当获得针对所述虚拟对象的第三操作时，根据所述虚拟对象的响应策略，确定所述虚拟对象响应的第四操作；控制所述虚拟对象执行所述第四操作，以对所述第三操作进行响应。
本发明实施例的技术方案中，电子设备具有投影模块，利用所述投影模块能够向目标区域投射第一内容。采集所述目标区域处的图像；对所述图像进行解析，提取出所述目标区域处的目标物体，并确定出所述目标物体的属性信息；根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象；结合所述虚拟对象和所述第一内容，生成第二内容；向所述目标区域投射所述第二内容。可见，本发明实施例将现实环境中的真实对象虚拟化为虚拟对象，这样，使用户/真实客体/虚拟客体三者之间均能够实现交互，增强用户对真实世界的感知，尤其是加强了用户在投影环境下的沉浸感。
附图说明
图1为本发明实施例一的信息处理方法的流程示意图；
图2为本发明实施例二的信息处理方法的流程示意图；
图3为本发明实施例三的信息处理方法的流程示意图；
图4为本发明实施例四的信息处理方法的流程示意图；
图5为本发明实施例五至实施例八的电子设备的结构组成示意图。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。
图1为本发明实施例一的信息处理方法的流程示意图，本示例中的信息处理方法应用于电子设备，所述电子设备具有投影模块，利用所述投影模块能够向目标区域投射第一内容；如图1所示，所述电子设备包括：
步骤101：采集所述目标区域处的图像。
本发明实施例中，电子设备可以是手机、平板电脑、笔记本等电子设备。所述电子设备具有投影模块，例如投影仪，利用投影模块能够向目标区域投射第一内容。这里，目标区域是指投影模块能够将光线投射到的区域范围，目标区域与投影模块的光学参数相关，也与投影模块相对于投影面的距离相关。实际应用中，将电子设备中的投影模块置于特定位置时，该投影模块向投影面投射光线的区域即为目标区域。
本发明实施例中，投影模块投射出的第一内容的形式多样，可以是一段视频或一个游戏界面等，其中，第一内容中包括第一对象，第一对象指代第一内容中的虚拟物体，例如游戏中的人物。
本发明实施例中，电子设备还具有图像采集模块，例如摄像头，在一实施方式中，所述摄像头为三维(3D)景深摄像机，利用3D景深摄像机能够采集三维图像信息。
本发明实施例中，电子设备利用投影模块向目标区域投射第一内容时，可以利用图像采集模块采集目标区域的图像。这里，目标区域的图像表征了目标区域处的真实客体或者真实场景。
步骤102：对所述图像进行解析，提取出所述目标区域处的目标物体，并确定出所述目标物体的属性信息。
本发明实施例中，采集到目标区域处的图像后，对所述图像进行解析，提取出所述目标区域处的目标物体，这里，所述目标物体即为真实场景中的真实客体。
本发明实施例中，每个目标物体均对应一个属性信息，该属性信息表明了目标物体是何种物体，例如桌子、凳子、相框等等；或该属性信息表明目标物体的物理属性，如硬度、温度、高度等等。
具体实现时，确定出所述目标物体的属性信息即为识别真实客体信息：通过3D景深摄像机采集真实客体的图像，通过图像匹配，得到真实客体的属性信息，即识别到该真实客体是什么，更为具体地，还可以识别出该真实客体的尺寸形状以及静态物理信息、运动状态信息等。
步骤103：根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象。
本发明实施例中，通过解析得到所述目标物体的属性信息后，根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象，即为真实客体对应的虚拟对象。
步骤104：结合所述虚拟对象和所述第一内容，生成第二内容；向所述目标区域投射所述第二内容。
本发明实施例中，第二内容基于所述虚拟对象和所述第一内容而生成，其中，虚拟对象代表了真实客体，第一内容代表了虚拟场景，而虚拟场景中具有其他虚拟对象。
本发明实施例中，向所述目标区域投射所述第二内容以对第二内容进行显示，用于看到的第二内容分为以下几种情况：
第一种情况，第二内容中对原来的第一内容进行显示，而虚拟对象不显示。
第二种情况，第二内容中同时对原来的第一内容和虚拟对象进行显示。
第三种情况，第二内容中对原来的第一内容进行显示，但是，显示的第一内容将改变原来的显示效果，改变的方式基于虚拟对象而确定，这种情况下，虚拟对象对原来的第一内容实施了视觉交互，视觉交互包括虚实客体间的阴影/遮挡/各类反射/折射和颜色渗透等。
第四种情况，第二内容中时对原来的第一内容和虚拟对象进行显示，并且，显示的第一内容以及虚拟对象的显示效果，基于两者之间的视觉交互而确定，视觉交互包括虚实客体间的阴影/遮挡/各类反射/折射和颜色渗透等。
本发明实施例将基于真实客体生成的虚拟对象融入进行虚拟场景中，作为虚拟场景的一部分。这样，真实客体加上原有的虚拟场景，转化成为一个新的增强现实的场景，从而实现了虚实客体的结合。
图2为本发明实施例二的信息处理方法的流程示意图，本示例中的信息处理方法应用于电子设备，所述电子设备具有投影模块，利用所述投影模块能够向目标区域投射第一内容；如图2所示，所述电子设备包括：
步骤201：采集所述目标区域处的图像。
本发明实施例中，电子设备可以是手机、平板电脑、笔记本等电子设备。所述电子设备具有投影模块，例如投影仪，利用投影模块能够向目标区域投射第一内容。这里，目标区域是指投影模块能够将光线投射到的区域范围，目标区域与投影模块的光学参数相关，也与投影模块相对于投影面的距离相关。实际应用中，将电子设备中的投影模块置于特定位置时，该投影模块向投影面投射光线的区域即为目标区域。
本发明实施例中，投影模块投射出的第一内容的形式多样，可以是一段视频或一个游戏界面等，其中，第一内容中包括第一对象，第一对象指代第一内容中的虚拟物体，例如游戏中的人物。
本发明实施例中，电子设备还具有图像采集模块，例如摄像头，在一实施方式中，所述摄像头为三维(3D)景深摄像机，利用3D景深摄像机能够采集三维图像信息。
本发明实施例中，电子设备利用投影模块向目标区域投射第一内容时，可以利用图像采集模块采集目标区域的图像。这里，目标区域的图像表征了目标区域处的真实客体或者真实场景。
步骤202：对所述图像进行解析，提取出所述目标区域处的目标物体，并确定出所述目标物体的属性信息。
本发明实施例中，采集到目标区域处的图像后，对所述图像进行解析，提取出所述目标区域处的目标物体，这里，所述目标物体即为真实场景中的真实客体。
本发明实施例中，每个目标物体均对应一个属性信息，该属性信息表明了目标物体是何种物体，例如桌子、凳子、相框等等；或该属性信息表明目标物体的物理属性，如硬度、温度、高度等等。
具体实现时，确定出所述目标物体的属性信息即为识别真实客体信息：通过3D景深摄像机采集真实客体的图像，通过图像匹配，得到真实客体的属性信息，即识别到该真实客体是什么，更为具体地，还可以识别出该真实客体的尺寸形状以及静态物理信息、运动状态信息等。
步骤203：根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象。
本发明实施例中，通过解析得到所述目标物体的属性信息后，根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象，即为真实客体对应的虚拟对象。
步骤204：结合所述虚拟对象和所述第一内容，生成第二内容。
本发明实施例中，第二内容基于所述虚拟对象和所述第一内容而生成，其中，虚拟对象代表了真实客体，第一内容代表了虚拟场景，而虚拟场景中具有其他虚拟对象。
步骤205：根据所述目标物体的物理属性，生成所述目标物体对应的虚拟对象的画面；向所述目标区域投射所述第二内容时，将所述虚拟对象的画面投射在对应的目标物体上。
本发明实施例中，向所述目标区域投射所述第二内容以对第二内容进行显示，具体地，显示原来第一内容的同时，将所述虚拟对象的画面投射在对应的目标物体上。第二内容中即包括了原来的第一内容，也包括了虚拟对象的画面。在一实现方式中，第一内容以及虚拟对象画面的显示效果，基于两者之间的视觉交互而确定，视觉交互包括虚实客体间的阴影/遮挡/各类反射/折射和颜色渗透等。
本发明实施例将基于真实客体生成的虚拟对象融入进行虚拟场景中，作为虚拟场景的一部分。这样，真实客体加上原有的虚拟场景，转化成为一个新的增强现实的场景，从而实现了虚实客体的结合。
图3为本发明实施例三的信息处理方法的流程示意图，本示例中的信息处理方法应用于电子设备，所述电子设备具有投影模块，利用所述投影模块能够向目标区域投射第一内容；如图3所示，所述电子设备包括：
步骤301：采集所述目标区域处的图像。
本发明实施例中，电子设备可以是手机、平板电脑、笔记本等电子设备。所述电子设备具有投影模块，例如投影仪，利用投影模块能够向目标区域投射第一内容。这里，目标区域是指投影模块能够将光线投射到的区域范围，目标区域与投影模块的光学参数相关，也与投影模块相对于投影面的距离相关。实际应用中，将电子设备中的投影模块置于特定位置时，该投影模块向投影面投射光线的区域即为目标区域。
本发明实施例中，投影模块投射出的第一内容的形式多样，可以是一段视频或一个游戏界面等，其中，第一内容中包括第一对象，第一对象指代第一内容中的虚拟物体，例如游戏中的人物。
本发明实施例中，电子设备还具有图像采集模块，例如摄像头，在一实施方式中，所述摄像头为三维(3D)景深摄像机，利用3D景深摄像机能够采集三维图像信息。
本发明实施例中，电子设备利用投影模块向目标区域投射第一内容时，可以利用图像采集模块采集目标区域的图像。这里，目标区域的图像表征了目标区域处的真实客体或者真实场景。
步骤302：对所述图像进行解析，提取出所述目标区域处的目标物体；在数据库中查找与所述目标物体相匹配的类型标识，所述类型标识用于表征所述目标物体的属性信息。
本发明实施例中，采集到目标区域处的图像后，对所述图像进行解析，提取出所述目标区域处的目标物体，这里，所述目标物体即为真实场景中的真实客体。
本发明实施例中，每个目标物体均对应一个属性信息，该属性信息表明了目标物体是何种物体，例如桌子、凳子、相框等等；或该属性信息表明目标物体的物理属性，如硬度、温度、高度等等。
具体实现时，确定出所述目标物体的属性信息即为识别真实客体信息：通过3D景深摄像机采集真实客体的图像，通过图像匹配，得到真实客体的属性信息，即识别到该真实客体是什么，更为具体地，还可以识别出该真实客体的尺寸形状以及静态物理信息、运动状态信息等。
本发明实施例中，数据库存储了多个物体对应的类型标识，所述类型标识用于表征所述物体的属性信息，即该物体为什么物体。通过在数据库中查找与所述目标物体相匹配的类型标识，即可确定所述目标物体的属性信息。
步骤303：根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象。
本发明实施例中，通过解析得到所述目标物体的属性信息后，根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象，即为真实客体对应的虚拟对象。
步骤304：结合所述虚拟对象和所述第一内容，生成第二内容；向所述目标区域投射所述第二内容。
本发明实施例中，第二内容基于所述虚拟对象和所述第一内容而生成，其中，虚拟对象代表了真实客体，第一内容代表了虚拟场景，而虚拟场景中具有其他虚拟对象。
本发明实施例中，向所述目标区域投射所述第二内容以对第二内容进行显示，用于看到的第二内容分为以下几种情况：
第一种情况，第二内容中对原来的第一内容进行显示，而虚拟对象不显示。
第二种情况，第二内容中同时对原来的第一内容和虚拟对象进行显示。
第三种情况，第二内容中对原来的第一内容进行显示，但是，显示的第一内容将改变原来的显示效果，改变的方式基于虚拟对象而确定，这种情况下，虚拟对象对原来的第一内容实施了视觉交互，视觉交互包括虚实客体间的阴影/遮挡/各类反射/折射和颜色渗透等。
第四种情况，第二内容中时对原来的第一内容和虚拟对象进行显示，并且，显示的第一内容以及虚拟对象的显示效果，基于两者之间的视觉交互而确定，视觉交互包括虚实客体间的阴影/遮挡/各类反射/折射和颜色渗透等。
本发明实施例将基于真实客体生成的虚拟对象融入进行虚拟场景中，作为虚拟场景的一部分。这样，真实客体加上原有的虚拟场景，转化成为一个新的增强现实的场景，从而实现了虚实客体的结合。
步骤305：根据与所述目标物体相匹配的类型标识，确定所述虚拟对象对应的响应策略；当所述第一内容中的第一对象相对于所述虚拟对象触发第一事件时，根据所述虚拟对象的响应策略，确定所述第一对象相对于所述虚拟对象响应的第二事件；控制所述第一对象执行所述第二事件，以对所述第一事件进行响应。
本发明实施例中，虚拟对象作为虚拟场景中与真实客体对应的一个对象，能够与原来虚拟场景中的其他虚拟对象(即第一内容中的第一对象)进行交互，如符合物理规则交互，符合物理规则交互包括虚实客体间运动学上的约束/碰撞检测和受外力影响产生的物理响应等，还包括温度变化、形状变化等。
基于此，不同的虚拟对象对应的响应策略不同，基于与所述目标物体相匹配的类型标识，可确定出所述虚拟对象对应的响应策略。
例如，第一内容中的第一对象为游戏中的人物，而虚拟对象对应于真实客体的障碍物，当游戏中的人物走到真实客体处时，真实客体则被视为障碍物，本发明实施例中，将第一对象相对于所述虚拟对象的相互作用称为第一事件，将虚拟对象相对于第一对象的相互作用称为第二事件，事件的具体内容包括虚实客体间运动学上的约束/碰撞检测和受外力影响产生的物理响应等，还包括温度变化、形状变化等。
在一实施方式中，根据所述响应策略和所述虚拟对象的属性信息，调整所述第一对象的运动路径，其中，所述运动路径基于所述虚拟对象的位置而确定。
例如，将愤怒的小鸟(第一对象)投影到墙壁上，小鸟(第一对象)与挂在墙壁上的真实画框(真实客体对应的虚拟对象)都存在，当小鸟碰到画框后会被画框弹回。
在一实施方式中，根据所述响应策略和所述虚拟对象的属性信息，调整所述第一对象的显示效果；其中，所述显示效果基于所述虚拟对象作用在所述第一对象上的动作而确定。
例如，第一对象靠近虚拟对象进行相互作用后改变第一对象的属性和/或显示效果，以虚拟对象为风扇，第一对象为游戏人物为例，游戏人物经过风扇后，衣服头发被风扇吹起。
图4为本发明实施例四的信息处理方法的流程示意图，本示例中的信息处理方法应用于电子设备，所述电子设备具有投影模块，利用所述投影模块能够向目标区域投射第一内容；如图4所示，所述电子设备包括：
步骤401：采集所述目标区域处的图像。
本发明实施例中，电子设备可以是手机、平板电脑、笔记本等电子设备。所述电子设备具有投影模块，例如投影仪，利用投影模块能够向目标区域投射第一内容。这里，目标区域是指投影模块能够将光线投射到的区域范围，目标区域与投影模块的光学参数相关，也与投影模块相对于投影面的距离相关。实际应用中，将电子设备中的投影模块置于特定位置时，该投影模块向投影面投射光线的区域即为目标区域。
本发明实施例中，投影模块投射出的第一内容的形式多样，可以是一段视频或一个游戏界面等，其中，第一内容中包括第一对象，第一对象指代第一内容中的虚拟物体，例如游戏中的人物。
本发明实施例中，电子设备还具有图像采集模块，例如摄像头，在一实施方式中，所述摄像头为三维(3D)景深摄像机，利用3D景深摄像机能够采集三维图像信息。
本发明实施例中，电子设备利用投影模块向目标区域投射第一内容时，可以利用图像采集模块采集目标区域的图像。这里，目标区域的图像表征了目标区域处的真实客体或者真实场景。
步骤402：对所述图像进行解析，提取出所述目标区域处的目标物体；在数据库中查找与所述目标物体相匹配的类型标识，所述类型标识用于表征所述目标物体的属性信息。
本发明实施例中，采集到目标区域处的图像后，对所述图像进行解析，提取出所述目标区域处的目标物体，这里，所述目标物体即为真实场景中的真实客体。
本发明实施例中，每个目标物体均对应一个属性信息，该属性信息表明了目标物体是何种物体，例如桌子、凳子、相框等等。
具体实现时，确定出所述目标物体的属性信息即为识别真实客体信息：通过3D景深摄像机采集真实客体的图像，通过图像匹配，得到真实客体的属性信息，即识别到该真实客体是什么，更为具体地，还可以识别出该真实客体的尺寸形状以及静态物理信息、运动状态信息等。
本发明实施例中，数据库存储了多个物体对应的类型标识，所述类型标识用于表征所述物体的属性信息，即该物体为什么物体。通过在数据库中查找与所述目标物体相匹配的类型标识，即可确定所述目标物体的属性信息。
步骤403：根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象。
本发明实施例中，通过解析得到所述目标物体的属性信息后，根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象，即为真实客体对应的虚拟对象。
步骤404：结合所述虚拟对象和所述第一内容，生成第二内容；向所述目标区域投射所述第二内容。
本发明实施例中，第二内容基于所述虚拟对象和所述第一内容而生成，其中，虚拟对象代表了真实客体，第一内容代表了虚拟场景，而虚拟场景中具有其他虚拟对象。
本发明实施例中，向所述目标区域投射所述第二内容以对第二内容进行显示，用于看到的第二内容分为以下几种情况：
第一种情况，第二内容中对原来的第一内容进行显示，而虚拟对象不显示。
第二种情况，第二内容中同时对原来的第一内容和虚拟对象进行显示。
第三种情况，第二内容中对原来的第一内容进行显示，但是，显示的第一内容将改变原来的显示效果，改变的方式基于虚拟对象而确定，这种情况下，虚拟对象对原来的第一内容实施了视觉交互，视觉交互包括虚实客体间的阴影/遮挡/各类反射/折射和颜色渗透等。
第四种情况，第二内容中时对原来的第一内容和虚拟对象进行显示，并且，显示的第一内容以及虚拟对象的显示效果，基于两者之间的视觉交互而确定，视觉交互包括虚实客体间的阴影/遮挡/各类反射/折射和颜色渗透等。
本发明实施例将基于真实客体生成的虚拟对象融入进行虚拟场景中，作为虚拟场景的一部分。这样，真实客体加上原有的虚拟场景，转化成为一个新的增强现实的场景，从而实现了虚实客体的结合。
步骤405：根据与所述目标物体相匹配的类型标识，确定所述虚拟对象对应的响应策略；当获得针对所述虚拟对象的第三操作时，根据所述虚拟对象的响应策略，确定所述虚拟对象响应的第四操作；控制所述虚拟对象执行所述第四操作，以对所述第三操作进行响应。
本发明实施例中，虚拟对象作为虚拟场景中与真实客体对应的一个对象，能够与用户进行交互。
基于此，不同的虚拟对象对应的响应策略不同，基于与所述目标物体相匹配的类型标识，可确定出所述虚拟对象对应的响应策略。
用户不仅可以对虚拟场景中原来的第一对象实施交互操作，还可以对真实客体对应的虚拟对象实施交互操作，从而实现用户/真实客体/虚拟客体三者之间均产生交互。
图5为本发明实施例五的电子设备的结构组成示意图，如图5所示，所述电子设备具有投影模块51，利用所述投影模块51能够向目标区域投射第一内容，所述电子设备还包括：
图像采集模块52，用于采集所述目标区域处的图像；
处理模块53，用于对所述图像进行解析，提取出所述目标区域处的目标物体，并确定出所述目标物体的属性信息；根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象；结合所述虚拟对象和所述第一内容，生成第二内容；
所述投影模块51，用于向所述目标区域投射所述第二内容。
本领域技术人员应当理解，图5所示的电子设备中的各单元的实现功能可参照前述信息处理方法的相关描述而理解。
在本发明实施例六中，所述处理模块53，还用于根据所述目标物体的物理属性，生成所述目标物体对应的虚拟对象的画面；
所述投影模块，还用于向所述目标区域投射所述第二内容时，将所述虚拟对象的画面投射在对应的目标物体上。
在本发明实施例七中，所述处理模块53，还用于对所述图像进行解析，提取出所述目标区域处的目标物体；在数据库中查找与所述目标物体相匹配的类型标识，所述类型标识用于表征所述目标物体的属性信息。
所述处理模块53，还用于根据与所述目标物体相匹配的类型标识，确定所述虚拟对象对应的响应策略；当所述第一内容中的第一对象相对于所述虚拟对象触发第一事件时，根据所述虚拟对象的响应策略，确定所述第一对象相对于所述虚拟对象响应的第二事件；控制所述第一对象执行所述第二事件，以对所述第一事件进行响应。
所述处理模块53，还用于根据所述响应策略和所述虚拟对象的属性信息，调整所述第一对象的运动路径，其中，所述运动路径基于所述虚拟对象的位置而确定。
所述处理模块53，还用于根据所述响应策略和所述虚拟对象的属性信息，调整所述第一对象的显示效果；其中，所述显示效果基于所述虚拟对象作用在所述第一对象上的动作而确定。
在本发明实施例八中，所述处理模块53，还用于根据与所述目标物体相匹配的类型标识，确定所述虚拟对象对应的响应策略；当获得针对所述虚拟对象的第三操作时，根据所述虚拟对象的响应策略，确定所述虚拟对象响应的第四操作；控制所述虚拟对象执行所述第四操作，以对所述第三操作进行响应。
本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (13)
1.一种信息处理方法，应用于电子设备，所述电子设备具有投影模块，利用所述投影模块能够向目标区域投射第一内容，所述方法包括：
采集所述目标区域处的图像；
对所述图像进行解析，提取出所述目标区域处的目标物体，并确定出所述目标物体的属性信息；所述属性信息表明了目标物体是何种物体或目标物体的物理属性；
根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象；其中，所述虚拟对象用于表征所述目标物体；
结合所述虚拟对象和所述第一内容，生成第二内容；
向所述目标区域投射所述第二内容；
所述方法还包括：
根据所述目标物体的物理属性，生成所述目标物体对应的虚拟对象的画面；
向所述目标区域投射所述第二内容时，将所述虚拟对象的画面投射在对应的目标物体上。
2.根据权利要求1所述的信息处理方法，所述对所述图像进行解析，提取出所述目标区域处的目标物体，并确定出所述目标物体的属性信息，包括：
对所述图像进行解析，提取出所述目标区域处的目标物体；
在数据库中查找与所述目标物体相匹配的类型标识，所述类型标识用于表征所述目标物体的属性信息。
3.根据权利要求2所述的信息处理方法，所述方法还包括：
根据与所述目标物体相匹配的类型标识，确定所述虚拟对象对应的响应策略；
当所述第一内容中的第一对象相对于所述虚拟对象触发第一事件时，根据所述虚拟对象的响应策略，确定所述虚拟对象相对于所述第一对象响应的第二事件；
控制所述虚拟对象执行所述第二事件，以对所述第一事件进行响应。
4.根据权利要求3所述的信息处理方法，当所述第一事件表明所述第一对象移动至所述虚拟对象时，所述根据所述虚拟对象的响应策略，确定所述第一对象相对于所述虚拟对象响应的第二事件，包括：
根据所述响应策略和所述虚拟对象的属性信息，调整所述第一对象的运动路径，其中，所述运动路径基于所述虚拟对象的位置而确定。
5.根据权利要求3所述的信息处理方法，所述根据所述虚拟对象的响应策略，确定所述第一对象相对于所述虚拟对象响应的第二事件，包括：
根据所述响应策略和所述虚拟对象的属性信息，调整所述第一对象的显示效果；其中，所述显示效果基于所述虚拟对象作用在所述第一对象上的动作而确定。
6.根据权利要求2所述的信息处理方法，所述方法还包括：
根据与所述目标物体相匹配的类型标识，确定所述虚拟对象对应的响应策略；
当获得针对所述虚拟对象的第三操作时，根据所述虚拟对象的响应策略，确定所述虚拟对象响应的第四操作；
控制所述虚拟对象执行所述第四操作，以对所述第三操作进行响应。
7.一种电子设备，所述电子设备具有投影模块，利用所述投影模块能够向目标区域投射第一内容，所述电子设备还包括：
图像采集模块，用于采集所述目标区域处的图像；
处理模块，用于对所述图像进行解析，提取出所述目标区域处的目标物体，并确定出所述目标物体的属性信息；所述属性信息表明了目标物体是何种物体或目标物体的物理属性；根据所述目标物体的属性信息生成与所述目标物体对应的虚拟对象；其中，所述虚拟对象用于表征所述目标物体；结合所述虚拟对象和所述第一内容，生成第二内容；
所述投影模块，用于向所述目标区域投射所述第二内容。
8.根据权利要求7所述的电子设备，所述处理模块，还用于根据所述目标物体的物理属性，生成所述目标物体对应的虚拟对象的画面；
所述投影模块，还用于向所述目标区域投射所述第二内容时，将所述虚拟对象的画面投射在对应的目标物体上。
9.根据权利要求7所述的电子设备，所述处理模块，还用于对所述图像进行解析，提取出所述目标区域处的目标物体；在数据库中查找与所述目标物体相匹配的类型标识，所述类型标识用于表征所述目标物体的属性信息。
10.根据权利要求 9所述的电子设备，所述处理模块，还用于根据与所述目标物体相匹配的类型标识，确定所述虚拟对象对应的响应策略；当所述第一内容中的第一对象相对于所述虚拟对象触发第一事件时，根据所述虚拟对象的响应策略，确定所述虚拟对象相对于所述第一对象响应的第二事件；控制所述虚拟对象执行所述第二事件，以对所述第一事件进行响应。
11.根据权利要求10所述的电子设备，所述处理模块，还用于根据所述响应策略和所述虚拟对象的属性信息，调整所述第一对象的运动路径，其中，所述运动路径基于所述虚拟对象的位置而确定。
12.根据权利要求10所述的电子设备，所述处理模块，还用于根据所述响应策略和所述虚拟对象的属性信息，调整所述第一对象的显示效果；其中，所述显示效果基于所述虚拟对象作用在所述第一对象上的动作而确定。
13.根据权利要求9所述的电子设备，所述处理模块，还用于根据与所述目标物体相匹配的类型标识，确定所述虚拟对象对应的响应策略；当获得针对所述虚拟对象的第三操作时，根据所述虚拟对象的响应策略，确定所述虚拟对象响应的第四操作；控制所述虚拟对象执行所述第四操作，以对所述第三操作进行响应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610474237.2A CN106127858B (zh) | 2016-06-24 | 2016-06-24 | 一种信息处理方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610474237.2A CN106127858B (zh) | 2016-06-24 | 2016-06-24 | 一种信息处理方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106127858A CN106127858A (zh) | 2016-11-16 |
| CN106127858B true CN106127858B (zh) | 2020-06-23 |
Family
ID=57266003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610474237.2A Active CN106127858B (zh) | 2016-06-24 | 2016-06-24 | 一种信息处理方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106127858B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111093066A (zh) * | 2019-12-03 | 2020-05-01 | 耀灵人工智能(浙江)有限公司 | 一种动态平面投影方法及系统 |
| CN111162840B (zh) * | 2020-04-02 | 2020-09-29 | 北京外号信息技术有限公司 | 用于设置光通信装置周围的虚拟对象的方法和系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101067716A (zh) * | 2007-05-29 | 2007-11-07 | 南京航空航天大学 | 具有视线跟踪功能的增强现实自然交互式头盔 |
| CN101551732A (zh) * | 2009-03-24 | 2009-10-07 | 上海水晶石信息技术有限公司 | 带有交互功能的增强现实的方法及其系统 |
| CN103201731A (zh) * | 2010-12-02 | 2013-07-10 | 英派尔科技开发有限公司 | 增强现实系统 |
| CN103366610A (zh) * | 2013-07-03 | 2013-10-23 | 熊剑明 | 基于增强现实的三维互动学习系统及方法 |
| CN103426003A (zh) * | 2012-05-22 | 2013-12-04 | 腾讯科技（深圳）有限公司 | 增强现实交互的实现方法和系统 |
| CN103500465A (zh) * | 2013-09-13 | 2014-01-08 | 西安工程大学 | 基于增强现实技术的古代文物场景快速渲染方法 |
| CN104571532A (zh) * | 2015-02-04 | 2015-04-29 | 网易有道信息技术（北京）有限公司 | 一种实现增强现实或虚拟现实的方法及装置 |
| CN105261041A (zh) * | 2015-10-19 | 2016-01-20 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| US9286725B2 (en) * | 2013-11-14 | 2016-03-15 | Nintendo Co., Ltd. | Visually convincing depiction of object interactions in augmented reality images |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7215322B2 (en) * | 2001-05-31 | 2007-05-08 | Siemens Corporate Research, Inc. | Input devices for augmented reality applications |
| WO2005066744A1 (en) * | 2003-12-31 | 2005-07-21 | Abb Research Ltd | A virtual control panel |
| CN101183276A (zh) * | 2007-12-13 | 2008-05-21 | 上海交通大学 | 基于摄像头投影仪技术的交互系统 |
| CN104331929B (zh) * | 2014-10-29 | 2018-02-02 | 深圳先进技术研究院 | 基于视频地图与增强现实的犯罪现场还原方法 |
-
2016
- 2016-06-24 CN CN201610474237.2A patent/CN106127858B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101067716A (zh) * | 2007-05-29 | 2007-11-07 | 南京航空航天大学 | 具有视线跟踪功能的增强现实自然交互式头盔 |
| CN101551732A (zh) * | 2009-03-24 | 2009-10-07 | 上海水晶石信息技术有限公司 | 带有交互功能的增强现实的方法及其系统 |
| CN103201731A (zh) * | 2010-12-02 | 2013-07-10 | 英派尔科技开发有限公司 | 增强现实系统 |
| CN103426003A (zh) * | 2012-05-22 | 2013-12-04 | 腾讯科技（深圳）有限公司 | 增强现实交互的实现方法和系统 |
| CN103366610A (zh) * | 2013-07-03 | 2013-10-23 | 熊剑明 | 基于增强现实的三维互动学习系统及方法 |
| CN103500465A (zh) * | 2013-09-13 | 2014-01-08 | 西安工程大学 | 基于增强现实技术的古代文物场景快速渲染方法 |
| US9286725B2 (en) * | 2013-11-14 | 2016-03-15 | Nintendo Co., Ltd. | Visually convincing depiction of object interactions in augmented reality images |
| CN104571532A (zh) * | 2015-02-04 | 2015-04-29 | 网易有道信息技术（北京）有限公司 | 一种实现增强现实或虚拟现实的方法及装置 |
| CN105261041A (zh) * | 2015-10-19 | 2016-01-20 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106127858A (zh) | 2016-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102292537B1 (ko) | 이미지 처리 방법 및 장치, 및 저장 매체 | |
| KR101930657B1 (ko) | 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법 | |
| CN106662930B (zh) | 用于调整所捕获的图像的视角以供显示的技术 | |
| CN110716645A (zh) | 一种增强现实数据呈现方法、装置、电子设备及存储介质 | |
| WO2023279705A1 (zh) | 直播方法、装置、系统、计算机设备、存储介质及程序 | |
| US10380803B1 (en) | Methods and systems for virtualizing a target object within a mixed reality presentation | |
| US20170372449A1 (en) | Smart capturing of whiteboard contents for remote conferencing | |
| JP6276394B2 (ja) | 画像キャプチャ入力および投影出力 | |
| US20120011454A1 (en) | Method and system for intelligently mining data during communication streams to present context-sensitive advertisements using background substitution | |
| KR20140082610A (ko) | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 | |
| EP2852161A1 (en) | Method and device for implementing stereo imaging | |
| CN112771856B (zh) | 可分离失真视差确定 | |
| CN105611267B (zh) | 现实世界和虚拟世界图像基于深度和色度信息的合并 | |
| US20150120496A1 (en) | Shopping System | |
| CN112882576B (zh) | Ar交互方法、装置、电子设备及存储介质 | |
| CN109582122A (zh) | 增强现实信息提供方法、装置及电子设备 | |
| Greenwald et al. | Eye gaze tracking with google cardboard using purkinje images | |
| CN111862866A (zh) | 图像显示方法、装置、设备及计算机可读存储介质 | |
| CN106127858B (zh) | 一种信息处理方法及电子设备 | |
| KR101308184B1 (ko) | 윈도우 형태의 증강현실을 제공하는 장치 및 방법 | |
| JP5776471B2 (ja) | 画像表示システム | |
| CN109885172B (zh) | 一种基于增强现实ar的对象互动展示方法及系统 | |
| JP5850188B2 (ja) | 画像表示システム | |
| CN104298350B (zh) | 一种信息处理方法及穿戴式电子设备 | |
| Narducci et al. | Enabling consistent hand-based interaction in mixed reality by occlusions handling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |