CN117666884A - 一种交互处理方法及装置 - Google Patents
一种交互处理方法及装置 Download PDFInfo
- Publication number
- CN117666884A CN117666884A CN202311865646.1A CN202311865646A CN117666884A CN 117666884 A CN117666884 A CN 117666884A CN 202311865646 A CN202311865646 A CN 202311865646A CN 117666884 A CN117666884 A CN 117666884A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- electronic device
- dimensional object
- operated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 230000002452 interceptive effect Effects 0.000 title abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 54
- 230000008569 process Effects 0.000 claims abstract description 28
- 230000003993 interaction Effects 0.000 claims description 84
- 230000008859 change Effects 0.000 claims description 51
- 230000016776 visual perception Effects 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 36
- 238000011156 evaluation Methods 0.000 claims description 34
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 abstract description 7
- 230000006399 behavior Effects 0.000 description 88
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000012552 review Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 101100505760 Mus musculus Gsap gene Proteins 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开一种交互处理方法及装置,确定目标操作的被操作对象,目标操作可以包括作用于第一电子设备的操作和/或作用于第二电子设备的操作,被操作对象可以是指目标操作所指示的需要操作的对象。接着,对三维立体对象执行对应被操作对象的目标处理,以向第一电子设备和/或第二电子设备输出目标内容。其中,三维立体对象能够展示在第一电子设备和/或第二电子设备的目标输出区域,被操作对象属于或不属于三维立体对象,目标内容属于或不属于三维立体对象。其中,目标处理是对应被操作对象的,被操作对象是目标操作的。通过这种方式,能够根据实际需求发起目标操作,以触发执行目标处理的步骤,以向电子设备输出目标内容,更加灵活,便于交互。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种交互处理方法及装置。
背景技术
随着互联网技术的不断发展,在线共享成为一种办公、协作、分享的常用方式。基于在线共享,可以共享展示同样的展示区域,该展示区域可以包括需要共享的内容(如办公内容等)。
在实际应用中,在进行共享展示时,发起方可以发起共享展示,其他方可以通过参与共享展示,从而看到共享展示的展示区域。例如,针对二维的视图和画面,可以将其作为共享的内容进行共享展示,多方通过参与共享展示可以对二维的视图和画面进行沟通等。又如,针对一些三维立体对象(如三维模型等),也可以作为共享的内容进行共享展示。
可以理解的是,三维立体对象的展示视角更加丰富,且在不同的展示视角下能够呈现出不同的效果、传达不同的信息。通过与三维立体对象进行交互,可以获取到更为丰富的信息,也可以促进多方之间的交互沟通。然而,相关技术中提供的方式,难以满足用户与三维立体对象进行交互的需求,导致针对三维场景的沟通交互效率较低。
发明内容
本申请实施例公开了如下技术方案:
一方面,本申请实施例提供了一种交互处理方法,包括:
确定目标操作的被操作对象,所述目标操作包括作用于第一电子设备的操作和/或作用于第二电子设备的操作;
对三维立体对象执行对应所述被操作对象的目标处理,以向第一电子设备和/或第二电子设备输出目标内容;
其中,所述三维立体对象能够展示在第一电子设备和/或第二电子设备的目标输出区域,所述被操作对象属于或不属于所述三维立体对象,所述目标内容属于或不属于所述三维立体对象。
可选的,确定目标操作的被操作对象,包括以下至少之一:
基于目标操作的操作区域与所述目标输出区域的位置关系确定所述被操作对象;
基于目标操作的操作行为数据确定所述被操作对象;
基于监测目标操作的检测模组的类型确定所述被操作对象;
基于目标操作的权限状态确定所述被操作对象,所述权限状态与实施所述目标操作的操作者的身份信息有关。
可选的,确定目标操作的被操作对象,包括以下至少之一:
获得所述目标操作的操作区域的坐标信息,将第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中与所述坐标信息匹配的对象确定为所述被操作对象;
获得所述目标操作的行为类型和/或行为轨迹,基于所述行为类型和/或行为轨迹从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定所述被操作对象;
在所述目标操作为语音交互操作的情况下,识别所述语音交互操作的语义内容,从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定与所述语义内容的对象作为所述被操作对象;
识别所述目标操作的操作者的身份权限,基于所述身份权限从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定所述被操作对象;
其中,所述视觉感知区域是电子设备在显示输出所述三维立体对象时能够被目标使用者感知到的立体空间区域。
可选的,对三维立体对象执行对应所述被操作对象的目标处理,包括:
确定所述被操作对象是否属于所述三维立体对象;
如果所述被操作对象属于所述三维立体对象,基于所述目标操作的操作行为数据调整所述三维立体对象的展示参数或生成所述三维立体对象变化的记录数据;
如果所述被操作对象不属于所述三维立体对象,基于所述目标操作的输入数据生成与所述三维立体对象有关的交互数据。
可选的,基于所述目标操作的操作行为数据调整所述三维立体对象的展示参数或生成所述三维立体对象变化的记录数据,包括以下至少之一:
获得目标操作的操作行为类型和操作行为轨迹数据,基于所述操作行为类型和所述操作行为轨迹数据调整所述三维立体对象的展示参数;
基于目标操作的操作行为类型调用第一函数,基于所述第一函数记录所述三维立体对象的位姿、视角、展示比例中的至少之一发生变化的数据,得到所述记录数据。
可选的,基于所述目标操作的输入数据生成与所述三维立体对象有关的交互数据,包括以下至少之一:
如果所述输入数据包括向所述三维立体对象添加的批注数据,基于所述批注数据的类型在所述三维立体对象的对应展示区展示所述批注数据;
如果所述输入数据包括向所述三维立体对象的批注数据进行回复或评价的回复数据或评价数据,基于所述输入数据的类型在与所述批注数据所在位置相同或不同的区域展示所述回复数据或评价数据;
如果所述输入数据包括将所述三维立体对象的批注数据进行导出的指令数据,基于所述指令数据导出对应格式的文件数据。
可选的,对三维立体对象执行对应所述被操作对象的目标处理,以向第一电子设备和/或第二电子设备输出目标内容,包括:
如果所述被操作对象为所述三维立体对象的批注数据,将所述批注数据记录的所述三维立体对象的展示参数变化数据输出给所述第一电子设备和/或所述第二电子设备;
其中,所述展示参数变化数据在所述第一电子设备和/或所述第二电子设备上展示输出的视角与所述批注数据记录的展示视角相同。
可选的,还包括:
获得所述第一电子设备和所述第二电子设备之间的目标交互数据;
基于所述目标交互数据对所述三维立体对象进行编辑处理,以生成所述三维立体对象的批注数据、评价数据、展示参数变化数据、针对三维立体对象的批注进行回复的回复数据中的至少之一。
可选的,包括以下至少之一:
确定作用于第一电子设备的目标操作的被操作对象,对展示在所述第一电子设备的三维立体对象执行对应所述被操作对象的目标处理,以输出目标内容;
确定作用于第一电子设备的目标操作的被操作对象,对存储在第二电子设备的三维立体对象执行对应所述被操作对象的目标处理,以向所述第一电子设备输出目标内容;
确定作用于第一电子设备和第二电子设备的目标操作的被操作对象,对存储在第三电子设备的三维立体对象执行对应所述被操作对象的目标处理,以向所述第一电子设备和所述第二电子设备输出目标内容。
另一方面,本申请实施例提供了一种交互处理装置,包括:
确定单元,用于确定目标操作的被操作对象,所述目标操作包括作用于第一电子设备的操作和/或作用于第二电子设备的操作;
执行单元,用于对三维立体对象执行对应所述被操作对象的目标处理,以向第一电子设备和/或第二电子设备输出目标内容;
其中,所述三维立体对象能够展示在第一电子设备和/或第二电子设备的目标输出区域,所述被操作对象属于或不属于所述三维立体对象,所述目标内容属于或不属于所述三维立体对象。
可选的,所述确定单元具体用于:
基于目标操作的操作区域与所述目标输出区域的位置关系确定所述被操作对象;
基于目标操作的操作行为数据确定所述被操作对象;
基于监测目标操作的检测模组的类型确定所述被操作对象;
基于目标操作的权限状态确定所述被操作对象,所述权限状态与实施所述目标操作的操作者的身份信息有关。
可选的,所述确定单元具体用于:
获得所述目标操作的操作区域的坐标信息,将第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中与所述坐标信息匹配的对象确定为所述被操作对象;
获得所述目标操作的行为类型和/或行为轨迹,基于所述行为类型和/或行为轨迹从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定所述被操作对象;
在所述目标操作为语音交互操作的情况下,识别所述语音交互操作的语义内容,从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定与所述语义内容的对象作为所述被操作对象;
识别所述目标操作的操作者的身份权限,基于所述身份权限从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定所述被操作对象;
其中,所述视觉感知区域是电子设备在显示输出所述三维立体对象时能够被目标使用者感知到的立体空间区域。
可选的,所述执行单元具体用于:
确定所述被操作对象是否属于所述三维立体对象;
如果所述被操作对象属于所述三维立体对象,基于所述目标操作的操作行为数据调整所述三维立体对象的展示参数或生成所述三维立体对象变化的记录数据;
如果所述被操作对象不属于所述三维立体对象,基于所述目标操作的输入数据生成与所述三维立体对象有关的交互数据。
可选的,所述装置还包括:
调整单元,用于获得目标操作的操作行为类型和操作行为轨迹数据,基于所述操作行为类型和所述操作行为轨迹数据调整所述三维立体对象的展示参数;
记录单元,用于基于目标操作的操作行为类型调用第一函数,基于所述第一函数记录所述三维立体对象的位姿、视角、展示比例中的至少之一发生变化的数据,得到所述记录数据。
可选的,所述执行单元具体用于:
如果所述输入数据包括向所述三维立体对象添加的批注数据,基于所述批注数据的类型在所述三维立体对象的对应展示区展示所述批注数据;
如果所述输入数据包括向所述三维立体对象的批注数据进行回复或评价的回复数据或评价数据,基于所述输入数据的类型在与所述批注数据所在位置相同或不同的区域展示所述回复数据或评价数据;
如果所述输入数据包括将所述三维立体对象的批注数据进行导出的指令数据,基于所述指令数据导出对应格式的文件数据。
可选的,所述执行单元具体用于:
如果所述被操作对象为所述三维立体对象的批注数据,将所述批注数据记录的所述三维立体对象的展示参数变化数据输出给所述第一电子设备和/或所述第二电子设备;
其中,所述展示参数变化数据在所述第一电子设备和/或所述第二电子设备上展示输出的视角与所述批注数据记录的展示视角相同。
可选的,所述装置还包括:
获得单元,用于获得所述第一电子设备和所述第二电子设备之间的目标交互数据;
生成单元,用于基于所述目标交互数据对所述三维立体对象进行编辑处理,以生成所述三维立体对象的批注数据、评价数据、展示参数变化数据、针对三维立体对象的批注进行回复的回复数据中的至少之一。
可选的,所述执行单元具体用于:
确定作用于第一电子设备的目标操作的被操作对象,对展示在所述第一电子设备的三维立体对象执行对应所述被操作对象的目标处理,以输出目标内容;
确定作用于第一电子设备的目标操作的被操作对象,对存储在第二电子设备的三维立体对象执行对应所述被操作对象的目标处理,以向所述第一电子设备输出目标内容;
确定作用于第一电子设备和第二电子设备的目标操作的被操作对象,对存储在第三电子设备的三维立体对象执行对应所述被操作对象的目标处理,以向所述第一电子设备和所述第二电子设备输出目标内容。
由上述技术方案可以看出,首先可以确定目标操作的被操作对象,目标操作可以包括作用于第一电子设备的操作和/或作用于第二电子设备的操作,被操作对象可以是指目标操作所指示的需要操作的对象。接着,可以对三维立体对象执行对应被操作对象的目标处理,以向第一电子设备和/或第二电子设备输出目标内容。其中,三维立体对象能够展示在第一电子设备和/或第二电子设备的目标输出区域,被操作对象属于或不属于三维立体对象,目标内容属于或不属于三维立体对象。其中,目标处理是对应被操作对象的,被操作对象是目标操作的,而目标操作是作用于第一电子设备和/或第二电子设备的操作。通过这种方式,能够根据实际需求发起目标操作,从而触发对三维立体对象执行目标处理的步骤,以使得向电子设备输出目标内容,更加灵活,便于交互,有利于提高针对三维场景的沟通交互效率。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种交互处理方法的流程图;
图2为本申请实施例提供的一种动画批注原理图;
图3为本申请实施例提供的一种射线碰撞原理图;
图4为本申请实施例提供的一种场景回溯的原理流程图;
图5为本申请实施例提供的一种摄像机原理图;
图6为本申请实施例提供的一种批注交互流程示意图;
图7为本申请实施例提供的一种交互处理装置的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例所提供的交互处理方法可以通过计算机设备实施,该计算机设备可以是终端设备或服务器,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请对此不做任何限制。
具体通过如下实施例进行说明:
图1为本申请实施例提供的一种交互处理方法的流程图,以服务器作为前述计算机设备为例进行说明,所述方法包括:
S101:确定目标操作的被操作对象。
首先,可以确定目标操作的被操作对象,被操作对象可以是指目标操作所指示的需要操作的对象。其中,目标操作包括作用于第一电子设备的操作和/或作用于第二电子设备的操作。
需要说明的是,针对如何确定目标操作的被操作对象的方式,本申请不做任何限定。为了便于理解,本申请实施例提供以下方式作为示例:
被操作对象是指目标操作所指示的需要操作的对象,具体可以与目标操作有关系。因此,在一种可能的实现方式中,可以根据目标操作的情况来确定被操作对象。具体实施时,前述的确定目标操作的被操作对象可以包括以下至少之一:
基于目标操作的操作区域与目标输出区域的位置关系确定被操作对象;
基于目标操作的操作行为数据确定被操作对象;
基于监测目标操作的检测模组的类型确定被操作对象;
基于目标操作的权限状态确定被操作对象,权限状态与实施目标操作的操作者的身份信息有关。
具体的,在第一种实施方式中,可以基于目标操作的操作区域与目标输出区域的位置关系确定被操作对象。其中,目标输出区域是指三维立体对象在第一电子设备和/或第二电子设备中进行展示的区域,操作区域与目标输出区域的位置关系能够反映目标操作是否是在三维立体对象上进行的操作,即反映目标操作是否覆盖三维立体对象自身(如三维立体对象自身的全部或者部分),从而确定被操作对象。例如,若目标操作的操作区域属于目标输出区域,则二者的位置关系可以反映目标操作覆盖三维立体对象自身,此时可以确定被操作对象可以是三维立体对象整体或者三维立体对象的可视部分,可视部分是指三维立体对象在目标输出区域中进行展示时能够被用户所看见的对象部位。又如,操作区域与目标输出区域是不同的区域,如操作区域是指针对三维立体对象的批注区域、操作控件区域等,此时,可以确定被操作对象是非三维立体对象自身的其他,如批注、轨迹捕捉功能控件等。
在第二种实施方式中,可以基于目标操作的操作行为数据确定被操作对象。其中,操作行为数据可以指示目标操作是什么操作以及目标操作是怎么进行的,故可以基于操作行为数据确定被操作对象。例如,操作行为数据可以是对控件进行点击操作时产生的数据、还可以是对批注进行回复操作时产生的数据、还可以是对三维立体对象进行如旋转、拉升等操作时产生的数据,可见,操作行为数据可以反映目标操作是什么操作以及目标操作是怎么实现的,从而可以基于操作行为数据确定需要进行操作的对象是什么。
在第三种实施方式中,可以基于监测目标操作的检测模组的类型确定被操作对象。其中,检测模组可以是指操作者实施目标操作的控件,不同类型的检测模组,操作者实施目标操作的方式可能有所不同,即传达操作者想要操作的对象的方式可能有所不同,故可以基于检测模组的类型确定被操作对象。例如,如果是通过鼠标实施的目标操作,则被操作对象可以是操作控件;通过键盘实施的目标操作,则被操作对象可以是批注(如对已有批注回复新的批注、创建批注等);通过触控模组的触控操作,操作对象可以是立体对象整体或局部;又如,还可以是通过感知交互的方式实施目标操作,如采用摄像头、雷达、红外等技术实施目标操作,则被操作对象可以是三维立体对象的整体或局部等。
在第四种实施方式中,可以基于目标操作的权限状态确定被操作对象,其中,权限状态与实施目标操作的操作者的身份信息有关。在实际应用中,操作者的身份信息不同,分配给这些操作者的操作权限可能是不同的,而操作者能实施的目标操作是受操作权限影响的,不同的操作者能够实施的目标操作可能是不同的。故可以基于目标操作的权限状态确定被操作对象,基于此,确定出的被操作对象是与权限状态(即操作者所拥有的权限)相匹配的,更加准确。基于此,能够更为便捷准确地确定出被操作对象,以便进行后续步骤。
需要说明的是,本申请提供的上述几种实施例仅为示例,并不对本申请做任何限定。针对确定被操作对象的实现方式,在本申请上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
为了更好地理解上述实施例中提供的确定被操作对象的方法,本申请实施例还提供了更进一步地确定方式实施例,具体的,在又一种可能的实现方式中,前述的确定目标操作的被操作对象可以包括以下至少之一:
获得目标操作的操作区域的坐标信息,将第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中与坐标信息匹配的对象确定为被操作对象;
获得目标操作的行为类型和/或行为轨迹,基于行为类型和/或行为轨迹从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定被操作对象;
在目标操作为语音交互操作的情况下,识别语音交互操作的语义内容,从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定与语义内容的对象作为被操作对象;
识别目标操作的操作者的身份权限,基于身份权限从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定被操作对象;
其中,视觉感知区域是电子设备在显示输出三维立体对象时能够被目标使用者感知到的立体空间区域。
具体的,对应于前述的第一种实施方式,可以获取目标操作的操作区域的坐标信息,坐标信息可以表示操作区域的范围,接着可以将第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中与坐标信息匹配的对象确定为被操作对象。其中,显示输出区域可以是指第一电子设备和/第二电子设备对应的能够用于内容显示的屏幕区域,例如可以是电子设备的屏幕区域。视觉感知区域可以是电子设备在显示输出三维立体对象时能够被目标使用者感知到的立体空间区域,例如,可以是基于3D视觉感知技术构建的虚拟屏幕作为立体空间区域,能够将需要展示的内容投影在此立体空间区域中,以便目标使用者能够感知到。
其中,需要说明的是,针对如何获取目标操作的操作区域的坐标信息的方式,本申请不做任何限定。为了便于理解,本申请实施例提供以下方式作为示例:
如果电子设备的屏幕是可触控的,则操作者可以通过电子设备的触控屏实施目标操作,故,一种方式中,可以获取操作者在触控屏上实施目标操作的位置来确定坐标信息。如果操作者是通过例如鼠标等设备在电子设备上实施的目标操作,其中,鼠标等设备可以是与电子设备连接的(如有线或无线等方式连接),则可以根据鼠标在电子设备上对应的光标所在位置确定坐标信息。
如果是基于前述的视觉感知区域展示三维立体对象的,则操作者可以是通过与视觉感知区域进行交互的方式实施目标操作的,对应的,可以通过获取操作者与视觉感知区域进行交互的相关数据以确定坐标信息。具体实施时,操作者可以是通过手势与视觉感知区域进行交互以实施目标操作的,则可以获取操作者的手指的坐标信息作为前述的操作区域的坐标信息。例如,可以还是通过ToF技术(如3D ToF相机逐点扫描成像)获取操作者的手的点云数据,基于此确定坐标信息。又如,还可以通过其他深度摄像头、红外传感器阵列、以及超声传感器等确定操作者的手的位置数据,以确定坐标信息。此外,如果操作者是基于眼睛控制视线移动与视觉感知区域进行交互的方式,则还可以获取操作者的视线数据以确定坐标信息,例如采用深度摄像头、红外传感器阵列、以及超声传感器等确定操作者的视线数据。
对应于前述的第二种实施方式,可以获取目标操作的行为类型和/或行为轨迹,即前述的操作行为数据可以包括行为类型和/或行为轨迹,其中,行为类型可以指示目标操作的类型(例如点击、拖拽、滑动、旋转、拉伸等类型),行为轨迹可以指示目标操作的轨迹,例如目标操作是拖拽操作,则行为轨迹可以是从第一位置拖拽到第二位置的拖拽轨迹。接着,可以基于行为类型和/或行为轨迹从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定被操作对象。
对应于前述的第三种实施方式,例如,前述的检测模组可以是语音控件,操作者可以通过语音控件实施目标操作,此种情况下,目标操作可以是语音交互操作。在目标操作为语音交互操作的情况下,可以识别语音交互操作的语义内容,语义内容可以体现操作者的预期,具体可以是体现操作者想要操作的对象的情况,因此,在识别出语义内容后,可以从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定与语义内容的对象作为被操作对象。其中,与语义内容相匹配的对象可以是指用户想要操作的对象,故可以将其作为被操作对象。
在具体实施时,语义内容的具体情况不同时,从电子设备的显示输出区域或视觉感知区域中确定与语义内容匹配的对象的方式可能有所不同。如果语义内容能够直接指示操作者想要操作的对象,例如,语义内容是“请对A对象进行操作”、“请对A对象的第一部位进行操作”,则可以直接基于语义内容确定被操作对象,其中,A可以是该对象的对象标识,不同对象的对象标识是不同的,故可以操作对象可以在语音中说出想要操作的对象标识,从而快速确定被操作对象。如果语义内容能够间接指示操作者想要操作的对象,例如,语义内容能够指示操作者想要操作的对象的颜色特征、形状特征等,则可以基于这些能够间接表示想要操作的对象的信息确定被操作对象。例如,语音内容可以是“请对外观颜色为黄色的对象进行操作”,则可以将电子设备的显示输出区域或视觉感知区域中所包括的外观颜色为黄色的对象确定为被操作对象。
对应于前述的第四种实施方式,可以识别目标操作的操作者的身份权限,身份权限可以指示该操作者所拥有的操作权限,通常,不同操作者的身份权限可能是不同的,相应能够实施的目标操作可能有所不同。因此,在识别出身份权限后,可以基于身份权限从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定被操作对象。
需要说明的是,本申请提供的上述几种实施例仅为示例,并不对本申请做任何限定。针对确定被操作对象的实现方式,在本申请上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
S102:对三维立体对象执行对应被操作对象的目标处理,以向第一电子设备和/或第二电子设备输出目标内容。
接着,可以对三维立体对象执行对应被操作对象的目标处理,以向第一电子设备和/或第二电子设备输出目标内容。其中,三维立体对象能够展示在第一电子设备和/或第二电子设备的目标输出区域。
需要说明的是,针对被操作对象与三维立体对象的关系以及针对目标内容与三维立体对象的关系,本申请不做任何限定。在实际应用中,被操作对象可以属于或不属于三维立体对象,目标内容可以属于或不属于三维立体对象。具体的,如果被操作对象是三维立体对象自身的整体或者部分,则被操作对象属于三维立体对象,反之,如果被操作对象并非三维立体对象自身(如前述的批注等),则被操作对象不属于三维立体对象。如果是针对三维立体对象自身修改而输出的目标内容(如修改三维立体对象的位姿、视角等),可以认为目标内容属于三维立体对象,如果目标内容是批注回复等,可以认为目标内容不属于三维立体对象。
还需要说明的是,针对如何对三维立体对象执行对应被操作对象的目标处理的方式,本申请不做任何限定。为了便于理解,本申请实施例提供以下方式作为示例:
由于被操作对象可以属于三维立体对象,也可以不属于三维立体对象,不同的情况下,对三维立体对象执行对应被操作对象的目标处理的方式可能有所不同。因此,在一种可能的实现方式中,在对三维立体对象执行对应被操作对象的目标处理时,可以考虑被操作对象与三维立体对象的关系,即前述的被操作对象属于或不属于三维立体对象。基于此,以便于根据不同情况选择不同的方式,更加灵活也便于更为准确地执行目标处理。具体实施时:
确定被操作对象是否属于三维立体对象;
如果被操作对象属于三维立体对象,基于目标操作的操作行为数据调整三维立体对象的展示参数或生成三维立体对象变化的记录数据;
如果被操作对象不属于三维立体对象,基于目标操作的输入数据生成与三维立体对象有关的交互数据。
一种情况下,如果被操作对象属于三维立体对象,表明操作者想要直接对三维立体对象本身进行操作,也就是说,目标操作的操作行为数据可以指示操作者想要对三维立体对象实施的操作是怎样的。因此,可以基于目标操作的操作行为数据调整三维立体对象的展示参数或生成三维立体对象变化的记录数据。其中,操作行为数据可以包括目标操作的类型以及行为轨迹,例如旋转、拖拽、拉伸等操作,及其对应的行为轨迹,基于此,可以确定需要对三维立体对象进行调整的旋转角度、拖拽距离、缩放比例等作为展示参数,基于此,以便对三维立体对象进行调整,对应的,可以基于调整后的三维立体对象输出前述的目标内容。其中,记录数据可以指示对三维立体对象进行调整的过程中,三维立体对象的变化情况,即,记录数据可以是指三维立体对象的运动轨迹数据,具体的,记录数据是与目标操作相关的,不同的目标操作,对应生成的记录数据可能是不同的,对应于对三维立体对象的调整不同,对应生成的记录数据可以不同。
在实际应用中,三维立体对象的变化可以包括位姿、大小、视角、透明度、颜色等维度的变化,例如,通过对三维立体对象进行编辑使其发生变化等,具体可以是三维立体对象的位姿、大小、视角、透明度以及颜色等进行调整,从而使其发生变化,而记录数据能够完整体现变化的过程。例如,以视角变化为例,记录数据可以完整体现是从A视角怎么变化到B视角的。又如,以对三维立体对象进行缩放为例,对应生成的记录数据可以指示缩放过程中三维立体对象的变化情况。
又一种情况下,如果被操作对象不属于三维立体对象,表明操作者并非是想对三维立体对象本身进行操作,此种情况下,可以基于目标操作的输入数据生成与三维立体对象有关的交互数据。其中,输入数据可以指示操作者此次实施的目标操作的情况,例如,目标操作为前述的批注等操作。在实际应用中,输入数据可以包括新创建的批注数据,针对已有批注的批注回复数据、针对三维立体对象的评价数据等,此外,输入数据还可以包括针对控件的输入指令数据等。其中,交互数据可以是指此次实施的目标操作与三维立体对象的有关的内容,例如,交互数据可以包括针对三维立体对象批注的那些批注数据、批注回复数据、批注导出数据等。
需要说明的是,针对输入数据与交互数据的数据形式,本申请不做任何限定。例如,输入数据和/或交互数据的数据形式可以是文本形式、语音形式、图片形式、视频形式、动画形式等等。
还需说明的是,针对如何基于目标操作的操作行为数据调整三维立体对象的展示参数或生成三维立体对象变化的记录数据的方式,以及针对如何基于目标操作的输入数据生成与三维立体对象有关的交互数据的方式,本申请均不做任何限定。为了便于理解,本申请实施例分别提供以下方式作为示例:
首先,针对基于目标操作的操作行为数据调整三维立体对象的展示参数或生成三维立体对象变化的记录数据的方式,在具体实施时,可以包括以下至少之一:
获得目标操作的操作行为类型和操作行为轨迹数据,基于操作行为类型和操作行为轨迹数据调整三维立体对象的展示参数;
基于目标操作的操作行为类型调用第一函数,基于第一函数记录三维立体对象的位姿、视角、展示比例中的至少之一发生变化的数据,得到记录数据。
在一些实施例中,可以获取目标操作的操作行为类型和操作行为轨迹数据,其中,操作行为类型可以指示目标操作的类型(例如点击、拖拽、滑动、旋转、拉伸等类型),操作行为轨迹数据可以指示目标操作的轨迹,例如目标操作是拖拽操作,则行为轨迹可以是从第一位置拖拽到第二位置的拖拽轨迹。因此,可以基于操作行为类型和操作行为轨迹数据调整三维立体对象的展示参数。其中,展示参数可以包括三维立体对象的展示区域、展示比例、展示视角、展示颜色、透明度等参数。在具体实施时,目标操作不同时,对应需要调整的展示参数可以是不同的。例如,目标操作的操作行为类型是旋转、操作行为轨迹数据是旋转轨迹,基于此,可以调整展示视角。
在又一些实施例中,不同类型的目标操作,可以对应调用不同的函数实施,因此,可以基于目标操作的操作行为类型调用第一函数,以及基于第一函数记录三维立体对象的位姿、视角、展示比例中的至少之一发生变化的数据,得到记录数据。其中,第一函数可以是指能够响应于目标操作记录三维立体对象的变化情况的功能函数,例如,可以是运动轨迹捕获函数,基于此函数能够记录在对三维立体对象的展示参数进行调整的过程中,三维立体对象的变化情况,并生成对应的记录数据。例如可以是对三维立体对象的位姿、视角与展示比例中的至少之一进行调整,对应的,三维立体对象的位姿、视角与展示比例中的至少之一发生变化,得到的记录数据能够展现发生变化的过程。
其次,针对基于目标操作的输入数据生成与三维立体对象有关的交互数据的方式,在具体实施时,可以包括以下至少之一:
如果输入数据包括向三维立体对象添加的批注数据,基于批注数据的类型在三维立体对象的对应展示区展示批注数据;
如果输入数据包括向三维立体对象的批注数据进行回复或评价的回复数据或评价数据,基于输入数据的类型在与批注数据所在位置相同或不同的区域展示回复数据或评价数据;
如果输入数据包括将三维立体对象的批注数据进行导出的指令数据,基于指令数据导出对应格式的文件数据。
在一些实施例中,如果输入数据包括向三维立体对象添加的批注数据,批注数据可以是指操作者针对三维立体对象想要增加的批语、注解等内容,此种情况中,前述的交互数据可以是批注数据。以及,可以基于批注数据的类型在三维立体对象的对应展示区展示批注数据。其中,批注数据的类型可以指示批注数据的数据形式(例如可以是前述的文本、语音、图片、视频等类型),批注数据的类型不同,访问批注数据的方式也可以不同,对应的,对其进行展示的方式也可以不同。基于此,通过展示批注数据的方式
在又一些实施例中,如果输入数据包括向三维立体对象的批注数据进行回复或评价的回复数据或评价数据,其中,回复数据可以是指对已有的批注数据或已有的评价进行回复时产生的批语、注解等内容,评价数据可以是指操作者针对三维立体对象想要增加的评论等内容,此种情况下,前述的交互数据可以是回复数据或评价数据。以及,可以基于输入数据的类型在与批注数据所在位置相同或不同的区域展示回复数据或评价数据,基于此,便于查看批注数据以及关联的回复数据或评价数据。在具体实施时,批注回复数据或评价数据,可以在与批注数据相同的同一区域展示,便于同时查看到批注数据及其关联的回复数据或评价数据,也可以显示在与批注数据的展示区不同的其他展示区,以便明显地区别出这是不同的内容。
在又一些实施例中,如果输入数据包括将三维立体对象的批注数据进行导出的指令数据,表明操作者想要将批注数据导出,此时,可以基于指令数据导出对应格式的文件数据。基于此,可以将批注数据导出为文件数据,如此,在想要查看批注数据时,可以直接查看文件数据,更加便捷。其中,指令数据可以指示对批注数据如何导出的参数,例如,指令数据可以指示将批注数据导出到某一地址、以及导出为某一格式的文件数据等参数。
需要说明的是,针对文件数据,本申请不做任何限定。在一种可能的实现方式中,文件数据可以包括批注数据,满足操作者想要查看批注的需求。又一种可能的实现方式中,文件数据可以包括批注数据和三维立体对象本身,如此,操作者在打开文件数据后,不仅能查看批注,还能够同步查看到三维立体对象,以便于能够更好地理解批注数据的批语、注解等内容。
可以理解的是,对三维立体对象执行对应被操作对象的目标处理后,是能够向第一电子设备和/或第二电子设备输出目标内容的。对此,需要说明的是,针对如何输出目标内容的方式,本申请不做任何限定。为了便于理解,本申请实施例以被操作对象为三维立体对象的批注数据为例,提供以下方式作为示例:
如果被操作对象为三维立体对象的批注数据,则可以将批注数据记录的三维立体对象的展示参数变化数据输出给第一电子设备和/或第二电子设备。其中,展示参数变化数据可以是指三维立体对象的位姿、大小、视角、透明度、颜色、展示比例等维度的变化数据,能够体现变化的过程。在这种情况下,即前述的目标内容为展示参数变化数据,将展示参数变化数据输出给第一电子设备和/或第二电子设备后,是可以在第一电子设备和/或第二电子设备上进行展示的,以便第一电子设备和/或第二电子设备的使用者查看。在具体实施时,展示参数变化数据在第一电子设备和/或第二电子设备上展示输出的视角与批注数据记录的展示视角相同。其中,批注数据记录的展示视角可以是指操作者输入该批注数据时三维立体对象对应的展示视角。基于此,能够以生成批注时的展示视角显示展示变化参数数据,使得在查看时能够更好地对应起来,便于用户更好、更准地理解批语、注解等。以及,第一电子设备和/或第二电子设备,都能够以相同的视角查看三维立体对象的变化过程,在共享场景中,参与共享的用户能够同步查看,如此有利于同步共享,更具整体性。
在实际应用中,第一电子设备和第二电子设备之间是可以进行交互的,在这种场景中,还可以基于二者之间进行交互所生成的数据,对三维立体对象进行相应的处理。为了更好地理解,具体实施时,还包括:
获得所述第一电子设备和所述第二电子设备之间的目标交互数据;
基于所述目标交互数据对所述三维立体对象进行编辑处理,以生成所述三维立体对象的批注数据、评价数据、展示参数变化数据、针对三维立体对象的批注进行回复的回复数据中的至少之一。
其中,目标交互数据可以是指第一电子设备和第二电子设备之间进行交互所生成的数据,能够反映二者间进行的交互的情况。在实际应用中,第一电子设备和第二电子设备可以是参与针对三维立体对象的共享展示的电子设备,二者之间进行的交互可能是与三维立体对象有关,如在想要对三维立体对象进行调整、批注、评价等时,可以是通过第一电子设备和第二电子设备之间的交互实现的。因此,可以基于目标交互数据的情况,对应的对三维立体对象相关的情况进行处理。
在一些实施例中,如果目标交互数据指示对三维立体对象进行批注或评价,对应的,可以进行批注或评价,以及可以基于目标交互数据生成三维立体对象的批注数据或评价数据。其中,批注数据可以是指可以是指针对三维立体对象想要增加的批语、注解等内容,评价数据可以是指针对三维立体对象想要增加的评论等内容。
在又一些实施例中,如果目标交互数据指示对三维立体对象的批注数据或评价数据进行回复,则可以基于目标交互数据生成三维立体对象的批注数据或评价数据的回复数据。其中,批注数据或评价数据可以是已有的,回复数据可以是指针对这些已有的批注与评价的回复内容,如此,可以与已有的内容进行交互,提高互动性。例如,已有的批注数据或评价数据是操作者A添加的,回复数据可以是操作者B添加的,采用这种方式,能够实现交互,尤其是在共享展示场景中,有利于提高参与共享展示的多方之间的互动性。
在又一些实施例中,如果目标交互数据指示对三维立体对象进行编辑,则可以基于目标交互数据对三维立体对象进行编辑,并生成三维立体对象的展示参数变化数据。其中,编辑可以包括各种类型的编辑,例如前述的拖拽、缩放、旋转等,展示参数变化数据可以是指在编辑时三维立体对象对应的变化情况,例如,展示参数变化数据可以是指三维立体对象的位姿、大小、视角、透明度、颜色、展示比例等维度的变化数据,能够体现变化的过程。
通过以上实施例,对本申请提供的交互处理方法进行了详细说明。除上述示例外,为了更好地理解,本申请实施例提供了以下方式作为示例:
在又一种可能的实现方式中,可以根据不同的情况输出目标内容,在具体实施时,可以包括以下至少之一:
确定作用于第一电子设备的目标操作的被操作对象,对展示在第一电子设备的三维立体对象执行对应被操作对象的目标处理,以输出目标内容;
确定作用于第一电子设备的目标操作的被操作对象,对存储在第二电子设备的三维立体对象执行对应被操作对象的目标处理,以向第一电子设备输出目标内容;
确定作用于第一电子设备和第二电子设备的目标操作的被操作对象,对存储在第三电子设备的三维立体对象执行对应被操作对象的目标处理,以向第一电子设备和第二电子设备输出目标内容。
在一些实施例中,确定作用于第一电子设备的目标操作的被操作对象,如目标操作是作用于第一电子设备的操作,此时,可以对展示在第一电子设备的三维立体对象执行对应被操作对象的目标处理,以输出目标内容。即,目标操作的实施、目标处理的执行均可以在第一电子设备这一侧执行(如在第一电子设备的本地执行),可以不与第二电子设备共享。如此一来,当不同的电子设备的使用者有不同的需求时,能够根据自己的需求在自己对应的电子设备侧进行相应的操作,而不影响其他电子设备侧的使用者,更加灵活。
在又一些实施例中,确定作用于第一电子设备的目标操作的被操作对象,如目标操作是作用于第一电子设备的操作,此时,还可以对存储在第二电子设备的三维立体对象执行对应被操作对象的目标处理,以向第一电子设备输出目标内容。即,对第二电子设备的三维立体对象执行目标处理,执行后可以共享给第一电子设备,即向第一电子设备输出目标内容。基于此,第一电子设备侧可以无需执行目标处理,仍能查看目标内容。例如,针对第一电子设备不具备执行目标处理的条件时,仍能查看到执行目标处理后得到的目标内容。
在又一些实施例中,确定作用于第一电子设备和第二电子设备的目标操作的被操作对象,如目标操作包括作用于第一电子设备和作用于第二电子设备的操作,此时,可以对存储在第三电子设备的三维立体对象执行对应被操作对象的目标处理,以向第一电子设备和第二电子设备输出目标内容。即,执行目标处理的步骤可以是在第三电子设备上实施的,其中,第三电子设备例如可以是服务端。如此,第一电子设备和第二电子设备均无需执行目标处理,但均能查看目标内容,如此,可以节省第一电子设备和第二电子设备的计算资源。可以理解的是。为了便于第三电子设备执行目标处理,可以在第三电子设备中提供有被第一电子设备和第二电子设备共享访问和操作的三维立体对象。基于此,针对第一电子设备和第二电子设备的计算资源较少(难以负担目标处理的执行)或者不具备执行目标处理的能力的场景,采用第三电子设备执行目标处理、向第一电子设备和第二电子设备输出目标内容的方式,使得能够兼容上述这些场景,提高本申请的通用性。
由上述技术方案可以看出,首先可以确定目标操作的被操作对象,目标操作可以包括作用于第一电子设备的操作和/或作用于第二电子设备的操作,被操作对象可以是指目标操作所指示的需要操作的对象。接着,可以对三维立体对象执行对应被操作对象的目标处理,以向第一电子设备和/或第二电子设备输出目标内容。其中,三维立体对象能够展示在第一电子设备和/或第二电子设备的目标输出区域,被操作对象属于或不属于三维立体对象,目标内容属于或不属于三维立体对象。其中,目标处理是对应被操作对象的,被操作对象是目标操作的,而目标操作是作用于第一电子设备和/或第二电子设备的操作。通过这种方式,能够根据实际需求发起目标操作,从而触发对三维立体对象执行目标处理的步骤,以使得向电子设备输出目标内容,更加灵活,便于交互,有利于提高针对三维场景的沟通交互效率。
通过以上实施例,对本申请提供的交互处理方法进行了详细说明,可见,本申请提供的交互处理方法包括:针对三维立体对象的多方(例如可以是多个电子设备分别对应的使用者)多视角(展示视角可切换)的交互功能、动画批注以及三维立体对象的运动轨迹捕获的功能(即前述的三维立体对象变化的记录数据)、快速场景回溯的功能(如前述的基于操作行为类型和操作行为轨迹数据调整三维立体对象的展示参数)、批注导出的功能(如前述的将三维立体对象的批注数据进行导出的指令数据,基于指令数据导出对应格式的文件数据)等功能。为了更好地理解,本申请实施例还提供了以下方式作为示例:
第一方面,针对三维立体对象的多方多视角的交互功能,为了便于理解,以多方包括前述的第一电子设备和第二电子设备对应的使用者为例,在第一电子设备和第二电子设备的目标输出区域中展示有三维立体对象,具体的,三维立体对象的展示视角可以是第一视角。当某一方想要查看其他视角下的三维立体对象时,可以实施目标操作(如可以是针对三维立体对象本身实施的视角切换操作),基于此,对三维立体对象执行对应的目标处理(如可以是视角切换的处理),使得三维立体对象从第一视角切换到第二视角,其中,三维立体对象在第一视角下的可视部分与在第二视角下的可视部分是不同的。具体实施时,可以是采用前述的确定作用于第一电子设备的目标操作的被操作对象,对展示在第一电子设备的三维立体对象执行对应被操作对象的目标处理,以输出目标内容的实施方式。基于此,各方可以根据自己的需求灵活调整三维立体对象的展示视角,且互不影响,更加灵活。
第二方面,针对动画批注以及三维立体对象的运动轨迹捕获的功能,为了便于理解,可以参见图2示例的一种动画批注原理图,具体的:
用户(即前述的操作者)想要进行动画批注时,用户可以点击动画批注按钮,触发动画批注,其中,动画批注按钮即为前述的被操作对象,例如用户可以是通过鼠标点击的动画批注按钮。对应的,可以调用Three.js中的Raycaster方法,具体的,可以基于Raycaster射线方法获取鼠标方向最近的物体(TargetObject),即,确定用户此次批注是针对TargetObject的,TargetObject也就是这次批注中需要添加动画批注的模型,通过解析动画模型的坐标,还可以将其存储到数据库中以便使用。接着,当用户鼠标下按之后,相应可以触发拖拽函数,以响应用户行为对三维立体对象进行调整。具体的,Three.js中的DragControl绑定Camera和TargetObject,其中,Camera可以是指虚拟相机,不同的Camera的位置能够与三维立体对象的不同展示视角相对应。
接着,可以监控鼠标的下按和抬起,即监控目标操作的行为轨迹,具体可以是,监控到用户鼠标下按时认为开始调整,记录TargetObject此时的位置作为StartPosition,监控到用户鼠标抬起时认为结束调整,记录TargetObject此时的位置作为EndPosition。最后,可以利用数据库存储TargetObject的uuid(uuid可以是指TargetObject的对象标识)、StartPosition和EndPosition,以便回溯、导出等。具体实施时,可以使用Vue框架获取用户的鼠标交互行为(即监控下按与抬起)、三维立体对象的变化数据以及展示视图的变化,并将得到的数据存储到数据库中。基于此,当用户触发动画批注功能后,可以触发自定义轨迹捕捉功能,基于此,系统将会智能地记录下三维立体对象的运动轨迹数据,实时地保存到数据库中,从而实现一键三维立体对象运动轨迹捕获的目的,更加便捷、快速。
其中,针对基于Raycaster射线方法获取TargetObject,还可以参见图3示例的一种射线碰撞原理图,具体的:当用户通过鼠标点击动画批注按钮后,可以从鼠标处发射一条射线,穿透场景的视椎体,通过计算,找出与射线相交的对象,离鼠标射线最近的物体即可以认为是用户点击的3D物体,即前述的TargetObject。基于此,能够便捷快速地确定出用户想要操作的对象,便于后续处理。
第三方面,针对快速场景回溯的功能,为了便于理解,可以参见图4示例的一种场景回溯的原理流程图,具体的:
用户想要查看三维立体对象的批注数据时,在用户行为方面,用户点击批注(即想要查看的批注数据),相应的,后台系统可方面,可以获取用户点击的批注、获取被做批注物体的uuid(即该批注是针对该对象标识所标识的对象添加的)、批注的三维坐标、做批注时的相机坐标(CameraPosition)、动画批注的起始位置(StartPosition)和终止位置(EndPosition)。接着,可以通过更改此时相机的坐标为CameraPosition,以及根据调用Gsap函数,输入StartPosition和EndPosition,使得用户视角转换为做批注时的视角,以及被做批注的物体时间动画回溯。即,查看批注时,能够以做批注时的视角查看,便于用户更好地理解批注内容。其中,Gsap函数是指GreenSock Animation Platform动画库方法函数。在具体实施时,可以是从前述的数据库中获取以上数据(如uuid、坐标、位置等数据)。
其中,用户视角即用户所能看到的画面,即为视场fov展示的画面。在实际应用中,不同的展示视角下,用户视角不同,用户所能看到的画面不同,即三维立体对象的可视部分不同。对此,可以认为是有一个虚拟相机,通过改变该相机的位置,在不同位置上对三维立体对象进行拍摄,从而得到三维立体对象在各个展示视角下的可视部分,形成用户所能看到的不同视角下的不同画面。对此,可以参见图5示例的一种摄像机原理图。基于此,可以通过记录相机的坐标,然后在批注回溯时,能够通过更改此时相机的坐标为CameraPosition,使得用户视角切换到做批注时的视角。从而提供了一种通过更改相机位置以变化不同视场,实现视角切换与场景回溯的效果的方案,只需关注相机的位置,更加灵活简便。
通过以上实施例,可见,能够捕捉运动轨迹、用户也可以添加批注,且当对批注进行点击查看时(如其他用户查看),系统会迅速回溯到用户做批注时的视角以及自动重新三维立体对象的运动轨迹,便于查看批注的用户更加直观、更加便捷地理解批注与对三维立体对象的调整过程。此外,用户还可以按需对批注进行导出,如导出的文件数据可以包括批注数据、也可以既包括批注数据和模型(如三维立体对象或被批注的对象)。
针对本申请,还提供了如图6示例的一种批注交互流程示意图,具体的:
首先,针对批注导出的交互流程,可以先判断是否导出批注,若是,表明用户需要导出批注,此时可以获取批注数据,该批注数据可以是指用户想要导出的批注,接着可以进行导出,具体可以是导出文件数据,文件数据可以是批注数据,也可以既包括批注数据又包括模型(如三维立体对象或被批注的对象)。
其次,针对动画批注的交互流程,可以先判断是否进行动画批注,若是,则进行动画批注,具体可以是,用户对模型(如三维立体对象)进行操作(如拖拽、旋转等),记录用户行为以及记录3D模型(即三维立体对象)的动画,基于此,可以明确操作行为类型以及捕捉到三维立体对象的运动轨迹数据。
相应的,针对批注查看(即回溯)的交互流程,可以先判断是否查看动画,若是,则定位到批注位置,以及转换视角到批注时视角,调用动画库(如前述的Gsap函数),传入3D模型的动作数据(例如可以是前述的StartPosition和EndPosition),以便实现重现场景。便于查看批注的用户能够以添加批注时的视角查看批注,用户体验更好。
最后,可以判断是否关闭系统。若是,可以关闭,以结束整个交互流程。
通过以上实施例,对本申请提供的各项交互功能进行了详细说明,下面对本申请实施例提供的上述交互功能进行总结,具体的:
一方面,针对与三维立体对象的交互功能可以包括批注、捕捉运动轨迹、重现场景回溯、操作调整。具体的:
批注可以提供例如语音、文字和动画批注这三种批注(仅为示例,不做任何限定),如此,用户可以对三维立体对象进行不同种类的批注,丰富用户体验。具体实施时,用户选择语音批注将会记录用户的语音内容,并在界面上展示语音批注图标,点击语音批注图标可播放语音内容。用户选择文字批注,系统将把文字内容渲染添加到三维场景中,且文字内容永远面向用户,便于用户查看文字内容。用户选择动画批注,系统将自动记录用户的操作行为(例如拖拽模型)和模型的初始位置、视角变换信息和终止位置(如坐标位置、旋转角度等)。
用户点击批注即可精准定位到批注位置,重现批注者的视角,便于查看批注的用户更加准确地理解批注内容等。用户也可以点击批注汇总列表中的批注进行回溯。如果用户点击的批注是动画批注,系统将会自动重现批注制作者在进行批注时的用户行为(例如拖拽等)以及三维立体对象的运动轨迹(例如用户拖拽使得三维立体对象中的不同部位发生分离等)。其中,实现原理可以是基于前述的相机摄像原理实现的,以web3D的场景为例,在web3D的场景中,可以包括场景、相机、模型和渲染器等,只需要还原用户做批注时的相机参数以及模型位置差数,即可还原用户做批注时看到的场景。
为了便于用户操作,通常需要为用户提供一种直观的方式来浏览和操作场景。OrbitControls是Three.js提供的一种常用的相机控制器,允许用户通过鼠标或触摸屏操作来旋转、平移和缩放场景,便于用户更加便捷地实施前述的各种操作。其中,OrbitControls本质上就是改变相机的参数,比如相机的位置属性,改变相机位置也可以改变相机拍照场景中模型的角度,实现模型的360度旋转预览效果,改变透视投影相机距离模型的距离,就可以改变相机能看到的视野范围。基于此,实现视角的切换,以及在回溯时能够准确切换到做批注时的视角与画面。
又一方面,本申请还提供批注审阅功能、批注导出功能,具体的:
批注审阅功能可以包含对批注进行回复(包括语音、文字、图片、视频回复等)、标记已解决等功能。具体的实现原理为:记录批注的审阅信息,通过Three.js的文字网格模型生成内容为审阅信息的三维文本,并且添加到三维场景中。同时会将审阅内容添加到汇总数据库中,在客户端生成带有时间信息的批注,以便查看、回溯等。
批注导出功能可以导出对应格式的文件数据,例如可以导出pdf、excel、word等格式和带有“批注者记忆”的模型。该模型支持在专用软件中查看,也可支持在本地查看,更加便利于用户查看。若导出带有轨迹回溯批注格式的模型,也可将语音批注转换后和原始模型合成,导出成带有文字批注的模型,帮助用户针对批注内容进行改进。区别在于,用户可以在基于本方案开发的系统中查看带有“批注者记忆”的模型,重现“批注者的记忆”(即可以使用批注回溯和场景回溯的方法),如此,相较于在本地仅可查看文字批注(包含语音转化成的文字批注),基于场景回溯,能够看到做批注时的画面,从而可以更好地理解批注内容。
可以理解的是,其基本对应于方法实施例,所以相关之处可以参见方法实施例的部分说明。
图7为本申请实施例提供的一种交互处理装置的结构图,包括:
确定单元701,用于确定目标操作的被操作对象,所述目标操作包括作用于第一电子设备的操作和/或作用于第二电子设备的操作;
执行单元702,用于对三维立体对象执行对应所述被操作对象的目标处理,以向第一电子设备和/或第二电子设备输出目标内容;
其中,所述三维立体对象能够展示在第一电子设备和/或第二电子设备的目标输出区域,所述被操作对象属于或不属于所述三维立体对象,所述目标内容属于或不属于所述三维立体对象。
可选的,所述确定单元具体用于:
基于目标操作的操作区域与所述目标输出区域的位置关系确定所述被操作对象;
基于目标操作的操作行为数据确定所述被操作对象;
基于监测目标操作的检测模组的类型确定所述被操作对象;
基于目标操作的权限状态确定所述被操作对象,所述权限状态与实施所述目标操作的操作者的身份信息有关。
可选的,所述确定单元具体用于:
获得所述目标操作的操作区域的坐标信息,将第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中与所述坐标信息匹配的对象确定为所述被操作对象;
获得所述目标操作的行为类型和/或行为轨迹,基于所述行为类型和/或行为轨迹从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定所述被操作对象;
在所述目标操作为语音交互操作的情况下,识别所述语音交互操作的语义内容,从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定与所述语义内容的对象作为所述被操作对象;
识别所述目标操作的操作者的身份权限,基于所述身份权限从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定所述被操作对象;
其中,所述视觉感知区域是电子设备在显示输出所述三维立体对象时能够被目标使用者感知到的立体空间区域。
可选的,所述执行单元具体用于:
确定所述被操作对象是否属于所述三维立体对象;
如果所述被操作对象属于所述三维立体对象,基于所述目标操作的操作行为数据调整所述三维立体对象的展示参数或生成所述三维立体对象变化的记录数据;
如果所述被操作对象不属于所述三维立体对象,基于所述目标操作的输入数据生成与所述三维立体对象有关的交互数据。
可选的,所述装置还包括:
调整单元,用于获得目标操作的操作行为类型和操作行为轨迹数据,基于所述操作行为类型和所述操作行为轨迹数据调整所述三维立体对象的展示参数;
记录单元,用于基于目标操作的操作行为类型调用第一函数,基于所述第一函数记录所述三维立体对象的位姿、视角、展示比例中的至少之一发生变化的数据,得到所述记录数据。
可选的,所述执行单元具体用于:
如果所述输入数据包括向所述三维立体对象添加的批注数据,基于所述批注数据的类型在所述三维立体对象的对应展示区展示所述批注数据;
如果所述输入数据包括向所述三维立体对象的批注数据进行回复或评价的回复数据或评价数据,基于所述输入数据的类型在与所述批注数据所在位置相同或不同的区域展示所述回复数据或评价数据;
如果所述输入数据包括将所述三维立体对象的批注数据进行导出的指令数据,基于所述指令数据导出对应格式的文件数据。
可选的,所述执行单元具体用于:
如果所述被操作对象为所述三维立体对象的批注数据,将所述批注数据记录的所述三维立体对象的展示参数变化数据输出给所述第一电子设备和/或所述第二电子设备;
其中,所述展示参数变化数据在所述第一电子设备和/或所述第二电子设备上展示输出的视角与所述批注数据记录的展示视角相同。
可选的,所述装置还包括:
获得单元,用于获得所述第一电子设备和所述第二电子设备之间的目标交互数据;
生成单元,用于基于所述目标交互数据对所述三维立体对象进行编辑处理,以生成所述三维立体对象的批注数据、评价数据、展示参数变化数据、针对三维立体对象的批注进行回复的回复数据中的至少之一。
可选的,所述执行单元具体用于:
确定作用于第一电子设备的目标操作的被操作对象,对展示在所述第一电子设备的三维立体对象执行对应所述被操作对象的目标处理,以输出目标内容;
确定作用于第一电子设备的目标操作的被操作对象,对存储在第二电子设备的三维立体对象执行对应所述被操作对象的目标处理,以向所述第一电子设备输出目标内容;
确定作用于第一电子设备和第二电子设备的目标操作的被操作对象,对存储在第三电子设备的三维立体对象执行对应所述被操作对象的目标处理,以向所述第一电子设备和所述第二电子设备输出目标内容。
由上述技术方案可以看出,首先可以确定目标操作的被操作对象,目标操作可以包括作用于第一电子设备的操作和/或作用于第二电子设备的操作,被操作对象可以是指目标操作所指示的需要操作的对象。接着,可以对三维立体对象执行对应被操作对象的目标处理,以向第一电子设备和/或第二电子设备输出目标内容。其中,三维立体对象能够展示在第一电子设备和/或第二电子设备的目标输出区域,被操作对象属于或不属于三维立体对象,目标内容属于或不属于三维立体对象。其中,目标处理是对应被操作对象的,被操作对象是目标操作的,而目标操作是作用于第一电子设备和/或第二电子设备的操作。通过这种方式,能够根据实际需求发起目标操作,从而触发对三维立体对象执行目标处理的步骤,以使得向电子设备输出目标内容,更加灵活,便于交互,有利于提高针对三维场景的沟通交互效率。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语(如果存在)仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请实施例提供的一种交互处理方法及装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法。同时,对于本领域的一般技术人员,依据本申请的方法,在具体实施方式及应用范围上均会有改变之处。
综上所述,本说明书内容不应理解为对本申请的限制,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。而且本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
Claims (10)
1.一种交互处理方法,包括:
确定目标操作的被操作对象,所述目标操作包括作用于第一电子设备的操作和/或作用于第二电子设备的操作;
对三维立体对象执行对应所述被操作对象的目标处理,以向第一电子设备和/或第二电子设备输出目标内容;
其中,所述三维立体对象能够展示在第一电子设备和/或第二电子设备的目标输出区域,所述被操作对象属于或不属于所述三维立体对象,所述目标内容属于或不属于所述三维立体对象。
2.根据权利要求1所述的方法,其中,确定目标操作的被操作对象,包括以下至少之一:
基于目标操作的操作区域与所述目标输出区域的位置关系确定所述被操作对象;
基于目标操作的操作行为数据确定所述被操作对象;
基于监测目标操作的检测模组的类型确定所述被操作对象;
基于目标操作的权限状态确定所述被操作对象,所述权限状态与实施所述目标操作的操作者的身份信息有关。
3.根据权利要求2所述的方法,其中,确定目标操作的被操作对象,包括以下至少之一:
获得所述目标操作的操作区域的坐标信息,将第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中与所述坐标信息匹配的对象确定为所述被操作对象;
获得所述目标操作的行为类型和/或行为轨迹,基于所述行为类型和/或行为轨迹从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定所述被操作对象;
在所述目标操作为语音交互操作的情况下,识别所述语音交互操作的语义内容,从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定与所述语义内容的对象作为所述被操作对象;
识别所述目标操作的操作者的身份权限,基于所述身份权限从第一电子设备和/或第二电子设备的显示输出区域或视觉感知区域中确定所述被操作对象;
其中,所述视觉感知区域是电子设备在显示输出所述三维立体对象时能够被目标使用者感知到的立体空间区域。
4.根据权利要求1至3任一项所述的方法,其中,对三维立体对象执行对应所述被操作对象的目标处理,包括:
确定所述被操作对象是否属于所述三维立体对象;
如果所述被操作对象属于所述三维立体对象,基于所述目标操作的操作行为数据调整所述三维立体对象的展示参数或生成所述三维立体对象变化的记录数据;
如果所述被操作对象不属于所述三维立体对象,基于所述目标操作的输入数据生成与所述三维立体对象有关的交互数据。
5.根据权利要求4所述的方法,其中,基于所述目标操作的操作行为数据调整所述三维立体对象的展示参数或生成所述三维立体对象变化的记录数据,包括以下至少之一:
获得目标操作的操作行为类型和操作行为轨迹数据,基于所述操作行为类型和所述操作行为轨迹数据调整所述三维立体对象的展示参数;
基于目标操作的操作行为类型调用第一函数,基于所述第一函数记录所述三维立体对象的位姿、视角、展示比例中的至少之一发生变化的数据,得到所述记录数据。
6.根据权利要求4所述的方法,其中,基于所述目标操作的输入数据生成与所述三维立体对象有关的交互数据,包括以下至少之一:
如果所述输入数据包括向所述三维立体对象添加的批注数据,基于所述批注数据的类型在所述三维立体对象的对应展示区展示所述批注数据;
如果所述输入数据包括向所述三维立体对象的批注数据进行回复或评价的回复数据或评价数据,基于所述输入数据的类型在与所述批注数据所在位置相同或不同的区域展示所述回复数据或评价数据;
如果所述输入数据包括将所述三维立体对象的批注数据进行导出的指令数据,基于所述指令数据导出对应格式的文件数据。
7.根据权利要求1所述的方法,其中,对三维立体对象执行对应所述被操作对象的目标处理,以向第一电子设备和/或第二电子设备输出目标内容,包括:
如果所述被操作对象为所述三维立体对象的批注数据,将所述批注数据记录的所述三维立体对象的展示参数变化数据输出给所述第一电子设备和/或所述第二电子设备;
其中,所述展示参数变化数据在所述第一电子设备和/或所述第二电子设备上展示输出的视角与所述批注数据记录的展示视角相同。
8.根据权利要求1所述的方法,还包括:
获得所述第一电子设备和所述第二电子设备之间的目标交互数据;
基于所述目标交互数据对所述三维立体对象进行编辑处理,以生成所述三维立体对象的批注数据、评价数据、展示参数变化数据、针对三维立体对象的批注进行回复的回复数据中的至少之一。
9.根据权利要求1至3、5至8任一项所述的方法,包括以下至少之一:
确定作用于第一电子设备的目标操作的被操作对象,对展示在所述第一电子设备的三维立体对象执行对应所述被操作对象的目标处理,以输出目标内容;
确定作用于第一电子设备的目标操作的被操作对象,对存储在第二电子设备的三维立体对象执行对应所述被操作对象的目标处理,以向所述第一电子设备输出目标内容;
确定作用于第一电子设备和第二电子设备的目标操作的被操作对象,对存储在第三电子设备的三维立体对象执行对应所述被操作对象的目标处理,以向所述第一电子设备和所述第二电子设备输出目标内容。
10.一种交互处理装置,包括:
确定单元,用于确定目标操作的被操作对象,所述目标操作包括作用于第一电子设备的操作和/或作用于第二电子设备的操作;
执行单元,用于对三维立体对象执行对应所述被操作对象的目标处理,以向第一电子设备和/或第二电子设备输出目标内容;
其中,所述三维立体对象能够展示在第一电子设备和/或第二电子设备的目标输出区域,所述被操作对象属于或不属于所述三维立体对象,所述目标内容属于或不属于所述三维立体对象。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311865646.1A CN117666884A (zh) | 2023-12-29 | 2023-12-29 | 一种交互处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311865646.1A CN117666884A (zh) | 2023-12-29 | 2023-12-29 | 一种交互处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117666884A true CN117666884A (zh) | 2024-03-08 |
Family
ID=90080997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311865646.1A Pending CN117666884A (zh) | 2023-12-29 | 2023-12-29 | 一种交互处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117666884A (zh) |
-
2023
- 2023-12-29 CN CN202311865646.1A patent/CN117666884A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Langlotz et al. | Sketching up the world: in situ authoring for mobile augmented reality | |
JP5942456B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US5973697A (en) | Method and system for providing preferred face views of objects in a three-dimensional (3D) environment in a display in a computer system | |
JP5807686B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR101890459B1 (ko) | 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템 | |
Mohr et al. | Mixed reality light fields for interactive remote assistance | |
US11922694B2 (en) | Systems and methods for augmented reality application for annotations and adding interfaces to control panels and screens | |
CN111064999B (zh) | 用于处理虚拟现实输入的方法和系统 | |
US20190155465A1 (en) | Augmented media | |
JP2013164697A (ja) | 画像処理装置、画像処理方法、プログラム及び画像処理システム | |
US11704756B2 (en) | System and method for displaying additional information on 3D tour | |
EP3513555A1 (en) | Interactive data visualization environment | |
US20190378335A1 (en) | Viewer position coordination in simulated reality | |
CN117666884A (zh) | 一种交互处理方法及装置 | |
WO2013090944A1 (en) | Method and apparatus for representing 3d thumbnails | |
Saran et al. | Augmented annotations: Indoor dataset generation with augmented reality | |
TW200915136A (en) | Cursor-positioning method for handheld camera | |
Merckel et al. | Multi-interfaces approach to situated knowledge management for complex instruments: First step toward industrial deployment | |
KR20180071492A (ko) | 키넥트 센서를 이용한 실감형 콘텐츠 서비스 시스템 | |
JP6304305B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN115454255B (zh) | 物品展示的切换方法和装置、电子设备、存储介质 | |
US11830092B2 (en) | Server and method for displaying additional information on 3D tour | |
Mohr-Ziak et al. | Mixed reality light fields for interactive remote assistance | |
WO2021220757A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JPH10198588A (ja) | ファイル表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |