CN110533780A - 一种图像处理方法及其装置、设备和存储介质 - Google Patents
一种图像处理方法及其装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110533780A CN110533780A CN201910803981.6A CN201910803981A CN110533780A CN 110533780 A CN110533780 A CN 110533780A CN 201910803981 A CN201910803981 A CN 201910803981A CN 110533780 A CN110533780 A CN 110533780A
- Authority
- CN
- China
- Prior art keywords
- plane
- virtual objects
- display size
- angle
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 9
- 241000208340 Araliaceae Species 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 4
- 235000008434 ginseng Nutrition 0.000 claims description 4
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 17
- 230000003190 augmentative effect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000002708 enhancing effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本申请实施例提供一种图像处理方法及其装置、设备和存储介质，其中，所述方法包括：基于图像采集装置采集到的图像，确定放置虚拟对象的第一参考面；获取所述图像采集装置相对于所述第一参考面的位姿信息和待放置的虚拟对象；基于所述位姿信息确定所述虚拟对象的显示尺寸；将所述虚拟对象按照显示尺寸渲染到所述图像上。
Description
技术领域
本申请涉及计算机视觉技术领域，涉及但不限于一种图像处理方法及其装置、设备和存储介质。
背景技术
增强现实(Augmented Reality，AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术。通过将虚拟对象与现实世界融合，AR技术以身临其境的互动式体验，增强了用户与周围世界的交流与互动。AR技术广泛应用在教育、购物、艺术及游戏等各个领域。
在增强现实场景中放置虚拟对象时，现有采用的方法一般是手动放大或缩小物体，然后再挑选放置位置，这样不仅增加了用户操作，并且还无法进行有互动性的AR体验过程。
发明内容
有鉴于此，本申请实施例期望提供一种图像处理方法及其装置、设备和存储介质。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种图像处理方法，所述方法包括：
基于图像采集装置采集到的图像，确定放置虚拟对象的第一参考面；
获取所述图像采集装置相对于所述第一参考面的位姿信息和待放置的虚拟对象；
基于所述位姿信息确定所述虚拟对象的显示尺寸；
将所述虚拟对象按照显示尺寸渲染到所述图像上。
如此，能够实现通过调节图像采集装置与虚拟对象放置平面之间的位姿信息来自动调整虚拟对象的显示尺寸，无需手动调整，不仅简化了操作，还能够提高增强显示应用的交互性和娱乐性。
在上述方案中，所述基于所述位姿信息确定所述虚拟对象的显示尺寸，包括：
基于所述位姿信息确定所述图像采集装置所在的第二参考面与所述第一参考面之间的夹角；
基于所述夹角确定所述虚拟对象的显示尺寸。
如此，能够通过图像采集装置所在第二参考平面与第一参考平面之间的夹角，确定显示尺寸，从而实现虚拟对象的显示大小的自动调整，提高了终端的智能性。
在上述方案中，所述基于所述位姿信息确定所述图像采集装置所在的第二参考面与所述第一参考面之间的夹角，包括：
基于所述位姿信息确定所述图像采集装置在第一坐标系中的第一坐标信息，第一坐标系为基于所述第一参考面建立得到的坐标系；
获取通过所述图像采集装置中镜头的光心且垂直于所述第二参考面的直线与所述第一参考面的交点的第二坐标信息；
基于所述第一坐标信息和所述第二坐标信息，确定所述第一参考面与所述第二参考面之间的夹角。
如此，通过上述方案能够确定出第一参考面与第二参考面之间的夹角，从而为后续基于夹角确定显示大小提供必要的数据基础。
在上述方案中，所述基于所述夹角确定所述虚拟对象的显示尺寸，包括：
获取显示尺寸与角度之间的对应关系；
基于所述对应关系和所述夹角，确定所述虚拟对象的显示尺寸。
如此，通过显示尺寸与角度之间的对应关系，能够确定出第一参考面与第二参考面之间的夹角所对应的显示尺寸，从而能够使得图像处理设备基于该显示尺寸渲染虚拟对象，提高AR的互动性和娱乐性。
在上述方案中，所述方法还包括：
基于所述第二坐标信息和所述虚拟对象的显示尺寸确定所述虚拟对象在所述第一参考面的放置区域；
对应地，所述将所述虚拟对象按照显示尺寸渲染到所述图像上，包括：
基于所述虚拟对象在所述第一参考面的放置区域，将所述虚拟对象按照显示尺寸渲染到所述图像上。
如此，在图像采集装置聚焦在不同位置时，虚拟对象的放置区域也会相应的移动，从而保证虚拟对象一直处于第一设备的显示画面中，提高用户体验。
在上述方案中，所述方法还包括：
确定所述第一参考面的边界；
当确定所述虚拟对象在所述第一参考面的放置位置超出所述第一参考面的边界时，将所述虚拟对象按照预设的第一色彩信息渲染到所述图像上，以提示所述虚拟对象超出所述边界。
如此，当虚拟对象的放置区域超出第一参考面的边界时，以不同于虚拟对象原本的色彩信息的第一色彩信息将虚拟对象进行渲染，从而能够使用户直观的了解到虚拟对象已超出边界，从而对虚拟对象的放置区域进行调整。
本申请实施例提供一种图像处理装置，所述图像处理装置包括：
第一确定模块，用于基于图像采集装置采集到的图像，确定放置虚拟对象的第一参考面；
第一获取模块，用于获取所述图像采集装置相对于所述第一参考面的位姿信息和待放置的虚拟对象；
第二确定模块，用于基于所述位姿信息确定所述虚拟对象的显示尺寸；
第一渲染模块，用于将所述虚拟对象按照显示尺寸渲染到所述图像中的第一参考面上。
如此，能够实现通过调节图像采集装置与虚拟对象放置平面之间的位姿信息来自动调整虚拟对象的显示尺寸，无需手动调整，不仅简化了操作，还能够提高增强显示应用的交互性和娱乐性。
在上述方案中，所述第二确定模块包括：
第一确定单元，用于基于所述位姿信息确定所述图像采集装置所在的第二参考面与所述第一参考面之间的夹角；
第二确定单元，用于基于所述夹角确定所述虚拟对象的显示尺寸。
如此，能够通过图像采集装置所在第二参考平面与第一参考平面之间的夹角，确定显示尺寸，从而实现虚拟对象的显示大小的自动调整，提高了终端的智能性。
在上述方案中，所述第一确定单元，包括：
第一确定子单元，用于基于所述位姿信息确定所述图像采集装置在第一坐标系中的第一坐标信息，第一坐标系为基于所述第一参考面建立得到的坐标系；
第一获取子单元，用于获取通过所述图像采集装置中镜头的光心且垂直于所述第二参考面的直线与所述第一参考面的交点的第二坐标信息；
第二确定子单元，用于基于所述第一坐标信息和所述第二坐标信息，确定所述第一参考面与所述第二参考面之间的夹角。
如此，通过上述方案能够确定出第一参考面与第二参考面之间的夹角，从而为后续基于夹角确定显示大小提供必要的数据基础。
在上述方案中，所述第二确定单元包括：
第二获取子单元，用于获取显示尺寸与角度之间的对应关系；
第三确定子单元，用于基于所述对应关系和所述夹角，确定所述虚拟对象的显示尺寸。
如此，通过显示尺寸与角度之间的对应关系，能够确定出第一参考面与第二参考面之间的夹角所对应的显示尺寸，从而能够使得图像处理设备基于该显示尺寸渲染虚拟对象，提高AR的互动性和娱乐性。
在上述方案中，所述装置还包括：
第三确定模块，用于基于所述第二坐标信息和所述虚拟对象的显示尺寸确定所述虚拟对象在所述第一参考面的放置区域；
对应地，所述第一渲染模块，包括：
渲染单元，用于基于所述虚拟对象在所述第一参考面的放置区域，将所述虚拟对象按照显示尺寸渲染到所述图像上。
如此，在图像采集装置聚焦在不同位置时，虚拟对象的放置区域也会相应的移动，从而保证虚拟对象一直处于第一设备的显示画面中，提高用户体验。
在上述方案中，所述装置还包括：
第四确定模块，用于确定所述第一参考面的边界；
第二渲染模块，用于当确定所述虚拟对象在所述第一参考面的放置位置超出所述第一参考面的边界时，将所述虚拟对象按照预设的第一色彩信息渲染到所述图像上，以提示所述虚拟对象超出所述边界。
如此，当虚拟对象的放置区域超出第一参考面的边界时，以不同于虚拟对象原本的色彩信息的第一色彩信息将虚拟对象进行渲染，从而能够使用户直观的了解到虚拟对象已超出边界，从而对虚拟对象的放置区域进行调整。
本申请实施例提供一种图像处理设备，所述图像处理设备至少包括：存储器、通信总线和处理器，其中：
所述存储器，用于存储图像处理程序；
所述通信总线，用于实现处理器和存储器之间的连接通信；
所述处理器，用于执行存储器中存储的图像处理程序，以实现上述方案中所述的图像处理方法的步骤。
本申请实施例提供一种存储介质，所述存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现上述方案中所述的图像处理方法的步骤。
本申请实施例提供一种图像处理方法及其装置、设备和存储介质，其中，所述方法包括：首先基于图像采集装置采集到的图像，确定放置虚拟对象的第一参考面；然后再获取所述图像采集装置相对于所述第一参考面的位姿信息和待放置的虚拟对象，并基于所述位姿信息确定所述虚拟对象的显示尺寸，其中当位姿信息表明图像采集装置远离第一参考面时，那么将虚拟对象的显示尺寸减小，当位姿信息表明图像采集装置靠近第一参考面时，那么将虚拟对象的显示尺寸增大，最后将所述虚拟对象按照显示尺寸渲染到所述图像上；如此，实现通过调节图像采集装置与虚拟对象放置平面之间的位姿信息来自动调整虚拟对象的显示尺寸，无需手动调整，不仅简化了操作，还能够提高增强显示应用的交互性和娱乐性。
附图说明
图1A为本申请实施例图像处理方法的一种网络架构的示意图；
图1B为本申请实施例图像处理方法的再一种网络架构示意图；
图2A为本申请实施例提供的图像处理方法的一种实现流程示意图；
图2B为本申请实施例图像处理方法的应用场景示意图；
图3为本申请实施例提供的图像处理方法的另一种实现流程示意图；
图4为本申请实施例图像处理方法的再一种实现流程示意图；
图5为本申请实施例图像处理方法的应用场景示意图；
图6为本申请实施例图像处理装置的组成结构示意图；
图7为本申请实施例图像处理设备的组成结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
图1A为本申请实施例图像处理方法的一种网络架构的示意图，如图1A所示，在所述网络架构中，包括第一设备101和服务器102，其中，第一设备101通过网络103连接到服务器102，网络103可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。第一设备101移动终端，例如可以是智能手机，还可以是AR眼镜，在图1A中将第一设备101以智能手机的形式示例性示出。第一设备101可以包括图像采集装置1011。服务器102可以是指一台服务器，也可以是由多台服务器构成的服务器集群、云计算中心等等，在此不加以限定。
在图1A所示的网络架构中，第一设备101中的图像采集装置可以采集现实图像数据，然后第一设备101将图像采集装置现实图像数据、要增加的虚拟对象以及图像采集装置的内参数发送给服务器102，由服务器102确定出现实图像数据中的平面和图像采集装置相对于该平面的位姿信息，然后服务器102根据位姿信息再进一步确定出虚拟对象的显示尺寸，并将虚拟对象按照该显示尺寸渲染到确定出的平面上，并将渲染后的增强现实图像数据发送给第一设备101，第一设备101输出增强现实图像数据。
图1B为本申请实施例图像处理方法的再一种网络架构示意图，如图1B所示，该网络架构中仅包括第一设备111，第一设备111可以是智能手机，还可以是AR眼镜等，在图1B中，同样将第一设备111以智能手机的形式示例性示出。第一设备111至少包括图像采集装置和处理器，图像采集装置可以采集现实图像数据，然后第一设备101中的处理器基于图像采集装置采集到的现实图像数据和图像采集装置的内参数现实图像数据中的平面和图像采集装置相对于该平面的位姿信息，然后再进一步根据位姿信息再进一步确定出虚拟对象的显示尺寸，并将虚拟对象按照该显示尺寸渲染到确定出的平面上，得到增强现实图像数据，第一设备101输出增强现实图像数据。
结合图1A和图1B所示的网络架构示意图，以下对图像处理方法及图像处理装置、设备的各实施例进行说明。
参见图2，图2为本申请实施例提供的图像处理方法的一种实现流程示意图，将结合图2示出的步骤进行说明。在本申请各实施例中，图像处理设备可以是如图1A中所示的服务器，还可以是如图1B所示的第一设备。
步骤S201，图像处理设备基于图像采集装置采集到的图像，确定放置虚拟对象的第一参考面。
这里，第一参考面可以是平面，在一些实施例中，第一参考面还可以是斜面。当第一参考面为平面时，第一参考面可以是水平面。图像采集装置是为了实现增强现实目的，用于获取当前的现实场景的图像的照相或摄像设备，因此图像采集装置采集到的图像可以认为是现实世界图像。
步骤S201在实现时，首先图像处理设备要识别出图像中的各个参考面，在从各个参考面中确定第一参考面。
在识别图像中的参考面时，可以是利用搭建增强显示应用程序的软件平台，提取图像中的特征点，然后将平面拟合到这些点，并在比例、方向和位置等方面找到最佳匹配，通过不断分析各个特征点，可以检测出图像中的各个平面。在检测到多个平面时，还可以利用平面可视化来帮助用户确定放置虚拟对象的第一参考面。譬如说，可以突出显示已检测到且可以放置虚拟对象的平面；还可以创建不同平面之间的视觉差异，以免在放置虚拟对象时出现混淆；亦或者突出显示用户正在查看或者指向的平面，而不要一次性突出多个平面。
基于用户选择第一参考面的操作指令，从而确定出的参考面中确定放置虚拟对象的第一参考面。
当步骤S201是由图1A所示的服务器实现时，那么图像采集装置可以是第一设备中的装置，此时所述方法还包括：第一设备将图像采集装置采集到的图像和图像采集装置的内参数发送给服务器。
步骤S202，图像处理设备获取所述图像采集装置相对于所述第一参考面的位姿信息和待放置的虚拟对象。
这里，步骤S202在实现时，首先获取第一参考平面上各个顶点的坐标；最后根据各个顶点的坐标计算图像采集装置相对于第一参考面的位姿信息。具体来说，在计算位姿信息时，可以根据各个顶点的相对坐标求解PNP问题，从而得到图像采集装置相对于第一参考面的位姿信息，即该图像采集装置相对于第一参考面所在世界坐标系下的平移量和旋转量。另外，也可以利用SLAM算法和IMU结合的方法来进行位姿信息计算。
步骤S203，图像处理设备基于所述位姿信息确定所述虚拟对象的显示尺寸。
这里，在确定出图像采集装置相对于第一参考面的位姿信息之后，根据位姿信息中的旋转量或者说旋转矩阵可以确定出所述图像采集装置所在的第二参考面与所述第一参考面之间的夹角，然后再基于所述夹角确定所述虚拟对象的显示尺寸。
在本实施例中，当第二参考面与第一参考面之间的夹角变小时，可以认为第一设备靠近第一参考面，此时放大虚拟对象的显示尺寸，当第二参考面与第一参考面之间的夹角变大时，可以认为第一设备远离第一参考面，此时缩小虚拟对象的显示尺寸，如此不需要人工手动对虚拟对象的显示尺寸进行调整，从而简化操作，并增加了AR的互动性。
步骤S204，图像处理设备将所述虚拟对象按照显示尺寸渲染到所述图像上。
这里，步骤S204在实现时，可以是图像处理设备根据位姿信息将虚拟对象按照确定出的显示尺寸与该图像进行虚实叠加处理，从而得到增强显示图像。
步骤S204可以认为是在第一设备显示现实图像的显示界面上按照显示尺寸渲染出该虚拟对象，例如可以是虚拟物品、虚拟人物等，并通过用户对触摸屏或手柄的操作控制虚拟目标的活动，以实现增强现实效果。
在本申请实施例提供的图像处理方法中，首先基于图像采集装置采集到的图像，确定放置虚拟对象的第一参考面；然后再获取所述图像采集装置相对于所述第一参考面的位姿信息和待放置的虚拟对象，并基于所述位姿信息确定所述虚拟对象的显示尺寸，其中当位姿信息表明图像采集装置远离第一参考面时，那么将虚拟对象的显示尺寸减小，当位姿信息表明图像采集装置靠近第一参考面时，那么将虚拟对象的显示尺寸增大，最后将所述虚拟对象按照显示尺寸渲染到所述图像上；如此，实现通过调节图像采集装置与虚拟对象放置平面之间的位姿信息来自动调整虚拟对象的显示尺寸，无需手动调整，不仅简化了操作，还能够提高增强显示应用的交互性和娱乐性。
在一些实施例中，所述步骤S203可以通过以下步骤实现：
步骤S2031，基于所述位姿信息确定所述图像采集装置所在的第二参考面与所述第一参考面之间的夹角。
这里，当图像处理设备为智能手机时，图像采集装置所在的第二参考面可以认为是智能手机中显示屏所在的面。
在本实施例中，步骤S2031可以通过以下步骤实现：
步骤11，基于所述位姿信息确定所述图像采集装置在第一坐标系中的第一坐标信息。
这里，第一坐标系为基于所述第一参考面建立得到的坐标系。
一种实施方式中，第一坐标系可以是采用世界坐标系，此时，在计算第二参考面和第一参考面的夹角时，是基于在世界坐标系中，第一参考面和第二参考面的空间位置关系进行计算两者之间的夹角。
在另一种实施方式中，第一坐标系还可以是以第一参考面中的一预设点为原点，以两两垂直的三个坐标轴形成的坐标系。
由于位姿信息中包括图像采集装置相对于第一参考面自身所在的坐标系下的平移量和旋转量，那么就可以根据该平移量和旋转量确定出图像采集装置在第一坐标系中的第一坐标信息。
步骤12，获取通过所述图像采集装置中镜头的光心且垂直于所述第二参考面的直线与所述第一参考面的交点的第二坐标信息。
这里，通过图像采集装置中镜头的光心的直线是垂直于图像采集装置所在的第二参考面的，那么在确定出图像采集装置的旋转矩阵之后，即可确定出通过图像采集装置中镜头的光心的直线与第一参考平面之间的夹角，那么在已知图像采集装置的第一坐标信息以及该直线与第一参考平面之间的夹角之后，即可确定出第二坐标信息。
步骤13，基于所述第一坐标信息和所述第二坐标信息，确定所述第一参考面与所述第二参考面之间的夹角。
这里，如图2B所示，第一参考面为图2B中的211，第二参考面为图2B中的212，通过所述图像采集装置中镜头的光心O且垂直于第二参考面212的直线213与第一参考面211的交点为图2B中的点A，第一坐标信息可以是光心在第一坐标系中的坐标，假设点O的第一坐标信息为(x1，y1，z1)，点A第二坐标信息为(x2，y2，z2)，那么基于第一坐标信息和第二坐标信息可以按照公式(1)确定出OA之间的距离lOA：
第一参考面211为第一坐标系中由两个坐标轴形成的平面，假设在本申请实施例中，第一参考面为xoy所形成的平面，那么在图2B中，OP之间的距离即为z1。那么，
在公式(2)中，cos为余弦函数。
∠AOP可以按照公式(3)得出：
在公式(3)中，arccos为反余弦函数。
由于∠AOP+∠OAP＝90°，∠OAP+∠OBA＝90°，也即∠AOP＝∠OBA。
∠OBA即为第一参考平面与第二参考平面之间的夹角。
步骤S2032，基于所述夹角确定所述虚拟对象的显示尺寸。
这里，步骤S2032可以通过以下步骤实现：
步骤21，获取显示尺寸与角度之间的对应关系。
这里，该对应关系可以是包括一个参考角度以及与该参考角度对应的一个参考尺寸，例如该参考角度可以是45度，对应有一个参考尺寸。在一些实施例中，该对应关系还可以是包括多个参考角度，每个参考角度对应有一个参考尺寸。
步骤22，基于所述对应关系和所述夹角，确定所述虚拟对象的显示尺寸。
这里，当对应关系中包括一个参考角度以及与该参考角度对应的一个参考尺寸时，步骤22在实现时可以是，确定所述夹角与该参考角度之间的比例关系，然后再根据该比例关系与参考角度对应的参考大小确定虚拟对象的显示尺寸。
例如，参考角度可以是45度，参考尺寸为20*20，第一参考平面与第二参考平面之间的夹角为30度，夹角相对与参考角度变小，那么认为此时图像采集装置聚焦在近处，此时要放大尺寸。该夹角与参考角度的比例关系为30:45＝2:3，此时显示尺寸调整为参考尺寸的3/2，即显示尺寸为30*30。若第一参考平面与第二参考平面之间的夹角为60度，夹角相对与参考角度变大，那么认为此时图像采集装置聚焦在远处，此时要缩小尺寸。该夹角与参考角度的比例关系为60:45＝4:3，此时显示尺寸调整为参考尺寸的3/4，即显示尺寸为15*15。
当对应关系中包括多个参考角度，每个参考角度对应有一个显示尺寸时，步骤22在实现时可以是，确定出与夹角最接近的参考角度，将该参考角度对应的参考尺寸确定为虚拟对象的显示尺寸；还可以是确定出与夹角最接近的参考角度之后，根据夹角与该最接近的参考角度之间的比例关系和该最接近的参考角度对应的参考尺寸确定虚拟对象的显示尺寸。
在上述实施例中，可以根据图像采集装置所在的第二参考面与第一参考面之间的夹角来确定图像采集装置是聚焦在近处还是远处，并在聚焦在近处时，增大显示尺寸，聚焦在远处时缩小显示尺寸，从而实现了自动调整虚拟对象的显示尺寸，增加了AR互动性和娱乐性。
在一些实施例中，确定出第二坐标信息之后，所述方法还包括：
步骤14，基于所述第二坐标信息和所述虚拟对象的显示尺寸确定所述虚拟对象在所述第一参考面的放置区域。
这里，步骤14在实现时，可以是以该第二坐标信息对应的坐标点为中心，确定一圆形区域，其中该圆形区域的半径可以是根据显示尺寸确定的，例如该半径可以是根据显示尺寸确定出在第一参考面上透镜的外接圆的半径。当然在一些实施例中，放置区域还可以是根据虚拟对象的实际形状确定的，例如还可以是正方形、矩形、三角形等等。
在确定出虚拟对象的放置区域后，对应地，步骤S204在实现时可以是：基于所述虚拟对象在所述第一参考面的放置区域，将所述虚拟对象按照显示尺寸渲染到所述图像上；如此在图像采集装置聚焦在不同位置时，虚拟对象的放置区域也会相应的移动，从而保证虚拟对象一直处于第一设备的显示画面中，提高用户体验。
在一些实施例中，如图3所示，在步骤S203之后，所述方法还包括：
步骤S204’，图像处理设备确定所述第一参考面的边界和所述虚拟对象的放置区域。
这里，由于在确定第一参考面时，已经确定出第一参考面的各个顶点的坐标，那么根据第一参考面的各个顶点的坐标可以确定出第一参考面的边界。而虚拟对象的放置区域可以通过步骤14确定。
步骤S205，图像处理设备判断所述放置区域是否超出所述第一参考面的边界。
这里，当放置区域超出第一参考面的边界时，进入步骤S206；当放置区域没有超出第一参考面的边界时，进入步骤S207。
步骤S206，图像处理设备将所述虚拟对象按照预设的第一色彩信息和显示尺寸渲染到所述图像上，以提示所述虚拟对象超出所述边界。
这里，第一色彩信息是不同于虚拟对象原本的色彩信息的，例如可以是灰色，或者可以是红色等等。
步骤S207，图像处理设备将所述虚拟对象按照预设的第二色彩信息和显示尺寸渲染到所述图像上。
这里，第二色彩信息可以是虚拟对象原本的色彩信息。这样当虚拟对象的放置区域超出第一参考面的边界时，以不同于虚拟对象原本的色彩信息的第一色彩信息将虚拟对象进行渲染，从而能够使用户直观的了解到虚拟对象已超出边界，从而对虚拟对象的放置区域进行调整。
基于前述的实施例，本申请实施例再提供一种图像处理方法，应用于图1A所示的网络架构。图4为本申请实施例再一种图像处理方法的实现流程示意图，如图4所示，所述方法包括：
步骤S401，第一设备通过自身的图像采集装置采集现实场景图像。
这里，图像采集装置可以是摄像头。第一设备通过自身的图像采集装置采集的是现实场景图像，现实场景图像也就是图像采集装置采集的真实的现实世界的图像。
步骤S402，第一设备将所述现实场景图像发送给服务器。
这里，在实际应用过程中，当第一设备是在录像时，第一设备会将采集到的每一帧图像都发送给服务器。
步骤S403，服务器接收到现实场景图像后识别现实场景图像中的各个参考面。
这里，服务器会对接收到的现实场景图像进行特征提取，并根据提取出的特征点和预设的平面进行拟合，从而确定出现实场景图像中的各个参考面。
步骤S404，服务器将识别出的各个参考面信息发送给第一设备。
这里，参考面信息可以是参考面的各个顶点的坐标。第一设备在接收到服务器发送的各个参考面信息后，会在显示界面上可视化的区分出不同的参考面，例如，识别出的参考面是地面时，以红色方格示出，识别出的参考面为桌面时，以黄色方格示出。
步骤S405，第一设备确定放置虚拟对象的第一参考面和待放置的虚拟对象。
这里，第一设备示出各个参考面会，用户可以根据自身的需求选择出放置虚拟对象的第一参考面，此时第一设备基于用户的选择操作确定出第一参考面。
在一些实施例中，第一设备还可以根据识别出的各个参考面依据预设策略确定出第一参考面，例如预设策略可以是将各个参考面中面积最大的作为第一参考面，预设策略还可以是将各个参考面中距离图像中心最近的作为第一参考面。
步骤S406，第一设备将确定出的第一参考面信息和待放置的虚拟对象发送给服务器。
这里，待放置的虚拟对象可以是人物、动物、建筑物、物品等等。
步骤S407，服务器确定图像采集装置相对于所述第一参考面的位姿信息。
这里，服务器确定图像采集装置相对于第一参考面的位姿信息，也可以认为是第一设备相对于第一参考面的位姿信息。
步骤S408，服务器基于所述位姿信息确定所述图像采集装置所在的第二参考面与所述第一参考面之间的夹角和所述虚拟对象的放置区域。
步骤S409，服务器基于所述夹角确定所述虚拟对象的显示尺寸。
这里，在本实施例中，第一参考面可以是与水平面平行的平面，第二设备与第一参考面之间的夹角可以是0到90°之间的角。当夹角从90度逐渐减小时，可以认为图像采集装置聚焦的点在逐渐靠近用户，此时可以逐渐增大虚拟对象的显示尺寸，当夹角从0度逐渐增大时，可以认为图像采集装置聚焦的点在逐渐远离用户，此时可以逐渐减小虚拟对象的显示尺寸。
步骤S410，服务器基于所述放置区域，将所述虚拟对象按照显示尺寸渲染到所述图像上，得到增强现实图像数据。
这里，服务器将虚拟对象和现实场景图像进行虚实叠加处理，从而实现将虚拟对象渲染到现实场景图像中，从而得到增强现实图像数据。
步骤S411，服务器将增强现实图像数据发送给第一设备。
步骤S412，第一设备基于所述增强显示图像数据，输出显示相应的增强显示图像。
在本申请实施例提供的图像处理方法中，第一设备在采集到现实场景图像之后，将现实场景图像发送给服务器，由服务器识别图像中的参考面，并将参考面信息发送给第一设备，第一设备以可视化形式显示识别出的参考面，以便用户确定放置虚拟对象的第一参考面，在选择出第一参考面之后服务器确定第一设备与第一参考面之间的夹角，并根据该夹角确定虚拟对象的显示大小，从而将虚拟对象依据确定出的显示大小渲染到现实场景图像中，得到增强显示图像数据，并发送给第一设备，以供第一设备显示，如此，通过服务器确定虚拟对象的显示大小并进行虚实叠加处理，不仅能够降低第一设备的计算量，还能够实现自动调整显示大小，能够提高用户的沉浸式体验。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
在本实施例中，当需要在AR场景的平面上放置虚拟物体时，手机摄像头所在平面与放置物体平面一般夹角都小于90度。当夹角减小，手机摄像头望向近处时，所放置的物体因近大远小的原理而变大并将放置在近处；当夹角增大手机摄像头望向远处时，所放物体根据相应的视线会变小并放置在远处。当手机摄像头旋转望向别处时，所放置的物体也跟随摄像头视线移动，虚拟物体的放置位置也随之移动。
在AR场景中，通过手机识别出放置虚拟物体的平面后，需要选择放置虚拟物体的位置和放置虚拟物体的远近。图5为本申请实施例图像处理方法的应用场景示意图，手机摄像头平面和物体放置平面夹角小于90度，当手机摄像头平面和放置物体平面夹角增大时，如图5所示，视线朝向远方，所放置物体501缩小并且放置的位置偏远方，当手机摄像头平面和放置物体平面夹角减小时，视线朝向近处，所放置物体502放大并且放置位置偏近处。
如果手机摄像头旋转角度，那么视线也会跟着旋转，所放置的虚拟物体也会跟着摄像头旋转，视线始终和手机摄像头所在平面成直角。
在本申请实施例中，当所放置的虚拟物体过近或者过远而超出所放置平面范围时，虚拟物体的颜色会改变(如变成灰色)来提醒用户无法成功放置物体。
在相关技术中，需要人工手动放大和缩小需要放置物体，并选择放置物体的位置，增加了人为操作，从而降低了放置物体的效率。而在本实施中，可通过手机摄像头的视线方向和手机摄像头所在平面和物体放置平面的夹角来确定所放置物体的远近和大小，从而实现自动调整物体摆放的位置并自动调整在三维(3 Dimensions，3D)现实环境中物体的大小，让AR的使用更有互动性和娱乐性。
在本实施例中以游戏场景为例，进行说明。
在AR游戏场景(如小黑羊)中，用户在完成识别物体摆放平台后，需要将游戏的物体，如森林，兵营，池塘，小山摆放在识别的平台上，以完成游戏场景的个性化定制设计。此时通过用户调整摄像头与摆放物体平面的角度以及改变摄像头的视线角度，能够使得AR平台上的物体摆放位置及大小随着摄像头而自动调整。
当然本实施例提供的在AR场景中通过手机摄像头的视线方向和手机摄像头所在平面和物体放置平面的夹角来确定所放置物体的远近和大小的方法除了应用在游戏场景，还可以用于购物场景、教育场景等，在本实施例中不进行限定。
本申请实施例提供一种图像处理装置，图6为本申请实施例图像处理装置的组成结构示意图，如图6所示，所述装置600包括：第一确定模块601、第一获取模块602、第二确定模块603和第一渲染模块604，其中：
第一确定模块601，用于基于图像采集装置采集到的图像，确定放置虚拟对象的第一参考面；
第一获取模块602，用于获取所述图像采集装置相对于所述第一参考面的位姿信息和待放置的虚拟对象；
第二确定模块603，用于基于所述位姿信息确定所述虚拟对象的显示尺寸；
第一渲染模块604，用于将所述虚拟对象按照显示尺寸渲染到所述图像中的第一参考面上。
在上述方案中，所述第二确定模块603包括：
第一确定单元，用于基于所述位姿信息确定所述图像采集装置所在的第二参考面与所述第一参考面之间的夹角；
第二确定单元，用于基于所述夹角确定所述虚拟对象的显示尺寸。
在上述方案中，所述第一确定单元，包括：
第一确定子单元，用于基于所述位姿信息确定所述图像采集装置在第一坐标系中的第一坐标信息，第一坐标系为基于所述第一参考面建立得到的坐标系；
第一获取子单元，用于获取通过所述图像采集装置中镜头的光心且垂直于所述第二参考面的直线与所述第一参考面的交点的第二坐标信息；
第二确定子单元，用于基于所述第一坐标信息和所述第二坐标信息，确定所述第一参考面与所述第二参考面之间的夹角。
在上述方案中，所述第二确定单元包括：
第二获取子单元，用于获取显示尺寸与角度之间的对应关系；
第三确定子单元，用于基于所述对应关系和所述夹角，确定所述虚拟对象的显示尺寸。
在上述方案中，所述装置还包括：
第三确定模块，用于基于所述第二坐标信息和所述虚拟对象的显示尺寸确定所述虚拟对象在所述第一参考面的放置区域；
对应地，所述第一渲染模块，包括：
渲染单元，用于基于所述虚拟对象在所述第一参考面的放置区域，将所述虚拟对象按照显示尺寸渲染到所述图像上。
在上述方案中，所述装置还包括：
第四确定模块，用于确定所述第一参考面的边界；
第二渲染模块，用于当确定所述虚拟对象在所述第一参考面的放置位置超出所述第一参考面的边界时，将所述虚拟对象按照预设的第一色彩信息渲染到所述图像上，以提示所述虚拟对象超出所述边界。
需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，如果以软件功能模块的形式实现上述的图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，本申请实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述该计算机可执行指令被处理器执行时实现上述实施例提供的图像处理方法的步骤。
本申请实施例提供一种图像处理设备，图7为本申请实施例图像处理设备的组成结构示意图，如图7所示，所述设备700包括：一个处理器701、至少一个通信总线702、用户接口703、至少一个外部通信接口704和存储器705。其中，通信总线702配置为实现这些组件之间的连接通信。其中，用户接口703可以包括显示屏，外部通信接口704可以包括标准的有线接口和无线接口。其中所述处理器701，配置为执行存储器中存储的图像处理程序，以实现以上述实施例提供的图像处理方法中的步骤。
以上图像处理设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请图像处理设备和存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
基于图像采集装置采集到的图像，确定放置虚拟对象的第一参考面；
获取所述图像采集装置相对于所述第一参考面的位姿信息和待放置的虚拟对象；
基于所述位姿信息确定所述虚拟对象的显示尺寸；
将所述虚拟对象按照所述显示尺寸渲染到所述图像上。
2.根据权利要求1中所述的方法，其特征在于，所述基于所述位姿信息确定所述虚拟对象的显示尺寸，包括：
基于所述位姿信息确定所述图像采集装置所在的第二参考面与所述第一参考面之间的夹角；
基于所述夹角确定所述虚拟对象的显示尺寸。
3.根据权利要求2中所述的方法，其特征在于，所述基于所述位姿信息确定所述图像采集装置所在的第二参考面与所述第一参考面之间的夹角，包括：
基于所述位姿信息确定所述图像采集装置在第一坐标系中的第一坐标信息，第一坐标系为基于所述第一参考面建立得到的坐标系；
获取通过所述图像采集装置中镜头的光心且垂直于所述第二参考面的直线与所述第一参考面的交点的第二坐标信息；
基于所述第一坐标信息和所述第二坐标信息，确定所述第一参考面与所述第二参考面之间的夹角。
4.根据权利要求2中所述的方法，其特征在于，所述基于所述夹角确定所述虚拟对象的显示尺寸，包括：
获取显示尺寸与角度之间的对应关系；
基于所述对应关系和所述夹角，确定所述虚拟对象的显示尺寸。
5.根据所述权利要求3中所述的方法，其特征在于，所述方法还包括：
基于所述第二坐标信息和所述虚拟对象的显示尺寸确定所述虚拟对象在所述第一参考面的放置区域；
对应地，所述将所述虚拟对象按照显示尺寸渲染到所述图像上，包括：
基于所述虚拟对象在所述第一参考面的放置区域，将所述虚拟对象按照显示尺寸渲染到所述图像上。
6.根据权利要求5中所述的方法，其特征在于，所述方法还包括：
确定所述第一参考面的边界；
当确定所述虚拟对象在所述第一参考面的放置区域超出所述第一参考面的边界时，将所述虚拟对象按照预设的第一色彩信息渲染到所述图像上，以提示所述虚拟对象超出所述边界。
7.一种图像处理装置，其特征在于，所述图像处理装置包括：
第一确定模块，用于基于图像采集装置采集到的图像，确定放置虚拟对象的第一参考面；
第一获取模块，用于获取所述图像采集装置相对于所述第一参考面的位姿信息和待放置的虚拟对象；
第二确定模块，用于基于所述位姿信息确定所述虚拟对象的显示尺寸；
第一渲染模块，用于将所述虚拟对象按照显示尺寸渲染到所述图像中的第一参考面上。
8.根据权利要求7中所述的装置，其特征在于，所述第二确定模块包括：
第一确定单元，用于基于所述位姿信息确定所述图像采集装置所在的第二参考面与所述第一参考面之间的夹角；
第二确定单元，用于基于所述夹角确定所述虚拟对象的显示尺寸。
9.一种图像处理设备，其特征在于，所述图像处理设备至少包括：存储器、通信总线和处理器，其中：
所述存储器，用于存储图像处理程序；
所述通信总线，用于实现处理器和存储器之间的连接通信；
所述处理器，用于执行存储器中存储的图像处理程序，以实现权利要求1至6任一项中所述的图像处理方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现权利要求1至6任一项中所述的图像处理方法的步骤。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910803981.6A CN110533780B (zh) | 2019-08-28 | 2019-08-28 | 一种图像处理方法及其装置、设备和存储介质 |
| SG11202112379VA SG11202112379VA (en) | 2019-08-28 | 2020-07-07 | Image processing method, device thereof, equipment, and storage medium |
| JP2021564316A JP7261904B2 (ja) | 2019-08-28 | 2020-07-07 | 画像処理方法及びその装置、機器並びに記憶媒体 |
| PCT/CN2020/100713 WO2021036520A1 (zh) | 2019-08-28 | 2020-07-07 | 一种图像处理方法及其装置、设备和存储介质 |
| TW109126943A TW202109450A (zh) | 2019-08-28 | 2020-08-07 | 一種圖像處理方法、設備和儲存介質 |
| US17/518,692 US11880956B2 (en) | 2019-08-28 | 2021-11-04 | Image processing method and apparatus, and computer storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910803981.6A CN110533780B (zh) | 2019-08-28 | 2019-08-28 | 一种图像处理方法及其装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110533780A true CN110533780A (zh) | 2019-12-03 |
| CN110533780B CN110533780B (zh) | 2023-02-24 |
Family
ID=68664903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910803981.6A Active CN110533780B (zh) | 2019-08-28 | 2019-08-28 | 一种图像处理方法及其装置、设备和存储介质 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11880956B2 (zh) |
| JP (1) | JP7261904B2 (zh) |
| CN (1) | CN110533780B (zh) |
| SG (1) | SG11202112379VA (zh) |
| TW (1) | TW202109450A (zh) |
| WO (1) | WO2021036520A1 (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111651051A (zh) * | 2020-06-10 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种虚拟沙盘展示方法及装置 |
| CN111651057A (zh) * | 2020-06-11 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种数据展示方法、装置、电子设备及存储介质 |
| WO2021036520A1 (zh) * | 2019-08-28 | 2021-03-04 | 深圳市商汤科技有限公司 | 一种图像处理方法及其装置、设备和存储介质 |
| CN113703161A (zh) * | 2020-05-22 | 2021-11-26 | 宏碁股份有限公司 | 扩增实境系统与其锚定显示方法 |
| CN113838164A (zh) * | 2021-08-18 | 2021-12-24 | 北京商询科技有限公司 | 一种网格绘制方法、装置以及存储介质 |
| CN115810100A (zh) * | 2023-02-06 | 2023-03-17 | 阿里巴巴（中国）有限公司 | 确定物体放置平面的方法、设备、存储介质及程序产品 |
| WO2023138468A1 (zh) * | 2022-01-21 | 2023-07-27 | 北京字跳网络技术有限公司 | 虚拟物体的生成方法、装置、设备及存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112684885B (zh) * | 2020-12-25 | 2023-05-02 | 联想(北京)有限公司 | 一种显示控制方法及装置 |
| WO2023219612A1 (en) * | 2022-05-11 | 2023-11-16 | Innopeak Technology, Inc. | Adaptive resizing of manipulatable and readable objects |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014169692A1 (en) * | 2013-04-15 | 2014-10-23 | Tencent Technology (Shenzhen) Company Limited | Method,device and storage medium for implementing augmented reality |
| US20180082475A1 (en) * | 2016-09-21 | 2018-03-22 | Verizon Patent And Licensing Inc. | Placing and presenting virtual objects in an augmented reality environment |
| CN108305325A (zh) * | 2017-01-25 | 2018-07-20 | 网易（杭州）网络有限公司 | 虚拟对象的显示方法及装置 |
| CN108520552A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108961423A (zh) * | 2018-07-03 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 虚拟信息处理方法、装置、设备及存储介质 |
| CN109903129A (zh) * | 2019-02-18 | 2019-06-18 | 北京三快在线科技有限公司 | 增强现实显示方法与装置、电子设备、存储介质 |
| CN109961522A (zh) * | 2019-04-02 | 2019-07-02 | 百度国际科技（深圳）有限公司 | 图像投射方法、装置、设备和存储介质 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI403868B (zh) | 2006-10-26 | 2013-08-01 | Seereal Technologies Sa | 全像顯示裝置及方法 |
| US8340398B2 (en) * | 2006-12-02 | 2012-12-25 | Electronics And Telecommunications Research Institute | Correlation extract method for generating 3D motion data, and motion capture system and method for easy composition of humanoid character on real background image using the same |
| JP4640508B2 (ja) | 2009-01-09 | 2011-03-02 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び撮像装置 |
| US20120249544A1 (en) * | 2011-03-29 | 2012-10-04 | Giuliano Maciocci | Cloud storage of geotagged maps |
| US9117281B2 (en) | 2011-11-02 | 2015-08-25 | Microsoft Corporation | Surface segmentation from RGB and depth images |
| JP2014191718A (ja) | 2013-03-28 | 2014-10-06 | Sony Corp | 表示制御装置、表示制御方法および記録媒体 |
| JP2015038696A (ja) * | 2013-08-19 | 2015-02-26 | 国立大学法人佐賀大学 | 拡張現実装置、拡張現実方法及び拡張現実プログラム |
| CN104423855B (zh) | 2013-08-26 | 2019-01-15 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN104950437B (zh) | 2014-03-31 | 2018-04-27 | 联想(北京)有限公司 | 显示装置和电子设备 |
| US9551873B2 (en) | 2014-05-30 | 2017-01-24 | Sony Interactive Entertainment America Llc | Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content |
| JP6476657B2 (ja) * | 2014-08-27 | 2019-03-06 | 株式会社リコー | 画像処理装置、画像処理方法、およびプログラム |
| CN105718232A (zh) | 2016-01-20 | 2016-06-29 | 昆山龙腾光电有限公司 | 一种任意角平面旋转显示方法及显示装置 |
| CN107463261B (zh) * | 2017-08-11 | 2021-01-15 | 北京铂石空间科技有限公司 | 立体交互系统及方法 |
| CN108021241B (zh) | 2017-12-01 | 2020-08-25 | 西安维度视界科技有限公司 | 一种实现ar眼镜虚实融合的方法 |
| CN108924538B (zh) | 2018-05-30 | 2021-02-26 | 太若科技(北京)有限公司 | Ar设备的屏幕拓展方法 |
| CN109240682B (zh) * | 2018-09-30 | 2021-11-30 | 上海葡萄纬度科技有限公司 | 基于ar的交互编程系统、方法、介质及智能设备 |
| CN109195020B (zh) | 2018-10-11 | 2021-07-02 | 三星电子（中国）研发中心 | 一种ar增强的游戏直播方法和系统 |
| CN110110647A (zh) | 2019-04-30 | 2019-08-09 | 北京小米移动软件有限公司 | 基于ar设备进行信息显示的方法、装置及存储介质 |
| CN110533780B (zh) * | 2019-08-28 | 2023-02-24 | 深圳市商汤科技有限公司 | 一种图像处理方法及其装置、设备和存储介质 |
-
2019
- 2019-08-28 CN CN201910803981.6A patent/CN110533780B/zh active Active
-
2020
- 2020-07-07 WO PCT/CN2020/100713 patent/WO2021036520A1/zh active Application Filing
- 2020-07-07 JP JP2021564316A patent/JP7261904B2/ja active Active
- 2020-07-07 SG SG11202112379VA patent/SG11202112379VA/en unknown
- 2020-08-07 TW TW109126943A patent/TW202109450A/zh unknown
-
2021
- 2021-11-04 US US17/518,692 patent/US11880956B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014169692A1 (en) * | 2013-04-15 | 2014-10-23 | Tencent Technology (Shenzhen) Company Limited | Method,device and storage medium for implementing augmented reality |
| US20180082475A1 (en) * | 2016-09-21 | 2018-03-22 | Verizon Patent And Licensing Inc. | Placing and presenting virtual objects in an augmented reality environment |
| CN108305325A (zh) * | 2017-01-25 | 2018-07-20 | 网易（杭州）网络有限公司 | 虚拟对象的显示方法及装置 |
| CN108520552A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108961423A (zh) * | 2018-07-03 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 虚拟信息处理方法、装置、设备及存储介质 |
| CN109903129A (zh) * | 2019-02-18 | 2019-06-18 | 北京三快在线科技有限公司 | 增强现实显示方法与装置、电子设备、存储介质 |
| CN109961522A (zh) * | 2019-04-02 | 2019-07-02 | 百度国际科技（深圳）有限公司 | 图像投射方法、装置、设备和存储介质 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021036520A1 (zh) * | 2019-08-28 | 2021-03-04 | 深圳市商汤科技有限公司 | 一种图像处理方法及其装置、设备和存储介质 |
| US11880956B2 (en) | 2019-08-28 | 2024-01-23 | Shenzhen Sensetime Technology Co., Ltd. | Image processing method and apparatus, and computer storage medium |
| CN113703161A (zh) * | 2020-05-22 | 2021-11-26 | 宏碁股份有限公司 | 扩增实境系统与其锚定显示方法 |
| CN113703161B (zh) * | 2020-05-22 | 2023-07-25 | 宏碁股份有限公司 | 扩增实境系统与其锚定显示方法 |
| CN111651051A (zh) * | 2020-06-10 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种虚拟沙盘展示方法及装置 |
| CN111651051B (zh) * | 2020-06-10 | 2023-08-22 | 浙江商汤科技开发有限公司 | 一种虚拟沙盘展示方法及装置 |
| CN111651057A (zh) * | 2020-06-11 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种数据展示方法、装置、电子设备及存储介质 |
| CN113838164A (zh) * | 2021-08-18 | 2021-12-24 | 北京商询科技有限公司 | 一种网格绘制方法、装置以及存储介质 |
| WO2023138468A1 (zh) * | 2022-01-21 | 2023-07-27 | 北京字跳网络技术有限公司 | 虚拟物体的生成方法、装置、设备及存储介质 |
| CN115810100A (zh) * | 2023-02-06 | 2023-03-17 | 阿里巴巴（中国）有限公司 | 确定物体放置平面的方法、设备、存储介质及程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021036520A1 (zh) | 2021-03-04 |
| US11880956B2 (en) | 2024-01-23 |
| TW202109450A (zh) | 2021-03-01 |
| US20220058888A1 (en) | 2022-02-24 |
| CN110533780B (zh) | 2023-02-24 |
| JP7261904B2 (ja) | 2023-04-20 |
| SG11202112379VA (en) | 2021-12-30 |
| JP2022531190A (ja) | 2022-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533780A (zh) | 一种图像处理方法及其装置、设备和存储介质 | |
| CN107045844B (zh) | 一种基于增强现实技术的景观导视方法 | |
| CN111880657B (zh) | 一种虚拟对象的控制方法、装置、电子设备及存储介质 | |
| CN107820593B (zh) | 一种虚拟现实交互方法、装置及系统 | |
| US9857589B2 (en) | Gesture registration device, gesture registration program, and gesture registration method | |
| JP7387202B2 (ja) | ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム | |
| CN108830894A (zh) | 基于增强现实的远程指导方法、装置、终端和存储介质 | |
| CN107622524A (zh) | 用于移动终端的显示方法和显示装置 | |
| CN106210538A (zh) | 在用户设备上显示基于光场的图像的方法和装置及程序 | |
| CN108028871A (zh) | 移动设备上的无标记的多用户多对象增强现实 | |
| US20120162384A1 (en) | Three-Dimensional Collaboration | |
| JP2022545851A (ja) | 仮想対象制御方法及び装置、機器、コンピュータ可読記憶媒体 | |
| US20130249902A1 (en) | System and Method for Defining an Augmented Reality View in a Specific Location | |
| CN110072046B (zh) | 图像合成方法和装置 | |
| CN106165386A (zh) | 用于照片上传和选择的自动化技术 | |
| CN103426202A (zh) | 三维全景互动移动终端展示系统及展示方法 | |
| EP2911393B1 (en) | Method and system for controlling virtual camera in virtual 3d space and computer-readable recording medium | |
| CN106251404A (zh) | 方位跟踪方法、实现增强现实的方法及相关装置、设备 | |
| KR101851303B1 (ko) | 3차원 공간 재구성 장치 및 방법 | |
| CN112037314A (zh) | 图像显示方法、装置、显示设备及计算机可读存储介质 | |
| CN108416832A (zh) | 媒体信息的显示方法、装置和存储介质 | |
| CN110737414B (zh) | 交互显示方法、装置、终端设备及存储介质 | |
| KR20190011492A (ko) | 콘텐츠를 제공하기 위한 디바이스 및 그의 작동 방법 | |
| US8917289B2 (en) | Methods and arrangements for augmented reality | |
| CN110737326A (zh) | 虚拟对象的显示方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40017651 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |