CN111640203A - 一种图像处理方法及装置 - Google Patents
一种图像处理方法及装置 Download PDFInfo
- Publication number
- CN111640203A CN111640203A CN202010533010.7A CN202010533010A CN111640203A CN 111640203 A CN111640203 A CN 111640203A CN 202010533010 A CN202010533010 A CN 202010533010A CN 111640203 A CN111640203 A CN 111640203A
- Authority
- CN
- China
- Prior art keywords
- target
- user
- limb
- historical relic
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000003190 augmentative effect Effects 0.000 claims abstract description 10
- 210000000988 bone and bone Anatomy 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 231100000289 photo-effect Toxicity 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种图像处理方法及装置，其中，该方法包括：通过增强现实AR设备展示目标历史文物对应的三维模型；响应针对所述目标历史文物的合影指令，获取目标用户的用户图像；检测所述用户图像中所述目标用户的肢体姿态信息；基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型与所述用户图像的融合位置信息；基于确定的融合位置信息，生成所述目标用户与所述目标历史文物融合在一起的融合图像。本公开能够实现将用户与历史文物融合在同一图像中，实现用户与历史文物的近距离合影。
Description
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种图像处理方法及装置。
背景技术
在展览馆的场景中，可以展示历史文物的实物或三维模型。对于实物展示的历史文物，为了防止历史文物破损，通常会将其放置于展览箱；对于通过三维模型展出的历史文物，通常通过展示屏幕进行展示。
在用户进行展览馆的参观时，时常会有与历史文物合影留念的想法，然而，在展示历史文物的实物或三维模型的情况下，用户都无法与历史文物进行接触，也无法与历史文物近距离合影。
发明内容
本公开实施例至少提供一种图像处理方法及装置，能够实现将用户与历史文物融合在同一图像中，实现用户与历史文物的近距离合影。
第一方面，本公开实施例提供了一种图像处理方法，包括：
通过增强现实AR设备展示目标历史文物对应的三维模型；
响应针对所述目标历史文物的合影指令，获取目标用户的用户图像；
检测所述用户图像中所述目标用户的肢体姿态信息；
基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型与所述用户图像的融合位置信息；
基于确定的融合位置信息，生成所述目标用户与所述目标历史文物融合在一起的融合图像。
采用上述方法，能够通过获取目标用户的用户图像，根据用户图像中的肢体姿态信息，确定目标历史文物对应的三维模型与用户图像的融合位置信息，进而根据融合位置信息，生成目标用户与目标历史文物融合在一起的融合图像，实现将用户与历史文物融合在同一图像中，以实现用户与历史文物的近距离合影。
一种可选的实施方式中，基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型与所述用户图像的融合位置信息，包括：
基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型上的关键点，在所述用户图像上的目标肢体部位上的融合位置信息。
一种可选的实施方式中，基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型上的关键点，在所述用户图像上的目标肢体部位上的融合位置信息，包括：
基于所述肢体姿态信息，确定所述用户图像上，待融合所述三维模型的目标肢体部位；
基于所述目标肢体部位上的预设融合关键点，以及所述目标历史文物对应的三维模型上的关键点，确定所述融合位置信息。
一种可选的实施方式中，所述检测所述用户图像中所述目标用户的肢体姿态信息，包括：
利用预先训练好的肢体识别模型，识别所述用户图像中的各个肢体部位上的骨骼关键点的位置信息；
基于所述各个肢体部位上的骨骼关键点的位置信息，确定所述目标用户各个肢体部位的肢体姿态信息。
一种可选的实施方式中，基于所述肢体姿态信息，确定所述用户图像上，待融合所述三维模型的目标肢体部位：
基于所述目标用户的各个肢体部位的肢体姿态信息，选取肢体姿态信息类型为预设类型的肢体部位作为所述目标肢体部位。
一种可选的实施方式中，所述通过增强现实AR设备展示目标历史文物对应的三维模型，包括：
连续获取目标用户的多张手势图像；
基于所述手势图像，从多个候选历史文物中确定目标历史文物；
通过增强现实AR设备展示目标历史文物对应的三维模型。
一种可选的实施方式中，基于确定的融合位置信息，生成所述目标用户与所述目标历史文物融合在一起的融合图像，包括
将所述目标历史文物的三维模型嵌入所述用户图像的融合位置处，生成所述目标用户与所述目标历史文物融合在一起的融合图像。
第二方面，本公开实施例还提供一种图像处理装置，包括：
展示模块，用于通过增强现实AR设备展示目标历史文物对应的三维模型；
获取模块，用于响应针对所述目标历史文物的合影指令，获取目标用户的用户图像；
检测模块，用于检测所述用户图像中所述目标用户的肢体姿态信息；
确定模块，用于基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型与所述用户图像的融合位置信息；
生成模块，用于基于确定的融合位置信息，生成所述目标用户与所述目标历史文物融合在一起的融合图像。
一种可选的实施方式中，所述确定模块具体用于：
基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型上的关键点，在所述用户图像上的目标肢体部位上的融合位置信息。
一种可选的实施方式中，所述确定模块在基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型上的关键点，在所述用户图像上的目标肢体部位上的融合位置信息时，具体用于：
基于所述肢体姿态信息，确定所述用户图像上，待融合所述三维模型的目标肢体部位；
基于所述目标肢体部位上的预设融合关键点，以及所述目标历史文物对应的三维模型上的关键点，确定所述融合位置信息。
一种可选的实施方式中，所述检测模块具体用于：
利用预先训练好的肢体识别模型，识别所述用户图像中的各个肢体部位上的骨骼关键点的位置信息；
基于所述各个肢体部位上的骨骼关键点的位置信息，确定所述目标用户各个肢体部位的肢体姿态信息。
一种可选的实施方式中，所述确定模块在基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型与所述用户图像的融合位置信息时，具体用于：
基于所述目标用户的各个肢体部位的肢体姿态信息，选取肢体姿态信息类型为预设类型的肢体部位作为所述目标肢体部位。
一种可选的实施方式中，所述展示模块具体用于：
连续获取目标用户的多张手势图像；
基于所述手势图像，从多个候选历史文物中确定目标历史文物；
通过增强现实AR设备展示目标历史文物对应的三维模型。
一种可选的实施方式中，所述生成模块具体用于：
将所述目标历史文物的三维模型嵌入所述用户图像的融合位置处，生成所述目标用户与所述目标历史文物融合在一起的融合图像。
第三方面，本公开实施例还提供一种计算机设备，包括：相互连接的处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述机器可读指令被所述处理器执行以实现上述第一方面，或第一方面中任一种可能的实施方式中的图像处理方法。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像处理方法的流程图；
图2示出了本公开实施例所提供的图像处理方法中，融合图像的示意图；
图3示出了本公开实施例所提供的一种图像处理装置的示意图；
图4示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，在用户进行展览馆的参观时，时常会有与历史文物合影留念的想法，然而，为了保护历史文物不被损坏，历史文物的实体通常被放置在展览箱中，用户无法触碰历史文物，需要隔着展览箱才能进行合影，但这种方式合影的效果差，无法满足用户的期望；在历史文物通过展示屏幕进行展示时，同样无法拍到用户满意的照片。
基于上述研究，本公开提供了一种图像处理方法，能够通过获取目标用户的用户图像，根据用户图像中的肢体姿态信息，确定目标历史文物对应的三维模型与用户图像的融合位置信息，进而根据融合位置信息，生成目标用户与目标历史文物融合在一起的融合图像，实现将用户与历史文物融合在同一图像中，以实现用户与历史文物的近距离合影。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像处理方法进行详细介绍，本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，该计算机设备可以设置或者连接显示屏。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为服务器为例对本公开实施例提供的图像处理方法加以说明。
参见图1所示，为本公开实施例提供的图像处理方法的流程图，所述方法包括步骤S101～S105，其中：
S101：通过增强现实AR设备展示目标历史文物对应的三维模型。
该步骤中，服务器在接收到目标历史文物的三维模型显示触发指令后，可以控制增强现实AR设备展示目标历史文物的三维模型。
其中，增强现实(Augmented Reality，AR)是一种将虚拟信息与真实世界融合的技术，能够将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中。增强现实设备可以是展览馆的展示屏，也可以是用户的智能手机等设备。目标历史文物的三维模型可以是通过对目标历史文物进行建模素材采集，并根据采集到的建模素材建立得到的。
S102：响应针对所述目标历史文物的合影指令，获取目标用户的用户图像。
该步骤中，服务器可以通过AR设备检测目标用户针对目标历史文物的合影指令，其中，合影指令可以是目标用户在AR设备上的触控指令，也可以是目标用户通过肢体动作触发的控制指令。
当检测到合影指令后，服务器可以通过AR设备上部署的摄影设备采集目标用户的用户图像。用户图像中可以包括目标用户的部分或全部肢体。
S103：检测所述用户图像中所述目标用户的肢体姿态信息。
该步骤中，在服务器获取到目标用户的用户图像后，可以对用户图像进行检测，识别出目标用户的肢体姿态信息。
示例性的，可以利用预先训练好的肢体识别模型，识别出目标用户各个肢体部位，并根据各个肢体部位的位置信息，确定目标用户的肢体姿态信息。
其中，肢体姿态信息可以包括肢体部位所呈的姿态的类型，如手臂弯曲、手臂抬起、双腿分开、手部呈预设手势等。
S104：基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型与所述用户图像的融合位置信息。
该步骤中，在服务器确定目标用户的肢体姿态信息之后，可以根据目标用户的各个肢体部位所呈姿态的类型，确定出目标肢体，并识别出目标肢体上的预设融合关键点，将预设融合关键点所在的位置作为目标历史文物对应的三维模型与用户图像的融合位置信息。
S105：基于确定的融合位置信息，生成所述目标用户与所述目标历史文物融合在一起的融合图像。
一种可选的实施方式中，基于确定的融合位置信息，生成所述目标用户与所述目标历史文物融合在一起的融合图像，包括
将所述目标历史文物的三维模型嵌入所述用户图像的融合位置处，生成所述目标用户与所述目标历史文物融合在一起的融合图像。
该步骤中，服务器在确定融合位置信息后，可以将目标历史文物的三维模型的图像嵌入用户图像的融合位置信息对应的位置，得到目标用户与目标历史文物融合在一起的融合图像，进而得到目标用户与目标历史文物近距离接触合影的图像。
参见图2所示，为本公开实施例提供的图像处理方法中融合图像的示意图。图2中，目标用户的手部呈托起状态，目标用户托起的手掌位置即对应融合位置，托起的手掌上有目标历史文物的三维模型的图像。
本公开实施例提供的图像处理方法，能够通过获取目标用户的用户图像，根据用户图像中的肢体姿态信息，确定目标历史文物对应的三维模型与用户图像的融合位置信息，进而根据融合位置信息，生成目标用户与目标历史文物融合在一起的融合图像，实现用户与历史文物的近距离合影。
一种可选的实施方式中，基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型与所述用户图像的融合位置信息，包括：
基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型上的关键点，在所述用户图像上的目标肢体部位上的融合位置信息。
该步骤中，服务器可以先根据肢体姿态信息，确定目标用户与目标历史文物的接触状态，比如，若肢体姿态信息包括双手呈托起物品的状态，则可以确定目标用户托起目标历史文物；若肢体姿态信息包括双臂呈环抱状态，则可以确定目标用户抱住目标历史文物。在确定了目标用户与目标历史文物的接触状态后，可以确定目标历史文物与目标用户之间的接触区域，并确定接触区域中，目标历史文物对应三维模型上的关键点，在用户图像的目标肢体部位的位置信息，并将其作为融合位置信息。
一种可选的实施方式中，基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型上的关键点，在所述用户图像上的目标肢体部位上的融合位置信息，包括：
基于所述肢体姿态信息，确定所述用户图像上，待融合所述三维模型的目标肢体部位；
基于所述目标肢体部位上的预设融合关键点，以及所述目标历史文物对应的三维模型上的关键点，确定所述融合位置信息。
该步骤中，可以先根据各个肢体部位对应的肢体姿态信息，确定与目标历史文物接触的目标肢体部位，当一肢体部位的肢体姿态信息与预设的肢体姿态信息样本匹配时，即可确定该肢体部位为目标肢体部位，肢体姿态信息与预设融合关键点之间存在对应关系，可以根据目标肢体部位对应的肢体姿态信息，确定其对应的预设融合关键点，比如，若目标肢体部位为手掌，手掌对应的肢体姿态信息为托举，则其对应的预设融合关键点可以为手心。
在确定预设融合关键点之后，可以将三维模型上与目标肢体部位对应的关键点与预设融合关键点重合，在重合后，三维模型在用户图像中所处的位置对应的信息即为融合位置信息。
一种可选的实施方式中，所述检测所述用户图像中所述目标用户的肢体姿态信息，包括：
利用预先训练好的肢体识别模型，识别所述用户图像中的各个肢体部位上的骨骼关键点的位置信息；
基于所述各个肢体部位上的骨骼关键点的位置信息，确定所述目标用户各个肢体部位的肢体姿态信息。
该步骤中，服务器可以将用户图像输入至预先训练好的肢体识别模型，肢体识别模型首先可以将目标用户的人体与背景分离，再识别出人体上的各个骨骼关键点，并输出各个骨骼关键点的位置信息，每个肢体部位可以对应至少两个骨骼关键点，在得到骨骼关键点的位置信息后，即可根据各个肢体部位对应的骨骼关键点的位置信息，确定该肢体部位的肢体姿态信息。
一种可选的实施方式中，基于所述肢体姿态信息，确定所述用户图像上，待融合所述三维模型的目标肢体部位：
基于所述目标用户的各个肢体部位的肢体姿态信息，选取肢体姿态信息类型为预设类型的肢体部位作为所述目标肢体部位。
该步骤中，服务器可以将多个肢体姿态信息类型设置为预设类型，在服务器确定了各个肢体部位的肢体姿态信息后，当存在肢体部位的肢体姿态信息类型为预设类型时，即可将该肢体部位作为目标肢体部位。
一种可选的实施方式中，所述通过增强现实AR设备展示目标历史文物对应的三维模型，包括：
连续获取目标用户的多张手势图像；
基于所述手势图像，从多个候选历史文物中确定目标历史文物；
通过增强现实AR设备展示目标历史文物对应的三维模型。
该步骤中，服务器可以通过AR设备的摄像设备连续获取目标用户的多张手势图像，手势图像中包括目标用户的控制手势指令，可以根据手势图像中控制手势指令的类型，确定其对应的目标历史文物，在确定目标历史文物之后，即可通过AR设备将其展示。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与图像处理方法对应的图像处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图3所示，为本公开实施例提供的一种图像处理装置的示意图，所述装置包括：展示模块310、获取模块320、检测模块330、确定模块340、生成模块350；其中，
展示模块310，用于通过增强现实AR设备展示目标历史文物对应的三维模型；
获取模块320，用于响应针对所述目标历史文物的合影指令，获取目标用户的用户图像；
检测模块330，用于检测所述用户图像中所述目标用户的肢体姿态信息；
确定模块340，用于基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型与所述用户图像的融合位置信息；
生成模块350，用于基于确定的融合位置信息，生成所述目标用户与所述目标历史文物融合在一起的融合图像。
本公开实施例通过获取目标用户的用户图像，根据用户图像中的肢体姿态信息，确定目标历史文物对应的三维模型与用户图像的融合位置信息，进而根据融合位置信息，生成目标用户与目标历史文物融合在一起的融合图像，实现将用户与历史文物融合在同一图像中，实现用户与历史文物的近距离合影。
一种可选的实施方式中，所述确定模块340具体用于：
基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型上的关键点，在所述用户图像上的目标肢体部位上的融合位置信息。
一种可选的实施方式中，所述确定模块340在基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型上的关键点，在所述用户图像上的目标肢体部位上的融合位置信息时，具体用于：
基于所述肢体姿态信息，确定所述用户图像上，待融合所述三维模型的目标肢体部位；
基于所述目标肢体部位上的预设融合关键点，以及所述目标历史文物对应的三维模型上的关键点，确定所述融合位置信息。
一种可选的实施方式中，所述检测模块330具体用于：
利用预先训练好的肢体识别模型，识别所述用户图像中的各个肢体部位上的骨骼关键点的位置信息；
基于所述各个肢体部位上的骨骼关键点的位置信息，确定所述目标用户各个肢体部位的肢体姿态信息。
一种可选的实施方式中，所述确定模块340在基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型与所述用户图像的融合位置信息时，具体用于：
基于所述目标用户的各个肢体部位的肢体姿态信息，选取肢体姿态信息类型为预设类型的肢体部位作为所述目标肢体部位。
一种可选的实施方式中，所述展示模块310具体用于：
连续获取目标用户的多张手势图像；
基于所述手势图像，从多个候选历史文物中确定目标历史文物；
通过增强现实AR设备展示目标历史文物对应的三维模型。
一种可选的实施方式中，所述生成模块350具体用于：
将所述目标历史文物的三维模型嵌入所述用户图像的融合位置处，生成所述目标用户与所述目标历史文物融合在一起的融合图像。
本公开实施例还提供了一种计算机设备10，如图4所示，为本公开实施例提供的计算机设备10结构示意图，包括：
处理器11和存储器12；所述存储器12存储有所述处理器11可执行的机器可读指令，当计算机设备运行时，所述机器可读指令被所述处理器执行以实现下述步骤：
通过增强现实AR设备展示目标历史文物对应的三维模型；
响应针对所述目标历史文物的合影指令，获取目标用户的用户图像；
检测所述用户图像中所述目标用户的肢体姿态信息；
基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型与所述用户图像的融合位置信息；
基于确定的融合位置信息，生成所述目标用户与所述目标历史文物融合在一起的融合图像。
上述指令的具体执行过程可以参考本公开实施例中所述的图像处理方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的图像处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
通过增强现实AR设备展示目标历史文物对应的三维模型；
响应针对所述目标历史文物的合影指令，获取目标用户的用户图像；
检测所述用户图像中所述目标用户的肢体姿态信息；
基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型与所述用户图像的融合位置信息；
基于确定的融合位置信息，生成所述目标用户与所述目标历史文物融合在一起的融合图像。
2.根据权利要求1所述的方法，其特征在于，基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型与所述用户图像的融合位置信息，包括：
基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型上的关键点，在所述用户图像上的目标肢体部位上的融合位置信息。
3.根据权利要求2所述的方法，其特征在于，基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型上的关键点，在所述用户图像上的目标肢体部位上的融合位置信息，包括：
基于所述肢体姿态信息，确定所述用户图像上，待融合所述三维模型的目标肢体部位；
基于所述目标肢体部位上的预设融合关键点，以及所述目标历史文物对应的三维模型上的关键点，确定所述融合位置信息。
4.根据权利要求3所述的方法，其特征在于，所述检测所述用户图像中所述目标用户的肢体姿态信息，包括：
利用预先训练好的肢体识别模型，识别所述用户图像中的各个肢体部位上的骨骼关键点的位置信息；
基于所述各个肢体部位上的骨骼关键点的位置信息，确定所述目标用户各个肢体部位的肢体姿态信息。
5.根据权利要求3或4所述的方法，其特征在于，基于所述肢体姿态信息，确定所述用户图像上，待融合所述三维模型的目标肢体部位，包括：
基于所述目标用户的各个肢体部位的肢体姿态信息，选取肢体姿态信息类型为预设类型的肢体部位作为所述目标肢体部位。
6.根据权利要求1所述的方法，其特征在于，所述通过增强现实AR设备展示目标历史文物对应的三维模型，包括：
连续获取目标用户的多张手势图像；
基于所述手势图像，从多个候选历史文物中确定目标历史文物；
通过增强现实AR设备展示目标历史文物对应的三维模型。
7.根据权利要求1所述的方法，其特征在于，基于确定的融合位置信息，生成所述目标用户与所述目标历史文物融合在一起的融合图像，包括
将所述目标历史文物的三维模型嵌入所述用户图像的融合位置处，生成所述目标用户与所述目标历史文物融合在一起的融合图像。
8.一种图像处理装置，其特征在于，包括：
展示模块，用于通过增强现实AR设备展示目标历史文物对应的三维模型；
获取模块，用于响应针对所述目标历史文物的合影指令，获取目标用户的用户图像；
检测模块，用于检测所述用户图像中所述目标用户的肢体姿态信息；
确定模块，用于基于所述肢体姿态信息，确定所述目标历史文物对应的三维模型与所述用户图像的融合位置信息；
生成模块，用于基于确定的融合位置信息，生成所述目标用户与所述目标历史文物融合在一起的融合图像。
9.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如权利要求1至7任意一项所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010533010.7A CN111640203B (zh) | 2020-06-12 | 2020-06-12 | 一种图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010533010.7A CN111640203B (zh) | 2020-06-12 | 2020-06-12 | 一种图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111640203A true CN111640203A (zh) | 2020-09-08 |
| CN111640203B CN111640203B (zh) | 2024-04-12 |
Family
ID=72332561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010533010.7A Active CN111640203B (zh) | 2020-06-12 | 2020-06-12 | 一种图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111640203B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112860061A (zh) * | 2021-01-15 | 2021-05-28 | 深圳市慧鲤科技有限公司 | 场景图像展示方法及装置、电子设备和存储介质 |
| CN112906467A (zh) * | 2021-01-15 | 2021-06-04 | 深圳市慧鲤科技有限公司 | 合影图像生成方法及装置、电子设备和存储介质 |
| CN114491727A (zh) * | 2021-11-30 | 2022-05-13 | 广州欧科信息技术股份有限公司 | 一种历史建筑的三维融合可视化方法、系统、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108182730A (zh) * | 2018-01-12 | 2018-06-19 | 北京小米移动软件有限公司 | 虚实对象合成方法及装置 |
| CN108475442A (zh) * | 2017-06-29 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 用于无人机航拍的增强现实方法、处理器及无人机 |
| WO2019047789A1 (zh) * | 2017-09-08 | 2019-03-14 | 腾讯科技（深圳）有限公司 | 关于增强现实场景的处理方法、终端设备、系统及计算机存储介质 |
| CN111026261A (zh) * | 2018-10-09 | 2020-04-17 | 上海奈飒翱网络科技有限公司 | 一种旅游景点ar互动展示的方法 |
| CN111079588A (zh) * | 2019-12-03 | 2020-04-28 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置及存储介质 |
| CN111104827A (zh) * | 2018-10-26 | 2020-05-05 | 北京微播视界科技有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
-
2020
- 2020-06-12 CN CN202010533010.7A patent/CN111640203B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108475442A (zh) * | 2017-06-29 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 用于无人机航拍的增强现实方法、处理器及无人机 |
| WO2019047789A1 (zh) * | 2017-09-08 | 2019-03-14 | 腾讯科技（深圳）有限公司 | 关于增强现实场景的处理方法、终端设备、系统及计算机存储介质 |
| CN108182730A (zh) * | 2018-01-12 | 2018-06-19 | 北京小米移动软件有限公司 | 虚实对象合成方法及装置 |
| CN111026261A (zh) * | 2018-10-09 | 2020-04-17 | 上海奈飒翱网络科技有限公司 | 一种旅游景点ar互动展示的方法 |
| CN111104827A (zh) * | 2018-10-26 | 2020-05-05 | 北京微播视界科技有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN111079588A (zh) * | 2019-12-03 | 2020-04-28 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| JINHUI HUANG等: "The Seamless Integration Achievement of the Actual Situation of the Scene", PROCEEDINGS, vol. 9292, 1 January 2016 (2016-01-01), pages 127 * |
| 张怡暄等: "基于深度的虚实场景高清图像的融合方法", 中国体视学与图像分析, vol. 18, no. 03, 25 September 2013 (2013-09-25), pages 221 - 229 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112860061A (zh) * | 2021-01-15 | 2021-05-28 | 深圳市慧鲤科技有限公司 | 场景图像展示方法及装置、电子设备和存储介质 |
| CN112906467A (zh) * | 2021-01-15 | 2021-06-04 | 深圳市慧鲤科技有限公司 | 合影图像生成方法及装置、电子设备和存储介质 |
| WO2022151687A1 (zh) * | 2021-01-15 | 2022-07-21 | 深圳市慧鲤科技有限公司 | 合影图像生成方法、装置、设备、存储介质、计算机程序及产品 |
| CN114491727A (zh) * | 2021-11-30 | 2022-05-13 | 广州欧科信息技术股份有限公司 | 一种历史建筑的三维融合可视化方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111640203B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102664688B1 (ko) | 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법 | |
| CN111640203A (zh) | 一种图像处理方法及装置 | |
| CN110716645A (zh) | 一种增强现实数据呈现方法、装置、电子设备及存储介质 | |
| CN108710525A (zh) | 虚拟场景中的地图展示方法、装置、设备及存储介质 | |
| CN111651050A (zh) | 城市虚拟沙盘的展示方法、装置、计算机设备及存储介质 | |
| CN112148197A (zh) | 增强现实ar交互方法、装置、电子设备及存储介质 | |
| CN111679742A (zh) | 基于ar的交互控制方法、装置、电子设备及存储介质 | |
| CN105278826A (zh) | 增强现实系统 | |
| CN111640166A (zh) | 一种ar合影方法、装置、计算机设备及存储介质 | |
| CN111652971A (zh) | 一种显示控制方法及装置 | |
| CN111698646B (zh) | 一种定位方法及装置 | |
| CN111652987A (zh) | 一种ar合影图像生成的方法及装置 | |
| CN111311756A (zh) | 增强现实ar显示方法及相关装置 | |
| CN111638797A (zh) | 一种展示控制方法及装置 | |
| CN111696215A (zh) | 一种图像处理方法、装置及设备 | |
| CN111651051A (zh) | 一种虚拟沙盘展示方法及装置 | |
| CN111652983A (zh) | 一种增强现实ar特效生成方法、装置及设备 | |
| CN111625100A (zh) | 图画内容的呈现方法、装置、计算机设备及存储介质 | |
| CN111653175B (zh) | 一种虚拟沙盘展示方法及装置 | |
| CN111640184A (zh) | 古建筑物重现方法、装置、电子设备及存储介质 | |
| CN112882576A (zh) | Ar交互方法、装置、电子设备及存储介质 | |
| CN112905014A (zh) | Ar场景下的交互方法、装置、电子设备及存储介质 | |
| CN111640167A (zh) | 一种ar合影方法、装置、计算机设备及存储介质 | |
| CN111639613A (zh) | 一种增强现实ar特效生成方法、装置及电子设备 | |
| CN111651052A (zh) | 虚拟沙盘的展示方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |