CN116824001A - 基于实景拍摄和图像改造的二维虚拟形象生成方法和系统 - Google Patents

基于实景拍摄和图像改造的二维虚拟形象生成方法和系统 Download PDF

Info

Publication number
CN116824001A
CN116824001A CN202211521946.3A CN202211521946A CN116824001A CN 116824001 A CN116824001 A CN 116824001A CN 202211521946 A CN202211521946 A CN 202211521946A CN 116824001 A CN116824001 A CN 116824001A
Authority
CN
China
Prior art keywords
picture
image
area
live
dimensional virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211521946.3A
Other languages
English (en)
Inventor
兰雨晴
余丹
邢智涣
王丹星
张腾怀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Standard Intelligent Security Technology Co Ltd
Original Assignee
China Standard Intelligent Security Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Standard Intelligent Security Technology Co Ltd filed Critical China Standard Intelligent Security Technology Co Ltd
Priority to CN202211521946.3A priority Critical patent/CN116824001A/zh
Publication of CN116824001A publication Critical patent/CN116824001A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供基于实景拍摄和图像改造的二维虚拟形象生成方法和系统，将实景影像划分为若干影像子画面区域后，标定每个影像子画面区域的部分画面区域，以作为改造所针对的对象，再对部分画面区域整体进行预定视觉渲染模式的改造处理而得到相应的二维虚拟区域部分；还将二维虚拟区域部分重新组合到对应的部分画面区域中，再对该部分画面区域进行画面视觉兼容改造处理，保证该部分画面区域不会存在视觉突兀的情况，其不需对实景影像进行像素级别的改造，有效减少实景影像的计算工作量，可对感兴趣的画面区域进行单独的视觉转换，提高视觉转换的灵活性。

Description

基于实景拍摄和图像改造的二维虚拟形象生成方法和系统
技术领域
本发明涉及图像处理的技术领域，特别涉及基于实景拍摄和图像改造的二维虚拟形象生成方法和系统。
背景技术
为了使拍摄得到的实景图像进行图像画面风格转换，通常会对实景图像进行像素级别的渲染处理，即以实景图像的画面像素为单元逐一进行渲染处理，以达到所需的画面风格转换效果。上述方式虽然能够保证对实景图像进行视觉转换的精度，但是视觉转换的计算工作量随着实景图像的画面像素增加而增加，并不适用于高分辨率实景图像的视觉转换处理。此外，现有对实景图像的视觉转换处理过程中针对同一画面区域只能采用同一视觉转换模式，无法只对感兴趣的画面区域进行单独的视觉转换，降低视觉转换的灵活性和对不同转换需求的适用性。
发明内容
针对现有技术存在的缺陷，本发明提供基于实景拍摄和图像改造的二维虚拟形象生成方法和系统，其将实景影像划分为若干影像子画面区域，根据每个影像子画面区域的画面视觉特征信息，确定影像子画面区域的待改造区域部分，并将待改造区域部分进行单独标定和存储；对待改造区域部分进行预定视觉渲染模式的改造处理后，将得到的二维虚拟区域部分重新组合到对应的影像子画面区域中；根据同一影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息，对非二维虚拟区域部分进行画面视觉兼容改造处理，其将实景影像划分为若干影像子画面区域后，标定每个影像子画面区域的部分画面区域，以作为改造所针对的对象，再对部分画面区域整体进行预定视觉渲染模式的改造处理而得到相应的二维虚拟区域部分；还将二维虚拟区域部分重新组合到对应的部分画面区域中，再对该部分画面区域进行画面视觉兼容改造处理，保证该部分画面区域不会存在视觉突兀的情况，其不需对实景影像进行像素级别的改造，有效减少实景影像的计算工作量，可对感兴趣的画面区域进行单独的视觉转换，提高视觉转换的灵活性。
本发明提供基于实景拍摄和图像改造的二维虚拟形象生成方法，包括如下步骤：
步骤S1，采集实景场景对应的实景影像，并对所述实景影像进行画面分区处理，得到若干影像子画面区域；提取每个影像子画面区域对应的画面视觉特征信息，并构建每个影像子画面与其画面视觉特征信息的一一对应映射关系；
步骤S2，根据所述画面视觉特征信息，确定所述影像子画面区域的待改造区域部分，并根据所述映射关系，对所述待改造区域部分进行标定处理；将所述待改造区域部分进行截取，并根据所述标定处理的结果，对截取的可改造区域部分进行存储；
步骤S3，对所述待改造区域部分进行预定视觉渲染模式的改造处理，以此转换得到相应的二维虚拟区域部分；根据所述标定处理的结果，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中；
步骤S4，获取所述影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息；根据所述视觉差异信息，对所述非二维虚拟区域部分进行画面视觉兼容改造处理。
进一步，在所述步骤S1中，采集实景场景对应的实景影像，并对所述实景影像进行画面分区处理，得到若干影像子画面区域；提取每个影像子画面区域对应的画面视觉特征信息，并构建每个影像子画面与其画面视觉特征信息的一一对应映射关系，包括：
对实景场景进行扫描拍摄，得到所述实景场景全局范围的实景影像；从所述实景影像中提取得到实景影像画面存在的景物分界线条，并根据所述景物分界线条，对所述实景影像进行画面分区处理，得到若干影像子画面区域；
提取每个影像子画面区域对应的画面纹理特征信息和画面色度分布特征信息，以此作为所述画面视觉特征信息；
构建每个影像子画面区域在所述实景影像所处位置信息与其画面视觉特征信息之间的一一对应映射关系。
进一步，在所述步骤S2中，根据所述画面视觉特征信息，确定所述影像子画面区域的待改造区域部分，并根据所述映射关系，对所述待改造区域部分进行标定处理；将所述待改造区域部分进行截取，并根据所述标定处理的结果，对截取的可改造区域部分进行存储，包括：
根据所述画面纹理特征信息，确定所述影像子画面区域的画面纹理密度分布信息；根据所述画面色度分布特征信息，确定所述影像子画面区域的画面色度值分布信息；
将所述影像子画面区域中满足预设画面纹理密度条件或预设画面色度值条件的区域部分，作为待改造区域部分；
根据所述映射关系，标定所述待改造区域部分在所述实景影像所处位置信息；
将所述待改造区域部分从其对应的影像子画面区域中截取出来，并根据所述位置信息，对截取的待改造区域部分进行独立标记存储。
进一步，在所述步骤S3中，对所述待改造区域部分进行预定视觉渲染模式的改造处理，以此转换得到相应的二维虚拟区域部分；根据所述标定处理的结果，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中，包括：
根据来自用户的改造请求，从预设改造模式库中选择匹配的视觉渲染模式，对所述待改造区域部分进行视觉渲染改造处理，以此转换得到相应的二维虚拟区域部分；
根据所述标定处理对应的位置信息，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中。
进一步，在所述步骤S4中，获取所述影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息；根据所述视觉差异信息，对所述非二维虚拟区域部分进行画面视觉兼容改造处理，包括：
获取同一影像子画面区域的二维虚拟区域部分与其邻接的非二维虚拟区域部分之间的像素分辨率差异信息；根据所述像素分辨率差异信息，对所述非二维虚拟区域部分与所述二维虚拟区域部分的邻接部分进行像素分辨率变化光滑化改造处理，此次实现所述画面视觉兼容改造处理。
本发明还提供基于实景拍摄和图像改造的二维虚拟形象生成系统，包括：
实景影像采集与处理模块，用于采集实景场景对应的实景影像，并对所述实景影像进行画面分区处理，得到若干影像子画面区域；提取每个影像子画面区域对应的画面视觉特征信息，并构建每个影像子画面与其画面视觉特征信息的一一对应映射关系；
改造区域确定模块，用于根据所述画面视觉特征信息，确定所述影像子画面区域的待改造区域部分，并根据所述映射关系，对所述待改造区域部分进行标定处理；将所述待改造区域部分进行截取，并根据所述标定处理的结果，对截取的可改造区域部分进行存储；
改造区域转换与重组模块，用于对所述待改造区域部分进行预定视觉渲染模式的改造处理，以此转换得到相应的二维虚拟区域部分；根据所述标定处理的结果，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中；
画面视觉兼容性改造模块，用于获取所述影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息；根据所述视觉差异信息，对所述非二维虚拟区域部分进行画面视觉兼容改造处理。
进一步，所述实景影像采集与处理模块采集实景场景对应的实景影像，并对所述实景影像进行画面分区处理，得到若干影像子画面区域；提取每个影像子画面区域对应的画面视觉特征信息，并构建每个影像子画面与其画面视觉特征信息的一一对应映射关系，包括：
对实景场景进行扫描拍摄，得到所述实景场景全局范围的实景影像；从所述实景影像中提取得到实景影像画面存在的景物分界线条，并根据所述景物分界线条，对所述实景影像进行画面分区处理，得到若干影像子画面区域；
提取每个影像子画面区域对应的画面纹理特征信息和画面色度分布特征信息，以此作为所述画面视觉特征信息；
构建每个影像子画面区域在所述实景影像所处位置信息与其画面视觉特征信息之间的一一对应映射关系。
进一步，所述改造区域确定模块根据所述画面视觉特征信息，确定所述影像子画面区域的待改造区域部分，并根据所述映射关系，对所述待改造区域部分进行标定处理；将所述待改造区域部分进行截取，并根据所述标定处理的结果，对截取的可改造区域部分进行存储，包括：
根据所述画面纹理特征信息，确定所述影像子画面区域的画面纹理密度分布信息；根据所述画面色度分布特征信息，确定所述影像子画面区域的画面色度值分布信息；
将所述影像子画面区域中满足预设画面纹理密度条件或预设画面色度值条件的区域部分，作为待改造区域部分；
根据所述映射关系，标定所述待改造区域部分在所述实景影像所处位置信息；
将所述待改造区域部分从其对应的影像子画面区域中截取出来，并根据所述位置信息，对截取的待改造区域部分进行独立标记存储。
进一步，所述改造区域转换与重组模块对所述待改造区域部分进行预定视觉渲染模式的改造处理，以此转换得到相应的二维虚拟区域部分；根据所述标定处理的结果，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中，包括：
根据来自用户的改造请求，从预设改造模式库中选择匹配的视觉渲染模式，对所述待改造区域部分进行视觉渲染改造处理，以此转换得到相应的二维虚拟区域部分；
根据所述标定处理对应的位置信息，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中。
进一步，所述画面视觉兼容性改造模块获取所述影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息；根据所述视觉差异信息，对所述非二维虚拟区域部分进行画面视觉兼容改造处理，包括：
获取同一影像子画面区域的二维虚拟区域部分与其邻接的非二维虚拟区域部分之间的像素分辨率差异信息；根据所述像素分辨率差异信息，对所述非二维虚拟区域部分与所述二维虚拟区域部分的邻接部分进行像素分辨率变化光滑化改造处理，此次实现所述画面视觉兼容改造处理。
相比于现有技术，该基于实景拍摄和图像改造的二维虚拟形象生成方法和系统将实景影像划分为若干影像子画面区域，根据每个影像子画面区域的画面视觉特征信息，确定影像子画面区域的待改造区域部分，并将待改造区域部分进行单独标定和存储；对待改造区域部分进行预定视觉渲染模式的改造处理后，将得到的二维虚拟区域部分重新组合到对应的影像子画面区域中；根据同一影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息，对非二维虚拟区域部分进行画面视觉兼容改造处理，其将实景影像划分为若干影像子画面区域后，标定每个影像子画面区域的部分画面区域，以作为改造所针对的对象，再对部分画面区域整体进行预定视觉渲染模式的改造处理而得到相应的二维虚拟区域部分；还将二维虚拟区域部分重新组合到对应的部分画面区域中，再对该部分画面区域进行画面视觉兼容改造处理，保证该部分画面区域不会存在视觉突兀的情况，其不需对实景影像进行像素级别的改造，有效减少实景影像的计算工作量，可对感兴趣的画面区域进行单独的视觉转换，提高视觉转换的灵活性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于实景拍摄和图像改造的二维虚拟形象生成方法的流程示意图。
图2为本发明提供的基于实景拍摄和图像改造的二维虚拟形象生成系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的基于实景拍摄和图像改造的二维虚拟形象生成方法的流程示意图。该基于实景拍摄和图像改造的二维虚拟形象生成方法包括如下步骤：
步骤S1，采集实景场景对应的实景影像，并对该实景影像进行画面分区处理，得到若干影像子画面区域；提取每个影像子画面区域对应的画面视觉特征信息，并构建每个影像子画面与其画面视觉特征信息的一一对应映射关系；
步骤S2，根据该画面视觉特征信息，确定该影像子画面区域的待改造区域部分，并根据该映射关系，对该待改造区域部分进行标定处理；将该待改造区域部分进行截取，并根据该标定处理的结果，对截取的可改造区域部分进行存储；
步骤S3，对该待改造区域部分进行预定视觉渲染模式的改造处理，以此转换得到相应的二维虚拟区域部分；根据该标定处理的结果，将该二维虚拟区域部分重新组合到其对应的影像子画面区域中；
步骤S4，获取该影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息；根据该视觉差异信息，对该非二维虚拟区域部分进行画面视觉兼容改造处理。
上述技术方案的有益效果为：该基于实景拍摄和图像改造的二维虚拟形象生成方法将实景影像划分为若干影像子画面区域，根据每个影像子画面区域的画面视觉特征信息，确定影像子画面区域的待改造区域部分，并将待改造区域部分进行单独标定和存储；对待改造区域部分进行预定视觉渲染模式的改造处理后，将得到的二维虚拟区域部分重新组合到对应的影像子画面区域中；根据同一影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息，对非二维虚拟区域部分进行画面视觉兼容改造处理，其将实景影像划分为若干影像子画面区域后，标定每个影像子画面区域的部分画面区域，以作为改造所针对的对象，再对部分画面区域整体进行预定视觉渲染模式的改造处理而得到相应的二维虚拟区域部分；还将二维虚拟区域部分重新组合到对应的部分画面区域中，再对该部分画面区域进行画面视觉兼容改造处理，保证该部分画面区域不会存在视觉突兀的情况，其不需对实景影像进行像素级别的改造，有效减少实景影像的计算工作量，可对感兴趣的画面区域进行单独的视觉转换，提高视觉转换的灵活性。
优选地，在该步骤S1中，采集实景场景对应的实景影像，并对该实景影像进行画面分区处理，得到若干影像子画面区域；提取每个影像子画面区域对应的画面视觉特征信息，并构建每个影像子画面与其画面视觉特征信息的一一对应映射关系，包括：
对实景场景进行扫描拍摄，得到该实景场景全局范围的实景影像；从该实景影像中提取得到实景影像画面存在的景物分界线条，并根据该景物分界线条，对该实景影像进行画面分区处理，得到若干影像子画面区域；
提取每个影像子画面区域对应的画面纹理特征信息和画面色度分布特征信息，以此作为该画面视觉特征信息；
构建每个影像子画面区域在该实景影像所处位置信息与其画面视觉特征信息之间的一一对应映射关系。
上述技术方案的有益效果为：当对人物和/或真实环境等实景场景扫描拍摄后，对从实景影像中提取得到实景影像画面中每个人和/或每个物体的边缘轮廓线条，以此作为实景影像画面存在的景物分界线条，这样以每个边缘轮廓线条为基准，对实景影像进行画面分区处理，得到若干影像子画面区域，每个影像子画面区域只与一个人员或一个物体对应。再对每个影像子画面区域提取相应的画面纹理特征信息和画面色度分布特征信息，从而对影像子画面区域进行视觉表征。确定每个影像子画面区域的几何中心在实景影像所处位置信息，并构建位置信息与画面视觉特征信息之间的一一对应映射关系，即每个位置信息只对应一个视觉特征信息，从而对每个影像子画面区域进行唯一性的视觉特征表征。
优选地，在该步骤S2中，根据该画面视觉特征信息，确定该影像子画面区域的待改造区域部分，并根据该映射关系，对该待改造区域部分进行标定处理；将该待改造区域部分进行截取，并根据该标定处理的结果，对截取的可改造区域部分进行存储，包括：
根据该画面纹理特征信息，确定该影像子画面区域的画面纹理密度分布信息；根据该画面色度分布特征信息，确定该影像子画面区域的画面色度值分布信息；其中，画面纹理密度分布信息是指影像子画面区域在单位面积内的平均画面纹理条数；
将该影像子画面区域中满足预设画面纹理密度条件或预设画面色度值条件的区域部分，作为待改造区域部分；
根据该映射关系，标定该待改造区域部分在该实景影像所处位置信息；
将该待改造区域部分从其对应的影像子画面区域中截取出来，并根据该位置信息，对截取的待改造区域部分进行独立标记存储。
上述技术方案的有益效果为：以每个子影像画面区域的画面纹理密度分布信息和画面色度值分布信息为基准，将影像子画面区域中画面纹理密度值在预设画面纹理密度范围或画面色度值在预设画面色度值范围的区域部分，作为待改造区域部分；接着，以该映射关系中的位置信息为基准，标定待改造区域部分在实景影像的位置，再以位置信息作为存储区间的索引信息，对截取的待改造区域部分进行单独标记存储，便于后续对每个待改造区域部分进行单独的视觉渲染改造处理。
优选地，在该步骤S3中，对该待改造区域部分进行预定视觉渲染模式的改造处理，以此转换得到相应的二维虚拟区域部分；根据该标定处理的结果，将该二维虚拟区域部分重新组合到其对应的影像子画面区域中，包括：
根据来自用户的改造请求，从预设改造模式库中选择匹配的视觉渲染模式，对该待改造区域部分进行视觉渲染改造处理，以此转换得到相应的二维虚拟区域部分；其中，该视觉渲染改造处理可包括但不限于是画面亮度、画面对比度等渲染处理；
根据该标定处理对应的位置信息，将该二维虚拟区域部分重新组合到其对应的影像子画面区域中。
上述技术方案的有益效果为：通过上述方式，从预设改造模式库中选择匹配的视觉渲染模式，不需要对子影像画面区域整体进行视觉渲染改造处理，降低相应的处理计算工作量。再将转换得到的二维虚拟区域部分与该位置信息进行对应，从而将该二维虚拟转换区域部分替换到其对应的影像子画面区域原有的待改造区域部分。
优选地，在该步骤S4中，获取该影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息；根据该视觉差异信息，对该非二维虚拟区域部分进行画面视觉兼容改造处理，包括：
获取同一影像子画面区域的二维虚拟区域部分与其邻接的非二维虚拟区域部分之间的像素分辨率差异信息；根据该像素分辨率差异信息，对该非二维虚拟区域部分与该二维虚拟区域部分的邻接部分进行像素分辨率变化光滑化改造处理，此次实现该画面视觉兼容改造处理。
上述技术方案的有益效果为：通过上述方式，根据同一影像子画面区域的二维虚拟区域部分与其邻接的非二维虚拟区域部分(该非二维虚拟区域部分对应与该子影像画面区域中未被确定为待改造区域部分)之间的像素分辨率差异信息(比如像素分辨率差值)，以此对该非二维虚拟区域部分与该二维虚拟区域部分的邻接部分进行像素分辨率变化光滑化改造处理，即将该二维虚拟区域部分的邻接部分的像素分辨率设成以固定变化率线性变化到该非二维虚拟区域部分的像素变化率，从而改善该非二维虚拟区域部分与该二维虚拟区域部分之间的视觉过渡衔接性。
参阅图2，为本发明实施例提供的基于实景拍摄和图像改造的二维虚拟形象生成系统的结构示意图。该基于实景拍摄和图像改造的二维虚拟形象生成系统包括：
实景影像采集与处理模块，用于采集实景场景对应的实景影像，并对该实景影像进行画面分区处理，得到若干影像子画面区域；提取每个影像子画面区域对应的画面视觉特征信息，并构建每个影像子画面与其画面视觉特征信息的一一对应映射关系；
改造区域确定模块，用于根据该画面视觉特征信息，确定该影像子画面区域的待改造区域部分，并根据该映射关系，对该待改造区域部分进行标定处理；将该待改造区域部分进行截取，并根据该标定处理的结果，对截取的可改造区域部分进行存储；
改造区域转换与重组模块，用于对该待改造区域部分进行预定视觉渲染模式的改造处理，以此转换得到相应的二维虚拟区域部分；根据该标定处理的结果，将该二维虚拟区域部分重新组合到其对应的影像子画面区域中；
画面视觉兼容性改造模块，用于获取该影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息；根据该视觉差异信息，对该非二维虚拟区域部分进行画面视觉兼容改造处理。
上述技术方案的有益效果为：该基于实景拍摄和图像改造的二维虚拟形象生成系统将实景影像划分为若干影像子画面区域，根据每个影像子画面区域的画面视觉特征信息，确定影像子画面区域的待改造区域部分，并将待改造区域部分进行单独标定和存储；对待改造区域部分进行预定视觉渲染模式的改造处理后，将得到的二维虚拟区域部分重新组合到对应的影像子画面区域中；根据同一影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息，对非二维虚拟区域部分进行画面视觉兼容改造处理，其将实景影像划分为若干影像子画面区域后，标定每个影像子画面区域的部分画面区域，以作为改造所针对的对象，再对部分画面区域整体进行预定视觉渲染模式的改造处理而得到相应的二维虚拟区域部分；还将二维虚拟区域部分重新组合到对应的部分画面区域中，再对该部分画面区域进行画面视觉兼容改造处理，保证该部分画面区域不会存在视觉突兀的情况，其不需对实景影像进行像素级别的改造，有效减少实景影像的计算工作量，可对感兴趣的画面区域进行单独的视觉转换，提高视觉转换的灵活性。
优选地，所述实景影像采集与处理模块采集实景场景对应的实景影像，并对所述实景影像进行画面分区处理，得到若干影像子画面区域；提取每个影像子画面区域对应的画面视觉特征信息，并构建每个影像子画面与其画面视觉特征信息的一一对应映射关系，包括：
对实景场景进行扫描拍摄，得到所述实景场景全局范围的实景影像；从所述实景影像中提取得到实景影像画面存在的景物分界线条，并根据所述景物分界线条，对所述实景影像进行画面分区处理，得到若干影像子画面区域；
提取每个影像子画面区域对应的画面纹理特征信息和画面色度分布特征信息，以此作为所述画面视觉特征信息；
构建每个影像子画面区域在所述实景影像所处位置信息与其画面视觉特征信息之间的一一对应映射关系。
上述技术方案的有益效果为：当对人物和/或真实环境等实景场景扫描拍摄后，对从实景影像中提取得到实景影像画面中每个人和/或每个物体的边缘轮廓线条，以此作为实景影像画面存在的景物分界线条，这样以每个边缘轮廓线条为基准，对实景影像进行画面分区处理，得到若干影像子画面区域，每个影像子画面区域只与一个人员或一个物体对应。再对每个影像子画面区域提取相应的画面纹理特征信息和画面色度分布特征信息，从而对影像子画面区域进行视觉表征。确定每个影像子画面区域的几何中心在实景影像所处位置信息，并构建位置信息与画面视觉特征信息之间的一一对应映射关系，即每个位置信息只对应一个视觉特征信息，从而对每个影像子画面区域进行唯一性的视觉特征表征。
优选地，所述改造区域确定模块根据所述画面视觉特征信息，确定所述影像子画面区域的待改造区域部分，并根据所述映射关系，对所述待改造区域部分进行标定处理；将所述待改造区域部分进行截取，并根据所述标定处理的结果，对截取的可改造区域部分进行存储，包括：
根据所述画面纹理特征信息，确定所述影像子画面区域的画面纹理密度分布信息；根据所述画面色度分布特征信息，确定所述影像子画面区域的画面色度值分布信息；
将所述影像子画面区域中满足预设画面纹理密度条件或预设画面色度值条件的区域部分，作为待改造区域部分；
根据所述映射关系，标定所述待改造区域部分在所述实景影像所处位置信息；
将所述待改造区域部分从其对应的影像子画面区域中截取出来，并根据所述位置信息，对截取的待改造区域部分进行独立标记存储。
上述技术方案的有益效果为：以每个子影像画面区域的画面纹理密度分布信息和画面色度值分布信息为基准，将影像子画面区域中画面纹理密度值在预设画面纹理密度范围或画面色度值在预设画面色度值范围的区域部分，作为待改造区域部分；接着，以该映射关系中的位置信息为基准，标定待改造区域部分在实景影像的位置，再以位置信息作为存储区间的索引信息，对截取的待改造区域部分进行单独标记存储，便于后续对每个待改造区域部分进行单独的视觉渲染改造处理。
优选地，所述改造区域转换与重组模块对所述待改造区域部分进行预定视觉渲染模式的改造处理，以此转换得到相应的二维虚拟区域部分；根据所述标定处理的结果，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中，包括：
根据来自用户的改造请求，从预设改造模式库中选择匹配的视觉渲染模式，对所述待改造区域部分进行视觉渲染改造处理，以此转换得到相应的二维虚拟区域部分；
根据所述标定处理对应的位置信息，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中。
上述技术方案的有益效果为：通过上述方式，从预设改造模式库中选择匹配的视觉渲染模式，不需要对子影像画面区域整体进行视觉渲染改造处理，降低相应的处理计算工作量。再将转换得到的二维虚拟区域部分与该位置信息进行对应，从而将该二维虚拟转换区域部分替换到其对应的影像子画面区域原有的待改造区域部分。
优选地，所述画面视觉兼容性改造模块获取所述影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息；根据所述视觉差异信息，对所述非二维虚拟区域部分进行画面视觉兼容改造处理，包括：
获取同一影像子画面区域的二维虚拟区域部分与其邻接的非二维虚拟区域部分之间的像素分辨率差异信息；根据所述像素分辨率差异信息，对所述非二维虚拟区域部分与所述二维虚拟区域部分的邻接部分进行像素分辨率变化光滑化改造处理，此次实现所述画面视觉兼容改造处理。
上述技术方案的有益效果为：通过上述方式，根据同一影像子画面区域的二维虚拟区域部分与其邻接的非二维虚拟区域部分(该非二维虚拟区域部分对应与该子影像画面区域中未被确定为待改造区域部分)之间的像素分辨率差异信息(比如像素分辨率差值)，以此对该非二维虚拟区域部分与该二维虚拟区域部分的邻接部分进行像素分辨率变化光滑化改造处理，即将该二维虚拟区域部分的邻接部分的像素分辨率设成以固定变化率线性变化到该非二维虚拟区域部分的像素变化率，从而改善该非二维虚拟区域部分与该二维虚拟区域部分之间的视觉过渡衔接性。
从上述实施例的内容可知，该基于实景拍摄和图像改造的二维虚拟形象生成方法和系统将实景影像划分为若干影像子画面区域，根据每个影像子画面区域的画面视觉特征信息，确定影像子画面区域的待改造区域部分，并将待改造区域部分进行单独标定和存储；对待改造区域部分进行预定视觉渲染模式的改造处理后，将得到的二维虚拟区域部分重新组合到对应的影像子画面区域中；根据同一影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息，对非二维虚拟区域部分进行画面视觉兼容改造处理，其将实景影像划分为若干影像子画面区域后，标定每个影像子画面区域的部分画面区域，以作为改造所针对的对象，再对部分画面区域整体进行预定视觉渲染模式的改造处理而得到相应的二维虚拟区域部分；还将二维虚拟区域部分重新组合到对应的部分画面区域中，再对该部分画面区域进行画面视觉兼容改造处理，保证该部分画面区域不会存在视觉突兀的情况，其不需对实景影像进行像素级别的改造，有效减少实景影像的计算工作量，可对感兴趣的画面区域进行单独的视觉转换，提高视觉转换的灵活性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.基于实景拍摄和图像改造的二维虚拟形象生成方法，其特征在于，包括如下步骤：
步骤S1，采集实景场景对应的实景影像，并对所述实景影像进行画面分区处理，得到若干影像子画面区域；提取每个影像子画面区域对应的画面视觉特征信息，并构建每个影像子画面与其画面视觉特征信息的一一对应映射关系；
步骤S2，根据所述画面视觉特征信息，确定所述影像子画面区域的待改造区域部分，并根据所述映射关系，对所述待改造区域部分进行标定处理；将所述待改造区域部分进行截取，并根据所述标定处理的结果，对截取的可改造区域部分进行存储；
步骤S3，对所述待改造区域部分进行预定视觉渲染模式的改造处理，以此转换得到相应的二维虚拟区域部分；根据所述标定处理的结果，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中；
步骤S4，获取所述影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息；根据所述视觉差异信息，对所述非二维虚拟区域部分进行画面视觉兼容改造处理。
2.如权利要求1所述的基于实景拍摄和图像改造的二维虚拟形象生成方法，其特征在于：
在所述步骤S1中，采集实景场景对应的实景影像，并对所述实景影像进行画面分区处理，得到若干影像子画面区域；提取每个影像子画面区域对应的画面视觉特征信息，并构建每个影像子画面与其画面视觉特征信息的一一对应映射关系，包括：
对实景场景进行扫描拍摄，得到所述实景场景全局范围的实景影像；从所述实景影像中提取得到实景影像画面存在的景物分界线条，并根据所述景物分界线条，对所述实景影像进行画面分区处理，得到若干影像子画面区域；
提取每个影像子画面区域对应的画面纹理特征信息和画面色度分布特征信息，以此作为所述画面视觉特征信息；
构建每个影像子画面区域在所述实景影像所处位置信息与其画面视觉特征信息之间的一一对应映射关系。
3.如权利要求2所述的基于实景拍摄和图像改造的二维虚拟形象生成方法，其特征在于：
在所述步骤S2中，根据所述画面视觉特征信息，确定所述影像子画面区域的待改造区域部分，并根据所述映射关系，对所述待改造区域部分进行标定处理；将所述待改造区域部分进行截取，并根据所述标定处理的结果，对截取的可改造区域部分进行存储，包括：
根据所述画面纹理特征信息，确定所述影像子画面区域的画面纹理密度分布信息；根据所述画面色度分布特征信息，确定所述影像子画面区域的画面色度值分布信息；
将所述影像子画面区域中满足预设画面纹理密度条件或预设画面色度值条件的区域部分，作为待改造区域部分；
根据所述映射关系，标定所述待改造区域部分在所述实景影像所处位置信息；
将所述待改造区域部分从其对应的影像子画面区域中截取出来，并根据所述位置信息，对截取的待改造区域部分进行独立标记存储。
4.如权利要求3所述的基于实景拍摄和图像改造的二维虚拟形象生成方法，其特征在于：
在所述步骤S3中，对所述待改造区域部分进行预定视觉渲染模式的改造处理，以此转换得到相应的二维虚拟区域部分；根据所述标定处理的结果，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中，包括：
根据来自用户的改造请求，从预设改造模式库中选择匹配的视觉渲染模式，对所述待改造区域部分进行视觉渲染改造处理，以此转换得到相应的二维虚拟区域部分；
根据所述标定处理对应的位置信息，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中。
5.如权利要求4所述的基于实景拍摄和图像改造的二维虚拟形象生成方法，其特征在于：
在所述步骤S4中，获取所述影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息；根据所述视觉差异信息，对所述非二维虚拟区域部分进行画面视觉兼容改造处理，包括：
获取同一影像子画面区域的二维虚拟区域部分与其邻接的非二维虚拟区域部分之间的像素分辨率差异信息；根据所述像素分辨率差异信息，对所述非二维虚拟区域部分与所述二维虚拟区域部分的邻接部分进行像素分辨率变化光滑化改造处理，此次实现所述画面视觉兼容改造处理。
6.基于实景拍摄和图像改造的二维虚拟形象生成系统，其特征在于，包括：
实景影像采集与处理模块，用于采集实景场景对应的实景影像，并对所述实景影像进行画面分区处理，得到若干影像子画面区域；提取每个影像子画面区域对应的画面视觉特征信息，并构建每个影像子画面与其画面视觉特征信息的一一对应映射关系；
改造区域确定模块，用于根据所述画面视觉特征信息，确定所述影像子画面区域的待改造区域部分，并根据所述映射关系，对所述待改造区域部分进行标定处理；将所述待改造区域部分进行截取，并根据所述标定处理的结果，对截取的可改造区域部分进行存储；
改造区域转换与重组模块，用于对所述待改造区域部分进行预定视觉渲染模式的改造处理，以此转换得到相应的二维虚拟区域部分；根据所述标定处理的结果，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中；
画面视觉兼容性改造模块，用于获取所述影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息；根据所述视觉差异信息，对所述非二维虚拟区域部分进行画面视觉兼容改造处理。
7.如权利要求6所述的基于实景拍摄和图像改造的二维虚拟形象生成系统，其特征在于：
所述实景影像采集与处理模块采集实景场景对应的实景影像，并对所述实景影像进行画面分区处理，得到若干影像子画面区域；提取每个影像子画面区域对应的画面视觉特征信息，并构建每个影像子画面与其画面视觉特征信息的一一对应映射关系，包括：
对实景场景进行扫描拍摄，得到所述实景场景全局范围的实景影像；从所述实景影像中提取得到实景影像画面存在的景物分界线条，并根据所述景物分界线条，对所述实景影像进行画面分区处理，得到若干影像子画面区域；
提取每个影像子画面区域对应的画面纹理特征信息和画面色度分布特征信息，以此作为所述画面视觉特征信息；
构建每个影像子画面区域在所述实景影像所处位置信息与其画面视觉特征信息之间的一一对应映射关系。
8.如权利要求7所述的基于实景拍摄和图像改造的二维虚拟形象生成系统，其特征在于：
所述改造区域确定模块根据所述画面视觉特征信息，确定所述影像子画面区域的待改造区域部分，并根据所述映射关系，对所述待改造区域部分进行标定处理；将所述待改造区域部分进行截取，并根据所述标定处理的结果，对截取的可改造区域部分进行存储，包括：
根据所述画面纹理特征信息，确定所述影像子画面区域的画面纹理密度分布信息；根据所述画面色度分布特征信息，确定所述影像子画面区域的画面色度值分布信息；
将所述影像子画面区域中满足预设画面纹理密度条件或预设画面色度值条件的区域部分，作为待改造区域部分；
根据所述映射关系，标定所述待改造区域部分在所述实景影像所处位置信息；
将所述待改造区域部分从其对应的影像子画面区域中截取出来，并根据所述位置信息，对截取的待改造区域部分进行独立标记存储。
9.如权利要求8所述的基于实景拍摄和图像改造的二维虚拟形象生成系统，其特征在于：
所述改造区域转换与重组模块对所述待改造区域部分进行预定视觉渲染模式的改造处理，以此转换得到相应的二维虚拟区域部分；根据所述标定处理的结果，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中，包括：
根据来自用户的改造请求，从预设改造模式库中选择匹配的视觉渲染模式，对所述待改造区域部分进行视觉渲染改造处理，以此转换得到相应的二维虚拟区域部分；
根据所述标定处理对应的位置信息，将所述二维虚拟区域部分重新组合到其对应的影像子画面区域中。
10.如权利要求9所述的基于实景拍摄和图像改造的二维虚拟形象生成系统，其特征在于：
所述画面视觉兼容性改造模块获取所述影像子画面区域的二维虚拟区域部分与非二维虚拟区域部分之间的视觉差异信息；根据所述视觉差异信息，对所述非二维虚拟区域部分进行画面视觉兼容改造处理，包括：
获取同一影像子画面区域的二维虚拟区域部分与其邻接的非二维虚拟区域部分之间的像素分辨率差异信息；根据所述像素分辨率差异信息，对所述非二维虚拟区域部分与所述二维虚拟区域部分的邻接部分进行像素分辨率变化光滑化改造处理，此次实现所述画面视觉兼容改造处理。
CN202211521946.3A 2022-11-30 2022-11-30 基于实景拍摄和图像改造的二维虚拟形象生成方法和系统 Pending CN116824001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211521946.3A CN116824001A (zh) 2022-11-30 2022-11-30 基于实景拍摄和图像改造的二维虚拟形象生成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211521946.3A CN116824001A (zh) 2022-11-30 2022-11-30 基于实景拍摄和图像改造的二维虚拟形象生成方法和系统

Publications (1)

Publication Number Publication Date
CN116824001A true CN116824001A (zh) 2023-09-29

Family

ID=88128084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211521946.3A Pending CN116824001A (zh) 2022-11-30 2022-11-30 基于实景拍摄和图像改造的二维虚拟形象生成方法和系统

Country Status (1)

Country Link
CN (1) CN116824001A (zh)

Similar Documents

Publication Publication Date Title
US20030034977A1 (en) Method and apparatus for varying focus in a scene
JPH0749964A (ja) ３次元動画像生成装置
CN110248242B (zh) 一种图像处理和直播方法、装置、设备和存储介质
CN110517304B (zh) 生成深度图的方法、装置、电子设备和存储介质
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
KR100927734B1 (ko) 다시점 영상 생성 장치 및 그 방법
CN113793255A (zh) 用于图像处理的方法、装置、设备、存储介质和程序产品
CN114049464A (zh) 一种三维模型的重建方法及设备
CN115578970A (zh) 一种球形led屏幕校正方法、装置、系统及电子设备
US7907147B2 (en) Texture filtering apparatus, texture mapping apparatus, and method and program therefor
JP7374582B2 (ja) 画像処理装置、画像生成方法およびプログラム
JP6082642B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
CN112802186B (zh) 基于二值化特征编码匹配的动态场景实时三维重建方法
US10148931B2 (en) Three-dimensional video image display processing device, video information recording medium, video information providing server, and recording medium storing a program
CN116824001A (zh) 基于实景拍摄和图像改造的二维虚拟形象生成方法和系统
JPH07129762A (ja) 素描風画像生成装置
CN116801115A (zh) 一种稀疏阵列相机部署方法
CN110211090A (zh) 一种用于评价视角合成图像质量的方法
US20230056459A1 (en) Image processing device, method of generating 3d model, learning method, and program
Seitner et al. Trifocal system for high-quality inter-camera mapping and virtual view synthesis
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
CN114742907A (zh) 图像增强方法、装置、电子设备和计算机可读存储介质
CN109410302B (zh) 纹理映射方法、装置、计算机设备和存储介质
JP7131080B2 (ja) ボリュームレンダリング装置
JPH11265440A (ja) 任意光源位置の画像合成方法および表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination