CN117041511B - 一种展厅视觉交互增强的视频图像处理方法 - Google Patents

一种展厅视觉交互增强的视频图像处理方法 Download PDF

Info

Publication number
CN117041511B
CN117041511B CN202311265084.7A CN202311265084A CN117041511B CN 117041511 B CN117041511 B CN 117041511B CN 202311265084 A CN202311265084 A CN 202311265084A CN 117041511 B CN117041511 B CN 117041511B
Authority
CN
China
Prior art keywords
mixed
pixel point
window
edge
pixel points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311265084.7A
Other languages
English (en)
Other versions
CN117041511A (zh
Inventor
左良
左芸溪
程阿良
周岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Eurasian Feng Technology Development Co ltd
Original Assignee
Qingdao Eurasian Feng Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Eurasian Feng Technology Development Co ltd filed Critical Qingdao Eurasian Feng Technology Development Co ltd
Priority to CN202311265084.7A priority Critical patent/CN117041511B/zh
Publication of CN117041511A publication Critical patent/CN117041511A/zh
Application granted granted Critical
Publication of CN117041511B publication Critical patent/CN117041511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及图像处理领域，提供一种展厅视觉交互增强的视频图像处理方法，包括：获取AR程序中的待处理图像，确定所述待处理图像中的现实区域和虚拟区域；基于所述虚拟区域中像素点的特征确定第一尺度参数；利用单尺度算法基于所述第一尺度参数对所述虚拟区域中的像素点进行处理，以及利用单尺度算法基于第二尺度参数对所述现实区域中的像素点进行处理；其中，所述第二尺度参数为所述单尺度算法中的原始尺度参数。该方法基于虚拟区域中的像素点的特征确定虚拟区域对应的尺度参数，对虚拟区域中的像素点进行准确的增强，能够获得质量更高的视觉图像。

Description

一种展厅视觉交互增强的视频图像处理方法
技术领域
本申请涉及图像处理领域，特别是涉及一种展厅视觉交互增强的视频图像处理方法。
背景技术
随着数字技术的飞速发展，视觉交互技术得到了广泛的应用。增强现实（AR）技术为视觉交互注入了新的活力。AR技术可以将虚拟图像与现实环境之间融合，可以给人们带来身临其境的感觉，迎合了人们对沉浸式体验的追求。而展厅视觉交互在图像处理、视觉增强等技术的推动下，已经发展成为了强调体验和交互的新领域。通过结合AR技术，可以极大扩展展厅的表达手段和体验潜力，人们可以通过电子设备，亲眼目睹现实和虚拟的结合。
在AR现实虚拟交互时，图像增强是一种非常有益的算法，其不仅可以增强虚拟交互的质量、还可以提取和增强AR系统中需要检测和跟踪的现实世界中的特征点或者是图像标记，以便将虚拟元素准确的叠加到场景中，还可以帮助提高目标检测识别的准确性和效率。
当虚拟物体是半透明的时候，意味着用户能够透过它们看到真实世界的背景或其他对象。在此场景下往往都会对现实背景进行虚化，导致真实场景模糊。传统的图像增强算法通常是针对不透明的物体所设计，对半透明虚拟物体的处理不准确，很容易产生透明度失真和边缘模糊等缺点，导致被半透明虚拟区域所遮掩的现实区域模糊，造成部分信息丢失，这可能影响用户对现实场景的感知和理解。因此需要对其进行优化，以提高虚拟物体在现实中的真实性和可见性。
发明内容
本发明提供一种展厅视觉交互增强的视频图像处理方法，该方法基于虚拟区域中的像素点的特征确定虚拟区域对应的尺度参数，对虚拟区域中的像素点进行准确的增强，能够获得质量更高的视觉图像。
第一方面，本申请提供一种展厅视觉交互增强的视频图像处理方法，包括：
获取AR程序中的待处理图像，确定所述待处理图像中的现实区域和虚拟区域；
基于所述虚拟区域中像素点的特征确定第一尺度参数；
利用单尺度算法基于所述第一尺度参数对所述虚拟区域中的像素点进行处理，以及利用单尺度算法基于第二尺度参数对所述现实区域中的像素点进行处理；其中，所述第二尺度参数为所述单尺度算法中的原始尺度参数。
在一可选实施例中，基于所述虚拟区域中像素点的特征确定第一尺度参数，包括：
确定所述虚拟区域中的混合像素点；其中，所述混合像素点为包含虚拟信息和现实信息的像素点；
计算每一混合像素点对应的透明程度；
计算每一混合像素点对应的边缘影响度；
基于每一混合像素点对应的透明程度和每一混合像素点对应的边缘影响度对单尺度算法中的原始尺度参数进行校正，得到所述第一尺度参数。
在一可选实施例中，确定所述虚拟区域中的混合像素点，包括：
以所述虚拟区域中每一像素点为第一中心像素点构建第一窗口，计算所述第一窗口中每一像素点在R、G 、B三个通道的RGB值；
将RGB值频率最高的预设数量的像素点作为代表像素点，基于所述代表像素点的RGB值和所述第一窗口的第一中心像素点的RGB值计算所述第一中心像素点的混合程度，从而计算得到所述虚拟区域中所有像素点的混合程度；
将所述虚拟区域中混合程度大于阈值的像素点确定为所述混合像素点。
在一可选实施例中，计算每一混合像素点对应的透明程度，包括：
以所述虚拟区域中像素点的混合程度大于阈值作为生长准则进行区域生长，得到虚拟半透明区域；
以所述虚拟半透明区域中的混合像素点为第四中心像素点构建第四窗口，计算所述第四窗口的对比度；
利用局部二值模式算法计算所述第四窗口内每一混合像素点的LBP值；
基于所述第四窗口的对比度和所述第四窗口内每一混合像素点的LBP值计算得到所述第四窗口内每一混合像素点对应的透明程度，从而得到每一混合像素点对应的透明程度。
在一可选实施例中，计算所述第四窗口的对比度，包括：
计算所述第四窗口内混合像素点在R通道的标准差和平均值的比值，得到R通道对比度；计算所述第四窗口内混合像素点在G通道的标准差和平均值的比值，得到G通道对比度；计算所述第四窗口内混合像素点在B通道的标准差和平均值的比值，得到B通道对比度；
基于所述R通道对比度、所述G通道对比度和所述B通道对比度得到所述第四窗口的对比度。
在一可选实施例中，计算每一混合像素点对应的边缘影响度，包括：
确定所述混合像素点组成的混合区域的边缘像素点，得到混合边缘像素点；
计算所述混合边缘像素点对所述混合像素点的边缘影响度，从而得到每一混合像素点对应的边缘影响度。
在一可选实施例中，计算所述混合边缘像素点对所述混合像素点的边缘影响度，包括：
以每一混合边缘像素点为第二中心像素点构建第二窗口，计算所述第二窗口内梯度幅值的局部方差，从而得到每一混合边缘像素点对应的第二窗口内梯度幅值的局部方差；
以每一混合像素点为第三中心像素点构建第三窗口，所述第三窗口包括混合边缘像素点，且所述混合边缘像素点与所述第三中心像素点距离最近；
基于所述第三窗口内第三中心像素点与所述混合边缘像素点之间的欧式距离、所述混合边缘像素点的亮度值、所述第三中心像素点的亮度值以及所述混合边缘像素点对应的第二窗口内梯度幅值的局部方差计算得到混合边缘像素点对所述混合像素点的边缘影响度。
在一可选实施例中，通过如下公式计算得到混合边缘像素点对所述混合像素点的边缘影响度：
；
其中，V表示混合边缘像素点对混合像素点的边缘影响度，表示第三窗口内第三中心像素点与混合边缘像素点之间的欧式距离，/>表示混合边缘像素点的亮度值，/>表示第三中心像素点的亮度值，/>表示混合边缘像素点对应的第二窗口内梯度幅值的局部方差，/>为自然常数。
在一可选实施例中，通过如下公式对单尺度算法中的原始尺度参数进行校正，得到所述第一尺度参数：
；
其中，表示第一尺度参数，/>为归一化函数，/>为混合像素点对应的透明程度，V表示混合像素点对应的边缘影响度，/>表示单尺度算法中的原始尺度参数。
在一可选实施例中，获取AR程序中的待处理图像，确定所述待处理图像中的现实区域和虚拟区域，包括：
获取AR程序中的视频流，利用双边滤波算法对视频流中每帧图像进行去噪，从而得到所述待处理图像；
利用神经网络算法对所述待处理图像进行处理，以将所述待处理图像分为所述现实区域和所述虚拟区域。
本申请的有益效果，区别于现有技术，本申请的展厅视觉交互增强的视频图像处理方法，包括：获取AR程序中的待处理图像，确定所述待处理图像中的现实区域和虚拟区域；基于所述虚拟区域中像素点的特征确定第一尺度参数；利用单尺度算法基于所述第一尺度参数对所述虚拟区域中的像素点进行处理，以及利用单尺度算法基于第二尺度参数对所述现实区域中的像素点进行处理；其中，所述第二尺度参数为所述单尺度算法中的原始尺度参数。该方法基于虚拟区域中的像素点的特征确定虚拟区域对应的尺度参数，对虚拟区域中的像素点进行准确的增强，能够获得质量更高的视觉图像。
附图说明
图1为本发明提供的展厅视觉交互增强的视频图像处理方法的第一实施例的流程示意图；
图2为图1中步骤S12的一实施例的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合附图和实施例对本申请进行详细的说明。
请参见图1，为本发明提供的展厅视觉交互增强的视频图像处理方法的第一实施例的流程示意图，具体包括：
步骤S11：获取AR程序中的待处理图像，确定所述待处理图像中的现实区域和虚拟区域。
具体的，获取AR程序中的视频流。在AR程序中，打开摄像头，通过摄像头获取视频流，该视频流中包括多帧图像。利用双边滤波算法对视频流中每帧图像进行去噪，从而得到所述待处理图像。去噪处理能够有效减少图像中的噪声，使得图像更加清晰。
在进行现实虚拟交互时，往往会有很多将半透明的虚拟物体与现实物体叠加的场景，为将虚拟物体自然地嵌入视频，需要对虚拟物体进行图像配准，确定虚拟物体在真实世界中的位置、缩放比例和姿态。这会导致虚拟物体与视频略有错位，使背景出现模糊。在叠加虚拟物体后进行一次图像增强可以减少背景模糊出现的频率。
具体的，利用神经网络算法对所述待处理图像进行处理，以将所述待处理图像分为所述现实区域和所述虚拟区域。在一具体实施例中，使用CNN神经网络模型对待处理图像进行虚拟区域和现实区域的分类，将经过去噪处理后的待处理图像作为CNN神经网络模型的输入，针对待处理图像中的虚拟区域和现实区域分配唯一的数字标签，例如将现实区域标记为0，虚拟区域标记为1。将虚拟物体所在区域即虚拟区域的所有像素全部标记，例如标记为A像素点。
步骤S12：基于所述虚拟区域中像素点的特征确定第一尺度参数。
基于虚拟区域中像素点即A像素点的特征确定第一尺度参数。在一实施例中，请结合图2，图2为步骤S12的一实施例的流程示意图，具体包括：
步骤S21：确定所述虚拟区域中的混合像素点。
具体的，以虚拟区域中每一像素点为第一中心像素点构建第一窗口，计算所述第一窗口中每一像素点在R、G 、B三个通道的RGB值。例如以任意一个A像素点为第一中心像素点，构建的第一窗口，N取经验值为7，计算第一窗口内所有像素点在R、G、B三个通道的RGB值。记录不同RGB值出现的次数，用RGB值出现的次数除以第一窗口内像素点的总数，得到每个RGB值出现的频率，将RGB值频率最高的预设数量M的像素点作为代表像素点，预设数量M取经验值为2，这M个像素点代表第一窗口区域的主要颜色。基于所述代表像素点的RGB值和所述第一窗口的第一中心像素点的RGB值计算所述第一中心像素点的混合程度，从而计算得到所述虚拟区域中所有像素点的混合程度。在一实施例中，第一中心像素点的混合程度的计算方式为：
；
其中，为第一窗口的第一中心像素点的混合程度，M是代表像素点的个数，取经验值2，/>分别表示第一窗口的第一中心像素点的红、绿、蓝通道值，/>分别表示代表像素点/>的红、绿、蓝通道值。
需要说明的是，如果第一窗口内出现RGB值的次数均为1的情况，就逐级加大第一窗口的大小，每次使加1，直至得到前M个RGB值。若多个RGB值并列在M中，则将其都加入计算。
将所述虚拟区域中混合程度大于阈值的像素点确定为所述混合像素点。具体的，设置阈值，/>取经验值100，若一个像素点的混乱程度超过阈值/>，则判定该像素点为混合像素点。重复上述步骤，计算视频流中每一帧图像的每一个像素窗口，将所有处于A像素点中的混合像素点判定为虚拟半透明图像与现实图像的混合像素。
可以理解的，在此判断的混合像素点为第一窗口内与主流像素颜色相差较大的像素，因为混合像素点的颜色信息结合了虚拟图像和现实图像，也即混合像素点为包含虚拟信息和现实信息的像素点。所以此方法可以很好的将颜色复杂的混合像素点提取出来。当然可能会包含一些不透明的虚拟像素点，尽管这些像素点被判定为混合像素点，但由于其不透明性，它们在最终合成的图像中对整体效果的影响相对较小，因为它们的颜色会主要由虚拟图像决定。此方法也会将一些颜色分布规律的半透明像素点舍弃，由于这些像素点的颜色规律与现实图像相符合，所以对于混合程度做出的贡献不大，舍弃掉也不会出现什么影响。
步骤S22：计算每一混合像素点对应的透明程度。
在AR结合的图像中，半透明区域的像素是虚拟区域的像素点与现实区域的像素点的混合像素点，因此，这类混合像素点比较复杂，不如纯粹的虚拟区域或者现实区域的像素点那么统一、有规律。本申请根据这个特点，提取待处理图像中的虚拟半透明区域，基于虚拟半透明区域中混合像素点的特征确定每一混合像素点对应的透明程度。
在一实施例中，以所述虚拟区域中像素点的混合程度大于阈值作为生长准则进行区域生长，得到虚拟半透明区域。具体的，将像素点的混合程度作为输入，选取混合像素点为种子点，作为生长准则进行区域生长，生长出来的区域为虚拟半透明区域。
以所述虚拟半透明区域中的混合像素点为第四中心像素点构建第四窗口，第四窗口大小为，N取经验值3。计算所述第四窗口的对比度。进一步的，计算所述第四窗口内混合像素点在R通道的标准差和平均值的比值，得到R通道对比度CR；计算所述第四窗口内混合像素点在G通道的标准差和平均值的比值，得到G通道对比度CG；计算所述第四窗口内混合像素点在B通道的标准差和平均值的比值，得到B通道对比度CB。基于所述R通道对比度CR、所述G通道对比度CG和所述B通道对比度CB得到所述第四窗口的对比度。具体的，可以通过欧几里得距离算法计算得到第四窗口的对比度C，具体为：。对比度C可以用来衡量图像中像素点的RGB差异，表示了图像中的颜色变化，可以提供关于实际场景和虚拟区域之间的亮度差异信息。
利用局部二值模式LBP算法计算所述第四窗口内每一混合像素点的LBP值。虚拟区域图像通常是由计算机生成的，而实际场景是自然环境中的真实图像。半透明虚拟图像和实际场景图像的结合会产生更高的纹理的差异，如不同的材质、纹理结构、光照条件等。通过使用LBP算法计算每个像素的LBP值，可以获取图像中局部纹理的纹理特征。这些纹理特征能够反映实际场景和半透明虚拟图像结合之后的纹理变化。
基于所述第四窗口的对比度C和所述第四窗口内每一混合像素点的LBP值计算得到所述第四窗口内每一混合像素点对应的透明程度，从而得到每一混合像素点对应的透明程度。具体的，每一混合像素点对应的透明程度的计算方式为：
；
为混合像素点对应的透明程度，LBP为第四窗口内像素点的LBP值，C为第四窗口内的对比度。通过计算第四窗口的对比度和第四窗口内像素点的LBP值的乘积，可以获得一个表示纹理丰富程度的综合特征。透明度越低意味着虚拟区遮盖了越多的显示区域，从而减少了来自背景的光线干扰。这样，混合内的光照更多地受到虚拟区域自身的光照条件控制，受现实的影响降低。而对比度是指图像中不同区域之间颜色的差异程度。在低透明度的情况下，虚拟区域与现实区域之间对比度的增大，这进一步突出了虚拟区域内的细节和纹理特征，并且导致显露的现实图像纹理不再规则，包括LBP。因此可以将/>代表每个像素的透明程度，其大小会随着LBP和C的增大而变小。据上述设定的虚拟半透明图像与现实图像的混合像素，计算所有混合像素的透明程度。
步骤S23：计算每一混合像素点对应的边缘影响度。
上述步骤已经将待处理图像中现实区域与虚拟区域分割开，进一步利用索伯算法Sobel计算待处理图像中每一像素点的梯度，并确定待处理图像中的边缘像素点，从而可以确定所述混合像素点组成的混合区域的边缘像素点，得到混合边缘像素点。
如果虚拟区域内部物体的边界比较清晰和锐利，则意味着虚拟物体的边缘在半透明区域会遮挡更多的背景，且为了图像的平滑效果，边缘周围的半透明区域也会受到边缘的影响，导致边缘周围的透明度降低，变得模糊。如果虚拟物体内部的边界模糊或者不清晰的话，背景的细节和结构可能不太清晰地透过半透明区域展现出来，从而降低了半透明区域上背景的清晰度。总之，虚拟物体内部的边缘对半透明区域背景部分的清晰度影响是巨大的，过于清晰和过于模糊都会导致边界周围的区域难以分辨背景中的细节。
进一步的，计算所述混合边缘像素点对所述混合像素点的边缘影响度，从而得到每一混合像素点对应的边缘影响度。具体的，以每一混合边缘像素点为第二中心像素点构建第二窗口。第二窗口的大小为的窗口，N取经验值7。计算每一个混合边缘像素点的梯度幅值，然后基于每一混合边缘像素点的梯度幅值进一步计算第二窗口内梯度幅值的局部方差/>，从而得到每一混合边缘像素点对应的第二窗口内梯度幅值的局部方差/>。局部方差/>的大小来衡量边缘的清晰度，如果局部方差较大，表示边缘附近的梯度变化较大，边缘较清晰；如果局部方差较小，表示边缘附近的梯度变化较小，边缘较模糊。
以每一混合像素点为第三中心像素点构建第三窗口，所述第三窗口包括混合边缘像素点，且所述混合边缘像素点与所述第三中心像素点距离最近。在具体的实施例中，以某一混合像素的点为中心，构建逐渐增大的第三窗口，直到检测到第三窗口中有混合边缘像素点为止，也即第三窗口中具有与第三窗口的中心像素点即第三中心像素点最近的混合边缘像素点。基于所述第三窗口内第三中心像素点与所述混合边缘像素点之间的欧式距离、所述混合边缘像素点的亮度值、所述第三中心像素点的亮度值以及所述混合边缘像素点对应的第二窗口内梯度幅值的局部方差计算得到混合边缘像素点对所述混合像素点的边缘影响度。在一具体实施例中，通过如下公式计算得到混合边缘像素点对所述混合像素点的边缘影响度：
；
其中，V表示混合边缘像素点对混合像素点的边缘影响度，表示第三窗口内第三中心像素点与混合边缘像素点之间的欧式距离，/>表示混合边缘像素点的亮度值，/>表示第三中心像素点的亮度值，在此/>使用的是亮度感知模型的建议值，即：，/>分别为第三中心像素点的红、绿、蓝通道值。/>表示混合边缘像素点对应的第二窗口内梯度幅值的局部方差，/>为自然常数。
可以理解的，混合边缘像素点距离第三中心像素点的欧式距离越远，混合边缘像素点对混合像素点的边缘影响度越小。因为距离较远的像素点对窗口中心的影响减弱，边缘影响度V会随着距离的增加而减小。局部方差反映了第三窗口内像素值梯度的变化程度，通过反映边缘周围的梯度变化幅度衡量边缘的清晰度。局部方差越大，边缘影响度V会随着局部方差的增大而增大。边缘影响度V受到混合边缘像素点与第三中心像素点的距离、亮度差异、第三中心像素点的亮度值和局部方差的共同影响。
步骤S24：基于每一混合像素点对应的透明程度和每一混合像素点对应的边缘影响度对单尺度算法中的原始尺度参数进行校正，得到所述第一尺度参数。
在一实施例中，通过如下公式基于每一混合像素点对应的透明程度和每一混合像素点对应的边缘影响度对单尺度算法中的原始尺度参数进行校正，得到所述第一尺度参数：
；
其中，表示第一尺度参数，/>为归一化函数，/>为混合像素点对应的透明程度，V表示混合像素点对应的边缘影响度，/>表示单尺度算法中的原始尺度参数。
可以理解的，透明程度越高，表示混合像素点对背景的遮挡越弱，因此改进后的第一尺度参数/>会相应减小，表示保留更多的细节。较大的边缘影响度V值表示混合像素点周围边缘的影响较大，因此改进后的第一尺度参数/>会相应增大，表示更强的平滑效果。
步骤S13：利用单尺度算法基于所述第一尺度参数对所述虚拟区域中的像素点进行处理，以及利用单尺度算法基于第二尺度参数对所述现实区域中的像素点进行处理。
上述中对虚拟区域的像素标记为了A像素点，对于被标记为A的像素点，在计算高斯环绕函数时，将原尺度参数替换为改进后的第一尺度参数/>，对于未被标记的像素点，在计算高斯环绕函数时，使用第二尺度参数即单尺度算法中的原始尺度参数/>进行处理，保持原本的算法不变。这样可以确保只有处于虚拟区域部分的像素受到尺度参数的改进，而现实区域的像素仍然使用原尺度参数进行处理，以此完成对AR视频流的逐帧增强。
本发明通过分割待处理图像的现实部分与虚拟部分，分析像素的纹理细节特征来判断处于虚拟部分像素的虚拟透明程度，并用Sobel算子分割边缘、计算梯度，通过对梯度、欧氏距离以及亮度差异和局部方差来计算虚拟物体边缘对非边缘像素产生的影响。根据分析对单尺度图像增强算法进行改进，使其只在混合区域内使用改进后的算法，对半透明虚拟物体后的现实场景实施针对性的增强。
由于混合像素点通常包含前景即虚拟物体和背景即现实物体的混合部分，其亮度和对比度可能会受到影响。通过使用改进后的尺度参数，可以更好地适应混合像素的特性，提供更准确的增强效果，从而增强混合像素区域的细节和对比度。不仅可以采用原本的算法保持背景区域的原始特征，避免对背景进行过度增强，确保背景区域的自然和平衡，不引入任何不必要的改变，而且对于混合像素点，改进后的尺度参数和边缘影响可以更好地捕捉其特征。在混合区域内，针对半透明的虚拟物体，对虚拟物体透过的现实场景进行准确的增强。通过针对不同区域采用不同的处理策略，更准确地对图像进行增强。
以上仅为本申请的实施方式，并非因此限制本申请的范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的保护范围内。

Claims (4)

1.一种展厅视觉交互增强的视频图像处理方法，其特征在于，包括：
获取AR程序中的待处理图像，确定所述待处理图像中的现实区域和虚拟区域；
基于所述虚拟区域中像素点的特征确定第一尺度参数；
利用单尺度算法基于所述第一尺度参数对所述虚拟区域中的像素点进行处理，以及利用单尺度算法基于第二尺度参数对所述现实区域中的像素点进行处理；其中，所述第二尺度参数为所述单尺度算法中的原始尺度参数；
基于所述虚拟区域中像素点的特征确定第一尺度参数，包括：
确定所述虚拟区域中的混合像素点；其中，所述混合像素点为包含虚拟信息和现实信息的像素点；
计算每一混合像素点对应的透明程度；
计算每一混合像素点对应的边缘影响度；
基于每一混合像素点对应的透明程度和每一混合像素点对应的边缘影响度对单尺度算法中的原始尺度参数进行校正，得到所述第一尺度参数；
确定所述虚拟区域中的混合像素点，包括：
以所述虚拟区域中每一像素点为第一中心像素点构建第一窗口，计算所述第一窗口中每一像素点在R、G 、B三个通道的RGB值；
将RGB值频率最高的预设数量的像素点作为代表像素点，基于所述代表像素点的RGB值和所述第一窗口的第一中心像素点的RGB值计算所述第一中心像素点的混合程度，从而计算得到所述虚拟区域中所有像素点的混合程度；
将所述虚拟区域中混合程度大于阈值的像素点确定为所述混合像素点；
计算每一混合像素点对应的边缘影响度，包括：
确定所述混合像素点组成的混合区域的边缘像素点，得到混合边缘像素点；
计算所述混合边缘像素点对所述混合像素点的边缘影响度，从而得到每一混合像素点对应的边缘影响度；
计算所述混合边缘像素点对所述混合像素点的边缘影响度，包括：
以每一混合边缘像素点为第二中心像素点构建第二窗口，计算所述第二窗口内梯度幅值的局部方差，从而得到每一混合边缘像素点对应的第二窗口内梯度幅值的局部方差；
以每一混合像素点为第三中心像素点构建第三窗口，所述第三窗口包括混合边缘像素点，且所述混合边缘像素点与所述第三中心像素点距离最近；
基于所述第三窗口内第三中心像素点与所述混合边缘像素点之间的欧式距离、所述混合边缘像素点的亮度值、所述第三中心像素点的亮度值以及所述混合边缘像素点对应的第二窗口内梯度幅值的局部方差计算得到混合边缘像素点对所述混合像素点的边缘影响度；
通过如下公式计算得到混合边缘像素点对所述混合像素点的边缘影响度：
；
其中，V表示混合边缘像素点对混合像素点的边缘影响度，表示第三窗口内第三中心像素点与混合边缘像素点之间的欧式距离，/>表示混合边缘像素点的亮度值，/>表示第三中心像素点的亮度值，/>表示混合边缘像素点对应的第二窗口内梯度幅值的局部方差，/>为自然常数；
通过如下公式对单尺度算法中的原始尺度参数进行校正，得到所述第一尺度参数：
；
其中，表示第一尺度参数，/>为归一化函数，/>为混合像素点对应的透明程度，V表示混合像素点对应的边缘影响度，/>表示单尺度算法中的原始尺度参数。
2.根据权利要求1所述的一种展厅视觉交互增强的视频图像处理方法，其特征在于，计算每一混合像素点对应的透明程度，包括：
以所述虚拟区域中像素点的混合程度大于阈值作为生长准则进行区域生长，得到虚拟半透明区域；
以所述虚拟半透明区域中的混合像素点为第四中心像素点构建第四窗口，计算所述第四窗口的对比度；
利用局部二值模式算法计算所述第四窗口内每一混合像素点的LBP值；
基于所述第四窗口的对比度和所述第四窗口内每一混合像素点的LBP值计算得到所述第四窗口内每一混合像素点对应的透明程度，从而得到每一混合像素点对应的透明程度。
3.根据权利要求2所述的一种展厅视觉交互增强的视频图像处理方法，其特征在于，计算所述第四窗口的对比度，包括：
计算所述第四窗口内混合像素点在R通道的标准差和平均值的比值，得到R通道对比度；计算所述第四窗口内混合像素点在G通道的标准差和平均值的比值，得到G通道对比度；计算所述第四窗口内混合像素点在B通道的标准差和平均值的比值，得到B通道对比度；
基于所述R通道对比度、所述G通道对比度和所述B通道对比度得到所述第四窗口的对比度。
4.根据权利要求1所述的一种展厅视觉交互增强的视频图像处理方法，其特征在于，获取AR程序中的待处理图像，确定所述待处理图像中的现实区域和虚拟区域，包括：
获取AR程序中的视频流，利用双边滤波算法对视频流中每帧图像进行去噪，从而得到所述待处理图像；
利用神经网络算法对所述待处理图像进行处理，以将所述待处理图像分为所述现实区域和所述虚拟区域。
CN202311265084.7A 2023-09-28 2023-09-28 一种展厅视觉交互增强的视频图像处理方法 Active CN117041511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311265084.7A CN117041511B (zh) 2023-09-28 2023-09-28 一种展厅视觉交互增强的视频图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311265084.7A CN117041511B (zh) 2023-09-28 2023-09-28 一种展厅视觉交互增强的视频图像处理方法

Publications (2)

Publication Number Publication Date
CN117041511A CN117041511A (zh) 2023-11-10
CN117041511B true CN117041511B (zh) 2024-01-02

Family

ID=88641313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311265084.7A Active CN117041511B (zh) 2023-09-28 2023-09-28 一种展厅视觉交互增强的视频图像处理方法

Country Status (1)

Country Link
CN (1) CN117041511B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004159311A (ja) * 2002-10-16 2004-06-03 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法
US7664322B1 (en) * 2003-08-11 2010-02-16 Adobe Systems Incorporated Feature-based color adjustment
CN101802873A (zh) * 2007-06-29 2010-08-11 帝国创新技术有限公司 增强现实的非真实感绘制
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
CN103389579A (zh) * 2011-12-23 2013-11-13 微软公司 用于增强现实的像素不透明度
CN112242008A (zh) * 2020-10-17 2021-01-19 郑州西亚斯学院 一种用于透明容器的ar交互视觉感知方法及系统
CN114549718A (zh) * 2022-01-25 2022-05-27 广东虚拟现实科技有限公司 虚拟信息的渲染方法、装置、增强现实装置及存储介质
CN116051543A (zh) * 2023-03-06 2023-05-02 山东锦霖钢材加工有限公司 一种用于钢材剥皮的缺陷识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460497B2 (en) * 2012-09-21 2016-10-04 Htc Corporation Image enhancement methods and systems using the same

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004159311A (ja) * 2002-10-16 2004-06-03 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法
US7664322B1 (en) * 2003-08-11 2010-02-16 Adobe Systems Incorporated Feature-based color adjustment
CN101802873A (zh) * 2007-06-29 2010-08-11 帝国创新技术有限公司 增强现实的非真实感绘制
CN103389579A (zh) * 2011-12-23 2013-11-13 微软公司 用于增强现实的像素不透明度
CN103226830A (zh) * 2013-04-25 2013-07-31 北京大学 三维虚实融合环境中视频纹理投影的自动匹配校正方法
CN112242008A (zh) * 2020-10-17 2021-01-19 郑州西亚斯学院 一种用于透明容器的ar交互视觉感知方法及系统
CN114549718A (zh) * 2022-01-25 2022-05-27 广东虚拟现实科技有限公司 虚拟信息的渲染方法、装置、增强现实装置及存储介质
CN116051543A (zh) * 2023-03-06 2023-05-02 山东锦霖钢材加工有限公司 一种用于钢材剥皮的缺陷识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fractional-Order Retinex for Adaptive Contrast Enhancement of Under-Exposed Traffic Images;Yi-Fei Pu等;IEEE Intelligent Transportation Systems Magazine;全文 *
结合图像增强和恢复的增强现实跟踪注册;郭士祥;范铀;范冲;;测绘通报(第08期);全文 *

Also Published As

Publication number Publication date
CN117041511A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN108596849B (zh) 一种基于天空区域分割的单幅图像去雾方法
US9661239B2 (en) System and method for online processing of video images in real time
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
EP1969560B1 (en) Edge-controlled morphological closing in segmentation of video sequences
US8525847B2 (en) Enhancing images using known characteristics of image subjects
US10148895B2 (en) Generating a combined infrared/visible light image having an enhanced transition between different types of image information
US20070110309A1 (en) Shadow detection in images
CN110570360B (zh) 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法
JP6914734B2 (ja) シルエット抽出装置、方法およびプログラム
Sabir et al. Segmentation-based image defogging using modified dark channel prior
CN115631116B (zh) 基于双目视觉的飞行器电力巡检系统
KR20220085832A (ko) 가상 이미지 내의 픽셀들의 투명도 값들 및 컬러 값들을 설정하기 위한 이미지 처리 방법
Abdusalomov et al. An improvement for the foreground recognition method using shadow removal technique for indoor environments
GB2522663A (en) A method of selecting a region of interest
AU2016273984A1 (en) Modifying a perceptual attribute of an image using an inaccurate depth map
CN117041511B (zh) 一种展厅视觉交互增强的视频图像处理方法
WO2016199418A1 (en) Frame rate conversion system
JP7405702B2 (ja) 仮想視点レンダリング装置、方法及びプログラム
Negru et al. Exponential image enhancement in daytime fog conditions
Guo et al. Fast Defogging and Restoration Assessment Approach to Road Scene Images*.
CN109961413B (zh) 大气光方向优化估计的图像去雾迭代算法
CN113792629A (zh) 一种基于深度神经网络的安全帽佩戴检测方法及系统
JP6811679B2 (ja) シルエット抽出装置、方法およびプログラム
CN113379631B (zh) 一种图像去雾的方法及装置
US20120218280A1 (en) Method, apparatus and system for modifying quality of an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant