CN117689590B - 一种基于ai技术的ar的对象互动展示方法 - Google Patents

一种基于ai技术的ar的对象互动展示方法 Download PDF

Info

Publication number
CN117689590B
CN117689590B CN202410128980.7A CN202410128980A CN117689590B CN 117689590 B CN117689590 B CN 117689590B CN 202410128980 A CN202410128980 A CN 202410128980A CN 117689590 B CN117689590 B CN 117689590B
Authority
CN
China
Prior art keywords
image
frame
pixel point
taking
gray level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410128980.7A
Other languages
English (en)
Other versions
CN117689590A (zh
Inventor
车轩
程洪志
张楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Lingjing Zhiyou Technology Co ltd
Original Assignee
Tianjin Lingjing Zhiyou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Lingjing Zhiyou Technology Co ltd filed Critical Tianjin Lingjing Zhiyou Technology Co ltd
Priority to CN202410128980.7A priority Critical patent/CN117689590B/zh
Publication of CN117689590A publication Critical patent/CN117689590A/zh
Application granted granted Critical
Publication of CN117689590B publication Critical patent/CN117689590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请涉及图像增强技术领域,提出了一种基于AI技术的AR的对象互动展示方法,包括:采集AR图像;基于每个像素点所取滑动窗口内灰度级的转换频率确定灰度级转化突兀系数;基于灰度级转化突兀系数确定局部特征丰度指数;基于每个像素点所取邻域内局部特征丰度指数的分布情况确定AR画面特征点;基于相邻两帧中两个AR画面特征点局部特征丰度指数的差异以及特征位移距离确定AR画面特征匹配指数;基于AR画面特征匹配指数确定AR运动模糊真实指数;采用单尺度SSR算法基于AR运动模糊真实指数得到AR图像的增强结果,基于增强结果完成互动展示。本申请自适应确定SSR算法中的尺度参数,提高互动过程中AR图像的显示效果。

Description

一种基于AI技术的AR的对象互动展示方法
技术领域
本申请涉及图像增强技术领域,具体涉及一种基于AI技术的AR的对象互动展示方法。
背景技术
增强现实AR(Augmented Reality)技术通过使用计算机生成的图像、声音等其它虚拟信息,将虚拟信息叠加到用户的真实环境中,创造出一个融合了虚拟和真实元素的场景。随着现在数字技术的快速发展,AR技术被广泛应用于先进制造、科普科研、文化旅游等领域,通过AR技术的对象互动展示,可以在用户端实时呈现AR信息,给人们带来身临其境的感觉。
现阶段,AR技术通常会使用图像增强算法提升AR交互的图像质量,同时也能够提高AR交互过程中目标检测的准确度。传统的图像增强算法,如自适应直方图均衡化AHE算法(Adaptive histgram equalization)将图像分割为多个块,对每个图像块分别进行直方图均衡,但是AHE算法需要提前设置分块大小,且在均衡化过程中容易出现颜色失真的问题;而单尺度SSR(Single Scale Retinex)算法简单且易于实现,能够近实时的完成图像增强,但是也需要提前设置尺度参数的大小,参数越小,SSR的动态压缩能力越强,图像阴暗部分的细节得到更好的增强,但是由于平均对比度范围较小,增强后的AR图像会产生颜色失真,影响交互体验;参数值越大,SSR的颜色保真度越高,但是动态压缩能力会越弱,导致AR图像的增强效果较差。
发明内容
本申请提供一种基于AI技术的AR的对象互动展示方法,以解决SSR算法增强AR图像的效果受尺度参数影响较大,影响AR互动体验的问题,所采用的技术方案具体如下:
本申请一个实施例一种基于AI技术的AR的对象互动展示方法,该方法包括以下步骤:
采集AR设备中的每帧AR图像;
基于每帧AR图像内每个像素点所取滑动窗口内不同灰度级之间的转换频率确定每个像素点所取滑动窗口内每个灰度级的灰度级转化突兀系数;基于每个像素点所取滑动窗口内所有灰度级的灰度级转化突兀系数确定每个像素点的局部特征丰度指数;
基于每帧AR图像中每个像素点与其所取邻域内所有像素点的局部特征丰度指数的分布情况确定每帧AR图像中的AR画面特征点;
基于相邻两帧AR图像中两个AR画面特征点局部特征丰度指数之间的差异以及两个AR画面特征点之间的特征位移距离确定两个AR画面特征点的AR画面特征匹配指数;
基于每帧AR图像与其前一帧AR图像中所有AR画面特征点的AR画面特征匹配指数确定每帧AR图像内每个像素点的AR运动模糊真实指数;
采用单尺度SSR算法基于每帧AR图像内每个像素点的AR运动模糊真实指数得到每帧AR图像的增强结果,基于每帧AR图像的增强结果完成互动展示。
优选的,所述基于每帧AR图像内每个像素点所取滑动窗口内不同灰度级之间的转换频率确定每个像素点所取滑动窗口内每个灰度级的灰度级转化突兀系数的方法为:
将每帧AR图像内每个像素点所取滑动窗口内每个不相等的灰度值作为一个灰度级;
将每个像素点所取滑动窗口内每个像素点与其八邻域内任意一个像素点组成的像素点组合作为一个灰度转换组合;将每个像素点所取滑动窗口内任意两个灰度级对应的灰度转换组合的个数作为两个灰度级之间的转换次数;
基于每帧AR图像内每个像素点所取滑动窗口内灰度级之间的转换次数确定所取滑动窗口内每个灰度级的灰度级转化突兀系数。
优选的,所述基于每帧AR图像内每个像素点所取滑动窗口内灰度级之间的转换次数确定所取滑动窗口内每个灰度级的灰度级转化突兀系数的方法为:
将每帧AR图像内每个像素点所取滑动窗口内任意两个灰度级之间的转换次数与滑动窗口内所有灰度转换组合总个数的比值作为任意两个灰度级之间的等级转换自由因子;
将每个像素点所取滑动窗口内任意一个灰度级作为一个目标灰度级,将每个像素点所取滑动窗口内每个目标灰度级与其余任意一个灰度级对应灰度值之间差值的绝对值作为分子;将每个像素点所取滑动窗口内所有灰度级之间的等级转换自由因子的最大值与每个目标灰度级与其余任意一个灰度级之间的等级转换自由因子的差值与预设参数之和作为分母;
将分子与分母的比值在其余所有灰度级上的累加结果与其余所有灰度级的数量的比值作为每个目标灰度级的灰度级转化突兀系数。
优选的,所述基于每个像素点所取滑动窗口内所有灰度级的灰度级转化突兀系数确定每个像素点的局部特征丰度指数的方法为:
将每个像素点所取滑动窗口内所有灰度级的灰度级转化突兀系数作为输入,采用数据聚类算法将所有灰度级转化突兀系数划分为两个聚类簇,将灰度级转化突兀系数均值最大的聚类簇内的任意一个元素对应的灰度级作为一个突兀灰度级;
采用曲线拟合技术基于所有突兀灰度级以及每个突兀灰度级的灰度级转化突兀系数确定每个像素点所取滑动窗口的等级突兀曲线,将所述等级突兀曲线中所有极大值点按照横坐标升序的顺序组成的序列作为突兀极大值序列;
将突兀极大值序列中任意两个相邻元素次序值之间差值绝对值的倒数在突兀极大值序列上的累加结果与每个像素点所取滑动窗口内所有灰度级转化突兀系数均值的乘积作为每个像素点的局部特征丰度指数。
优选的,所述基于每帧AR图像中每个像素点与其所取邻域内所有像素点的局部特征丰度指数的分布情况确定每帧AR图像中的AR画面特征点的方法为:
将以每帧AR图像中每个像素点为中心点所取预设尺度的圆形区域所经过的任意一个像素点作为每帧AR图像中每个像素点的一个近邻参考点;
将每帧AR图像中每个像素点的每个近邻参考点的局部特征丰度指数与每个像素点的局部特征丰度指数之间的差值作为一个特征丰度偏差值;
将以特征丰度偏差值为横坐标,以每个特征丰度偏差值在每个像素点的所有近邻参考点中出现的频率为纵坐标构建的直方图作为每帧AR图像中每个像素点的丰度偏差直方图;
将每帧AR图像中所有像素点的所有近邻参考点的特征丰度偏差值的均值作为偏差均值,将任意一个特征丰度偏差值大于偏差均值的近邻参考点数量大于等于预设阈值的像素点作为每帧AR图像中的一个AR画面特征点。
优选的,所述基于相邻两帧AR图像中两个AR画面特征点局部特征丰度指数之间的差异以及两个AR画面特征点之间的特征位移距离确定两个AR画面特征点的AR画面特征匹配指数的方法为:
将相邻两帧AR图像中两个AR画面特征点坐标之间的欧式距离作为两个AR画面特征点之间的特征位移距离;将两个AR画面特征点之间的特征位移距离与预设参数之和的倒数作为第一乘积因子;
将两个AR画面特征点的之间的局部特征丰度指数之间差值绝对值的数据映射结果作为分子;
将两个AR画面特征点的丰度偏差直方图分布特征之间的度量距离与预设参数之和作为分母,将分子与分母的比值作为第二乘积因子;
两个AR画面特征点的AR画面特征匹配指数由第一乘积因子、第二乘积因子两部分组成,其中,所述AR画面特征匹配指数分别与第一乘积因子、第二乘积因子成正比关系。
优选的,所述基于每帧AR图像与其前一帧AR图像中所有AR画面特征点的AR画面特征匹配指数确定每帧AR图像内每个像素点的AR运动模糊真实指数的方法为:
基于每帧AR图像与其前一帧AR图像中所有AR画面特征点的AR画面特征匹配指数确定每帧AR图像中的一类特征点、二类特征点;
对于每帧AR图像中的任意一个二类特征点,将与每个二类特征点之间欧式距离最小的两个一类特征点在每帧AR图像中的坐标经过空间映射后所得坐标对应的像素点作为每个二类特征点的映射点;
将每帧AR图像中AR画面特征点的数量与一类特征点数量的差值与每帧AR图像中AR画面特征点的数量的比值作为比例因子;
将每帧AR图像中AR画面特征点的数量与每帧AR图像内每个像素点所取滑动窗口内二类特征点数量的差值作为第一数量差值;
将每帧AR图像内每个像素点所取滑动窗口内任意一个映射点与每个像素点之间的欧式距离在每个像素点所取滑动窗口内所有映射点上的累加结果作为第一计算因子;
每帧AR图像内每个像素点的AR运动模糊真实指数由比例因子、第一数量差值、第一计算因子三部分组成,其中,所述AR运动模糊真实指数分别与比例因子、第一数量差值、第一计算因子成正比关系。
优选的,所述基于每帧AR图像与其前一帧AR图像中所有AR画面特征点的AR画面特征匹配指数确定每帧AR图像中的一类特征点、二类特征点的方法为:
将每帧AR图像与其前一帧AR图像中所有AR画面特征点的AR画面特征匹配指数作为输入,采用阈值分割算法确定AR画面特征匹配指数的分割阈值;
将每帧AR图像中的任意一个AR画面特征点作为一个参考点,将每帧AR图像中与其前一帧AR图像中每个AR画面特征点之间AR画面特征匹配指数大于所述分割阈值的所有参考点组成的集合作为所述前一帧AR图像中每个AR画面特征点的参考点集合,将所述前一帧AR图像中每个AR画面特征点与其参考点集合中具有最大AR画面特征匹配指数的参考点组成的组合作为一个特征点匹配组合;
将每帧AR图像中任意一个属于、不属于特征点匹配组合的AR画面特征点分别作为一个一类特征点、一个二类特征点。
优选的,所述采用单尺度SSR算法基于每帧AR图像内每个像素点的AR运动模糊真实指数得到每帧AR图像的增强结果的方法为:
将第一预设尺度参数与第二预设尺度参数之间的差值与每帧AR图像中每个像素点的AR运动模糊真实指数之间的乘积作为第一尺度计算值;
将第一尺度计算值与第二预设尺度参数之和作为每帧AR图像中每个像素点的尺度修正指数;
将每帧AR图像作为输入,采用单尺度SSR算法基于每帧AR图像中所有像素点的尺度修正指数得到每帧AR图像的增强结果。
优选的,所述基于每帧AR图像的增强结果完成互动展示的方法为:
将AR设备中每帧AR图像的增强结果作为输入,将采用Python中的PIL库将每帧AR图像的增强结果转换的RGB图像作为每帧AR图像的同色增强图像;
将AR设备中所有帧AR图像的同色增强图像按照时间顺序构成视频作为AR互动时显示器上的互动视频,互动人员基于互动视频中的引导内容完成互动。
本申请的有益效果是:根据AR图像中各个灰度等级相互转换的特征构建各个像素点的局部特征丰度指数,同时综合考虑AR图像像素点的邻域信息,对AR图像的特征点进行分类判断,其有益效果通过对不同AR画面特征点的分类综合反映运动模糊和互动动作对AR面向特征点对应局部特征信息的影响程度;基于相邻帧AR图像的AR画面特征点之间的相似性和特征点的变化,其次结合仿射变换的技术确定二类特征点的映射点确定各个像素点的AR运动模糊真实指数,AR运动模糊真实指数能够准确反映像素点运动模糊的强度,自适应的针对每个像素点确定尺度修正指数,对SSR单尺度图像增加算法进行改进,其有益效果在于综合考虑AR设备中相邻两帧AR图像采集间隔较短,两帧特征点之间的相似度,基于AR图像实际的运动模糊情况,自适应确定SSR算法的尺度参数,提高AR图像增强的质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例所提供的一种基于AI技术的AR的对象互动展示方法的流程示意图;
图2为本申请一个实施例所提供的一种基于AI技术的AR的对象互动展示方法的实施流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,其示出了本申请一个实施例提供的一种基于AI技术的AR的对象互动展示方法的流程图,该方法包括以下步骤:
步骤S001,采集AR设备中的每帧AR图像,并对所获图像进行去噪处理。
本申请旨在通过对AR设备中的AR图像进行图像增强,基于AR图像的增强图像进行展示互动,整个实施流程如图2所示。因此,首先利用AR设备中的摄像头依次获取AR设备中将要传输到显示器上的每一帧图像,所述每一帧图像为RGB图像。为了减少图像采集过程中的噪声干扰,将每一帧图像转换成一幅灰度图像,并对每幅灰度图像进行去噪处理。为了保留更多的图像信息,本申请中,将每幅灰度图像作为输入,采用双边滤波去噪技术对每幅灰度图像去噪,将去噪后的图像作为一帧AR图像,双边滤波去噪技术为公知技术,具体过程不再赘述。
至此,得到每帧AR图像,用于后续评估每帧AR图像中每个像素点所在位置图像信息的丰富程度。
步骤S002,基于每帧AR图像内每个像素点所取滑动窗口内不同灰度级之间的转换频率确定每个像素点所取滑动窗口内每个灰度级的灰度级转化突兀系数。
在AR技术的实际应用中,用户可以与虚拟对象进行互动交互,但是当用户在观看AR展示场景时,如果移动速度过快,物体在短时间内发生位移,AR图像可能会出现模糊的现象,减少这种运动模糊对于提高用户体验和保持虚拟现实的稳定性非常重要。
本申请中,采用单尺度SSR算法对每帧AR图像进行图像增强,通过对每帧AR图像中每个像素点所取滑动窗口内图像信息的变化程度评估每个像素点所取滑动窗口内局部特征的显著程度;其次基于相邻AR图像中不同特征点之间的位移距离以及局部特征的变化量分析AR图像的实际运动模糊情况,自适应确定SSR算法增强每帧AR图像时,每帧AR图像中每个像素点的尺寸参数。
具体地,在一个实施例中,虽然AR图像属于虚拟图像,但是这些虚拟图像通常都是由真实图像进行训练的,以真实图像作为模板,通过人工智能技术自动生成,AR图像也应与真实图像一样,具有生动且准确的颜色。同时,清晰的AR图像往往具有较强的对比度,即物体的边缘和特征更为明显,图像中的细小的特征和纹理更容易被观察到,清晰的AR图像通常具有较多、明显的特征点。
进一步地,对于每帧AR图像中的像素点,以第a帧AR图像中的第i个像素点为例,以像素点/>为中心点设置尺寸为7*7大小的滑动窗口/>,统计窗口/>内所有像素点的灰度值,将每个不相等的灰度值作为一个灰度级,需要说明的是,滑动窗口的尺寸实施者可根据具体AR设备的显示器大小设置。其次,将窗口/>内每个像素点与其八邻域内任意一个像素点组成的像素点组合作为一个灰度转换组合,将窗口/>内任意两个灰度级对应的灰度转换组合的个数作为两个灰度级之间的转换次数。举例而言,对于窗口/>内100、101两个灰度级,统计窗口/>内灰度值为100或101的像素点,并分别将灰度值为100或者101的像素点与其八邻域内灰度值为101或者100的像素点组成灰度转换组合,形如(100,101)或者(101,100),如果上述灰度转换组合有10个,则灰度级100、101之间的转换次数等于10。
基于上述分析,此处构建灰度级转化突兀系数,用于表征每个像素点所取滑动窗口内每个灰度级的转换情况。计算窗口内第p个灰度级的灰度级转化突兀系数:
式中,是窗口/>内第p个与第q个灰度级之间的等级转换自由因子,是窗口/>内第p个与第q个灰度级之间的转换次数,/>是窗口/>内所有灰度转换组合总个数;
是窗口/>内第p个灰度级的灰度级转化突兀系数,m是窗口/>内灰度级的数量,/>、/>分别是第p个、第q个灰度级对应的灰度值,/>是窗口/>内所有灰度级之间的等级转换自由因子的最大值,/>是调参因子,用于防止分母为0,/>的大小取经验值0.01。
其中,第a帧AR图像中互动对象运动行为、背景越复杂或者互动引导信息越多,第i个像素点所取滑动窗口中图像信息越复杂,第p个与第q个灰度级之间的转换次数越多,第p个与第q个灰度级之间等级转换的频率越高,的值越大,/>的值越大;窗口/>内图像信息越复杂,图像细节特征越多,不同灰度级的相邻像素点之间的灰度级跨度越大,对应灰度值之间的差值越大,/>的值越大,同时,第p个与第q个灰度级对应灰度转换组合的数量越多,说明窗口/>内灰度级的变化越突兀;即/>的值越大,第a帧AR图像中窗口/>内图像信息变化越突兀。
至此,得到每个像素点所取滑动窗口内每个灰度级的灰度级转化突兀系数,用于确定每帧AR图像中的AR画面特征点。
步骤S003,基于每个像素点所取滑动窗口内所有灰度级的灰度级转化突兀系数确定每个像素点的局部特征丰度指数;基于每帧AR图像中每个像素点所取邻域内局部特征丰度指数的分布情况确定每帧AR图像中的AR画面特征点。
通过灰度级转化突兀系数评估每个像素点所取滑动窗口内的图像信息变化的突兀程度后,本申请考虑通过每个像素点所处位置邻域空间内图像局部特征的丰富程度,用来确定每帧AR图像中能够体现图像内容的特征点,即AR图像中的AR画面特征点。
在一个实施例中,根据上述步骤,分别获取第a帧AR图像中窗口内每个灰度级的灰度级转化突兀系数,将窗口/>内所有灰度级的灰度级转化突兀系数作为输入,采用K-mediods聚类算法将窗口/>内所有灰度级转化突兀系数划分成两个聚类簇,K-mediods聚类算法为公知技术,具体过程不再赘述。
在另一个实施例中,还可以将窗口内所有灰度级的灰度级转化突兀系数作为输入,采用K-means聚类算法将窗口/>内所有灰度级转化突兀系数划分成两个聚类簇,K-means聚类算法为公知技术,具体过程不再赘述。并将灰度级转化突兀系数均值最大的聚类簇内的任意一个元素对应的灰度级作为一个突兀灰度级。
进一步地,将窗口内所有突兀灰度级对应的灰度值为横坐标,将所有突兀灰度级作为纵坐标,采用贝叶斯曲线拟合算法获取突兀灰度级及其对应的灰度值的拟合曲线,记为等级突兀曲线,贝叶斯曲线拟合算法为公知技术,具体过程不再赘述。在另一个实施例中,还可以将将所有突兀灰度级对应的灰度值为横坐标,将所有突兀灰度级作为纵坐标,采用最小二乘拟合算法获取突兀灰度级及其对应的灰度值的等级突兀曲线,最小二乘拟合算法为公知技术,具体过程不再赘述。将所述等级突兀曲线中所有极大值点按照横坐标升序的顺序组成的序列作为窗口/>的突兀极大值序列。
基于上述分析,此处构建局部特征丰度指数,用于表征每个像素点所取滑动窗口内图像特征的丰富程度。计算像素点的局部特征丰度指数:
式中,是像素点/>的局部特征丰度指数,/>是窗口/>内所有灰度级的灰度级转化突兀系数的均值,/>是窗口/>的突兀极大值序列上极大值点的数量,c、c+1分别是窗口/>的突兀极大值序列上第c个、第c+1个极大值点,/>、/>分别是窗口/>的突兀极大值序列上第c个、第c+1个极大值点的次序值。
其中,第a帧AR图像中窗口内图像特征信息越丰富,相邻像素点之间灰度级之间的变换频率越高,各个灰度级之间进行转换时的突兀程度都越大,/>的值越大;窗口内各个灰度等级进行变换的特征越丰富,在等级突兀序列中较小的灰度范围内,灰度等级变换越密集、越激烈,相邻极大值点之间的间隔越小,/>的值越小,/>的值越大。
进一步地,根据上述步骤,分别获取第a帧AR图像中每个像素点的局部特征丰度指数。其次,以像素点为中心点设置半径大小为3的圆形邻域/>,统计圆形邻域/>所经过的每个像素点作为像素点/>的一个近邻参考点,将像素点/>的每个近邻参考点的局部特征丰度指数与像素点/>的局部特征丰度指数之间的差值作为所述每个近邻参考点与像素点之间的特征丰度偏差值。其次,将以特征丰度偏差值为横坐标,以每个特征丰度偏差值在像素点/>的所有近邻参考点中出现的频率为纵坐标构建的直方图作为像素点/>的丰度偏差直方图。
进一步地,对于能够作为每帧AR图像中的特征点的像素点而言,此类像素点所在滑动窗口内通常会由于存在较多或者较为复杂的AR互动内容或者互动动作而具有较大的局部特征丰度指数;另一方面,此类像素点所取圆形邻域内近邻参考点的数量往往是较多的,且每个近邻参考点对应的特征丰度偏差值通常较大,这是越能体现AR图像中图像特征的像素点邻域内灰度级之间的转换频率越大,不同灰度级之间分布的越零散。
基于上述分析,将第a帧AR图像中所有像素点的所有近邻参考点的特征丰度偏差值的均值作为偏差均值。其次统计第a帧AR图像中每个像素点与其所有近邻参考点之间的特征丰度偏差值与偏差均值的对比结果,将任意一个特征丰度偏差值大于偏差均值的近邻参考点数量大于等于预设阈值的像素点作为第a帧AR图像中的一个AR画面特征点,预设阈值的大小取经验值8。
至此,得到每帧AR图像中的AR画面特征点,用于后续计算相邻两帧AR图像中AR画面特征点之间的AR画面特征匹配指数。
步骤S004,基于相邻两帧AR图像中两个AR画面特征点局部特征丰度指数之间的差异以及两个AR画面特征点之间的特征位移距离确定两个AR画面特征点的AR画面特征匹配指数;基于AR画面特征匹配指数确定每帧AR图像内每个像素点的AR运动模糊真实指数。
为了自适应的缺点每帧AR图像中每个像素点在图像增强时的尺度参数,本申请考虑通过对相邻两帧AR图像中两个AR画面特征点发生运动模糊的情况进行评估,并根据评估结果确定每帧AR图像内每个像素点处发生运动模糊的情况。
在AR技术领域,AR设备通常具有较高的实时性,需要迅速响应用户的动作并更新显示内容,而且为了避免图像更新的间隔时间过长,使用户感觉到延迟,导致视觉不适或晕眩感。因此,AR设备中相邻的两帧AR图像具有极短的图像采集间隔,同时相邻的两帧AR图像虚拟环境也基本保持一致,故相邻的两帧AR图像具有较高的相似性,而且相邻两帧AR图像的AR画面特征点往往没有显著的特征点位移,具有相对稳定的位置。但是在AR技术中,当物体在短时间内发生位移,会导致AR图像出现运动模糊的现象,上一帧AR图像的AR特征点由于在下一帧AR图像获取过程中存在运动模糊,存在下一帧AR图像的AR特征点发生丢失的现象。
具体地,根据上述流程,分别获取第a-1帧AR图像中每个像素点的局部特征丰度指数、丰度偏差直方图以及第a-1帧AR图像中的AR画面特征点。根据第a-1帧、第a帧AR图像中两个AR画面特征点的局部特征信息的变化情况以及位置变化计算第a-1帧、第a帧AR图像中两个AR画面特征点之间的AR画面特征匹配指数。具体计算公式如下:
式中,是第a-1帧AR图像中的AR画面特征点x与第a帧AR图像中的AR画面特征点y之间的AR画面特征匹配指数,x、y分别是第a-1帧、第a帧AR图像中的第x个、第y个AR画面特征点,/>是第a-1帧AR图像中的AR画面特征点x与第a帧AR图像中的AR画面特征点y之间的欧式距离,/>、/>分别是第a-1帧AR图像中的AR画面特征点x、第a帧AR图像中的AR画面特征点y的局部特征丰度指数,/>是以自然常数为底数的指数函数,、/>分别是第a-1帧AR图像中的AR画面特征点x、第a帧AR图像中的AR画面特征点y的丰度偏差直方图,/>是直方图/>、/>之间的巴氏距离,/>是调参因子,用于防止分母为0,/>的大小取经验值0.01,巴氏距离为公知技术,具体计算过程不再赘述。
其中,相邻两帧AR图像中两个AR画面特征点处发生运动模糊的情况越轻微,概率越低,x、y两个AR画面特征点之间的位置变化量越小,的值越小,第一乘积因子/>的值越大;相邻两帧AR图像中两个AR画面特征点表征的图像特征信息越接近,第a-1帧AR图像中的AR画面特征点x、第a帧AR图像中的AR画面特征点y对应的局部区域内灰度等级变换的情况越相似, AR画面特征点x与AR画面特征点y之间的局部特征丰度指数相差越小,的值越小,/>的值越大;第a-1帧AR图像中的AR画面特征点x、第a帧AR图像中的AR画面特征点y所取圆形邻域内近邻参考点对应的特征丰度偏差值的分布情况越相似,丰度偏差直方图/>、/>之间的相似度越高,的值越小,第二乘积因子/>的值越大;即的值越大,第a-1帧AR图像中的AR画面特征点x、第a帧AR图像中的AR画面特征点y所表现的AR图像特征越相似,第a-1帧AR图像中的AR画面特征点x、第a帧AR图像中的AR画面特征点y之间的匹配程度越高。
进一步地,根据上述步骤,将第a-1帧AR图像与第a帧AR图像中所有AR画面特征点的AR画面特征匹配指数作为输入,采用大津阈值分割算法确定AR画面特征匹配指数的分割阈值D,大津阈值分割算法为公知技术,具体过程不再赘述。其次,将第a帧AR图像中的任意一个AR画面特征点作为一个参考点,将第a帧AR图像中与第a-1帧AR图像中每个AR画面特征点之间AR画面特征匹配指数大于分割阈值D的所有参考点组成的集合作为第a-1帧AR图像中每个AR画面特征点的参考点集合,将第a-1帧AR图像中每个AR画面特征点与其参考点集合中具有最大AR画面特征匹配指数的参考点组成的组合作为一个特征点匹配组合;将第a帧AR图像中任意一个属于、不属于特征点匹配组合的AR画面特征点分别作为第a帧AR图像中的一个一类特征点、一个二类特征点。
对于任意一个二类特征点,虽然二类特征点没有与其对应的特征点匹配组合,但是作为一个AR画面特征点,二类特征点仍然能够表征较多的AR图像中的图像特征信息,因此对第a帧AR图像中的任意一个二类特征点,本申请中,获取第a帧AR图像中与每个二类特征点之间欧式距离最小的两个一类特征点,将所述欧式距离最小的两个一类特征点在第a帧AR图像中的坐标经过仿射变换技术后所得坐标对应的像素点作为每个二类特征点的映射点,仿射变换技术为公知技术,具体过程不再赘述。
基于上述分析,此处构建AR运动模糊真实指数,用于表征每个像素点处发生运动模糊的情况。计算像素点的AR运动模糊真实指数:
式中,是像素点/>的AR运动模糊真实指数,/>是归一化函数,M是第a帧AR图像中AR画面特征点的数量,/>是第a帧AR图像中一类特征点数量,/>是像素点/>所取滑动窗口内二类特征点数量,j是窗口/>中第j个二类特征点,/>是以自然常数为底数的指数函数,/>是窗口/>中第j个二类特征点与之间的欧式距离。
其中,第a帧发生运动模糊的概率越高,第a帧AR图像与第a-1帧AR图像之间的图像信息差异越大,一类特征点的数量越少,的值越小,比例因子/>的值越大;第a帧AR图像上由于互动动作导致的新能AR画面特征点的数量越少,相应的,窗口/>中二类特征点的数量越少,第一数量差值/>的值越大;像素点/>处越有可能是存在运动模糊,二类特征点的映射点与像素点/>之间的欧式距离越小,第一计算因子的值越大,/>的值越大。
至此,得到每帧AR图像内每个像素点的AR运动模糊真实指数,用于确定每帧AR图像内每个像素点增强时的尺度参数。
步骤S005,采用单尺度SSR算法基于每个像素点的AR运动模糊真实指数得到每帧AR图像的增强结果,基于每帧AR图像的增强结果完成互动展示。
基于上述步骤,可得AR图像中各个像素点的AR运动模糊真实指数,结合单尺度SSR图像增强算法中尺度参数的常取范围,构建第a帧AR图像中第i个像素点的尺度修正指数:
式中,是第a帧AR图像中第i个像素点的尺度修正指数,/>是第a帧AR图像中第i个像素点的AR运动模糊真实指数,/>、/>分别是SSR算法中尺度参数取值范围的第一预设参数、第二预设参数,/>、/>的大小分别取经验值100、80。
其中,第a帧AR图像中第i个像素点处发生运动模糊的概率越大,的值越大,第一尺度计算值/>的值越大,说明在进行单尺度SSR图像增强算法时,越应该采用较大的尺度参数,使其具有较大的平滑效果,减弱AR图像的运动模糊,提高AR图像的质量。
进一步地,根据上述流程,分别获取每帧AR图像中每个像素点的尺度修正指数,将每帧AR图像作为输入,采用单尺度SSR算法基于每帧AR图像中所有像素点的尺度修正指数得到每帧AR图像的增强结果,单尺度SSR算法为公知技术,具体过程不再赘述。其次,依次对AR设备中每帧AR图像进行增强,其次对每帧AR图像的增强结果从灰度图像转换为RGB图像。具体地,将每帧AR图像的增强结果作为输入,将采用Python中的PIL库将每帧AR图像的增强结果转换的RGB图像作为每帧AR图像的同色增强图像,PIL库进行色彩转换为公知技术。将AR设备中所有帧AR图像的同色增强图像按照时间顺序构成视频作为AR互动时显示器上的互动视频,互动人员基于互动视频中的引导内容完成互动。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于AI技术的AR的对象互动展示方法,其特征在于,该方法包括以下步骤:
采集AR设备中的每帧AR图像;
基于每帧AR图像内每个像素点所取滑动窗口内不同灰度级之间的转换频率确定每个像素点所取滑动窗口内每个灰度级的灰度级转化突兀系数;基于每个像素点所取滑动窗口内所有灰度级的灰度级转化突兀系数确定每个像素点的局部特征丰度指数;
基于每帧AR图像中每个像素点与其所取邻域内所有像素点的局部特征丰度指数的分布情况确定每帧AR图像中的AR画面特征点;
基于相邻两帧AR图像中两个AR画面特征点局部特征丰度指数之间的差异以及两个AR画面特征点之间的特征位移距离确定两个AR画面特征点的AR画面特征匹配指数;
基于每帧AR图像与其前一帧AR图像中所有AR画面特征点的AR画面特征匹配指数确定每帧AR图像内每个像素点的AR运动模糊真实指数;
采用单尺度SSR算法基于每帧AR图像内每个像素点的AR运动模糊真实指数得到每帧AR图像的增强结果,基于每帧AR图像的增强结果完成互动展示;
所述基于每帧AR图像内每个像素点所取滑动窗口内不同灰度级之间的转换频率确定每个像素点所取滑动窗口内每个灰度级的灰度级转化突兀系数的方法为:
将每帧AR图像内每个像素点所取滑动窗口内每个不相等的灰度值作为一个灰度级;
将每个像素点所取滑动窗口内每个像素点与其八邻域内任意一个像素点组成的像素点组合作为一个灰度转换组合;将每个像素点所取滑动窗口内任意两个灰度级对应的灰度转换组合的个数作为两个灰度级之间的转换次数;
基于每帧AR图像内每个像素点所取滑动窗口内灰度级之间的转换次数确定所取滑动窗口内每个灰度级的灰度级转化突兀系数;
所述基于每帧AR图像内每个像素点所取滑动窗口内灰度级之间的转换次数确定所取滑动窗口内每个灰度级的灰度级转化突兀系数的方法为:
将每帧AR图像内每个像素点所取滑动窗口内任意两个灰度级之间的转换次数与滑动窗口内所有灰度转换组合总个数的比值作为任意两个灰度级之间的等级转换自由因子;
将每个像素点所取滑动窗口内任意一个灰度级作为一个目标灰度级,将每个像素点所取滑动窗口内每个目标灰度级与其余任意一个灰度级对应灰度值之间差值的绝对值作为分子;将每个像素点所取滑动窗口内所有灰度级之间的等级转换自由因子的最大值与每个目标灰度级与其余任意一个灰度级之间的等级转换自由因子的差值与预设参数之和作为分母;
将分子与分母的比值在其余所有灰度级上的累加结果与其余所有灰度级的数量的比值作为每个目标灰度级的灰度级转化突兀系数;
所述基于每个像素点所取滑动窗口内所有灰度级的灰度级转化突兀系数确定每个像素点的局部特征丰度指数的方法为:
将每个像素点所取滑动窗口内所有灰度级的灰度级转化突兀系数作为输入,采用数据聚类算法将所有灰度级转化突兀系数划分为两个聚类簇,将灰度级转化突兀系数均值最大的聚类簇内的任意一个元素对应的灰度级作为一个突兀灰度级;
采用曲线拟合技术基于所有突兀灰度级以及每个突兀灰度级的灰度级转化突兀系数确定每个像素点所取滑动窗口的等级突兀曲线,将所述等级突兀曲线中所有极大值点按照横坐标升序的顺序组成的序列作为突兀极大值序列;
将突兀极大值序列中任意两个相邻元素次序值之间差值绝对值的倒数在突兀极大值序列上的累加结果与每个像素点所取滑动窗口内所有灰度级转化突兀系数均值的乘积作为每个像素点的局部特征丰度指数;
所述基于每帧AR图像与其前一帧AR图像中所有AR画面特征点的AR画面特征匹配指数确定每帧AR图像内每个像素点的AR运动模糊真实指数的方法为:
基于每帧AR图像与其前一帧AR图像中所有AR画面特征点的AR画面特征匹配指数确定每帧AR图像中的一类特征点、二类特征点;
对于每帧AR图像中的任意一个二类特征点,将与每个二类特征点之间欧式距离最小的两个一类特征点在每帧AR图像中的坐标经过空间映射后所得坐标对应的像素点作为每个二类特征点的映射点;
将每帧AR图像中AR画面特征点的数量与一类特征点数量的差值与每帧AR图像中AR画面特征点的数量的比值作为比例因子;
将每帧AR图像中AR画面特征点的数量与每帧AR图像内每个像素点所取滑动窗口内二类特征点数量的差值作为第一数量差值;
将每帧AR图像内每个像素点所取滑动窗口内任意一个映射点与每个像素点之间的欧式距离在每个像素点所取滑动窗口内所有映射点上的累加结果作为第一计算因子;
每帧AR图像内每个像素点的AR运动模糊真实指数由比例因子、第一数量差值、第一计算因子三部分组成,其中,所述AR运动模糊真实指数分别与比例因子、第一数量差值、第一计算因子成正比关系。
2.根据权利要求1所述的一种基于AI技术的AR的对象互动展示方法,其特征在于,所述基于每帧AR图像中每个像素点与其所取邻域内所有像素点的局部特征丰度指数的分布情况确定每帧AR图像中的AR画面特征点的方法为:
将以每帧AR图像中每个像素点为中心点所取预设尺度的圆形区域所经过的任意一个像素点作为每帧AR图像中每个像素点的一个近邻参考点;
将每帧AR图像中每个像素点的每个近邻参考点的局部特征丰度指数与每个像素点的局部特征丰度指数之间的差值作为一个特征丰度偏差值;
将以特征丰度偏差值为横坐标,以每个特征丰度偏差值在每个像素点的所有近邻参考点中出现的频率为纵坐标构建的直方图作为每帧AR图像中每个像素点的丰度偏差直方图;
将每帧AR图像中所有像素点的所有近邻参考点的特征丰度偏差值的均值作为偏差均值,将任意一个特征丰度偏差值大于偏差均值的近邻参考点数量大于等于预设阈值的像素点作为每帧AR图像中的一个AR画面特征点。
3.根据权利要求1所述的一种基于AI技术的AR的对象互动展示方法,其特征在于,所述基于相邻两帧AR图像中两个AR画面特征点局部特征丰度指数之间的差异以及两个AR画面特征点之间的特征位移距离确定两个AR画面特征点的AR画面特征匹配指数的方法为:
将相邻两帧AR图像中两个AR画面特征点坐标之间的欧式距离作为两个AR画面特征点之间的特征位移距离;将两个AR画面特征点之间的特征位移距离与预设参数之和的倒数作为第一乘积因子;
将两个AR画面特征点的之间的局部特征丰度指数之间差值绝对值的数据映射结果作为分子;
将两个AR画面特征点的丰度偏差直方图分布特征之间的度量距离与预设参数之和作为分母,将分子与分母的比值作为第二乘积因子;
两个AR画面特征点的AR画面特征匹配指数由第一乘积因子、第二乘积因子两部分组成,其中,所述AR画面特征匹配指数分别与第一乘积因子、第二乘积因子成正比关系。
4.根据权利要求1所述的一种基于AI技术的AR的对象互动展示方法,其特征在于,所述基于每帧AR图像与其前一帧AR图像中所有AR画面特征点的AR画面特征匹配指数确定每帧AR图像中的一类特征点、二类特征点的方法为:
将每帧AR图像与其前一帧AR图像中所有AR画面特征点的AR画面特征匹配指数作为输入,采用阈值分割算法确定AR画面特征匹配指数的分割阈值;
将每帧AR图像中的任意一个AR画面特征点作为一个参考点,将每帧AR图像中与其前一帧AR图像中每个AR画面特征点之间AR画面特征匹配指数大于所述分割阈值的所有参考点组成的集合作为所述前一帧AR图像中每个AR画面特征点的参考点集合,将所述前一帧AR图像中每个AR画面特征点与其参考点集合中具有最大AR画面特征匹配指数的参考点组成的组合作为一个特征点匹配组合;
将每帧AR图像中任意一个属于、不属于特征点匹配组合的AR画面特征点分别作为一个一类特征点、一个二类特征点。
5.根据权利要求1所述的一种基于AI技术的AR的对象互动展示方法,其特征在于,所述采用单尺度SSR算法基于每帧AR图像内每个像素点的AR运动模糊真实指数得到每帧AR图像的增强结果的方法为:
将第一预设尺度参数与第二预设尺度参数之间的差值与每帧AR图像中每个像素点的AR运动模糊真实指数之间的乘积作为第一尺度计算值;
将第一尺度计算值与第二预设尺度参数之和作为每帧AR图像中每个像素点的尺度修正指数;
将每帧AR图像作为输入,采用单尺度SSR算法基于每帧AR图像中所有像素点的尺度修正指数得到每帧AR图像的增强结果。
6.根据权利要求1所述的一种基于AI技术的AR的对象互动展示方法,其特征在于,所述基于每帧AR图像的增强结果完成互动展示的方法为:
将AR设备中每帧AR图像的增强结果作为输入,将采用Python中的PIL库将每帧AR图像的增强结果转换的RGB图像作为每帧AR图像的同色增强图像;
将AR设备中所有帧AR图像的同色增强图像按照时间顺序构成视频作为AR互动时显示器上的互动视频,互动人员基于互动视频中的引导内容完成互动。
CN202410128980.7A 2024-01-31 2024-01-31 一种基于ai技术的ar的对象互动展示方法 Active CN117689590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410128980.7A CN117689590B (zh) 2024-01-31 2024-01-31 一种基于ai技术的ar的对象互动展示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410128980.7A CN117689590B (zh) 2024-01-31 2024-01-31 一种基于ai技术的ar的对象互动展示方法

Publications (2)

Publication Number Publication Date
CN117689590A CN117689590A (zh) 2024-03-12
CN117689590B true CN117689590B (zh) 2024-04-16

Family

ID=90135575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410128980.7A Active CN117689590B (zh) 2024-01-31 2024-01-31 一种基于ai技术的ar的对象互动展示方法

Country Status (1)

Country Link
CN (1) CN117689590B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861135A (zh) * 2023-03-01 2023-03-28 铜牛能源科技(山东)有限公司 一种应用于箱体全景探测的图像增强及识别方法
CN117036347A (zh) * 2023-10-08 2023-11-10 山东柯林瑞尔管道工程有限公司 基于图像增强的管道内衬泄漏视觉检测方法及系统
CN117314801A (zh) * 2023-09-27 2023-12-29 南京邮电大学 基于人工智能的模糊图像优化增强方法
CN117422627A (zh) * 2023-12-18 2024-01-19 卓世科技(海南)有限公司 基于图像处理的ai仿真教学方法及系统
CN117456428A (zh) * 2023-12-22 2024-01-26 杭州臻善信息技术有限公司 基于视频图像特征分析的垃圾投放行为检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6207972B2 (ja) * 2013-10-31 2017-10-04 東芝メディカルシステムズ株式会社 超音波診断装置、画像処理装置及び画像処理プログラム
US20220076392A1 (en) * 2020-09-04 2022-03-10 Abova, Inc Method for x-ray dental image enhancement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861135A (zh) * 2023-03-01 2023-03-28 铜牛能源科技(山东)有限公司 一种应用于箱体全景探测的图像增强及识别方法
CN117314801A (zh) * 2023-09-27 2023-12-29 南京邮电大学 基于人工智能的模糊图像优化增强方法
CN117036347A (zh) * 2023-10-08 2023-11-10 山东柯林瑞尔管道工程有限公司 基于图像增强的管道内衬泄漏视觉检测方法及系统
CN117422627A (zh) * 2023-12-18 2024-01-19 卓世科技(海南)有限公司 基于图像处理的ai仿真教学方法及系统
CN117456428A (zh) * 2023-12-22 2024-01-26 杭州臻善信息技术有限公司 基于视频图像特征分析的垃圾投放行为检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于灰度聚类算法的红外图像增强研究;陈国群;付冬梅;;应用光学;20070310(第02期);全文 *

Also Published As

Publication number Publication date
CN117689590A (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN107316307B (zh) 一种基于深度卷积神经网络的中医舌图像自动分割方法
CN109872285B (zh) 一种基于变分约束的Retinex低照度彩色图像增强方法
CN110211126B (zh) 基于直觉模糊c均值聚类的图像分割方法
CN115861135A (zh) 一种应用于箱体全景探测的图像增强及识别方法
CN111340824B (zh) 一种基于数据挖掘的图像特征分割方法
CN110503140B (zh) 基于深度迁移学习与邻域降噪的分类方法
CN109035274A (zh) 基于背景估计与u型卷积神经网络的文档图像二值化方法
CN111986125A (zh) 一种用于多目标任务实例分割的方法
CN109448019B (zh) 一种变分光流模型平滑参数的自适应方法
CN115908371B (zh) 基于优化分割的植物叶片病虫害程度检测方法
CN112637593B (zh) 基于人工智能和视频分析的视频编码优化方法
CN115797607A (zh) 一种增强vr真实效果的图像优化处理方法
Han et al. Low contrast image enhancement using convolutional neural network with simple reflection model
CN111080754B (zh) 一种头部肢体特征点连线的人物动画制作方法及装置
CN113177526A (zh) 基于人脸识别的图像处理方法、装置、设备及存储介质
CN117689590B (zh) 一种基于ai技术的ar的对象互动展示方法
CN113627342B (zh) 视频深度特征提取优化的方法、系统、设备及存储介质
CN114463379A (zh) 一种视频关键点的动态捕捉方法及装置
Huang et al. An efficient single image enhancement approach using luminance perception transformation
Thayammal et al. Performance analysis of image denoising using deep convolutional neural network
Kumar et al. Novel unsupervised learning architecture for exposure based classification and enhancement
Wang et al. Adaptive enhancement algorithm for low illumination images with guided filtering-Retinex based on particle swarm optimization
CN112634278A (zh) 基于超像素的恰可察觉失真模型
CN117714691B (zh) 一种ar增强现实钢琴教学用自适应传输系统
CN111709889B (zh) 一种基于人工智能的图像动态实时分析系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant