CN107170032A - 基于线性素描图像的力渲染方法 - Google Patents

基于线性素描图像的力渲染方法 Download PDF

Info

Publication number
CN107170032A
CN107170032A CN201710176364.9A CN201710176364A CN107170032A CN 107170032 A CN107170032 A CN 107170032A CN 201710176364 A CN201710176364 A CN 201710176364A CN 107170032 A CN107170032 A CN 107170032A
Authority
CN
China
Prior art keywords
image
power
linear sketch
sketch image
god
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710176364.9A
Other languages
English (en)
Inventor
孙伟
徐慧
张小瑞
刘佳
朱利丰
宋爱国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201710176364.9A priority Critical patent/CN107170032A/zh
Publication of CN107170032A publication Critical patent/CN107170032A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了基于线性素描图像的力渲染方法，主要技术方案是先将彩色图像转换成线性素描图像，再对线性素描图像进行力渲染。生成线性素描图像的过程是先将彩色图像转换成灰度图像，对灰度图像进行反转得到相应的负像，再进行高斯模糊处理以及颜色减淡混合处理，最终得到线性素描图像。生成的线性素描图像包括物体的轮廓特征部分以及表面细节特征部分，对这两部分采用不同方式进行力渲染。轮廓特征部分采用god‑object算法计算轮廓力、表面细节特征部分直接利用灰度值计算表面纹理力。

Description

基于线性素描图像的力渲染方法
技术领域
本发明属于虚拟现实技术中的力渲染技术领域，具体涉及基于线性素描图像的力渲染方法。
背景技术
在现实生活中，素描图像随处可见。素描图像通过简单的线条就可以把物体的轮廓和细节特征表达出来。甚至在艺术领域有着“触觉素描”这一说法，指在观察素描图像的时候就感觉在触摸图像中的物体一样真实，说明素描对物体特征细节的表达足够精细、完整。简单、明了的素描图像包含着物体的更多细节，所以研究素描图像也有着其存在的优势。
在虚拟现实中，力渲染技术是关键技术之一。通过对图像处理的方法进行力渲染技术具有快速、成本低的特点。
发明内容
本发明采用合理的算法对图像进行处理，建立力渲染模型。旨在图像的基础上进行力触觉再现，并通过力触觉再现装置反馈给操作者，达到让操作者感知图像中物体的轮廓特征和表面细节特征，拥有沉浸式的体验。
A、彩色图像转换成线性素描图像分为以下四个步骤：
A-1)将彩色图像通过以下公式转换成灰度图像：
Y1＝a×R+b×G+c×B
其中，Y1是灰度图像各像素点的像素值；a,b,c分别表示红，绿，蓝分量的权重值；R,G,B 分别表示彩色空间中红，绿，蓝分量；
A-2)将转换后的灰度图像用下面的公式进行反转处理得到相应的负像，负像中每个像素点的像素值用Y2表示：
Y2＝255-Y1
A-3)将负像进行高斯模糊处理：采用3×3的高斯核对图像进行模糊处理，权重函数 T(i,j)采用二维高斯函数：
其中σ为正态分布的标准偏差；e是自然常数；(i,j)表示权重矩阵中元素坐标；模糊半径假定模糊半径r＝1，则权重前的矩阵为：
A-4)对模糊处理后的图像进行颜色减淡混合处理，最终得到线性素描图像；
B、生成的线性素描图像包括物体的轮廓特征部分和表面细节特征部分，对这两部分采用不同的方式进行力渲染；
B-1)轮廓特征部分采用god-object算法：其中虚拟接触点(HIP，HapticInteraction Point) 在表面轮廓线内侧，god-object点在表面轮廓线上且距离HIP最近，在god-object算法中，
虚拟弹簧中的单位刚度能量方程Q为：
坐标(x,y,z)满足的约束条件为：amx+bmy+cmz＝dm，
其中，(x,y,z)分别为点god-object位置坐标，(xt,yt,zt)为HIP位置坐标，am,bm,cm,dm为常数，则轮廓力方程L为：
L＝Q+l1(a1x+b1y+c1z-d1)+l2(a2x+b2y+c2z-d2)+l3(a3x+b3y+c3z-d3)
其中，l1,l2,l3表示各约束条件的权重值，a1,a2,a3属于am，b1,b2,b3属于bm，c1,c2,c3属于cm，d1,d2,d3属于dm；
B-2)利用拉格朗日乘子法得到新的god-object点的位置并再次计算轮廓力；
B-3)表面细节特征部分直接利用灰度值计算表面纹理力：
垂直表面的法向力Fn为：Fn＝k×value
其中，k为经验系数，value为线性素描图像像素点的灰度值；
平行表面的摩擦力Ff为：Ff＝μ×Fn×sign(v)
其中，μ为摩擦系数；v为虚拟接触点的速度；sign(v)为标准的符号函数，即
最终的合力为表面纹理力：F＝Fn+Ff。
有益效果
本发明对基于图像的力渲染技术做了改进，图像处理这一模块相对于先对图像物体进行三维重构或者提取物体轮廓的传统方法，对原图像进行线性素描图像的转变，既能展现物体的轮廓特征，又能体现物体表面细节特征。该算法相对于三维重构的方法在时间上有优势。
同时，本发明专利采用高斯模糊处理和颜色减淡处理，生成的线性素描图像很好地保留边缘效果和展示物体的表面细节特征。
附图说明
图1为轮廓力示意图。其中1表示表面轮廓线；2表示god-object点；3表示HIP；
图2为表面纹理力示意图。其中4表示表面细节特征；5表示垂直表面的法向力Fn；6表示平行表面的摩擦力Ff；7表示表面纹理力F；8表示虚拟接触点的速度v。
具体实施方式
以下结合附图进一步说明本发明技术方案：
A、彩色图像转换成线性素描图像；
1、将彩色图像通过以下公式转化成灰度图像：
Y1＝a×R+b×G+c×B
其中，Y1是灰度图像各像素点的像素值；a,b,c分别表示红，绿，蓝分量的权重值；R,G,B 分别表示彩色空间中红，绿，蓝分量；
2、将转换后的灰度图像用下面的公式进行反转处理得到相应的负像，负像中每个像素点的像素值用Y2表示：
Y2＝255-Y1；
3、将反转的图像进行高斯模糊处理：采用3×3的高斯核对图像进行模糊处理，权重函数T(i,j)采用二维高斯函数：
其中σ为正态分布的标准偏差；e是自然常数；(i,j)表示权重矩阵中元素坐标；模糊半径假定模糊半径r＝1；
3.1、权重前的矩阵为：
3.2、通过二维高斯函数计算每个像素点的权重值，这里取σ＝1.5得到权重后的矩阵为：
3.3、这9个点的权重之和为0.4787，对每个像素点的权重值除以0.4787，使权重之和为1，得到最终的权重矩阵：
3.4、将对应的权重值乘以对应像素点的像素值，得到权重后的像素值，再将这9个点的像素值求和处理得到中心点的像素值，最终完成图像的高斯模糊处理；
4、对模糊处理后的图像进行颜色减淡混合处理，最终得到线性素描图像；
B、生成的线性素描图像包括了轮廓特征部分和表面细节特征部分，对这两部分采用不同的方式进行力渲染；
1、轮廓特征部分力渲染采用god-object算法，如图1为轮廓力示意图，其中虚拟接触点(HIP，Haptic Interaction Point)在表面轮廓线内侧；god-object点在表面轮廓线上且距离HIP最近；
1.1、在god-object算法中，
虚拟弹簧中的单位刚度能量方程Q为：
坐标(x,y,z)满足的约束条件为：amx+bmy+cmz＝dm，
其中，(x,y,z)分别为点god-object位置坐标，(xt,yt,zt)为HIP位置坐标，am,bm,cm,dm为常数，则轮廓力方程L为：
L＝Q+l1(a1x+b1y+c1z-d1)+l2(a2x+b2y+c2z-d2)+l3(a3x+b3y+c3z-d3)
其中，l1,l2,l3表示各约束条件的权重值，a1,a2,a3属于am，b1,b2,b3属于bm，c1,c2,c3属于cm，d1,d2,d3属于dm；
1.2、利用拉格朗日乘子法得到新的god-object点的位置并再次计算轮廓力；
2、表面细节特征部分直接利用灰度值计算表面纹理力。如图2为表面纹理力示意图；
2.1、垂直表面的法向力Fn为：Fn＝k×value
其中k为经验系数；value为素描图像像素点的灰度值；
2.2、平行表面的摩擦力Ff为：Ff＝μ×Fn×sign(v)
其中μ为摩擦系数；v为虚拟接触点的速度；sign(v)为标准的符号函数，即
2.3、最终的合力为表面纹理力：F＝Fn+Ff。

Claims (1)

1.基于线性素描图像的力渲染方法，其特征在于先将彩色图像转换成线性素描图像，再对线性素描图像进行力渲染，具体如下：
A、彩色图像转换成线性素描图像分为以下四个步骤：
A-1)将彩色图像通过以下公式转换成灰度图像：
Y1＝a×R+b×G+c×B
其中，Y1是灰度图像各像素点的像素值，a,b,c分别表示红、绿、蓝分量的权重值，R,G,B分别表示彩色空间中红、绿、蓝分量；
A-2)将转换后的灰度图像用下面的公式进行反转处理得到相应的负像，负像中每个像素点的像素值用Y2表示：
Y2＝255-Y1
A-3)将负像进行高斯模糊处理：采用3×3的高斯核对图像进行模糊处理，权重函数T(i,j)采用二维高斯函数：
其中，σ为正态分布的标准偏差，e是自然常数，(i,j)表示权重矩阵中元素坐标，模糊半径假定模糊半径r＝1，则权重前的矩阵为：
A-4)对模糊处理后的图像进行颜色减淡混合处理，最终得到线性素描图像；
B、生成的线性素描图像包括物体的轮廓特征部分和表面细节特征部分，对这两部分采用不同的方式进行力渲染；
B-1)轮廓特征部分采用god-object算法：其中虚拟接触点(HIP，Haptic InteractionPoint)在表面轮廓线内侧，god-object点在表面轮廓线上且距离HIP最近，在god-object算法中，虚拟弹簧中的单位刚度能量方程Q为：
坐标(x,y,z)满足的约束条件为：amx+bmy+cmz＝dm，
其中，(x,y,z)分别为点god-object位置坐标，(xt,yt,zt)为HIP位置坐标，am,bm,cm,dm为常数，则轮廓力方程L为：
L＝Q+l1(a1x+b1y+c1z-d1)+l2(a2x+b2y+c2z-d2)+l3(a3x+b3y+c3z-d3)
其中，l1,l2,l3表示各约束条件的权重值，a1,a2,a3属于am，b1,b2,b3属于bm，c1,c2,c3属于cm，d1,d2,d3属于dm；
B-2)利用拉格朗日乘子法得到新的god-object点的位置并再次计算轮廓力；
B-3)表面细节特征部分直接利用灰度值计算表面纹理力：
垂直表面的法向力Fn为：Fn＝k×value
其中，k为经验系数，value为线性素描图像像素点的灰度值；
平行表面的摩擦力Ff为：Ff＝μ×Fn×sign(v)
其中，μ为摩擦系数，v为虚拟接触点的速度，sign(v)为标准的符号函数，即
最终的合力为表面纹理力：F＝Fn+Ff。
CN201710176364.9A 2017-03-23 2017-03-23 基于线性素描图像的力渲染方法 Pending CN107170032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710176364.9A CN107170032A (zh) 2017-03-23 2017-03-23 基于线性素描图像的力渲染方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710176364.9A CN107170032A (zh) 2017-03-23 2017-03-23 基于线性素描图像的力渲染方法

Publications (1)

Publication Number Publication Date
CN107170032A true CN107170032A (zh) 2017-09-15

Family

ID=59849863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710176364.9A Pending CN107170032A (zh) 2017-03-23 2017-03-23 基于线性素描图像的力渲染方法

Country Status (1)

Country Link
CN (1) CN107170032A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107864337A (zh) * 2017-11-30 2018-03-30 广东欧珀移动通信有限公司 素描图像处理方法、装置及设备
CN108596927A (zh) * 2018-04-08 2018-09-28 广西科技大学 安息角测量方法
CN110363836A (zh) * 2019-07-19 2019-10-22 杭州绝地科技股份有限公司 一种基于Matcap贴图的角色渲染方法、装置和设备
CN112819691A (zh) * 2021-02-05 2021-05-18 北京字跳网络技术有限公司 图像处理方法、装置、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070018973A1 (en) * 1998-07-17 2007-01-25 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
CN101615072A (zh) * 2009-06-18 2009-12-30 东南大学 基于从图像灰度恢复形状技术的纹理力触觉再现方法
CN101819462A (zh) * 2010-03-12 2010-09-01 东南大学 基于力/触觉交互设备的图像纹理的力触觉再现系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070018973A1 (en) * 1998-07-17 2007-01-25 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
CN101615072A (zh) * 2009-06-18 2009-12-30 东南大学 基于从图像灰度恢复形状技术的纹理力触觉再现方法
CN101819462A (zh) * 2010-03-12 2010-09-01 东南大学 基于力/触觉交互设备的图像纹理的力触觉再现系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
冯捷等: "基于灰度合成的图像素描效果生成算法", 《浙江工业大学学报》 *
田磊等: "基于PDE的图像力触觉再现方法研究", 《仪器仪表学报》 *
韩兴光等: "面向图像感知的轮廓力渲染技术研究", 《系统仿真学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107864337A (zh) * 2017-11-30 2018-03-30 广东欧珀移动通信有限公司 素描图像处理方法、装置及设备
CN107864337B (zh) * 2017-11-30 2020-03-06 Oppo广东移动通信有限公司 素描图像处理方法、装置、设备及计算机可读存储介质
CN108596927A (zh) * 2018-04-08 2018-09-28 广西科技大学 安息角测量方法
CN110363836A (zh) * 2019-07-19 2019-10-22 杭州绝地科技股份有限公司 一种基于Matcap贴图的角色渲染方法、装置和设备
CN112819691A (zh) * 2021-02-05 2021-05-18 北京字跳网络技术有限公司 图像处理方法、装置、设备及可读存储介质
WO2022166907A1 (zh) * 2021-02-05 2022-08-11 北京字跳网络技术有限公司 图像处理方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN107170032A (zh) 基于线性素描图像的力渲染方法
CN105389539B (zh) 一种基于深度数据的三维手势姿态估计方法及系统
CN107464210A (zh) 一种基于生成式对抗网络的图像风格迁移方法
CN108717568A (zh) 一种基于三维卷积神经网络的图像特征提取与训练方法
CN107767413A (zh) 一种基于卷积神经网络的图像深度估计方法
CN104599305B (zh) 一种二三维结合的动画生成方法
Li et al. LPSNet: a novel log path signature feature based hand gesture recognition framework
CN103268623A (zh) 一种基于频域分析的静态人脸表情合成方法
CN102054291A (zh) 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
CN113111758B (zh) 一种基于脉冲神经网络的sar图像舰船目标识别方法
CN102663788B (zh) 一种基于非真实感的钢笔淡彩艺术效果绘制方法
CN103325120A (zh) 一种快速自适应支持权值双目视觉立体匹配方法
CN109657483A (zh) 一种图像加密方法和系统
CN107301626B (zh) 一种适合移动设备拍摄图像的磨皮算法
CN110271016A (zh) 一种基于边界与力反馈的机械臂书法书写系统及方法
CN103489204A (zh) 一种二维彩色铅笔画自动绘制方法
CN103337085A (zh) 一种高效的人像面部变形方法
CN110322398A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110135277A (zh) 一种基于卷积神经网络的人体行为识别方法
CN105160661B (zh) 基于中心像素相似权的彩色图像边缘提取方法
CN107590829B (zh) 一种适用于多视角密集点云数据配准的种子点拾取方法
CN108090955A (zh) 一种虚拟场景模拟真实山体模型的系统和方法
CN106919258B (zh) 基于图像亮度信息纹理力再现交互系统及实现方法
CN110176074B (zh) 基于等几何配点法的浅浮雕模型快速建模方法
CN111258432B (zh) 一种基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170915

WD01 Invention patent application deemed withdrawn after publication