CN108198212A - 一种图像阴影的投影方向获取方法 - Google Patents
一种图像阴影的投影方向获取方法 Download PDFInfo
- Publication number
- CN108198212A CN108198212A CN201711424812.9A CN201711424812A CN108198212A CN 108198212 A CN108198212 A CN 108198212A CN 201711424812 A CN201711424812 A CN 201711424812A CN 108198212 A CN108198212 A CN 108198212A
- Authority
- CN
- China
- Prior art keywords
- point
- image
- color
- web camera
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 230000008030 elimination Effects 0.000 claims description 10
- 238000003379 elimination reaction Methods 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013508 migration Methods 0.000 claims description 7
- 230000005012 migration Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 238000005096 rolling process Methods 0.000 claims description 4
- 101150079800 HSM3 gene Proteins 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000000205 computational method Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 238000005530 etching Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/507—Depth or shape recovery from shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/529—Depth or shape recovery from texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像阴影的投影方向获取方法，该方法采用了采集图像信息，并存储图像数据，去除图像中的彩色部分，剩余灰色部分，分析灰色部分，得到图像中物体影子的方向和场景深度图信息，该方法可以高效准确的获知图像的阴影的投影方向。
Description
所属技术领域
本发明涉及图像处理领域，具体涉及一种图像阴影的投影方向获取方法。
背景技术
虚拟现实(virtual reality，VR)技术是仿真技术与计算机图形学人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合，是一门富有挑战性的交叉技术前沿学科和研究领域。VR主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。
基于图像素材的虚实融合场景生成技术正在成为虚拟现实和增强现实方向的技术发展趋势和典型研究热点。为了保证图像后期可以进行虚实光影一致性的处理，必须保证在图像中加入的虚拟物体与图像具有阴影相称的虚拟物体阴影效果，即具有相同的投影方向和场景深度。
一个物体之所以会处在阴影中，是由于在它和光源之间存在着遮蔽物，或者说遮蔽物离光源的距离比该物体要近。
虚拟场景中生成虚拟物体的实时阴影，一般使用阴影图技术。阴影图是一张用来记录光源视角场景的深度信息的纹理图，阴影图记录了以光源视角来看，各个可照射角度下离光源最近的物体与光源的距离。
阴影检测算法一直被广泛研究，如:基于纹理分析的检测方法，使用亮度来判断可能的阴影区域，再结合纹理特征将阴影分割出来；基于物理特征的检测方法，先对阴影像素进行建模，再用这个模型从预选区域中检测阴影；基于几何的检测方法，根据光源、物体形状、地面来预测阴影的大小、形状和方向。这些方法的实时性不高，尤其在摄像设备处于不规则运动中时，精确度也会显著降低。
发明内容
本发明提供一种图像阴影的投影方向获取方法，该方法采用了采集图像信息，并存储图像数据，去除图像中的彩色部分，剩余灰色部分，分析灰色部分，得到图像中物体影子的方向和场景深度图信息，该方法可以高效准确的获知图像的阴影的投影方向。
为了实现上述目的，本发明提供一种图像阴影的投影方向获取方法，该方法具体包括如下步骤：
S1.网络摄像机远程采集图像信息发送给图像处理服务器；
S2.图像处理服务器去除图像中的彩色部分，剩余灰色部分；
S3.分析灰色部分，得到图像中物体影子的方向和场景深度图信息。
优选的，所述步骤S3中，包括分析得到物体影子的方向、场景深度图信息。
优选的，所述步骤S3具体包括如下步骤：
S31.将仅剩余灰色部分的图像划分为N个相同大小的纹理区域，其中，N≥2；
S32.生成以眼睛位置为视点的目标视锥体；
S33将所述目标视锥体由近至远分割成N个子视锥体，其中，每个子视锥体的区域由近至远依次增大；
S34.生成所述子视锥体的渲染参数，所述渲染参数包括视图矩阵和投影矩阵；
S35.根据所述子视锥体的渲染参数，在一个所述纹理区域内渲染所述子视锥体对应的图像中的物体，得到以光源位置为视点的物体影子方向以及场景深度图。
优选的，在步骤S2中包括如下步骤，用于去除图像中的彩色部分：
步骤S21.逐点对采集的图像上的点进行平滑处理，具体包括：
步骤S211，对于图像中的点i，查找其邻域窗口内的相关点j；
通过计算颜色、亮度和色调上的相关度来判断点i与其领域内的点j是否为相关点；
颜色相关度计算公式为：其中Ii为点i在RGB空间中对应三通道的颜色值，σc为局部领域颜色方差；
亮度相关度计算公式为:其中Li为点i的亮度值，本发明用图像在Lab色彩空间中L通道的数据来表示，σl为局部领域亮度方差；
色调相关度为计算公式:这里Hi为点i的色调，本发明用HIS色彩空间的H通道的值来表示；HIS色彩空间的H通道为色调分量，其计算公式为：
其中R,G,B分别为图像在RGB色彩空间对应三通道的值；σh为局部领域色调方差；
计算两点的总体相关度D＝DcDlDh，当D＞0.8时，认为点i与点j为相关点；其中σc、σl和σh的值由用户指定；
S212.如果点i邻域内没有相关点，则认为点i是孤立点；
S213.如果是孤立点，则该点亮度值保持不变，如果不是孤立点，则用该点的所有亮度相关点的平均值作为其亮度值；
S22.利用S21的平滑方法对图像进行多尺度分解，将图像分解为一个分片光滑的基本层和多个细节层，具体是：
对采集的图像进行(N+1)级分解，分解后包含一个基本层b和N个细节层，即：其中，Li表示第i次平滑后过滤掉的细节信息；用Si表示第i次平滑的结果，Si的计算方法为：以第i-1次的平滑结果即Si-1作为输入，利用步骤S21的方法对Si-1进行平滑，得到的结果即为Si，其中i＝1,2,…,N且S0＝I；第N次平滑的图像SN即为抹掉细节的基本层b，细节层Li定义为前后两次平滑层之差，即：Li＝Si-Si-1；
S23.对分解后的基本层进行彩色消除；对S22中已抹掉细节的基本层b应用亮度迁移的方法进行彩色消除，具体包括：
S231.选取一个大小为w×w的块，在图像上滑动这个局部块，当块的中心点位于彩色边界处时，统计局部块中彩色点和非彩色点对应的平均亮度信息以及标准方差值，利用亮度迁移公式对块中彩色点进行亮度去除；
S232.定义当前局部块中所有彩色点对应的平均值和标准方差分别为μ(S)、σ(S)，所有非彩色点对应的平均值和标准方差分别为μ(L)、σ(L)，当前通道该点的颜色值为Ik，则该点在此通道上去除彩色后的值为：
S233.由于块是按像素进行移动处理的，有的彩色点会被计算多次；对边界进行一次块的遍历后，彩色边界上的一点会在多个块被计算，为边界上的点统计在多少个块中做了亮度迁移的计算，并记录每次亮度迁移后的结果；对所有计算的结果进行加权平均操作，用这一点与局部块中心点的高斯核作为加权操作的权值；加权平均后的结果值作为该点彩色消除后的结果值；
S234.通过块的遍历，将彩色边界上的彩色点都处理完成后，对彩色边界做二值图像的腐蚀操作，将彩色边界与非彩色区域相邻的最外层标记为非彩色区域，形成新的彩色边界，继续S231至步骤S233的操作，直到基本图像层中彩色区域中所有点的亮度都被去除；此时，基本层图像是一张无彩色的结果图；
S235.细节融合；对去除彩色的基本层进行细节恢复，得到灰色图像，具体是：
定义Ifree为细节恢复后的无彩色图像，b’为去除彩色后的基本层，则细节恢复后的图像表示为：
优选的，在步骤S1中，网络摄像机和图像处理服务器的数据传输采用即时加密通信，即时加密通信前，网络摄像机临时产生会话密钥WK；图像处理服务器获取网络摄像机的身份公钥和密钥协商基本公钥，然后和图像处理服务器组成公私钥对来协商计算父滚动代表初始密钥N_CC，具体过程如下：
将T_SKA/T_PKA、NB_SKB/NB_PKB，通过椭圆曲线点乘算法，计算网络摄像机的密钥协商第一部分Part1；
网络摄像机密钥协商第一部分Part1＝DPSM2(TSKA，NBPKB)；
将NB_SKA/NB_PKA、T_SKB/T_PKB，通过椭圆曲线点乘算法，计算网络摄像机的密钥协商第二部分Part2；
网络摄像机密钥协商第二部分Part2＝DPSM2(NBSKA，TPKB)；
将NB_SKA/NB_PKA、NB_SKB/NB_PKB，通过椭圆曲线点乘算法，计算网络摄像机算发送方的密钥协商第三部分Part3；
网络摄像机密钥协商第三部分Part3＝DPSM2(NBSKA，NBPKB)；
将网络摄像机密钥协商第一部分Part1、网络摄像机密钥协商第二部分Part2、网络摄像机密钥协商第三部分Part3连接成网络摄像机密钥分量KM；
网络摄像机密钥分量KM＝Part1||Part2||Part3)；
将网络摄像机密钥分量KM和第一字符串用SM3算法压缩成256bit的网络摄像机的父滚动代表初始密钥N_CC；
初始密钥N_CC＝HSM3(KM||第一字符串)
根据椭圆曲线点乘算法特点，通过该计算过程，网络摄像机密钥和监控平台双方计算出一致的父滚动代表初始密钥N_CC。
本发明具有以下优点和有益效果：(1)本发明利用一张图像即可获得一个视锥体区域中的物体阴影投影方向及场景深度信息遮，这样可以有效降低阴影图的耗用量，并能够提高投影方向分析效率和精度；(2)本发明通过对彩色区域中的点查找其邻域窗口内的相关点，利用基于相关点信息的平滑方法对图像进行多尺度分解，分解完成后对基本层图像利用局部亮度迁移的方法进行彩色消除，再将多尺度分解时提取出的细节信息融合到消除阴影后的基本层，得到输入图像的彩色消除结果，最后，对存在边界失真问题的结果图利用基于纹理合成的图像修复方法对失真区域处进行修复，以得到一个自然真实的彩色消除结果，得到完整且准确灰色的阴影部分图像；(3)图像数据通信采用即时安全通信方式进行数据交换，可以保证数据传输的安全性，防止信息泄露。
附图说明
图1示出了本发明的一种图像阴影的投影方向获取方法所基于的图形处理系统框图；
图2示出了本发明的一种图像阴影的投影方向获取方法的流程图；
图3示出了本发明的一种图像彩色部分去除的流程图；
图4示出了本发明的一种根据图像的灰色部分分析得到物体投影方向和场景深度信息的流程图；
具体实施方式
为更好的理解本发明的创新点，下面结合附图，对本发明的具体实施方法进行阐述。
图1示出了本发明的一种图像阴影的投影方向获取方法所基于的图形处理系统框图，该系统包括网络摄像机1，用于采集现实的图像信息，并通过网络传输至图像处理服务器2。所述图像服务器2包括：用于存储摄像机发送的图像的图像存储模块21，用于去除图像中彩色部分的彩色去除模块22，用于对剩余灰色模块进行分析的灰色分析模块23，根据灰色分析模块生成置入图片中的虚拟物体的阴影的虚拟物体阴影生成模块24，对图像中现实物体和虚拟物体进行融合的图像融合模块25以及对显示设备3输出图像的图像输出模块26。
图2示出了利用本发明的一种图像阴影的投影方向获取方法的流程图。该方法具体包括如下步骤：
S1.网络摄像机1远程采集图像信息发送给图像处理服务器2；
S2.图像处理服务器2去除图像中的彩色部分，剩余灰色部分；
S3.分析灰色部分，得到图像中物体影子的方向和场景深度图信息；
S4.根据上述信息，在图像中放入虚拟物体时，自动生成与图像中原有物体阴影相称的虚拟物体阴影。
在步骤S1中，网络摄像机1和图像处理服务器2的数据传输采用即时加密通信，即时加密通信前，网络摄像机1临时产生会话密钥WK；图像处理服务器2获取网络摄像机1的身份公钥和密钥协商基本公钥，然后和图像处理服务器2组成公私钥对来协商计算父滚动代表初始密钥N_CC，具体过程如下：
将T_SKA/T_PKA、NB_SKB/NB_PKB，通过椭圆曲线点乘算法，计算网络摄像机1的密钥协商第一部分Part1；
网络摄像机1密钥协商第一部分Part1＝DPSM2(TSKA，NBPKB)；
将NB_SKA/NB_PKA、T_SKB/T_PKB，通过椭圆曲线点乘算法，计算网络摄像机1的密钥协商第二部分Part2；
网络摄像机1密钥协商第二部分Part2＝DPSM2(NBSKA，TPKB)；
将NB_SKA/NB_PKA、NB_SKB/NB_PKB，通过椭圆曲线点乘算法，计算网络摄像机1算发送方的密钥协商第三部分Part3；
网络摄像机1密钥协商第三部分Part3＝DPSM2(NBSKA，NBPKB)；
将网络摄像机1密钥协商第一部分Part1、网络摄像机1密钥协商第二部分Part2、网络摄像机1密钥协商第三部分Part3连接成网络摄像机1密钥分量KM；
网络摄像机1密钥分量KM＝Part1||Part2||Part3)；
将网络摄像机1密钥分量KM和第一字符串用SM3算法压缩成256bit的网络摄像机1的父滚动代表初始密钥N_CC；
初始密钥N_CC＝HSM3(KM||第一字符串)
根据椭圆曲线点乘算法特点，通过该计算过程，网络摄像机1密钥和监控平台双方计算出一致的父滚动代表初始密钥N_CC。
参见图3，用于去除图像中的彩色部分具体包括包括如下步骤，：
步骤S21.逐点对采集的图像上的点进行平滑处理，具体包括：
步骤S211，对于图像中的点i，查找其邻域窗口内的相关点j；
通过计算颜色、亮度和色调上的相关度来判断点i与其领域内的点j是否为相关点；
颜色相关度计算公式为：其中Ii为点i在RGB空间中对应三通道的颜色值，σc为局部领域颜色方差；
亮度相关度计算公式为:其中Li为点i的亮度值，本发明用图像在Lab色彩空间中L通道的数据来表示，σl为局部领域亮度方差；
色调相关度为计算公式:这里Hi为点i的色调，本发明用HIS色彩空间的H通道的值来表示；HIS色彩空间的H通道为色调分量，其计算公式为：
其中R,G,B分别为图像在RGB色彩空间对应三通道的值；σh为局部领域色调方差；
计算两点的总体相关度D＝DcDlDh，当D＞0.8时，认为点i与点j为相关点；其中σc、σl和σh的值由用户指定；
S212.如果点i邻域内没有相关点，则认为点i是孤立点；
S213.如果是孤立点，则该点亮度值保持不变，如果不是孤立点，则用该点的所有亮度相关点的平均值作为其亮度值；
S22.利用S21的平滑方法对图像进行多尺度分解，将图像分解为一个分片光滑的基本层和多个细节层，具体是：
对采集的图像进行(N+1)级分解，分解后包含一个基本层b和N个细节层，即：其中，Li表示第i次平滑后过滤掉的细节信息；用Si表示第i次平滑的结果，Si的计算方法为：以第i-1次的平滑结果即Si-1作为输入，利用步骤S21的方法对Si-1进行平滑，得到的结果即为Si，其中i＝1,2,…,N且S0＝I；第N次平滑的图像SN即为抹掉细节的基本层b，细节层Li定义为前后两次平滑层之差，即：Li＝Si-Si-1；
S23.对分解后的基本层进行彩色消除；对S22中已抹掉细节的基本层b应用亮度迁移的方法进行彩色消除，具体包括：
S231.选取一个大小为w×w的块，在图像上滑动这个局部块，当块的中心点位于彩色边界处时，统计局部块中彩色点和非彩色点对应的平均亮度信息以及标准方差值，利用亮度迁移公式对块中彩色点进行亮度去除；
S232.定义当前局部块中所有彩色点对应的平均值和标准方差分别为μ(S)、σ(S)，所有非彩色点对应的平均值和标准方差分别为μ(L)、σ(L)，当前通道该点的颜色值为Ik，则该点在此通道上去除彩色后的值为：
S233.由于块是按像素进行移动处理的，有的彩色点会被计算多次；对边界进行一次块的遍历后，彩色边界上的一点会在多个块被计算，为边界上的点统计在多少个块中做了亮度迁移的计算，并记录每次亮度迁移后的结果；对所有计算的结果进行加权平均操作，用这一点与局部块中心点的高斯核作为加权操作的权值；加权平均后的结果值作为该点彩色消除后的结果值；
S234.通过块的遍历，将彩色边界上的彩色点都处理完成后，对彩色边界做二值图像的腐蚀操作，将彩色边界与非彩色区域相邻的最外层标记为非彩色区域，形成新的彩色边界，继续S231至步骤S233的操作，直到基本图像层中彩色区域中所有点的亮度都被去除；此时，基本层图像是一张无彩色的结果图；
S235.细节融合；对去除彩色的基本层进行细节恢复，得到灰色图像，具体是：
定义Ifree为细节恢复后的无彩色图像，b’为去除彩色后的基本层，则细节恢复后的图像表示为：
优选的，在上述步骤S2中还包括如下S24，边界处理，恢复细节后的结果图，在边界处存在一些失真的情况，此时可利用图像修复的方法对失真区域进行修补，具体包括：
S241.在待修复区域的边界处选取一点，构造一个大小为N×N的块，且建议N取值为13，另外再选取一个N×N块，利用块的遍历，通过待修复块中已存在的纹理信息，在样本区域中寻找一个与其纹理最相似的块做为其匹配块，通过最小化下面这个能量公式来判断两个块是否为纹理最相似：
其中T为边界处上选取的块，即待修复的块，M为在样本区域中选取的块；Tx为块T中像素点x的颜色值，Mx为块M中与点x在块T中相对位置相同点的颜色值；
S242.通过待修复区域周围已存在的纹理信息，在样本区域寻找匹配信息来填充待修复区域；每一次匹配填充都将缩小待修复区域，当待修复区域中所有的点都被填充后，边界修复完成，得到的无彩色图像更自然和真实；
S243.得到最终彩色消除结果，结束任务。
在待修复区域的边界处选取一点，构造一个大小为N×N的块，且建议N取值为13，另外再选取一个N×N块，利用块的遍历，通过待修复块中已存在的纹理信息，在样本区域中寻找一个与其纹理最相似的块做为其匹配块，利用匹配块的信息来填充待修复区域。每一次匹配填充都将缩小待修复区域，当待修复区域中所有的点都被填充后，边界修复完成，得到的无阴影图像更自然和真实。
所述步骤S3中，包括分析得到物体影子的方向、场景深度图等信息。参见图4，分析得到物体影子的方向、场景深度图等信息具体包括如下步骤：
S31.将仅剩余灰色部分的图像划分为N个相同大小的纹理区域，其中，N≥2；
S32.生成以眼睛位置为视点的目标视锥体；
S33.将所述目标视锥体由近至远分割成N个子视锥体，其中，每个子视锥体的区域由近至远依次增大；
S34.生成所述子视锥体的渲染参数，所述渲染参数包括视图矩阵和投影矩阵；
S35.根据所述子视锥体的渲染参数，在一个所述纹理区域内渲染所述子视锥体对应的图像中的物体，得到以光源位置为视点的物体影子方向以及场景深度图。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
如上所述，虽然根据实施例所限定的实施例和附图进行了说明，但对本技术领域具有一般知识的技术人员来说能从上述的记载中进行各种修改和变形。例如，根据与说明的技术中所说明的方法相不同的顺序来进行，和/或根据与说明的系统、结构、装置、电路等构成要素所说明的方法相不同的形态进行结合或组合，或根据其他构成要素或均等物进行替换或置换也可达成适当的效果。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (4)
1.一种图像阴影的投影方向获取方法，该方法具体包括如下步骤：
S1.网络摄像机远程采集图像信息发送给图像处理服务器；
S2.图像处理服务器去除图像中的彩色部分，剩余灰色部分；
S3.分析灰色部分，得到图像中物体影子的方向和场景深度图信息。
2.如权利要求1所述的方法，其特征在于，所述步骤S3中，包括分析得到物体影子的方向、场景深度图信息。
3.如权利要求2所述的方法，其特征在于，所述步骤S3具体包括如下步骤：
S31.将仅剩余灰色部分的图像划分为N个相同大小的纹理区域，其中，N≥2；
S32.生成以眼睛位置为视点的目标视锥体；
S33将所述目标视锥体由近至远分割成N个子视锥体，其中，每个子视锥体的区域由近至远依次增大；
S34.生成所述子视锥体的渲染参数，所述渲染参数包括视图矩阵和投影矩阵；
S35.根据所述子视锥体的渲染参数，在一个所述纹理区域内渲染所述子视锥体对应的图像中的物体，得到以光源位置为视点的物体影子方向以及场景深度图。
优选的，在步骤S2中包括如下步骤，用于去除图像中的彩色部分：
步骤S21.逐点对采集的图像上的点进行平滑处理，具体包括：
步骤S211，对于图像中的点i，查找其邻域窗口内的相关点j；
通过计算颜色、亮度和色调上的相关度来判断点i与其领域内的点j是否为相关点；
颜色相关度计算公式为：其中Ii为点i在RGB空间中对应三通道的颜色值，σc为局部领域颜色方差；
亮度相关度计算公式为:其中Li为点i的亮度值，本发明用图像在Lab色彩空间中L通道的数据来表示，σl为局部领域亮度方差；
色调相关度为计算公式:这里Hi为点i的色调，本发明用HIS色彩空间的H通道的值来表示；HIS色彩空间的H通道为色调分量，其计算公式为：
其中R,G,B分别为图像在RGB色彩空间对应三通道的值；σh为局部领域色调方差；
计算两点的总体相关度D＝DcDlDh，当D＞0.8时，认为点i与点j为相关点；其中σc、σl和σh的值由用户指定；
S212.如果点i邻域内没有相关点，则认为点i是孤立点；
S213.如果是孤立点，则该点亮度值保持不变，如果不是孤立点，则用该点的所有亮度相关点的平均值作为其亮度值；
S22.利用S21的平滑方法对图像进行多尺度分解，将图像分解为一个分片光滑的基本层和多个细节层，具体是：
对采集的图像进行(N+1)级分解，分解后包含一个基本层b和N个细节层，即：其中，Li表示第i次平滑后过滤掉的细节信息；用Si表示第i次平滑的结果，Si的计算方法为：以第i-1次的平滑结果即Si-1作为输入，利用步骤S21的方法对Si-1进行平滑，得到的结果即为Si，其中i＝1,2,…,N且S0＝I；第N次平滑的图像SN即为抹掉细节的基本层b，细节层Li定义为前后两次平滑层之差，即：Li＝Si-Si-1；
S23.对分解后的基本层进行彩色消除；对S22中已抹掉细节的基本层b应用亮度迁移的方法进行彩色消除，具体包括：
S231.选取一个大小为w×w的块，在图像上滑动这个局部块，当块的中心点位于彩色边界处时，统计局部块中彩色点和非彩色点对应的平均亮度信息以及标准方差值，利用亮度迁移公式对块中彩色点进行亮度去除；
S232.定义当前局部块中所有彩色点对应的平均值和标准方差分别为μ(S)、σ(S)，所有非彩色点对应的平均值和标准方差分别为μ(L)、σ(L)，当前通道该点的颜色值为Ik，则该点在此通道上去除彩色后的值为：
S233.由于块是按像素进行移动处理的，有的彩色点会被计算多次；对边界进行一次块的遍历后，彩色边界上的一点会在多个块被计算，为边界上的点统计在多少个块中做了亮度迁移的计算，并记录每次亮度迁移后的结果；对所有计算的结果进行加权平均操作，用这一点与局部块中心点的高斯核作为加权操作的权值；加权平均后的结果值作为该点彩色消除后的结果值；
S234.通过块的遍历，将彩色边界上的彩色点都处理完成后，对彩色边界做二值图像的腐蚀操作，将彩色边界与非彩色区域相邻的最外层标记为非彩色区域，形成新的彩色边界，继续S231至步骤S233的操作，直到基本图像层中彩色区域中所有点的亮度都被去除；此时，基本层图像是一张无彩色的结果图；
S235.细节融合；对去除彩色的基本层进行细节恢复，得到灰色图像，具体是：
定义Ifree为细节恢复后的无彩色图像，b’为去除彩色后的基本层，则细节恢复后的图像表示为：
4.如权利要求1-3任一所述的方法，其特征在于，在步骤S1中，网络摄像机和图像处理服务器的数据传输采用即时加密通信，即时加密通信前，网络摄像机临时产生会话密钥WK；图像处理服务器获取网络摄像机的身份公钥和密钥协商基本公钥，然后和图像处理服务器组成公私钥对来协商计算父滚动代表初始密钥N_CC，具体过程如下：
将T_SKA/T_PKA、NB_SKB/NB_PKB，通过椭圆曲线点乘算法，计算网络摄像机的密钥协商第一部分Part1；
网络摄像机密钥协商第一部分Part1＝DPSM2(TSKA，NBPKB)；
将NB_SKA/NB_PKA、T_SKB/T_PKB，通过椭圆曲线点乘算法，计算网络摄像机的密钥协商第二部分Part2；
网络摄像机密钥协商第二部分Part2＝DPSM2(NBSKA，TPKB)；
将NB_SKA/NB_PKA、NB_SKB/NB_PKB，通过椭圆曲线点乘算法，计算网络摄像机算发送方的密钥协商第三部分Part3；
网络摄像机密钥协商第三部分Part3＝DPSM2(NBSKA，NBPKB)；
将网络摄像机密钥协商第一部分Part1、网络摄像机密钥协商第二部分Part2、网络摄像机密钥协商第三部分Part3连接成网络摄像机密钥分量KM；
网络摄像机密钥分量KM＝Part1||Part2||Part3)；
将网络摄像机密钥分量KM和第一字符串用SM3算法压缩成256bit的网络摄像机的父滚动代表初始密钥N_CC；
初始密钥N_CC＝HSM3(KM||第一字符串)
根据椭圆曲线点乘算法特点，通过该计算过程，网络摄像机密钥和监控平台双方计算出一致的父滚动代表初始密钥N_CC。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711424812.9A CN108198212A (zh) | 2017-12-25 | 2017-12-25 | 一种图像阴影的投影方向获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711424812.9A CN108198212A (zh) | 2017-12-25 | 2017-12-25 | 一种图像阴影的投影方向获取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108198212A true CN108198212A (zh) | 2018-06-22 |
Family
ID=62583885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711424812.9A Pending CN108198212A (zh) | 2017-12-25 | 2017-12-25 | 一种图像阴影的投影方向获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108198212A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103295013A (zh) * | 2013-05-13 | 2013-09-11 | 天津大学 | 一种基于成对区域的单幅图像阴影检测方法 |
| CN105306492A (zh) * | 2015-11-25 | 2016-02-03 | 成都三零瑞通移动通信有限公司 | 一种针对安全即时通信的异步密钥协商方法及装置 |
| CN107274476A (zh) * | 2017-08-16 | 2017-10-20 | 城市生活（北京）资讯有限公司 | 一种阴影图的生成方法及装置 |
| CN107507146A (zh) * | 2017-08-28 | 2017-12-22 | 武汉大学 | 一种自然图像软阴影消除方法 |
-
2017
- 2017-12-25 CN CN201711424812.9A patent/CN108198212A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103295013A (zh) * | 2013-05-13 | 2013-09-11 | 天津大学 | 一种基于成对区域的单幅图像阴影检测方法 |
| CN105306492A (zh) * | 2015-11-25 | 2016-02-03 | 成都三零瑞通移动通信有限公司 | 一种针对安全即时通信的异步密钥协商方法及装置 |
| CN107274476A (zh) * | 2017-08-16 | 2017-10-20 | 城市生活（北京）资讯有限公司 | 一种阴影图的生成方法及装置 |
| CN107507146A (zh) * | 2017-08-28 | 2017-12-22 | 武汉大学 | 一种自然图像软阴影消除方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3923248A1 (en) | Image processing method and apparatus, electronic device and computer-readable storage medium | |
| EP1141893B1 (en) | System and method for creating 3d models from 2d sequential image data | |
| KR101370718B1 (ko) | 파노라마 이미지를 이용한 2d에서 3d로의 변환 방법 및 장치 | |
| CN104616286B (zh) | 快速的半自动多视图深度修复方法 | |
| CN101605270B (zh) | 生成深度图的方法和装置 | |
| CN109462747B (zh) | 基于生成对抗网络的dibr系统空洞填充方法 | |
| CN107438866A (zh) | 深度立体：学习从现实世界形象预测新视图 | |
| CN111325693B (zh) | 一种基于单视点rgb-d图像的大尺度全景视点合成方法 | |
| CN107247834A (zh) | 一种基于图像识别的三维环境模型重构方法、设备及系统 | |
| Liao et al. | Dvi: Depth guided video inpainting for autonomous driving | |
| CN101246600A (zh) | 用球面全景摄像机实时生成增强现实环境光照模型的方法 | |
| Atapour-Abarghouei et al. | Generative adversarial framework for depth filling via wasserstein metric, cosine transform and domain transfer | |
| Wang et al. | People as scene probes | |
| Han et al. | PIINET: A 360-degree panoramic image inpainting network using a cube map | |
| Sai Hareesh et al. | Exemplar-based color image inpainting: a fractional gradient function approach | |
| US20110149039A1 (en) | Device and method for producing new 3-d video representation from 2-d video | |
| CN107437268A (zh) | 拍照方法、装置、移动终端和计算机存储介质 | |
| Shen et al. | Urban planning using augmented reality | |
| CN104091318B (zh) | 一种中国手语视频过渡帧的合成方法 | |
| CN108198212A (zh) | 一种图像阴影的投影方向获取方法 | |
| Narayan et al. | Optimized color models for high-quality 3d scanning | |
| CN113628349B (zh) | 基于场景内容自适应的ar导航方法、设备及可读存储介质 | |
| EP4150560B1 (en) | Single image 3d photography with soft-layering and depth-aware inpainting | |
| CN108154549A (zh) | 一种三维图像处理方法 | |
| Cho et al. | Depth image processing technique for representing human actors in 3DTV using single depth camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180622 |
|
| RJ01 | Rejection of invention patent application after publication |