CN106303688A - 一种终端中的声音平衡参数调节方法和系统 - Google Patents
一种终端中的声音平衡参数调节方法和系统 Download PDFInfo
- Publication number
- CN106303688A CN106303688A CN201610745123.7A CN201610745123A CN106303688A CN 106303688 A CN106303688 A CN 106303688A CN 201610745123 A CN201610745123 A CN 201610745123A CN 106303688 A CN106303688 A CN 106303688A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- balance parameter
- photographic head
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种终端中的声音平衡参数调节方法和系统,涉及电子技术领域,包括基于预设时间内的两个拍摄时刻,分别将两个拍摄时刻中第一摄像头和第二摄像头同时拍摄的包含人体的图像合成三维立体图像;提取所述第一摄像头拍摄的任一第一图像中人体所对应的脸部轮廓;基于每个拍摄时刻合成的所述三维立体图像,获取所述脸部轮廓中至少一个像素点对应的距离信息和角度信息;将所述两个拍摄时刻分别确定的至少一个像素点对应的距离信息以及角度信息进行对比;根据所述对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令。本发明实施例可以用于电视识别中。
Description
技术领域
本发明涉及电子技术领域,尤其涉及一种终端中的声音平衡参数调节方法和系统。
背景技术
随着智能化终端如电视的发展趋势,在用户通过智能电视观看电视节目时,通常不会始终在同一个位置上观看电视,而在用户调整观看位置后,会因为位置变化导致无法获得最佳的声音效果的体验,例如偏离电视中心时,可能会左右声道声音大小不一致等问题。在此背景下,声音平衡参数调节操作,即在智能化电视中增加存储有用户的不同距离信息和/或角度信息对应的声音平衡参数调节功能,智能终端可以通过识别用户的距离和角度信息来控制智能化电视等终端设备的声音平衡参数,实现了对智能化电视的灵活操控。
目前电视中的声音平衡参数主要表现为声道平衡(Balance)和音量自动控制,除了用户自己手动调节声音平衡参数的方式外,已有的技术中,一些厂商采用通过让用户佩戴额外的智能穿戴设备和智能电视进行通信,获取用户的位置坐标,来识别用户相对于智能电视的角度和距离信息,并依此进行音量大小的自动调节,或者进一步的实现对声道平衡的调节。
上述解决方案解决了智能电视系统的声音平衡参数自动调节问题,然而需要用户佩带额外的硬件设备来识别用户所在的位置,给用户造成了极大的局限,严重影响了用户体验。
发明内容
本发明的实施例提供一种终端中的声音平衡参数调节方法和系统,用以弥补目前声音平衡参数调节的方式需要额外硬件参与等技术缺陷,可以实现快速识别用户的位置信息,自动调整智能终端设备的声音平衡参数。
一方面,本申请实施例提供了一种终端中的声音平衡参数调节方法,包括:
基于预设时间内的两个拍摄时刻,分别将两个拍摄时刻中第一摄像头和第二摄像头同时拍摄的包含人体的图像合成三维立体图像;
提取所述第一摄像头拍摄的任一第一图像中人体所对应的脸部轮廓;
基于每个拍摄时刻合成的所述三维立体图像,获取所述脸部轮廓中至少一个像素点对应的距离信息和角度信息;
将所述两个拍摄时刻分别确定的至少一个像素点对应的距离信息以及角度信息进行对比;
根据所述对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令。
另一方面,本申请实施例还提供了一种终端中的声音平衡参数调节系统,包括:平行设置在所述智能终端上的第一摄像头和第二摄像头,运行在所述智能终端处理器上的图像处理系统、图像识别系统和执行系统;
其中,所述第一摄像头和第二摄像头处于同一水平线上;
所述第一摄像头和第二摄像头,用于在每个拍摄时刻拍摄一张包含人体的图像;
所述图像处理系统,用于基于预设时间内的两个拍摄时刻,分别将两个拍摄时刻中第一摄像头和第二摄像头同时拍摄的包含人体的图像合成三维立体图像;
所述图像识别系统,用于提取所述第一摄像头拍摄的任一第一图像中人体所对应的脸部轮廓;
基于每个拍摄时刻合成的所述三维立体图像,获取所述脸部轮廓中至少一个像素点对应的距离信息和角度信息;
将所述两个拍摄时刻分别确定的至少一个像素点对应的距离信息以及角度信息进行对比;
所述执行系统,用于根据所述对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令。
本发明实施例提供一种终端中的声音平衡参数调节方法,通过将每个拍摄时刻第一摄像头和第二摄像头同一时刻分别拍摄的包含人体的图像合成三维立体图像,并基于所述三维立体图像,获取第一摄像头拍摄的第一图像中人体所对应的脸部轮廓中至少一个像素点对应的距离信息和角度信息,将两个拍摄时刻分别确定的至少一个像素点对应的距离信息以及角度信息进行对比;根据对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令,与现有技术相比,通过双摄像头建立三维立体图像,通过该三维立体图像获取到二维图像中脸部轮廓的距离信息和角度信息,通过对比每个拍摄时刻相应位置距离和角度信息的变化,可以对当前的声音平衡参数进行调整,确保了高实时性,高精度的声音平衡参数调整技术,排除了已有技术需要用户佩戴额外的硬件设备,大幅度提高用户的操控体验。
附图说明
图1为本发明实施例一种终端中的声音平衡参数调节方法的流程示意图一;
图2为本发明实施例一种终端中的声音平衡参数调节方法的流程示意图二;
图3a为第一图像中任意一个像素点为中心像素点建立预设窗口的示意图;
图3b为第一图像中任意一个像素点为中心像素点建立预设窗口与第二图像进行匹配的示意图;
图3c为第一图像中任意一个像素点为中心像素点建立预设窗口与第二图像匹配结果示意图;
图4为本发明实施例一种终端中的声音平衡参数调节方法的流程示意图三;
图5为本发明实施例的一种终端中的声音平衡参数调节系统的结构示意图一。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种终端中的声音平衡参数调节方法,如图1所示,包括:
S101:基于预设时间内的两个拍摄时刻,分别将两个拍摄时刻中第一摄像头和第二摄像头同时拍摄的包含人体的图像合成三维立体图像;
S102:提取所述第一摄像头拍摄的任一第一图像中人体所对应的脸部轮廓;
S103:基于每个拍摄时刻合成的所述三维立体图像,获取所述脸部轮廓中至少一个像素点对应的距离信息和角度信息;
S104:将所述两个拍摄时刻分别确定的至少一个像素点对应的距离信息以及角度信息进行对比;
S105:根据所述对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令。
其中,声音平衡参数是指影响声音平衡的调节参数,主要包括声道平衡(Balance)和音量等可调参数。
以电视机为例,如果用户和电视中心有一定的角度,所以会导致容易听到离用户近的一端的声道的声音,远离电视的一端就会相对不够清晰,并且在同样的角度条件下,用户离屏幕远近也会影响看清声音的清晰程度。
在本方案中,三维立体图像是由两个摄像头得出图像后合成的。两个摄像头是有中间线的,三维立体图像相对中间线的的角度信息可以计算出来的,具体的,可以根据三维立体图像获取到参考像素点的坐标,利用数学运算原理,即通过双目相机还原出的三维立体图像不仅有距离信息,而是还有每个像素点在世界坐标系下的X,Y,Z信息,所以可以计算出角度,该像素点的距离和角度信息是可以计算出来的。
本发明实施例提供一种终端中的声音平衡参数调节方法,通过将每个拍摄时刻第一摄像头和第二摄像头同一时刻分别拍摄的包含人体的图像合成三维立体图像,并基于所述三维立体图像,获取第一摄像头拍摄的第一图像中人体所对应的脸部轮廓中至少一个像素点对应的距离信息和角度信息,将两个拍摄时刻分别确定的至少一个像素点对应的距离信息以及角度信息进行对比;根据对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令,与现有技术相比,通过双摄像头建立三维立体图像,通过该三维立体图像获取到二维图像中脸部轮廓的距离信息和角度信息,通过对比每个拍摄时刻相应位置距离和角度信息的变化,可以对当前的声音平衡参数进行调整,确保了高实时性,高精度的声音平衡参数调整技术,排除了已有技术需要用户佩戴额外的硬件设备,大幅度提高用户的操控体验。本发明实施例的一种终端中的声音平衡参数调节方法的执行主体为终端的处理器,该终端可以为电视、电脑等,本发明实施例对此不作限定,该第一摄像头和第二摄像头用于获取人体的图像,该第一摄像头和第二摄像头可以是在终端上设置的摄像头。
本发明实施例中,该第一摄像头和第二摄像头感应若用户是否在终端前进行移动或者静止,当用户启动第一摄像头和第二摄像头去感应到用户所在位置时,获取预设时间内包含用户在内的至少一张图像,另外,也可通过用户手动输入用户移动控制终端的开始信息,如用户按下在终端遥控器中设置启动用户识别技术的启动按键,在获取到所述启动按键触发的启动指令后,处理器控制所述第一摄像头和第二摄像头获取包含用户在内的至少一张图像。只有一张图像的情况是指用户为静止站立状态,第一摄像头和第二摄像头在同一时刻分别采集一张包含用户人体的图像。如用户在电视机前处于不停的移动状态,第一摄像头和第二摄像头可以在预设时间内同时拍摄多张包含用户的图像,对应于每个拍摄时刻,每次拍摄都可以执行上述S101~S105的调节步骤。如可将每个拍摄时刻的间隔设置为1s-2s;具体可通过设置在所述处理器中的定时器以实现。将获取到的含人体的图像按获取的先后顺序缓存在终端的存储器中,在需要识别的时候,通过处理器从存储器中获取,由于第一摄像头和第二摄像头在1s内可以拍摄10~60个图像帧,优选的,是25~30个图像帧,由于第一摄像头和第二摄像头拍摄的人体可能是一个动态过程,故每一帧图像帧是有差异的,故在选择合成三维立体图像时,通过选取第一摄像头和第二摄像头在同一时刻拍摄的一帧图像,这样可以避免形成的三维立体图像与实际用户所处位置的差异,提高了识别精确性。如果用户选择静止站立,那么第一第二摄像头可以只拍摄一张或者拍摄多张选择一张作为后续识别过程的输入基础。
可选的,根据摄像头的拍摄性能,在预设时间内总共包含M个拍摄时刻,每个拍摄时刻第一摄像头和第二摄像头都拍摄有照片,可以选取M个拍摄时刻中的任意两个拍摄时刻,所述第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成M张三维立体图像,也可以选取N个拍摄时刻拍摄的合成N张三维立体图像,其中M≥N;
图像即为摄像头拍摄的一张图片,图像帧则为固定时间内连续拍摄的一系列图片,图像帧序列由一系列图像组成。
其中,对于将第一摄像头和第二摄像头在同一时刻分别拍摄的包含人体的图像合成三维立体图像的方式,不属于本发明的主要发明点,在现有技术中存在多种实现方式,本发明实施例对此不进行限定,由于对于第一摄像头和第二摄像头在预设时间内拍摄的每张图像合成三维立体图像的方式和原理均相同,本发明实施例仅以第一图像和第二图像为例进行说明,其中,第一图像和第二图像分别为由第一摄像头和第一摄像头在同一时刻分别拍摄的图像,并不具有任何指示性含义。
示例性的,如图2所示,步骤S101可以通过以下方式实现,
S1011、获取所述第一图像的每个像素点;
其中,对于获取第一图像的每个像素点的具体方式,本发明实施例在此不再赘述,可以通过现有技术来实现,例如,粒子滤波。
获取到第一图像的每个像素点以后,可以以所述第一图像和第二图像设置坐标系,则第一图像和第二图像上的每个像素点均可以用坐标的形式表示,如图3a所示和图3b所示,当然还可以存在其他方式用以唯一标记第一图像和第二图像上相应的像素点,本发明实施例在此不再赘述。
S1012、以所述第一图像的每个像素点为中心像素点建立预设窗口;其中,所述预设窗口包含按照预设距离,以所述中心像素点为中心的M个像素点;
图3a为第一图像中任意一个像素点为中心像素点建立预设窗口的示意图,其预设窗口可以通过以所述中心像素点为中心,在所述中心像素点四周(上、下、左、由)各延长L个长度单位所包含的区域,即所述预设距离为2L则上述M个像素点即为以所述中心像素点四周各延长L个长度单位所包含的区域内的所有像素点;本发明实施例对所述L的具体大小不进行限定,可以根据实际需要达到的精度进行设定。
S1013、获取所述预设窗口的像素值;
由于预设窗口内包含M个像素点,故所述预设窗口的像素值为M个像素点灰度值的总和,对于计算每个像素的灰度值的具体方式本发明实施例在此不再赘述,例如,若所述预设窗口为以任意一个像素点为中心像素点向左向右各一个像素点,则该预设窗口内包含5个像素点,该预设窗口的像素值为5个像素点灰度值的总和。
S1014、根据所述预设窗口的像素值,从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域,如图3b所示;
由于对于第一图像种每个像素点建立预设窗口,并根据预设窗口的像素值从所述第二图像中查到的目标区域的方式和原理均相同,故本发明实施例仅以第一像素点为例进行说明,该第一像素点为第一图像中的任意一个像素点,并不具有指示性含义。
示例性的,如图4所示,步骤S1014可以通过以下方式实现:
S10141、确定所述第一像素点在所述第一图像中的坐标,并以所述第一像素点为中心建立第一预设窗口;如图3a所示;
S10142、在保持所述第一像素点纵坐标不变的情况下,从所述第二图像中选取每个候选区域,所述候选区域的窗口大小与所述第一预设窗口大小相同,且所述候选区域为以所述第二图像中任意一个像素点为中心像素点建立的,所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同;
其中,所述候选区域的窗口大小或者窗口距离是指候选区域内任意一个中心像素点,按照预设距离2L,以所述中心像素点为中心,在所述中心像素点四周(上、下、左、由)各延长L个长度单位所包含的区域;
S10143、计算每个所述候选区域的像素值,所述像素值是指候选区域内所有像素点的灰度值之和;
S10144、将所述候选区域的像素值中与所述第一预设窗口的像素值的差异值最小的候选区域确定为目标区域。
其中,当获取到第一像素点的坐标时,可以将所述第一像素点从第二图像指向第一图像的方向,保持纵坐标不变的情况下,将第一像素点遍历所述第二图像中的任何一个像素点,并可以通过SAD(Sum of Absolute Difference)或SSD(Sum of SquaredDifference)算法matching方式从第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域,如图3c所示的d点。
当然,为了减少计算量,在获取到第一像素点的坐标以后,可以从所述第二图像中与所述第一像素点纵坐标相同,大于等于横坐标的候选区域中选取目标区域。
当然,本发明实施例也可以基于第二图像,在第一图像中选取与第二图像中任意一个像素点构建的预设窗口的像素值差异最小的区域为目标区域,此时,应按照第一图像指向第二图像的方向,保持纵坐标不变的情况下,将第二图像中的每个像素点构成的预设窗口遍历所述第一图像的候选区域,以获取目标区域。
S1015、确定每个所述目标区域的中心像素点;
S1016、将每个所述第一图像的中心像素点与所述目标区域的中心像素点进行匹配,获取与所述第一图像对应的三维立体图像。
优选的,为了提高识别精度,需要提取出所述第一图像中的人体轮廓,在此人体轮廓的基础上,获取每一个像素点的像素信息,并从三维立体图像中获取与之对应的像素点距离信息,由于用户的人体应处于同一平面,因而拥有相近的像素点距离信息,故在识别之前,可以对三维立体图像中人体对应的像素点距离进行均值操作,以便人体轮廓内的人体与背景等干扰信息进行分离,从而高精度的提取出用户的人体。
进一步的,所述提取所述第一摄像头拍摄的第一图像中人体所对应的脸部轮廓,包括:
S1021、对所述第一图像进行肤色提取处理,确定出与预设肤色参数相匹配的脸部区域;
S1022、对所述脸部区域进行边缘及空洞处理,并基于Canny算法的边缘检测,提取出所述脸部区域的脸部轮廓;
对于人体轮廓提取的方式有多种,本发明实施例在此不再赘述,示例性的,该方法可以通过采用八邻域搜索法来实现。
进一步的,所述根据所述对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令的步骤包括:
若根据所述对比结果确定出所述脸部轮廓对应的距离信息有变化,则根据距离信息的变化调整声音平衡参数中的声音大小;
若根据所述对比结果确定出所述脸部轮廓对应的角度信息相对于初始位置右偏,则根据角度信息的变化对声道平衡参数做正向调整;
若根据所述对比结果确定出所述脸部轮廓对应的角度信息相对于初始位置左偏,则根据角度信息的变化对声道平衡参数做负向调整。
对于比较过程而言,如表1所示
当然,表1所示三种声音平衡参数调整方式仅为举例,在实际产品中,可能存在更多可调的声音平衡参数,并且每种声音平衡参数的操作指令可以由用户通过终端的处理器进行修改。
如果用户处于不断的移动过程中,具体在识别用户的图像的像素点距离信息和角度信息时,可根据获取到的多个相邻的三维立体图像之间的像素点距离变化信息通过跟踪算法,例如,联合概率数据关联滤波器(JPDAF)、多假设跟踪 (MHT) 算法、动态多位分配算法等,以识别当前的用户所处的位置与智能终端之间的距离和角度,并执行对比结果相应的操作指令。进一步可产生相应的控制信号。例如,系统识别出用户的角度信息为向左偏离30度,距离信息增加了2米,则系统识别后,根据对比结果得到的几种不同的类型的声音平衡参数值执行增加或者减小相应的几种声音平衡参数的操作功能,如针对距离变化,对声音大小+5处理,针对角度变化,对声道平衡进行负向-5处理。
进一步的,根据所述对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令的步骤还包括:
S1041:若根据所述对比的结果,对当前声音平衡参数的调整超出所述终端是参数调整范围,则将最后拍摄时刻确定的至少一个像素点对应的距离信息以及角度信息与预设的声音平衡数据库进行匹配;
S1042:根据所述匹配的结果对当前的声音平衡参数进行调整。
在此基础上,进一步的,在步骤S1042:根据所述匹配的结果对当前的声音平衡参数进行调整之前,还包括:
S1051:对所述第一图像进行人脸识别;
由于人脸识别属于较为成熟的现有技术,例如可通过肤色分割,再进行边缘检测处理等操作;
S1052:将识别出来的人脸与人脸特征库进行匹配,所述人脸特征库预存有不同用户的人脸特征信息与所述不同用户分别在处于不同距离及角度时对应的声音平衡参数;
S1053:若所述人脸特征库中有对应与所述第一图像的人脸信息,则根据所述第一图像的人脸信息对应的用户在处于不同距离及角度时对应的声音平衡参数以及基于所述三维立体图像中的人体轮廓确定的至少一个像素点对应的距离信息和角度信息进行匹配。
若不同的用户在同样的距离和角度有不相同的声音平衡参数调节需求,如老年人可能因为听力下降,需要把电视的声音平衡参数如音量相应的调高,而对于处于同一位置的年轻人,则不需要很大的声音即可满足需求,因为在执行最终的声音平衡参数调节指令时,考虑进行人脸识别,识别出是否为特定用户,若在人脸特征库中有对应于第一图像的人脸信息,那就根据所述第一图像的人脸信息对应的用户在处于不同距离和角度时对应的声音平衡参数以及基于该三维立体图像的像素点距离信息和角度信息,调整声音平衡参数。这样,不仅仅通过简单的距离和角度判断实现声音平衡参数调节,还满足了有特定需求的用户,可按照其预设或预存的调整策略调整目标声音平衡参数的最终值。
本发明实施例还提供了一种终端中的声音平衡参数调节系统,该一种终端中的声音平衡参数调节系统中的各个功能与本发明上述实施例中一种终端中的声音平衡参数调节方法相对应,具体可以参考本发明上述实施例的描述,本发明实施例在此不再赘述。
如图5所示,该一种终端中的声音平衡参数调节系统,应用于智能终端60,包括:平行设置在智能终端上的第一摄像头601和第二摄像头602,运行在所述智能终端处理器上的图像处理系统603、图像识别系统604和执行系统605;
其中,所述第一摄像头601和第二摄像602头处于同一水平线上;
所述第一摄像头601和第二摄像602,用于在每个拍摄时刻拍摄一张包含人体的图像;
所述图像处理系统603,用于基于预设时间内的两个拍摄时刻,分别将两个拍摄时刻中第一摄像头和第二摄像头同时拍摄的包含人体的图像合成三维立体图像;;
所述图像识别系统604,用于提取所述第一摄像头拍摄的任一第一图像中人体所对应的脸部轮廓;
基于每个拍摄时刻合成的所述三维立体图像,获取所述脸部轮廓中至少一个像素点对应的距离信息和角度信息;
将所述两个拍摄时刻分别确定的至少一个像素点对应的距离信息以及角度信息进行对比;
所述执行系统605,用于根据所述对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令。
本发明实施例提供一种终端中的声音平衡参数调节系统,通过将每个拍摄时刻第一摄像头和第二摄像头同一时刻分别拍摄的包含人体的图像合成三维立体图像,并基于所述三维立体图像,获取第一摄像头拍摄的第一图像中人体所对应的脸部轮廓中至少一个像素点对应的距离信息和角度信息,将两个拍摄时刻分别确定的至少一个像素点对应的距离信息以及角度信息进行对比;根据对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令,与现有技术相比,通过双摄像头建立三维立体图像,通过该三维立体图像获取到二维图像中脸部轮廓的距离信息和角度信息,通过对比每个拍摄时刻相应位置距离和角度信息的变化,可以对当前的声音平衡参数进行调整,确保了高实时性,高精度的声音平衡参数调整技术,排除了已有技术需要用户佩戴额外的硬件设备,大幅度提高用户的操控体验。
可选的,基于所述第一摄像头和第一摄像头分别同时拍摄的包含人体的第一图像和二图像,所述图像处理系统603包括:
第一获取单元,用于获取所述第一图像的每个像素点;
建立单元,用于以所述第一图像的每个像素点为中心像素点建立预设窗口,其中,所述预设窗口包含按照预设距离,以所述中心像素点为中心的M个像素点;
第二获取单元,用于获取所述预设窗口的像素值
提取单元,用于根据所述预设窗口的像素值,从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域;
确定单元,用于确定每个所述目标区域的中心像素点;
生成单元,用于将每个所述第一图像的中心像素点与所述目标区域的中心像素点进行匹配,获取与所述第一图像对应的三维立体图像。
可选的,所述提取单元包括:
确定模块,用于确定所述第一像素点在所述第一图像中的坐标,并以所述第一像素点为中心建立第一预设窗口;
选取模块,用于在保持所述第一像素点纵坐标不变的情况下,从所述第二图像中选取每个候选区域,所述候选区域的窗口大小与所述第一预设窗口大小相同,且所述候选区域为以所述第二图像中任意一个像素点为中心像素点建立的,所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同;
计算模块,用于计算每个所述候选区域的像素值,所述像素值是指候选区域内所有像素点的灰度值之和;
判定模块,用于将所述所有候选区域的像素值中与所述第一预设窗口的像素值差异值最小的候选区域确定为目标区域。
可选的,所述执行系统605还包括:
距离对比模块,用于若根据所述对比结果确定出所述脸部轮廓对应的距离信息有变化,则根据距离信息的变化调整声音平衡参数中的声音大小;
角度对比模块,用于若根据所述对比结果确定出所述脸部轮廓对应的角度信息相对于初始位置右偏,则根据角度信息的变化对声道平衡参数做正向调整;
若根据所述对比结果确定出所述脸部轮廓对应的角度信息相对于初始位置左偏,则根据角度信息的变化对声道平衡参数做负向调整。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种终端中的声音平衡参数调节方法,其特征在于,包括:
基于预设时间内的两个拍摄时刻,分别将两个拍摄时刻中第一摄像头和第二摄像头同时拍摄的包含人体的图像合成三维立体图像;
提取所述第一摄像头拍摄的任一第一图像中人体所对应的脸部轮廓;
基于每个拍摄时刻合成的所述三维立体图像,获取所述脸部轮廓中至少一个像素点对应的距离信息和角度信息;
将所述两个拍摄时刻分别确定的至少一个像素点对应的距离信息以及角度信息进行对比;
根据所述对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令。
2.根据权利要求1所述的方法,其特征在于,对于第一图像和第二图像,将第一摄像头和第一摄像头同时拍摄的包含人体的第一图像和二图像合成三维立体图像,包括:
获取所述第一图像的每个像素点;
以所述第一图像的每个像素点为中心像素点建立预设窗口,其中,所述预设窗口包含按照预设距离,以所述中心像素点为中心的M个像素点;
获取所述预设窗口的像素值;
根据所述预设窗口的像素值,从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域;
确定每个所述目标区域的中心像素点;
将每个所述第一图像的中心像素点与所述目标区域的中心像素点进行匹配,获取与所述第一图像对应的三维立体图像。
3.根据权利要求2所述的方法,其特征在于,对于第一像素点,所述第一像素点为所述第一图像中所有像素点中的任意一个像素点,所述获取所述预设窗口的像素值,并根据所述预设窗口的像素值,从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域,包括:
确定所述第一像素点在所述第一图像中的坐标,并以所述第一像素点为中心建立第一预设窗口;
在保持所述第一像素点纵坐标不变的情况下,从所述第二图像中选取每个候选区域,所述候选区域的窗口大小与所述第一预设窗口大小相同,且所述候选区域为以所述第二图像中任意一个像素点为中心像素点建立的,所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同;
计算每个所述候选区域的像素值,所述像素值是指候选区域内所有像素点的灰度值之和;
将所述所有候选区域的像素值中与所述第一预设窗口的像素值差异值最小的候选区域确定为目标区域。
4.根据权利要求1所述的方法,其特征在于,所述提取所述第一摄像头拍摄的第一图像中人体所对应的脸部轮廓,包括:
对所述第一图像进行肤色提取处理,确定出与预设肤色参数相匹配的脸部区域;
对所述脸部区域进行边缘及空洞处理,并基于Canny算法的边缘检测,提取出所述脸部区域的脸部轮廓。
5.根据权利要求1所述的方法,其特征在于,所述根据所述对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令的步骤包括:
若根据所述对比结果确定出所述脸部轮廓对应的距离信息有变化,则根据距离信息的变化调整声音平衡参数中的声音大小;
若根据所述对比结果确定出所述脸部轮廓对应的角度信息相对于初始位置右偏,则根据角度信息的变化对声道平衡参数做正向调整;
若根据所述对比结果确定出所述脸部轮廓对应的角度信息相对于初始位置左偏,则根据角度信息的变化对声道平衡参数做负向调整。
6.根据权利要求4所述的方法,其特征在于,所述根据所述对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令的步骤还包括:
若根据所述对比的结果,对当前声音平衡参数的调整超出所述终端是参数调整范围,则将最后拍摄时刻确定的至少一个像素点对应的距离信息以及角度信息与预设的声音平衡数据库进行匹配;
根据所述匹配的结果对当前的声音平衡参数进行调整。
7.一种终端中的声音平衡参数调节系统,其特征在于,包括:平行设置在所述终端上的第一摄像头和第二摄像头,运行在所述智能终端处理器上的图像处理系统、图像识别系统和执行系统;
其中,所述第一摄像头和第二摄像头处于同一水平线上;
所述第一摄像头和第二摄像头,用于在每个拍摄时刻拍摄一张包含人体的图像;
所述图像处理系统,用于基于预设时间内的两个拍摄时刻,分别将两个拍摄时刻中第一摄像头和第二摄像头同时拍摄的包含人体的图像合成三维立体图像;
所述图像识别系统,用于提取所述第一摄像头拍摄的任一第一图像中人体所对应的脸部轮廓;
基于每个拍摄时刻合成的所述三维立体图像,获取所述脸部轮廓中至少一个像素点对应的距离信息和角度信息;
将所述两个拍摄时刻分别确定的至少一个像素点对应的距离信息以及角度信息进行对比;
所述执行系统,用于根据所述对比的结果,对所述终端当前的声音平衡参数执行对应的调节指令。
8.根据权利要求7所述系统,其特征在于,基于所述第一摄像头和第一摄像头分别同时拍摄的包含人体的第一图像和二图像,所述图像处理系统包括:
第一获取单元,用于获取所述第一图像的每个像素点;
建立单元,用于以所述第一图像的每个像素点为中心像素点建立预设窗口,其中,所述预设窗口包含按照预设距离,以所述中心像素点为中心的M个像素点;
第二获取单元,用于获取所述预设窗口的像素值
提取单元,用于根据所述预设窗口的像素值,从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域;
确定单元,用于确定每个所述目标区域的中心像素点;
生成单元,用于将每个所述第一图像的中心像素点与所述目标区域的中心像素点进行匹配,获取与所述第一图像对应的三维立体图像。
9.根据权利要求8所述系统,其特征在于,所述提取单元包括:
确定模块,用于确定所述第一像素点在所述第一图像中的坐标,并以所述第一像素点为中心建立第一预设窗口;
选取模块,用于在保持所述第一像素点纵坐标不变的情况下,从所述第二图像中选取每个候选区域,所述候选区域的窗口大小与所述第一预设窗口大小相同,且所述候选区域为以所述第二图像中任意一个像素点为中心像素点建立的,所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同;
计算模块,用于计算每个所述候选区域的像素值,所述像素值是指候选区域内所有像素点的灰度值之和;
判定模块,用于将所述所有候选区域的像素值中与所述第一预设窗口的像素值差异值最小的候选区域确定为目标区域。
10.根据权利要求9所述系统,其特征在于,所述执行系统还包括:
距离对比模块,用于若根据所述对比结果确定出所述脸部轮廓对应的距离信息有变化,则根据距离信息的变化调整声音平衡参数中的声音大小;
角度对比模块,用于若根据所述对比结果确定出所述脸部轮廓对应的角度信息相对于初始位置右偏,则根据角度信息的变化对声道平衡参数做正向调整;
若根据所述对比结果确定出所述脸部轮廓对应的角度信息相对于初始位置左偏,则根据角度信息的变化对声道平衡参数做负向调整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610745123.7A CN106303688A (zh) | 2016-08-29 | 2016-08-29 | 一种终端中的声音平衡参数调节方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610745123.7A CN106303688A (zh) | 2016-08-29 | 2016-08-29 | 一种终端中的声音平衡参数调节方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106303688A true CN106303688A (zh) | 2017-01-04 |
Family
ID=57677972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610745123.7A Pending CN106303688A (zh) | 2016-08-29 | 2016-08-29 | 一种终端中的声音平衡参数调节方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106303688A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112333531A (zh) * | 2020-07-09 | 2021-02-05 | 深圳Tcl新技术有限公司 | 音频数据播放方法、设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101453598A (zh) * | 2007-12-05 | 2009-06-10 | 宏碁股份有限公司 | 可根据使用者位置调整音效的电子装置及方法 |
EP2551763A1 (en) * | 2011-07-28 | 2013-01-30 | Apple Inc. | Devices with enhanced audio |
CN103517201A (zh) * | 2012-06-22 | 2014-01-15 | 纬创资通股份有限公司 | 自动调整音量的声音播放方法及电子设备 |
CN105592367A (zh) * | 2015-12-23 | 2016-05-18 | 青岛海信电器股份有限公司 | 一种图像显示参数调节方法和系统 |
CN105872770A (zh) * | 2016-04-29 | 2016-08-17 | 钱涵翀 | 一种音量调节方法及系统 |
-
2016
- 2016-08-29 CN CN201610745123.7A patent/CN106303688A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101453598A (zh) * | 2007-12-05 | 2009-06-10 | 宏碁股份有限公司 | 可根据使用者位置调整音效的电子装置及方法 |
EP2551763A1 (en) * | 2011-07-28 | 2013-01-30 | Apple Inc. | Devices with enhanced audio |
CN103517201A (zh) * | 2012-06-22 | 2014-01-15 | 纬创资通股份有限公司 | 自动调整音量的声音播放方法及电子设备 |
CN105592367A (zh) * | 2015-12-23 | 2016-05-18 | 青岛海信电器股份有限公司 | 一种图像显示参数调节方法和系统 |
CN105872770A (zh) * | 2016-04-29 | 2016-08-17 | 钱涵翀 | 一种音量调节方法及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112333531A (zh) * | 2020-07-09 | 2021-02-05 | 深圳Tcl新技术有限公司 | 音频数据播放方法、设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147744B (zh) | 一种人脸图像质量评估方法、装置及终端 | |
CN105474263B (zh) | 用于产生三维人脸模型的系统和方法 | |
CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 | |
CN104756491B (zh) | 基于组合的深度提示从单视场图像生成深度图 | |
CN108830892B (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
US9530192B2 (en) | Method for determining stereo quality score and automatically improving the quality of stereo images | |
CN103258316B (zh) | 一种图片处理方法和装置 | |
CN108986016B (zh) | 图像美化方法、装置及电子设备 | |
CN105303161A (zh) | 一种多人拍照的方法及装置 | |
CN109961406A (zh) | 一种图像处理的方法、装置及终端设备 | |
CN105430501B (zh) | 一种音量调节方法和系统 | |
CN110189294B (zh) | 基于深度可信度分析的rgb-d图像显著性检测方法 | |
CN106056064A (zh) | 一种人脸识别方法及人脸识别装置 | |
CN105592367A (zh) | 一种图像显示参数调节方法和系统 | |
CN102831392A (zh) | 一种远距离虹膜跟踪与采集装置及其方法 | |
CN105096354A (zh) | 一种图像处理的方法和装置 | |
CN111047511A (zh) | 一种图像处理方法及电子设备 | |
CN104317385A (zh) | 一种手势识别方法和系统 | |
CN110211086B (zh) | 图像分割方法、装置及存储介质 | |
CN105979358A (zh) | 一种音量调节方法、装置和智能终端 | |
CN113610723B (zh) | 图像处理方法及相关装置 | |
CN105447823A (zh) | 一种图像处理方法及一种电子设备 | |
CN111897433A (zh) | 一种集成成像显示系统中实现动态手势识别与控制方法 | |
CN111629242B (zh) | 一种图像渲染方法、装置、系统、设备及存储介质 | |
CN109948630A (zh) | 靶纸图像的识别方法、装置、系统和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170104 |