CN105681861A - 一种终端显示字幕的调节方法和系统 - Google Patents

一种终端显示字幕的调节方法和系统 Download PDF

Info

Publication number
CN105681861A
CN105681861A CN201610121484.4A CN201610121484A CN105681861A CN 105681861 A CN105681861 A CN 105681861A CN 201610121484 A CN201610121484 A CN 201610121484A CN 105681861 A CN105681861 A CN 105681861A
Authority
CN
China
Prior art keywords
pixel
image
camera
range information
caption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610121484.4A
Other languages
English (en)
Inventor
张余庆
仲维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Electronics Co Ltd
Original Assignee
Qingdao Hisense Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Electronics Co Ltd filed Critical Qingdao Hisense Electronics Co Ltd
Priority to CN201610121484.4A priority Critical patent/CN105681861A/zh
Publication of CN105681861A publication Critical patent/CN105681861A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种终端显示字幕的调节方法和系统,涉及电子技术领域,包括将预设时间内的N个拍摄时刻中每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成N个三维立体图像;提取所述N个三维立体图像中的人体轮廓;获取所述人体轮廓中至少一个像素点对应的距离信息;根据所述N个三维立体图像确定的N个距离信息生成对应的终端显示字幕大小的调节指令;根据所述显示字幕大小的调节指令对所述终端的显示字幕进行放大或者缩小的调节。本发明实施例可以用于电视识别中。

Description

一种终端显示字幕的调节方法和系统
技术领域
本发明涉及电子技术领域,尤其涉及一种终端显示字幕的调节方法和系统。
背景技术
随着智能化终端如电视的发展趋势,在用户通过智能电视观看电视节目时,电视节目通常会在画面的基础上配合字幕显示以提高观看者的体验,但是对用户来说,用户通常不会始终在同一个位置上观看电视,而在用户调整观看位置后,会因为位置变化导致无法获得最佳的字幕观看效果,例如远离最初观看位置时,可能会出现因距离较远看不清字幕等问题。在此背景下,图像显示参数调节操作,比如在智能化电视中设置菜单中增加大中小等多种大小的字幕显示效果,用户通过遥控器查找菜单选项,可以自定义字幕显示数据的大小,但是需要用户自己判断调节的时间以及主动去反复设置,比较麻烦。
除了用户自己手动调节字幕显示参数的方式外,已有的技术中,例如上海乐金广电电子有限公司发明了一种卡拉OK音频设备的字幕大小调节方法(文件号:CN101071562),但是此方案是通过红外或者无线的方式检测出手持麦克风的用户与卡拉OK音频设备的间隔距离,从而能够自动调节卡拉OK音频设备歌曲字幕的大小的字幕大小调节方法。
虽然,上述解决方案解决了一些终端中的字幕显示大小自动调节问题,然而由于采用红外检测的方式进行用户的感知,在现实情况下会出现检测范围小,受环境影响大以及无法对用户进行准确识别等难以避免的瓶颈及缺陷。例如容易受到各种热源,光源的干扰。同时,由于红外穿透力差,人体的红外辐射容易被遮挡,不易被传感器接收。且需要远离空调,冰箱等空气温度变化敏感的地方,并且不得间隔家具,盆景等隔离物。上述应用局限极大限制了电视在家居环境中的摆放及使用,给用户造成了极大的局限,严重影响了用户体验。
发明内容
本发明的实施例提供一种终端显示字幕的调节方法和系统,用以弥补目前通过红外检测控制终端中字幕显示大小的方式精度低,检测范围小,容易受到环境影响造成字幕调整指令识别不准确等技术缺陷。
一方面,本申请实施例提供了一种终端显示字幕的调节方法,包括:
将预设时间内的N个拍摄时刻中每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成N个三维立体图像,其中N为大于等于1的正整数;
提取所述N个三维立体图像中的人体轮廓;
获取所述人体轮廓中至少一个像素点对应的距离信息;
根据所述N个三维立体图像确定的N个距离信息生成对应的终端显示字幕大小的调节指令;
根据所述显示字幕大小的调节指令对所述终端的显示字幕进行放大或者缩小的调节。
另一方面,本申请实施例还提供了一种终端显示字幕的调节系统,包括:平行设置在所述终端上的第一摄像头和第二摄像头,运行在所述终端处理器上的图像处理系统、图像识别系统和执行系统;
其中,所述第一摄像头和第二摄像头处于同一水平线上;
所述第一摄像头和第二摄像头,用于在每个拍摄时刻拍摄一张包含人体的图像;所述图像处理系统,用于将预设时间内的N个拍摄时刻中的每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成N个三维立体图像,其中N为大于等于1的正整数;
所述图像识别系统,用于提取所述N个三维立体图像中的人体轮廓;
获取所述人体轮廓中至少一个像素点对应的距离信息;
根据所述N个三维立体图像确定的N个距离信息生成对应的终端显示字幕大小的调节指令;
所述执行系统,用于根据所述显示字幕大小的调节指令对所述终端的显示字幕进行放大或者缩小的调节。
本发明实施例提供一种终端显示字幕的调节方法,通过将预设时间内的N个拍摄时刻中每个拍摄时刻,第一摄像头和第二摄像头同一时刻分别拍摄的包含人体的图像合成N个三维立体图像,并基于所述三维立体图像获取人体轮廓中至少一个像素点对应的距离信息,根据N个距离信息生成终端显示字幕的调节指令,进而对显示字幕进行放大或者缩小的调节,与现有技术相比,通过双摄像头建立三维立体图像,通过该三维立体图像获取到人体轮廓的距离信息,根据距离信息实现最终字幕的调整,该显示字幕的调节方法确保了高实时性,高精度的对包含人体的图像进行距离识别,若距离信息变化,可实时的生成相应的字幕大小调节指令,利用三维成像技术和图像识别技术,排除了红外检测技术感知用户存在以及识别用户的距离的方式容易受周围环境影响,识别精度和灵敏度较差等问题,大幅度提高用户的操控体验。
附图说明
图1为本发明实施例一种终端显示字幕的调节方法的流程示意图一;
图2为本发明实施例一种终端显示字幕的调节方法的流程示意图二;
图3a为第一图像中任意一个像素点为中心像素点建立预设窗口的示意图;
图3b为第一图像中任意一个像素点为中心像素点建立预设窗口与第二图像进行匹配的示意图;
图3c为第一图像中任意一个像素点为中心像素点建立预设窗口与第二图像匹配结果示意图;
图4为本发明实施例一种终端显示字幕的调节方法的流程示意图三;
图5为本发明实施例的一种终端显示字幕的调节系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种终端显示字幕的调节方法,如图1所示,包括:
S101:将预设时间内的N个拍摄时刻中每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成N个三维立体图像,其中N为大于等于1的正整数;
S102:提取所述N个三维立体图像中的人体轮廓;
S103:获取所述人体轮廓中至少一个像素点对应的距离信息;
S104:根据所述N个三维立体图像确定的N个距离信息生成对应的终端显示字幕大小的调节指令;
S105:根据所述显示字幕大小的调节指令对所述终端的显示字幕进行放大或者缩小的调节。
其中,显示字幕是在终端播放音视频过程中用于标识音视频的内容的信息。
终端可以最常用的电视机为例,但是并不局限于电视领域,如平板电脑,电脑,一体机等显示终端。
本发明实施例提供一种终端显示字幕的调节方法,通过将预设时间内的N个拍摄时刻中每个拍摄时刻,第一摄像头和第二摄像头同一时刻分别拍摄的包含人体的图像合成N个三维立体图像,并基于所述三维立体图像获取人体轮廓中至少一个像素点对应的距离信息,根据N个距离信息生成终端显示字幕的调节指令,进而对显示字幕进行放大或者缩小的调节,与现有技术相比,通过双摄像头建立三维立体图像,通过该三维立体图像获取到人体轮廓的距离信息,根据距离信息实现最终字幕的调整,该显示字幕的调节方法确保了高实时性,高精度的对包含人体的图像进行距离识别,若距离信息变化,可实时的生成相应的字幕大小调节指令,利用三维成像技术和图像识别技术,排除了红外检测技术感知用户存在以及识别用户的距离的方式容易受周围环境影响,识别精度和灵敏度较差等问题,大幅度提高用户的操控体验。
本发明实施例的一种终端显示字幕的调节方法的执行主体为终端的处理器,该终端可以为电视、电脑等,本发明实施例对此不作限定,该第一摄像头和第二摄像头用于获取人体的图像,该第一摄像头和第二摄像头可以是在终端上设置的摄像头。
以电视机为例,本发明实施例中,该第一摄像头和第二摄像头感应若用户是否在终端前进行移动或者静止,当用户启动第一摄像头和第二摄像头去感应到用户所在位置时,获取预设时间内包含用户在内的至少一张图像,另外,也可通过用户手动输入用户移动控制终端的开始信息,如用户按下在终端遥控器中设置启动用户识别技术的启动按键,在获取到所述启动按键触发的启动指令后,处理器控制所述第一摄像头和第二摄像头获取包含用户在内的至少一张图像。如用户在电视机前处于不停的移动状态,第一摄像头和第二摄像头可以在预设时间内同时拍摄多张包含用户的图像,对应于每个拍摄时刻,如可将每个拍摄时刻的间隔设置为1s-2s;具体可通过设置在所述处理器中的定时器以实现。将获取到的含人体的图像按获取的先后顺序缓存在终端的存储器中,在需要识别的时候,通过处理器从存储器中获取,由于第一摄像头和第二摄像头在1s内可以拍摄10~60个图像帧,优选的,是25~30个图像帧,由于第一摄像头和第二摄像头拍摄的人体可能是一个动态过程,故每一帧图像帧是有差异的,故在选择合成三维立体图像时,通过选取第一摄像头和第二摄像头在同一时刻拍摄的一帧图像,这样可以避免形成的三维立体图像与实际用户所处位置的差异,提高了识别精确性。如果用户选择静止站立,那么第一第二摄像头可以只拍摄一张或者拍摄多张选择一张作为后续识别过程的输入基础。
可选的,根据摄像头的拍摄性能,在预设时间内总共包含M个拍摄时刻,每个拍摄时刻第一摄像头和第二摄像头都拍摄有照片,可以选取M个拍摄时刻所述第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成M张三维立体图像,也可以选取N个拍摄时刻拍摄的合成N张三维立体图像,其中M≥N;
图像即为摄像头拍摄的一张图片,图像帧则为固定时间内连续拍摄的一系列图片,图像帧序列由一系列图像组成。
其中,对于将第一摄像头和第二摄像头在同一时刻分别拍摄的包含人体的图像合成三维立体图像的方式,不属于本发明的主要发明点,在现有技术中存在多种实现方式,本发明实施例对此不进行限定,由于对于第一摄像头和第二摄像头在预设时间内拍摄的每张图像合成三维立体图像的方式和原理均相同,本发明实施例仅以第一图像和第二图像为例进行说明,其中,第一图像和第二图像分别为由第一摄像头和第一摄像头在同一时刻分别拍摄的图像,并不具有任何指示性含义。
示例性的,如图2所示,步骤S101可以通过以下方式实现,
S1011、获取所述第一图像的每个像素点;
其中,对于获取第一图像的每个像素点的具体方式,本发明实施例在此不再赘述,可以通过现有技术来实现,例如,粒子滤波。
获取到第一图像的每个像素点以后,可以以所述第一图像和第二图像设置坐标系,则第一图像和第二图像上的每个像素点均可以用坐标的形式表示,如图3a所示和图3b所示,当然还可以存在其他方式用以唯一标记第一图像和第二图像上相应的像素点,本发明实施例在此不再赘述。
S1012、以所述第一图像的每个像素点为中心像素点建立预设窗口;其中,所述预设窗口包含按照预设距离,以所述中心像素点为中心的M个像素点;
图3a为第一图像中任意一个像素点为中心像素点建立预设窗口的示意图,其预设窗口可以通过以所述中心像素点为中心,在所述中心像素点四周(上、下、左、由)各延长L个长度单位所包含的区域,即所述预设距离为2L则上述M个像素点即为以所述中心像素点四周各延长L个长度单位所包含的区域内的所有像素点;本发明实施例对所述L的具体大小不进行限定,可以根据实际需要达到的精度进行设定。
S1013、获取所述预设窗口的像素值;
由于预设窗口内包含M个像素点,故所述预设窗口的像素值为M个像素点灰度值的总和,对于计算每个像素的灰度值的具体方式本发明实施例在此不再赘述,例如,若所述预设窗口为以任意一个像素点为中心像素点向左向右各一个像素点,则该预设窗口内包含5个像素点,该预设窗口的像素值为5个像素点灰度值的总和。
S1014、根据所述预设窗口的像素值,从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域,如图3b所示;
由于对于第一图像种每个像素点建立预设窗口,并根据预设窗口的像素值从所述第二图像中查到的目标区域的方式和原理均相同,故本发明实施例仅以第一像素点为例进行说明,该第一像素点为第一图像中的任意一个像素点,并不具有指示性含义。
示例性的,如图4所示,步骤S1014可以通过以下方式实现:
S10141、确定所述第一像素点在所述第一图像中的坐标,并以所述第一像素点为中心建立第一预设窗口;如图3a所示;
S10142、在保持所述第一像素点纵坐标不变的情况下,从所述第二图像中选取每个候选区域,所述候选区域的窗口大小与所述第一预设窗口大小相同,且所述候选区域为以所述第二图像中任意一个像素点为中心像素点建立的,所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同;
其中,所述候选区域的窗口大小或者窗口距离是指候选区域内任意一个中心像素点,按照预设距离2L,以所述中心像素点为中心,在所述中心像素点四周(上、下、左、由)各延长L个长度单位所包含的区域;
S10143、计算每个所述候选区域的像素值,所述像素值是指候选区域内所有像素点的灰度值之和;
S10144、将所述候选区域的像素值中与所述第一预设窗口的像素值的差异值最小的候选区域确定为目标区域。
其中,当获取到第一像素点的坐标时,可以将所述第一像素点从第二图像指向第一图像的方向,保持纵坐标不变的情况下,将第一像素点遍历所述第二图像中的任何一个像素点,并可以通过SAD(SumofAbsoluteDifference)或SSD(SumofSquaredDifference)算法matching方式从第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域,如图3c所示的d点。
当然,为了减少计算量,在获取到第一像素点的坐标以后,可以从所述第二图像中与所述第一像素点纵坐标相同,大于等于横坐标的候选区域中选取目标区域。
当然,本发明实施例也可以基于第二图像,在第一图像中选取与第二图像中任意一个像素点构建的预设窗口的像素值差异最小的区域为目标区域,此时,应按照第一图像指向第二图像的方向,保持纵坐标不变的情况下,将第二图像中的每个像素点构成的预设窗口遍历所述第一图像的候选区域,以获取目标区域。
S1015、确定每个所述目标区域的中心像素点;
S1016、将每个所述第一图像的中心像素点与所述目标区域的中心像素点进行匹配,获取与所述第一图像对应的三维立体图像。
优选的,为了提高识别精度,需要提取出所述第一图像中的人体轮廓,在此人体轮廓的基础上,获取每一个像素点的像素信息,并从三维立体图像中获取与之对应的像素点距离信息,由于用户的人体应处于同一平面,因而拥有相近的像素点距离信息,故在识别之前,可以对三维立体图像中人体对应的像素点距离进行均值操作,以便人体轮廓内的人体与背景等干扰信息进行分离,从而高精度的提取出用户的人体。
进一步的,所述提取第一图像对应的三维立体图像中的人体轮廓,包括:
S1021、对与第一图像对应的三维立体图像建立距离信息的横向直方图及纵向直方图;
S1022、基于所述横向直方图和所述纵向直方图进行最小二乘法算法的直线提取处理;
S1023、在经过直线提取处理后的横向直方图中提取具有相同纵坐标的横向直线,以及在纵向直方图中提取具有相同横坐标的纵向直线。
S1024、根据所述横向直线和所述纵向直线获取所述第一图像对应的三维立体图像的人体轮廓。
U-MAP即为横向直方图,横坐标为X轴,纵坐标为距离Z。当针对三维图像建立U-MAP后,人体在U-MAP中将呈现为一条横线,在一定连续的X坐标内(人体宽度),保持同一距离Z。
同理,V-MAP即为纵向直方图,横坐标为距离Z,纵坐标为Y轴。当针对三维图像建立V-MAP后,人体在V-MAP中将呈现为一条纵线,在一定连续的Y坐标内(人体高度),保持同一距离Z。
通过两幅直方图的直线提取操作,可以互相校验,识别出人体。
对于人体轮廓提取的方式有多种,本发明实施例在此不再赘述,示例性的,该方法可以通过采用八邻域搜索法来实现。
对于步骤S104,根据所述N个三维立体图像确定的N个距离信息生成对应的终端显示字幕大小的调节指令,具体包括:
S1041:将获取到的第一距离信息与标准显示字幕数据库进行匹配,所述标准显示字幕数据库中预存有距离信息与显示字幕大小的对应关系,所述第一距离信息为基于任意一个三维立体图像中的人体轮廓确定的至少一个像素点对应的距离信息;
S1042:根据所述匹配结果生成终端显示字幕大小的调节指令。
例如,简单的,在标准显示字幕数据库中,如下表所示:
距离 0~1m 1m~3m 大于3m
字幕大小 正常
当然,表中所示数据仅为举例,在实际产品中,可能存在更多可调的字幕数据选项,并且距离与字幕大小的对应关系可以由用户通过终端的处理器进行修改。
如通过三维立体图像获得人体轮廓的距离信息为3.5m,此时与标准显示字幕数据库进行匹配时,可知对应的字幕大小为大,则进一步生成将终端显示字幕调整为大的调节指令。
可选的,还有另外一种实现方式,对于步骤S104,根据所述N个三维立体图像确定的N个距离信息生成对应的终端显示字幕大小的调节指令,具体包括:
S1043:比较获取到的N个三维立体图像确定的N个距离信息的大小,若所述N个距离信息标识的距离值逐渐递增,则生成显示字幕放大指令,若所述N个距离信息标识的距离逐渐减小,则生成显示字幕缩小指令。
若N为为3,即在预设时间内,左右摄像头分别拍摄了3副二维图像,并进一步的合成了3个三维立体图像,从这3个三维立体图像中可获知不同时间人体轮廓对应的距离,例如,三个距离按拍摄时间前后顺序分别为1m,1.4m,1.8m,比较这三组数据可知,人体轮廓的距离值逐渐递增,说明用户正在远离电视,此时,可生成显示字幕放大的指令,将原来的字幕的尺寸数据放大。相反,若三组数据逐渐递减,说明用户正在靠近电视,此时,可对应的生成字幕缩小指令,将字幕的尺寸减小。
此方式对应的S105:根据所述显示字幕大小的调节指令对所述终端的显示字幕进行放大或者缩小的调节,具体为:
按照预设的字幕数据放大或者缩小倍率,对所述终端的显示字幕进行放大或者缩小的调节。
如果用户处于不断的移动过程中,具体在识别用户的图像的像素点距离信息时,可根据获取到的多个相邻的三维立体图像之间的像素点距离变化信息通过跟踪算法,例如,联合概率数据关联滤波器(JPDAF)、多假设跟踪(MHT)算法、动态多位分配算法等与标准图像显示参数适配库进行匹配,以识别当前的用户所处的位置与智能终端之间的距离,并执行匹配结果相应的操作指令。进一步可产生相应的控制信号。
本发明实施例还提供了一种终端显示字幕的调节系统,如图5所示,该一种终端显示字幕的调节系统中的各个功能与本发明上述实施例中一种终端显示字幕的调节方法相对应,具体可以参考本发明上述实施例的描述,本发明实施例在此不再赘述。
如图5所示,该一种终端显示字幕的调节系统,在终端60中,包括:平行设置在终端上的第一摄像头601和第二摄像头602,运行在所述终端处理器上的图像处理系统603、图像识别系统604和执行系统605;
其中,所述第一摄像头601和第二摄像602头处于同一水平线上;
所述第一摄像头601和第二摄像602,用于在每个拍摄时刻拍摄一张包含人体的图像;
所述图像处理系统603,用于将预设时间内的N个拍摄时刻中的每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成N个三维立体图像,其中N为大于等于1的正整数;
所述图像识别系统604,用于提取所述N个三维立体图像中的人体轮廓;获取与所述人体轮廓中至少一个像素点对应的距离信息;
根据所述N个三维立体图像确定的N个距离信息生成对应的终端显示字幕大小的调节指令;
所述执行系统605,用于根据所述显示字幕大小的调节指令对所述终端的显示字幕进行放大或者缩小的调节。
本发明实施例提供一种终端显示字幕的调节系统,通过将预设时间内的N个拍摄时刻中每个拍摄时刻,第一摄像头和第二摄像头同一时刻分别拍摄的包含人体的图像合成N个三维立体图像,并基于所述三维立体图像获取人体轮廓中至少一个像素点对应的距离信息,根据N个距离信息生成终端显示字幕的调节指令,进而对显示字幕进行放大或者缩小的调节,与现有技术相比,通过双摄像头建立三维立体图像,通过该三维立体图像获取到人体轮廓的距离信息,根据距离信息实现最终字幕的调整,该显示字幕的调节方法确保了高实时性,高精度的对包含人体的图像进行距离识别,若距离信息变化,可实时的生成相应的字幕大小调节指令,利用三维成像技术和图像识别技术,排除了红外检测技术感知用户存在以及识别用户的距离的方式容易受周围环境影响,识别精度和灵敏度较差等问题,大幅度提高用户的操控体验。
可选的,基于所述第一摄像头和第一摄像头分别同时拍摄的包含人体的第一图像和二图像,所述图像处理系统603包括:
第一获取单元,用于获取所述第一图像的每个像素点;
建立单元,用于以所述第一图像的每个像素点为中心像素点建立预设窗口,其中,所述预设窗口包含按照预设距离,以所述中心像素点为中心的M个像素点;
第二获取单元,用于获取所述预设窗口的像素值
提取单元,用于根据所述预设窗口的像素值,从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域;
确定单元,用于确定每个所述目标区域的中心像素点;
生成单元,用于将每个所述第一图像的中心像素点与所述目标区域的中心像素点进行匹配,获取与所述第一图像对应的三维立体图像。
可选的,所述提取单元包括:
确定模块,用于确定所述第一像素点在所述第一图像中的坐标,并以所述第一像素点为中心建立第一预设窗口;
选取模块,用于在保持所述第一像素点纵坐标不变的情况下,从所述第二图像中选取每个候选区域,所述候选区域的窗口大小与所述第一预设窗口大小相同,且所述候选区域为以所述第二图像中任意一个像素点为中心像素点建立的,所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同;
计算模块,用于计算每个所述候选区域的像素值,所述像素值是指候选区域内所有像素点的灰度值之和;
判定模块,用于将所述所有候选区域的像素值中与所述第一预设窗口的像素值差异值最小的候选区域确定为目标区域。
可选的,所述图像识别系统604还包括:
距离匹配模块,用于将获取到的第一距离信息与标准显示字幕数据库进行匹配,所述标准显示字幕数据库中预存有距离信息与显示字幕大小的对应关系,所述第一距离信息为基于任意一个三维立体图像中的人体轮廓确定的至少一个像素点对应的距离信息;
字幕指令生成模块,用于根据距离匹配模块的匹配结果生成终端显示字幕大小的调节指令。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,简称ROM)、随机存取存储器(RandomAccessMemory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种终端显示字幕的调节方法,其特征在于,包括:
将预设时间内的N个拍摄时刻中每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成N个三维立体图像,其中N为大于等于1的正整数;
提取所述N个三维立体图像中的人体轮廓;
获取所述人体轮廓中至少一个像素点对应的距离信息;
根据所述N个三维立体图像确定的N个距离信息生成对应的终端显示字幕大小的调节指令;
根据所述显示字幕大小的调节指令对所述终端的显示字幕进行放大或者缩小的调节。
2.根据权利要求1所述的方法,其特征在于,对于第一图像和第二图像,将第一摄像头和第一摄像头分别同时拍摄的包含人体的第一图像和二图像合成三维立体图像,包括:
获取所述第一图像的每个像素点;
以所述第一图像的每个像素点为中心像素点建立预设窗口,其中,所述预设窗口包含按照预设距离,以所述中心像素点为中心的M个像素点;
获取所述预设窗口的像素值;
根据所述预设窗口的像素值,从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域;
确定每个所述目标区域的中心像素点;
将每个所述第一图像的中心像素点与所述目标区域的中心像素点进行匹配,获取与所述第一图像对应的三维立体图像。
3.根据权利要求2所述的方法,其特征在于,对于第一像素点,所述第一像素点为所述第一图像中所有像素点中的任意一个像素点,所述获取所述预设窗口的像素值,并根据所述预设窗口的像素值,从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域,包括:
确定所述第一像素点在所述第一图像中的坐标,并以所述第一像素点为中心建立第一预设窗口;
在保持所述第一像素点纵坐标不变的情况下,从所述第二图像中选取每个候选区域,所述候选区域的窗口大小与所述第一预设窗口大小相同,且所述候选区域为以所述第二图像中任意一个像素点为中心像素点建立的,所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同;
计算每个所述候选区域的像素值,所述像素值是指候选区域内所有像素点的灰度值之和;
将所述所有候选区域的像素值中与所述第一预设窗口的像素值差异值最小的候选区域确定为目标区域。
4.根据权利要求1所述的方法,其特征在于,所述提取所述三维立体图像中的人体轮廓,包括:
对与第一图像对应的三维立体图像建立距离信息的横向直方图及纵向直方图;
基于所述横向直方图和所述纵向直方图进行最小二乘法算法的直线提取处理;
在经过直线提取处理后的横向直方图中提取具有相同纵坐标的横向直线,以及在纵向直方图中提取具有相同横坐标的纵向直线;
根据所述横向直线和所述纵向直线获取所述第一图像对应的三维立体图像的人体轮廓。
5.根据权利要求1所述的方法,其特征在于,所述根据所述N个三维立体图像确定的N个距离信息生成对应的终端显示字幕大小的调节指令,具体包括:
将获取到的第一距离信息与标准显示字幕数据库进行匹配,所述标准显示字幕数据库中预存有距离信息与显示字幕大小的对应关系,所述第一距离信息为基于任意一个三维立体图像中的人体轮廓确定的至少一个像素点对应的距离信息;
根据所述匹配结果生成终端显示字幕大小的调节指令。
6.根据权利要求1所述的方法,其特征在于,所述根据所述N个三维立体图像确定的N个距离信息生成对应的终端显示字幕大小的调节指令,具体包括:
比较获取到的N个三维立体图像确定的N个距离信息的大小,若所述N个距离信息标识的距离值逐渐递增,则生成显示字幕放大指令,若所述N个距离信息标识的距离逐渐减小,则生成显示字幕缩小指令;
所述根据所述显示字幕大小的调节指令对所述终端的显示字幕进行放大或者缩小的调节,具体为:
按照预设的字幕数据放大或者缩小倍率,对所述终端的显示字幕进行放大或者缩小的调节。
7.一种终端显示字幕的调节系统,其特征在于,包括:平行设置在所述终端上的第一摄像头和第二摄像头,运行在所述终端处理器上的图像处理系统、图像识别系统和执行系统;
其中,所述第一摄像头和第二摄像头处于同一水平线上;
所述第一摄像头和第二摄像头,用于在每个拍摄时刻拍摄一张包含人体的图像;
所述图像处理系统,用于将预设时间内的N个拍摄时刻中的每个拍摄时刻,第一摄像头和第二摄像头分别同时拍摄的包含人体的图像合成N个三维立体图像,其中N为大于等于1的正整数;
所述图像识别系统,用于提取所述N个三维立体图像中的人体轮廓;
获取所述人体轮廓中至少一个像素点对应的距离信息;
根据所述N个三维立体图像确定的N个距离信息生成对应的终端显示字幕大小的调节指令;
所述执行系统,用于根据所述显示字幕大小的调节指令对所述终端的显示字幕进行放大或者缩小的调节。
8.根据权利要求7所述系统,其特征在于,基于所述第一摄像头和第一摄像头分别同时拍摄的包含人体的第一图像和二图像,所述图像处理系统包括:
第一获取单元,用于获取所述第一图像的每个像素点;
建立单元,用于以所述第一图像的每个像素点为中心像素点建立预设窗口,其中,所述预设窗口包含按照预设距离,以所述中心像素点为中心的M个像素点;
第二获取单元,用于获取所述预设窗口的像素值
提取单元,用于根据所述预设窗口的像素值,从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域;
确定单元,用于确定每个所述目标区域的中心像素点;
生成单元,用于将每个所述第一图像的中心像素点与所述目标区域的中心像素点进行匹配,获取与所述第一图像对应的三维立体图像。
9.根据权利要求8所述系统,其特征在于,所述提取单元包括:
确定模块,用于确定所述第一像素点在所述第一图像中的坐标,并以所述第一像素点为中心建立第一预设窗口;
选取模块,用于在保持所述第一像素点纵坐标不变的情况下,从所述第二图像中选取每个候选区域,所述候选区域的窗口大小与所述第一预设窗口大小相同,且所述候选区域为以所述第二图像中任意一个像素点为中心像素点建立的,所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同;
计算模块,用于计算每个所述候选区域的像素值,所述像素值是指候选区域内所有像素点的灰度值之和;
判定模块,用于将所述所有候选区域的像素值中与所述第一预设窗口的像素值差异值最小的候选区域确定为目标区域。
10.根据权利要求9所述的系统,其特征在于,所述图像识别系统还包括:
距离匹配模块,用于将获取到的第一距离信息与标准显示字幕数据库进行匹配,所述标准显示字幕数据库中预存有距离信息与显示字幕大小的对应关系,所述第一距离信息为基于任意一个三维立体图像中的人体轮廓确定的至少一个像素点对应的距离信息;
字幕指令生成模块,用于根据距离匹配模块的匹配结果生成终端显示字幕大小的调节指令。
CN201610121484.4A 2016-03-04 2016-03-04 一种终端显示字幕的调节方法和系统 Pending CN105681861A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610121484.4A CN105681861A (zh) 2016-03-04 2016-03-04 一种终端显示字幕的调节方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610121484.4A CN105681861A (zh) 2016-03-04 2016-03-04 一种终端显示字幕的调节方法和系统

Publications (1)

Publication Number Publication Date
CN105681861A true CN105681861A (zh) 2016-06-15

Family

ID=56307909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610121484.4A Pending CN105681861A (zh) 2016-03-04 2016-03-04 一种终端显示字幕的调节方法和系统

Country Status (1)

Country Link
CN (1) CN105681861A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106452413A (zh) * 2016-09-30 2017-02-22 广东美的制冷设备有限公司 防止按键被误触发的方法和装置
CN109756788A (zh) * 2017-11-03 2019-05-14 腾讯科技(深圳)有限公司 视频字幕自动调整方法及装置、终端及可读存储介质
CN112333401A (zh) * 2019-08-05 2021-02-05 福州瑞芯微电子股份有限公司 一种运动字幕区域检测方法、装置、系统、介质及设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071562A (zh) * 2006-05-12 2007-11-14 上海乐金广电电子有限公司 卡拉ok音频设备的字幕大小调节方法
CN102216977A (zh) * 2011-06-24 2011-10-12 华为终端有限公司 自动调节屏幕显示的方法及装置
CN102369550A (zh) * 2009-03-31 2012-03-07 松下电器产业株式会社 立体图像处理器和立体图像处理方法
CN102529959A (zh) * 2010-12-31 2012-07-04 财团法人车辆研究测试中心 车辆翻覆预防安全系统及其方法
CN102917232A (zh) * 2012-10-23 2013-02-06 深圳创维-Rgb电子有限公司 基于人脸识别的3d显示自适应调节方法和装置
CN102999939A (zh) * 2012-09-21 2013-03-27 魏益群 坐标获取装置、实时三维重建系统和方法、立体交互设备
CN103177236A (zh) * 2011-12-22 2013-06-26 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
CN103312863A (zh) * 2012-03-08 2013-09-18 中兴通讯股份有限公司 移动终端视频的呈现方法及装置
CN103458303A (zh) * 2012-05-28 2013-12-18 联想(北京)有限公司 一种显示方法以及电子设备
CN103712602A (zh) * 2013-12-09 2014-04-09 广西科技大学 一种基于双目视觉道路障碍物自动检测的方法
CN103871042A (zh) * 2012-12-12 2014-06-18 株式会社理光 基于视差图的视差方向上连续型物体检测方法和装置
CN104244053A (zh) * 2013-06-18 2014-12-24 联想(北京)有限公司 一种输出控制方法和电子设备
US20150046943A1 (en) * 2013-08-12 2015-02-12 Sony Corporation Automatic switching from primary to secondary audio during emergency broadcast

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071562A (zh) * 2006-05-12 2007-11-14 上海乐金广电电子有限公司 卡拉ok音频设备的字幕大小调节方法
CN102369550A (zh) * 2009-03-31 2012-03-07 松下电器产业株式会社 立体图像处理器和立体图像处理方法
CN102529959A (zh) * 2010-12-31 2012-07-04 财团法人车辆研究测试中心 车辆翻覆预防安全系统及其方法
CN102216977A (zh) * 2011-06-24 2011-10-12 华为终端有限公司 自动调节屏幕显示的方法及装置
CN103177236A (zh) * 2011-12-22 2013-06-26 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
CN103312863A (zh) * 2012-03-08 2013-09-18 中兴通讯股份有限公司 移动终端视频的呈现方法及装置
CN103458303A (zh) * 2012-05-28 2013-12-18 联想(北京)有限公司 一种显示方法以及电子设备
CN102999939A (zh) * 2012-09-21 2013-03-27 魏益群 坐标获取装置、实时三维重建系统和方法、立体交互设备
CN102917232A (zh) * 2012-10-23 2013-02-06 深圳创维-Rgb电子有限公司 基于人脸识别的3d显示自适应调节方法和装置
CN103871042A (zh) * 2012-12-12 2014-06-18 株式会社理光 基于视差图的视差方向上连续型物体检测方法和装置
CN104244053A (zh) * 2013-06-18 2014-12-24 联想(北京)有限公司 一种输出控制方法和电子设备
US20150046943A1 (en) * 2013-08-12 2015-02-12 Sony Corporation Automatic switching from primary to secondary audio during emergency broadcast
CN103712602A (zh) * 2013-12-09 2014-04-09 广西科技大学 一种基于双目视觉道路障碍物自动检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马超: "基于立体视觉的障碍物检测研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106452413A (zh) * 2016-09-30 2017-02-22 广东美的制冷设备有限公司 防止按键被误触发的方法和装置
CN109756788A (zh) * 2017-11-03 2019-05-14 腾讯科技(深圳)有限公司 视频字幕自动调整方法及装置、终端及可读存储介质
CN112333401A (zh) * 2019-08-05 2021-02-05 福州瑞芯微电子股份有限公司 一种运动字幕区域检测方法、装置、系统、介质及设备
CN112333401B (zh) * 2019-08-05 2022-11-01 瑞芯微电子股份有限公司 一种运动字幕区域检测方法、装置、系统、介质及设备

Similar Documents

Publication Publication Date Title
US10410364B2 (en) Apparatus and method for generating virtual reality content
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
CN105763917A (zh) 一种终端开机的控制方法和系统
EP3395066B1 (en) Depth map generation apparatus, method and non-transitory computer-readable medium therefor
CN107423409B (zh) 一种图像处理方法、图像处理装置和电子设备
US9165211B2 (en) Image processing apparatus and method
CN105704472A (zh) 一种识别儿童用户的电视控制方法和系统
CN105430501A (zh) 一种音量调节方法和系统
US8571274B2 (en) Person-judging device, method, and program
KR101347450B1 (ko) 듀얼 카메라를 이용한 화상 감지 방법 및 장치
TW201222288A (en) Image retrieving system and method and computer program product thereof
CN105592367A (zh) 一种图像显示参数调节方法和系统
US20160147795A1 (en) Methods of recognizing an object within an image by use of templates
EP3422145B1 (en) Provision of virtual reality content
CN105681861A (zh) 一种终端显示字幕的调节方法和系统
TW201351210A (zh) 操作區的決定方法與系統
TW201544995A (zh) 物件辨識方法與裝置
US10134164B2 (en) Information processing apparatus, information processing system, information processing method, and program
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
JP2006244272A (ja) 手位置追跡方法、装置、およびプログラム
CN102779278B (zh) 轮廓提取方法及系统
US9489727B2 (en) Method for generating a preferred image by replacing a region of a base image
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
JP2018147019A (ja) オブジェクト抽出装置、オブジェクト認識システム及びメタデータ作成システム
US10013736B1 (en) Image perspective transformation system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160615