CN115883939A - 显示设备及图像处理方法 - Google Patents
显示设备及图像处理方法 Download PDFInfo
- Publication number
- CN115883939A CN115883939A CN202111141229.3A CN202111141229A CN115883939A CN 115883939 A CN115883939 A CN 115883939A CN 202111141229 A CN202111141229 A CN 202111141229A CN 115883939 A CN115883939 A CN 115883939A
- Authority
- CN
- China
- Prior art keywords
- image
- image information
- information
- current speaker
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims abstract description 103
- 230000000694 effects Effects 0.000 claims abstract description 61
- 230000001815 facial effect Effects 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 abstract description 6
- 238000013461 design Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 239000010410 layer Substances 0.000 description 9
- 230000003993 interaction Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 241001156002 Anthonomus pomorum Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请实施例提供一种显示设备及图像处理方法,该显示设备,包括摄像头,被配置为获取会议的会议图像信息;控制器,与摄像头连接,被配置为:获取会议图像信息,并在会议图像信息中确定参与会议的当前发言人位置;根据当前发言人位置,通过摄像头获取当前发言人的面部图像信息;根据面部图像信息和预设目标图像成像效果库,确定当前发言人对应的图像成像目标值;根据图像成像目标值,对面部图像信息进行参数调整;显示屏,与控制器连接,被配置为显示参数调整后的面部图像信息,在各种场景下都可以将图像自动调整至最佳效果,提高了图像的清晰度,提高了用户体验。
Description
技术领域
本申请实施例涉及显示技术领域,尤其涉及一种显示设备及图像处理方法。
背景技术
远程会议是指利用现代化的通讯手段,实现跨区域召开会议的目的。随着信息通信技术的成熟,为了摆脱时间和交通成本的制约,远程会议系统已经在各行各业各种场景中有着广泛的应用,用户借助远程通信,可通过包含有摄像头及显示屏的显示设备实现与其他用户的会议。
相关技术中,显示设备在会议过程中采集参会人员图像并显示时,针对固定的会议场景通常设置一固定的图像参数,无法适应多变的应用场景,其次,若参会人员为多人,则将画面定位至发言人,直接将原始的图像画面切割放大,容易导致画面不清晰。
因此,现有的图像处理方法针对如人脸逆光或者阴天多人会议场景等复杂场景时,图像清晰度差。
发明内容
本申请实施例提供一种显示设备及图像处理方法,以解决现有的图像处理方法针对如人脸逆光或者阴天多人会议场景等复杂场景时,图像清晰度差。的技术问题。
第一方面,本申请实施例提供一种显示设备,包括:
摄像头,被配置为获取会议的会议图像信息;
控制器,与所述摄像头连接,被配置为:
确定参与会议的当前发言人位置;根据所述当前发言人位置,通过所述摄像头获取当前发言人的面部图像信息;根据所述面部图像信息和预设目标图像成像效果库,确定所述当前发言人对应的图像成像目标值;根据所述图像成像目标值,对所述面部图像信息进行参数调整;
显示屏,与所述控制器连接,被配置为显示参数调整后的面部图像信息。
这里,本申请实施例提供的显示设备,可以在采集参与会议的当前发言人的面部图像信息之后,根据预设目标图像成像效果库确定当前发言人对应的图像成像目标值,从而对图像进行参数调整,达到了会议过程中图像自动调节的效果,以使显示设备能够在远程会议时清晰地显示发言人的面部图像,能够适应多种多样的复杂场景,在各种场景下都可以将图像自动调整至最佳效果,提高了图像的清晰度,提高了用户体验。
在一种可能的设计中,所述面部图像信息包括亮度信息、饱和度信息、对比度信息和清晰度信息中的至少一种;
相应的,所述控制器具体用于:
根据目标亮度,对所述亮度信息进行调整;
和/或,
根据目标饱和度,对所述饱和度信息进行调整;
和/或,
根据目标对比度,对所述对比度信息进行调整;
和/或,
根据目标清晰度,对所述清晰度信息进行调整。
这里,本申请实施例可以预先设置图像在呈现最佳效果时的目标亮度、目标饱和度、目标对比度和目标清晰度,可分别针对图像信息的亮度、饱和度、对比度和清晰度进行调整,以充分保证图像的显示效果,进一步地提高了用户体验。
在一种可能的设计中,所述控制器具体用于:
根据声源定位原理,确定参与会议的当前发言人位置。
通过声源定位,本申请实施例可以准确识别在会议中的发言人并实时追踪发言人,有针对性地调优当前发言人画面显示效果,提高用户体验。
在一种可能的设计中,所述预设目标图像成像效果库包括多个人像类型和每个人像类型对应的预设成像目标值;
所述控制器具体用于:
将所述面部图像信息与人像类型进行匹配,将匹配成功的人像类型对应的预设成像目标值确定为所述当前发言人对应的图像成像目标值。
其中,本申请实施例的预设目标图像成像效果库中包括多个人像类型和每个人像类型对应的预设成像目标值,在确定当前发言人对应的图像成像目标值时,可以首先将当前发言人的面部图像信息与人像类型进行匹配,通过当前发言人的人像类型确定图像成像目标值,针对不同类型的人像,可匹配不同的图像成像目标值,从而可以适应不同的人像及场景,进一步地提高了远程会议的视频清晰度和效果,提高了用户体验。
在一种可能的设计中,所述控制器,在所述根据所述面部图像信息和预设目标图像成像效果库,确定所述当前发言人对应的图像成像目标值之前,具体用于:
获取多个人脸图像数据样本;
对所述人脸图像数据样本进行分类处理,得到多个人像类型;
确定每个所述人脸类型对应的预设成像目标值;
根据所述人脸类型和所述人脸类型对应的预设成像目标值,建立预设目标图像成像效果库。
这里,本申请实施例可通过多个不同的人脸图像数据样本,建立预设目标图像成像效果库,根据分类处理,确定了不同的人像类型,针对不同的人像类型确定其最佳的预设成像目标值,从而就可以有针对性地对不同的应用场景进行人像图像的优化,进一步地提高了图像处理的效率,提高了用户体验。
在一种可能的设计中,所述控制器具体用于:
通过调节摄像机图像参数,对所述面部图像信息进行参数调整。
在一种可能的设计中,所述控制器具体用于:
通过调节显示屏图像参数,对所述面部图像信息进行参数调整。
这里,本申请实施例可以通过调整摄像机参数和调整显示屏参数两种途径来实现图像信息的参数调整,全面且高效地保证了图像的清晰度和图像呈现效果,进一步地提高了用户体验。
在一种可能的设计中,所述控制器还用于:
发送参数调整后的图像信息。
所述控制器还用于:
接收远程图像信息;
相应的,所述显示屏还用于显示所述远程图像信息。
本申请实施例中的显示设备可以在远程会议中,调整自身摄像头采集的会议图像,高清且高效地显示在显示屏中,也可以将调整后的优化图像发送至远程会议的其他设备中,以使远程参会人员能够显示优化的图像信息,同时还可以接收其它设备发送的信息,提高了远程会议的效果,提高了用户体验。
第二方面,本申请实施例提供一种图像处理方法,包括:
确定参与会议的当前发言人位置;
根据所述当前发言人位置,获取当前发言人的面部图像信息;
根据所述面部图像信息和预设目标图像成像效果库,确定所述当前发言人对应的图像成像目标值;
根据所述图像成像目标值,对所述面部图像信息进行参数调整。
在一种可能的设计中,所述面部图像信息包括亮度信息、饱和度信息、对比度信息和清晰度信息中的至少一种;
相应的,所述根据所述图像成像目标值,对所述面部图像信息进行参数调整,包括:
根据目标亮度,对所述亮度信息进行调整;
和/或,
根据目标饱和度,对所述饱和度信息进行调整;
和/或,
根据目标对比度,对所述对比度信息进行调整;
和/或,
根据目标清晰度,对所述清晰度信息进行调整。
在一种可能的设计中,所述确定参与会议的当前发言人位置,包括:
根据声源定位原理,追踪确定参与会议的当前发言人位置。
在一种可能的设计中,所述预设目标图像成像效果库包括多个人像类型和每个人像类型对应的预设成像目标值;
所述根据所述面部图像信息和预设目标图像成像效果库,确定所述当前发言人对应的图像成像目标值,包括:
将所述面部图像信息与人像类型进行匹配,将匹配成功的人像类型对应的预设成像目标值确定为所述当前发言人对应的图像成像目标值。
在一种可能的设计中,在所述根据所述面部图像信息和预设目标图像成像效果库,确定所述当前发言人对应的图像成像目标值之前,还包括:
获取多个人脸图像数据样本;
对所述人脸图像数据样本进行分类处理,得到多个人像类型;
确定每个所述人脸类型对应的预设成像目标值;
根据所述人脸类型和所述人脸类型对应的预设成像目标值,建立预设目标图像成像效果库。
在一种可能的设计中,所述对所述面部图像信息进行参数调整,包括:
通过调节摄像机图像参数,对所述面部图像信息进行参数调整。
在一种可能的设计中,所述对所述面部图像信息进行参数调整,包括:
通过调节显示屏图像参数,对所述面部图像信息进行参数调整。
在一种可能的设计中,该方法还包括:发送参数调整后的图像信息。
在一种可能的设计中,该方法还包括:接收远程图像信息;显示所述远程图像信息。
本实施例提供的显示设备及图像处理方法,该显示设备可以在采集参与会议的当前发言人的面部图像信息之后,根据预设目标图像成像效果库确定当前发言人对应的图像成像目标值,从而对图像进行参数调整,达到了会议过程中图像自动调节的效果,以使显示设备能够在远程会议时清晰地显示发言人的面部图像,能够适应多种多样的复杂场景,在各种场景下都可以将图像自动调整至最佳效果,提高了图像的清晰度,提高了用户体验。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1中示例性示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图;
图2中示例性示出了根据一些实施例的显示设备200的硬件配置框图;
图3中示例性示出了根据一些实施例的控制装置100的硬件配置框图;
图4中示例性示出了根据一些实施例的显示设备200中软件配置示意图;
图5中示例性示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示示意图;
图6中示例性示出了根据一些实施例的显示设备200的应用场景示意图;
图7中示例性示出了根据一些实施例的图像处理方法的流程示意图;
图8中示例性示出了根据一些实施例的亮度调节参数的函数变化示意图;
图9中示例性示出了根据一些实施例的清晰度调节方法的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请中使用的术语“遥控器”,是指电子设备(如本申请中公开的显示设备)的一个组件,通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接,也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请中使用的术语“手势”,是指用户通过一种手型的变化或手部运动等动作,用于表达预期想法、动作、目的/或结果的用户行为。
图1为根据本申请一个或多个实施例的显示设备与控制装置之间操作场景的示意图,如图1所示,用户可通过移动终端300和控制装置100操作显示设备200。控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信、蓝牙协议通信,无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键,语音输入、控制面板输入等输入用户指令,来控制显示设备200。在一些实施例中,也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。
在一些实施例中,移动终端300可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。也可以将移动终端300上显示音视频内容传输到显示设备200上,实现同步显示功能显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。显示设备200,可以液晶显示器、OLED显示器、投影显示设备。显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。通信接口130用于和外部通信,包含WIFI芯片,蓝牙模块,NFC或可替代模块中的至少一种。用户输入/输出接口140包含麦克风,触摸板,传感器,按键或可替代模块中的至少一种。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。如图3所示显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。控制器包括中央处理器,视频处理器,音频处理器,图形处理器,RAM,ROM,用于输入/输出的第一接口至第n接口。显示器260可为液晶显示器、OLED显示器、触控显示器以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及EPG数据信号。检测器230用于采集外部环境或与外部交互的信号。控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
图4为根据本申请一个或多个实施例的显示设备200中软件配置示意图,如图4所示,将系统分为四层,从上至下分别为应用程序(Applications)层(简称“应用层”),应用程序框架(Application Framework)层(简称“框架层”),安卓运行时(Android runtime)和系统库层(简称“系统运行库层”),以及内核层。内核层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。
图5为根据本申请一个或多个实施例的显示设备200中应用程序的图标控件界面显示示意图,如图5中所示,应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件,如:直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。直播电视应用程序,可以通过不同的信号源提供直播电视。视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。应用程序中心,可以提供储存各种应用程序。
近年来,远程会议软件越来越多地出现在人们的工作中,随之而来的是用户对于会议软件中的图像效果愈发关注,也对可用于远程会议的显示设备提出了更高的显示要求。图6为根据本申请一个或多个实施例的显示设备200的应用场景示意图,如图6所示,实际应用中可以考虑如下场景:显示设备200可连接一个或多个显示设备,图中以参与远程会议总共包括4个显示设备(显示设备200、显示设备201、显示设备202和显示设备203)为例,显示设备之间可通过服务器400实现连接,在具体的应用场景中,显示设备的数据不作具体限制。其中,显示设备200、显示设备201、显示设备202和显示设备203分别包括摄像头和显示屏(摄像头2001、显示屏2002、摄像头2011、显示屏2012、摄像头2021、显示屏2022、摄像头2031和显示屏2032),每个显示设备可以通过各自的摄像头采集参与会议的图像信息,并显示在自身显示屏上,同时将采集到的图像信息发送给其他显示设备,以使其他显示设备的显示屏显示图像信息,通过显示设备之间的交互时间远程会议的目的。
目前的显示设备使用的摄像头大多仅能对单一固定场景实现调节图像效果,面对复杂场景如人脸逆光或者阴天多人会议场景等,无法单独针对参会者面部进行图像效果优化,同时在发言人追踪功能的场景中,当定位到具体发言人时,通常是由电子变焦实现将全景画面切割放大输出,但是这样的方式会直接带来清晰度下降的问题,参与会议的用户无法得到清晰的图像,用户体验不佳。
为了解决上述技术问题,发明人通过研究发现,可以预先针对不同图像匹配能够优良成像的目标参数,通过目标参数自动对图像信息进行调整,使得图像的各项参数都在最佳成像范围内,即使在不同的复杂场景下,图像都能够呈现最佳效果。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图7为本申请实施例提供的一种图像处理方法的流程示意图,该方法的执行主体可以为图1中的显示设备200或者显示设备的控制器,如图7所示,该方法包括:
S701:确定参与会议的当前发言人位置。
在一些实施例中,根据声源定位原理,追踪确定参与会议的当前发言人位置。
其中,声源定位技术主要的研究是确定被接收信号源处于接收传感器的相对方向和距离,即方向估计(bearing estimatin,BE)和距离估计(range estimatin,RE)。显示设备可以基于传感器进行方向估计和距离估计从而定位当前发言人的位置,可选地,本申请实施例可通过基于麦克风阵列的声源定位方法、基于双耳听觉机理的声源定位方法或者基于光学传感方式的声源定位方法实现对当前发言人位置的确定和对当前发言人的追踪。
通过声源定位,本申请实施例可以准确识别在会议中的发言人并实时追踪发言人,有针对性地调优当前发言人画面显示效果,提高用户体验。
S702:根据当前发言人位置,获取当前发言人的面部图像信息。
在一些实施例中,显示设备在追踪到发言人位置之后,可以通过摄像头获取当前发言人的面部图像信息。
在一些实施例中,面部图像信息包括亮度信息、饱和度信息、对比度信息和清晰度信息中的至少一种,也可以包括图像频率信息等。
在一些实施例中,可以通过Brenner梯度函数、Reblur二次模糊等算法提取摄像头拍摄的面部图像信息。
S703:根据面部图像信息和预设目标图像成像效果库,确定当前发言人对应的图像成像目标值。
在一些实施例中,预设目标图像成像效果库包括多个人像类型和每个人像类型对应的预设成像目标值;根据面部图像信息和预设目标图像成像效果库,确定当前发言人对应的图像成像目标值,包括:将面部图像信息与人像类型进行匹配,将匹配成功的人像类型对应的预设成像目标值确定为当前发言人对应的图像成像目标值。
在一些实施例中,预设目标图像成像效果库可以通过以下方法建立:获取多个人脸图像数据样本;对人脸图像数据样本进行分类处理,得到多个人像类型;确定每个人脸类型对应的预设成像目标值;根据人脸类型和人脸类型对应的预设成像目标值,建立预设目标图像成像效果库。
可选地,对人脸图像数据样本进行分类处理,得到多个人像类型的方式可以为:通过聚类算法,对人脸图像数据样本进行聚类,以得到多个人像类型。
在一些场景下,针对确定当前发言人对应的图像成像目标值的方式可以为:将面部图像信息与人像类型中的图像信息进行聚类处理,以确定当前发言人对应的人像类型。
可选地,对人脸图像数据样本进行分类处理,得到多个人像类型的方式可以为:预先设置多个不同的人像类型,并针对每个人像类型设置不同的图像参数范围。例如,将人像类型分为第一类人像类型、第二类人像类型和第三类人像类型,其中,第一类人像类型需满足的条件为亮度在第一预设亮度范围、对比度在第一预设对比度范围,第二类人像类型需满足的条件为亮度在第二预设亮度范围、对比度在第二预设对比度范围,第三类人像类型需满足的条件为亮度在第三预设亮度范围、对比度在第三预设对比度范围。可以理解的是,上述分类仅是示意性的,人像类型划分的参数类型和参数值可以根据实际情况确定,本申请实施例对此不作具体限制。
在一些场景下,针对确定当前发言人对应的图像成像目标值的方式可以为:将面部图像信息与人像类型中的图像参数范围进行匹配,若符合某种图像参数范围,则确定当前发言人对应的人像类型。
在一些实施例中,得到多个人像类型之后,可以针对每个人像类型设置预设成像目标值,其中,预设成像目标值可以包括目标亮度、目标饱和度、目标对比度和目标清晰度中的至少一种,也可以包括目标频率信息等其他参数。
在一些实施例中,针对每个人像类型设置预设成像目标值的方式具体为:针对同一人像类型,筛选出最佳人像类型图像,根据最佳人像类型图像的参数值确定预设成像目标值。
本申请实施例的预设目标图像成像效果库中包括多个人像类型和每个人像类型对应的预设成像目标值,在确定当前发言人对应的图像成像目标值时,可以首先将当前发言人的面部图像信息与人像类型进行匹配,通过当前发言人的人像类型确定图像成像目标值,针对不同类型的人像,可匹配不同的图像成像目标值,从而可以适应不同的人像及场景,进一步地提高了远程会议的视频清晰度和效果,提高了用户体验。
S704:根据图像成像目标值,对面部图像信息进行参数调整。
在一些实施例中,采集当前发言人面部图像信息,包括亮度,饱和度,图像频率信息等之后,可以将各参数与最佳成像效果库中的目标图像参数做对比,根据预定的变化收敛时间和当前图像参数与目标图像参数的差值,确定图像参数调节系数,在预定时间内调整图像参数,使达到预定收敛时间时,图像参数达到目标图像参数,图像效果达到最佳成像效果。
在一些实施例中,根据图像成像目标值,对面部图像信息进行参数调整包括:根据目标亮度,对亮度信息进行调整;和/或,根据目标饱和度,对饱和度信息进行调整;和/或,根据目标对比度,对对比度信息进行调整;和/或,根据目标清晰度,对清晰度信息进行调整。
这里,本申请实施例可以预先设置图像在呈现最佳效果时的目标亮度、目标饱和度、目标对比度和目标清晰度,可分别针对图像信息的亮度、饱和度、对比度和清晰度进行调整,以充分保证图像的显示效果,进一步地提高了用户体验。
在一些实施例中,可以通过调节摄像机图像参数,对面部图像信息进行参数调整。
在一些实施例中,可以通过调节显示屏图像参数,对面部图像信息进行参数调整。
在一些实施例中,调节图像信息的参数,包括但不限于摄像机图像参数和显示屏产品图像参数。
可选地,摄像机图像参数包括但不限于:曝光,伽马,亮度,清晰度等,显示屏产品图像参数包括但不限于:亮度,对比度,色度,伽马,清晰度等。
这里,本申请实施例可以通过调整摄像机参数和调整显示屏参数两种途径来实现图像信息的参数调整,全面且高效地保证了图像的清晰度和图像呈现效果,进一步地提高了用户体验。
下面将通过示范性的例子具体说明对面部图像信息进行参数调整的方式。
在一些可行的场景中,图8为本申请实施例提供的一种亮度调节参数的函数变化示意图。如图8所示,图像输出亮度L在[L1,L2]区间。根据实验数据得到人脸最佳成像的亮度值在[Lmin,Lmax]区间,此区间内人脸亮度效果达到最佳。因此对图像的亮度参数进行调节:根据声源定位,追踪到当前发言人位置;采集当前发言人面部图像亮度信息L0,若L0∈[Lmin,Lmax],说明当前图像效果属于最佳成像,无需调整;若L0<Lmin或L0>Lmax,说明当前图像效果不属于最佳成像,需要调整。
在图8所示的场景中,若图像亮度L0=L1,或者L0=L2,那么在T时刻,图像的亮度调整至[Lmin,Lmax]之前,那么停止参数的调整,预设图像参数变化的收敛时间为T,表示在T时间内图像参数调节结束。
可选的,如图8所示,L随时间t变化函数为:
可以理解的是,上述亮度调节函数仅为举例说明的一种亮度调节实现方式,本申请实施例的参数调节不限于此种函数关系。
在一些实施例中,图像亮度L的调节可以通过调整摄像机参数和调整显示屏参数两种途径来实现。调整摄像机参数具体方法介绍如下:
第一,调整曝光设置,可通过调整曝光时间,调整曝光增益等方式,改变当前画面的曝光设置,优先保证当前发言人的人脸图像的效果进行设置;
第二,调整亮度对比度参数,通过提高或降低整体图像的亮度对比度参数,改变当前发言人的面部亮度,使其达到预定的图像亮度输出范围。
第三,调整整体伽马曲线,通过改变输出的伽马系数,改变当前发言人面部图像的输出亮度。
其中,显示屏的亮度调节方式与摄像机调节方式类似,在此不作赘述。饱和度的调节方式与亮度调节类似。
清晰度的调节主要应用于具有发言人追踪功能的场景,在这种场景中,当声源定位到具体发言人时会将画面放大,聚焦到当前发言人,而这种聚焦通常是由电子变焦实现的,即将全景画面切割放大输出,非光学变焦。这种会直接带来主观上清晰度下降,体验不佳。因此本申请实施例可进行参数的调节以保证图像的清晰度。
在一些实施例中,可以通过采集当前图像的频率信息和焦距放大倍数来实现清晰度的调节。
在一些可行的应用场景下,可以通过采集当前发言人面部信息的频率信息,判断当前画面的清晰程度。
可选地,可以通过Brenner梯度函数、Reblur二次模糊等算法确定清晰度。
图9为本申请实施例提供的一种清晰度调节方法的流程示意图,如图9所所示,可以通过在摄像头端和显示屏端进行清晰度的调节(这里的显示屏端的调节包括显示设备本身的显示屏,也可以是对参与会议的其它显示设备的显示屏的调节):
在一些实施例中,调节清晰度的方式如下:当判定当前图像清晰程度小于预设阈值时,通过增加图像的清晰度或降低2D数字降噪(2DNR)强度,增强锐化,释放更多高频细节。
在一些实施例中,调节清晰度的方式如下:焦距放大倍数可通过摄像头传输给显示屏,根据当前获取的原始码流分辨率信息和焦距放大倍数,得到此时实际的图像分辨率大小,再根据实际图像分辨率大小,调用不同的预设清晰度和曝光NR设置,以达到最佳的图像效果。
在一些可行的应用场景下,本申请实施例可以发送参数调整后的图像信息。
在一些可行的应用场景下,本申请实施例可以接收远程图像信息,显示远程图像信息。
可选地,这里的远程图像信息可以是其他显示设备通过上述任一实施例中的图像处理方法进行参数优化后的图像。
本申请实施例中的显示设备可以在远程会议中,调整自身摄像头采集的会议图像,高清且高效地显示在显示屏中,也可以将调整后的优化图像发送至远程会议的其他设备中,以使远程参会人员能够显示优化的图像信息,同时还可以接收其它设备发送的信息,提高了远程会议的效果,提高了用户体验。
本申请实施例还提供一种显示设备,包括:摄像头,被配置为获取会议的会议图像信息;与摄像头连接的控制器,被配置为:确定参与会议的当前发言人位置;根据当前发言人位置,通过摄像头获取当前发言人的面部图像信息;根据面部图像信息和预设目标图像成像效果库,确定当前发言人对应的图像成像目标值;根据图像成像目标值,对面部图像信息进行参数调整;与控制器连接的显示屏,被配置为显示参数调整后的面部图像信息。
在一种可能的设计中,面部图像信息包括亮度信息、饱和度信息、对比度信息和清晰度信息中的至少一种;相应的,控制器具体用于:根据目标亮度,对亮度信息进行调整;和/或,根据目标饱和度,对饱和度信息进行调整;和/或,根据目标对比度,对对比度信息进行调整;和/或,根据目标清晰度,对清晰度信息进行调整。
在一种可能的设计中,控制器具体用于:根据声源定位原理,确定参与会议的当前发言人位置。
在一种可能的设计中,预设目标图像成像效果库包括多个人像类型和每个人像类型对应的预设成像目标值;控制器具体用于:将面部图像信息与人像类型进行匹配,将匹配成功的人像类型对应的预设成像目标值确定为当前发言人对应的图像成像目标值。
在一种可能的设计中,控制器,在根据面部图像信息和预设目标图像成像效果库,确定当前发言人对应的图像成像目标值之前,具体用于:获取多个人脸图像数据样本;对人脸图像数据样本进行分类处理,得到多个人像类型;确定每个人脸类型对应的预设成像目标值;根据人脸类型和人脸类型对应的预设成像目标值,建立预设目标图像成像效果库。
在一种可能的设计中,控制器具体用于:通过调节摄像机图像参数,对面部图像信息进行参数调整。在一种可能的设计中,控制器具体用于:通过调节显示屏图像参数,对面部图像信息进行参数调整。
在一种可能的设计中,控制器还用于:发送参数调整后的图像信息。控制器还用于:接收远程图像信息;相应的,显示屏还用于显示远程图像信息。
本申请实施例提供的显示设备,可与如上述实施例的其他显示设备相配合实现图像处理和远程会议,其实现原理和技术效果类似,本实施例此处不再赘述。
本申请实施例提供的显示设备还可应用于大屏投影,无需与其它显示设备相结合,通过摄像头采集图像信息,将图像信息经过上述图像处理方法进行处理后,显示在任意屏幕显示设备上,以提高用户观看屏幕的体验。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种显示设备,其特征在于,包括:
摄像头,被配置为获取会议的会议图像信息;
控制器,与所述摄像头连接,被配置为:
获取所述会议图像信息,并在所述会议图像信息中确定参与会议的当前发言人位置;根据所述当前发言人位置,通过所述摄像头获取当前发言人的面部图像信息;根据所述面部图像信息和预设目标图像成像效果库,确定所述当前发言人对应的图像成像目标值;根据所述图像成像目标值,对所述面部图像信息进行参数调整;
显示屏,与所述控制器连接,被配置为显示参数调整后的面部图像信息。
2.根据权利要求1所述的显示设备,其特征在于,所述面部图像信息包括亮度信息、饱和度信息、对比度信息和清晰度信息中的至少一种;
相应的,所述控制器具体用于:
根据目标亮度,对所述亮度信息进行调整;
和/或,
根据目标饱和度,对所述饱和度信息进行调整;
和/或,
根据目标对比度,对所述对比度信息进行调整;
和/或,
根据目标清晰度,对所述清晰度信息进行调整。
3.根据权利要求1所述的显示设备,其特征在于,所述预设目标图像成像效果库包括多个人像类型和每个人像类型对应的预设成像目标值;
所述控制器具体用于:
将所述面部图像信息与人像类型进行匹配,将匹配成功的人像类型对应的预设成像目标值确定为所述当前发言人对应的图像成像目标值。
4.根据权利要求1至3任一项所述的显示设备,其特征在于,所述控制器,在所述根据所述面部图像信息和预设目标图像成像效果库,确定所述当前发言人对应的图像成像目标值之前,具体用于:
获取多个人脸图像数据样本;
对所述人脸图像数据样本进行分类处理,得到多个人像类型;
确定每个所述人脸类型对应的预设成像目标值;
根据所述人脸类型和所述人脸类型对应的预设成像目标值,建立预设目标图像成像效果库。
5.根据权利要求1至3任一项所述的显示设备,其特征在于,所述控制器具体用于:
通过调节摄像机图像参数,对所述面部图像信息进行参数调整。
6.根据权利要求1至3任一项所述的显示设备,其特征在于,所述控制器具体用于:
通过调节显示屏图像参数,对所述面部图像信息进行参数调整。
7.根据权利要求1至3任一项所述的显示设备,其特征在于,所述控制器具体用于:
根据声源定位原理,追踪确定参与会议的当前发言人位置。
8.根据权利要求1至3任一项所述的显示设备,其特征在于,所述控制器还用于:
发送参数调整后的图像信息。
9.根据权利要求1至3任一项所述的显示设备,其特征在于,所述控制器还用于:
接收远程图像信息;
相应的,所述显示屏还用于显示所述远程图像信息。
10.一种图像处理方法,其特征在于,包括:
确定参与会议的当前发言人位置;
根据所述当前发言人位置,获取当前发言人的面部图像信息;
根据所述面部图像信息和预设目标图像成像效果库,确定所述当前发言人对应的图像成像目标值;
根据所述图像成像目标值,对所述面部图像信息进行参数调整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111141229.3A CN115883939A (zh) | 2021-09-28 | 2021-09-28 | 显示设备及图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111141229.3A CN115883939A (zh) | 2021-09-28 | 2021-09-28 | 显示设备及图像处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115883939A true CN115883939A (zh) | 2023-03-31 |
Family
ID=85763303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111141229.3A Pending CN115883939A (zh) | 2021-09-28 | 2021-09-28 | 显示设备及图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115883939A (zh) |
-
2021
- 2021-09-28 CN CN202111141229.3A patent/CN115883939A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022001407A1 (zh) | 一种摄像头的控制方法及显示设备 | |
US10574933B2 (en) | System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay | |
US6380968B1 (en) | Method and apparatus for controlling a remote video camera in a video conferencing system | |
JP5190117B2 (ja) | 可変画質を有する写真を生成するシステム及び方法 | |
JP4902795B2 (ja) | 表示装置、テレビジョン受像機、表示装置の制御方法、プログラム及び記録媒体 | |
KR102266901B1 (ko) | 디스플레이 장치 및 디스플레이 방법 | |
CN103945121A (zh) | 一种信息处理方法及电子设备 | |
US9491401B2 (en) | Video call method and electronic device supporting the method | |
CN102202206B (zh) | 通信设备 | |
CN114531564B (zh) | 处理方法及电子设备 | |
KR101570694B1 (ko) | 영상표시장치 및 그 동작방법 | |
US9602758B2 (en) | Communication apparatus, conference system, computer-readable recording medium, and display control method | |
KR101311463B1 (ko) | 원격 영상정보 제공시스템 | |
KR20160134043A (ko) | 디스플레이 장치 및 그의 동작 방법 | |
WO2021095598A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、端末装置、端末装置の制御方法および制御プログラム | |
KR101024705B1 (ko) | 영상 처리 장치 및 방법 | |
US11756302B1 (en) | Managing presentation of subject-based segmented video feed on a receiving device | |
CN115883939A (zh) | 显示设备及图像处理方法 | |
CN109391769A (zh) | 控制设备、控制方法和存储介质 | |
KR20170031941A (ko) | 디스플레이 장치 및 그의 휘도 제어 방법 | |
JP4371170B2 (ja) | 撮像装置、画像記録装置および画像記録方法 | |
JP6565777B2 (ja) | 通信装置、会議システム、プログラムおよび表示制御方法 | |
JP2008153876A (ja) | 画像表示システム、カメラ装置、表示処理装置、および、表示倍率変更方法 | |
US11838677B2 (en) | Composite presentation surface and presenter imaging for a multiple camera transmitting device in a video communication session | |
US20240098212A1 (en) | Multiple camera field of view frame stitching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |