CN110996084A - 投影图像处理方法、装置、投影设备及存储介质 - Google Patents

投影图像处理方法、装置、投影设备及存储介质 Download PDF

Info

Publication number
CN110996084A
CN110996084A CN201911349577.2A CN201911349577A CN110996084A CN 110996084 A CN110996084 A CN 110996084A CN 201911349577 A CN201911349577 A CN 201911349577A CN 110996084 A CN110996084 A CN 110996084A
Authority
CN
China
Prior art keywords
image
projection
target
face
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911349577.2A
Other languages
English (en)
Other versions
CN110996084B (zh
Inventor
钟波
肖适
王鑫
宁仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jimi Technology Co Ltd
Original Assignee
Chengdu Jimi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jimi Technology Co Ltd filed Critical Chengdu Jimi Technology Co Ltd
Priority to CN201911349577.2A priority Critical patent/CN110996084B/zh
Publication of CN110996084A publication Critical patent/CN110996084A/zh
Application granted granted Critical
Publication of CN110996084B publication Critical patent/CN110996084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及投影技术领域,具体而言,涉及一种投影图像处理方法、装置、投影设备及存储介质。投影图像处理方法包括:获取摄像机拍摄的投影场景图像,当投影场景图像中包括至少一张人脸图像时,从至少一张人脸图像中,确定出与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,并从第一目标图像中,确定出用于表征人眼区域的第二目标图像,此后,从投影设备的当前待输出图像中,确定出与第二目标图像位置对应的目标投影区域,再降低目标投影区域的投影亮度。本申请实施例提供的投影图像处理方法、装置、投影设备及存储介质,能够提高投影设备的安全使用性能。

Description

投影图像处理方法、装置、投影设备及存储介质
技术领域
本申请涉及投影技术领域,具体而言,涉及一种投影图像处理方法、装置、投影设备及存储介质。
背景技术
投影设备,又称投影仪或投影机,是一种可以将图像内容投影到投影面(例如,墙壁、幕布)上的电子设备。投影设备所使用的光源可以是传统的高强度气体放电光源(例如,超高压汞灯、短弧氙灯、金属卤素灯),也可以是LED光源、激光光源等新型光源。基于此,可以理解的是,当有人员进入投影场景,且直视投影设备的光源时,投影设备的光源可能会损伤人员的眼睛。因此,如何避免投影设备的光源损伤人员的眼睛,以提高投影设备的安全使用性能,成为投影技术领域亟待解决的技术问题。
发明内容
本申请实施例的目的在于,提供一种投影图像处理方法、装置、投影设备及存储介质以解决上述问题。
第一方面,本申请实施例提供的投影图像处理方法,包括:
获取摄像机拍摄的投影场景图像;
当投影场景图像中包括至少一张人脸图像时,从至少一张人脸图像中,确定出与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,并从第一目标图像中,确定出用于表征人眼区域的第二目标图像,目标人脸图像为进入投影场景中的人员的人脸图像;
从投影设备的当前待输出图像中,确定出与第二目标图像位置对应的目标投影区域;
降低目标投影区域的投影亮度。
在上述实施方式中,由于目标人脸图像为进入投影场景中的人员的人脸图像,因此,从投影场景图像包括的至少一张人脸图像中,确定出的与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,则用于表征进入投影场景中人员的人脸,第二目标图像用于表征进入投影场景中人员的人眼区域,如此,当从投影设备的当前待输出图像中,确定出与第二目标图像位置对应的目标投影区域,再降低目标投影区域的投影亮度之后,即使进入投影场景中的人员直视投影设备的光源,也能够避免该人员的眼睛受到损伤,从而提高投影设备的安全使用性能。
结合第一方面,本申请实施例还提供了第一方面的第一种可选的实施方式,当投影场景图像中包括至少一张人脸图像时,从至少一张人脸图像中,确定出与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,并从第一目标图像中,确定出用于表征人眼区域的第二目标图像之前,投影图像处理方法,还包括:
获取人脸样本数据集,人脸样本数据集中包括叠加有投影画面内容的第一人脸图像和未叠加投影画面内容的第二人脸图像;
构建预设模型,并基于人脸样本数据集,对预设模型进行训练,获得目标人脸识别模型;
通过目标人脸识别模型,对投影场景图像进行识别,以从投影场景图像中,确定出所有人脸图像。
在上述实施方式中,由于人脸样本数据集中包括叠加有投影画面内容的第一人脸图像和未叠加投影画面内容的第二人脸图像,因此,构建预设模型,并基于人脸样本数据集,对预设模型进行训练,获得目标人脸识别模型之后,通过目标人脸识别模型,对投影场景图像进行识别,以从投影场景图像中,确定出的所有人脸图像中能够包括叠加有投影画面内容的人脸,也即,进入投影场景中的人员的人脸图像,因此,具有较高的可靠性。
结合第一方面,本申请实施例还提供了第一方面的第二种可选的实施方式,当投影场景图像中包括至少一张人脸图像时,从至少一张人脸图像中,确定出与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,并从第一目标图像中,确定出用于表征人眼区域的第二目标图像之前,投影图像处理方法,还包括:
从投影场景图像中,获取与预设目标姿态匹配的目标人物图像;
从目标人物图像中,确定出用于表征人脸区域的目标人脸图像。
在上述实施方式中,投影图像处理方法,还可以包括:从投影场景图像中,获取与预设目标姿态匹配的目标人物图像,以及从目标人物图像中,确定出用于表征人脸区域的目标人脸图像。基于此,人员进入投影场景中时,可以执行与目标姿态匹配的约定动作,以使投影设备将进入投影场景中的人员的人脸图像自动作为目标人脸图像,从而提高投影图像处理方法的自动化程度和执行效率。
结合第一方面,本申请实施例还提供了第一方面的第三种可选的实施方式,从投影设备的当前待输出图像中,确定出与第二目标图像位置对应的目标投影区域,包括:
创建摄像机坐标系与投影设备坐标系的实时对应关系;
根据实时对应关系,从当前待输出图像中,确定出与第二目标图像对应的目标投影区域。
在上述实施方式中,由于摄像机坐标系与投影设备坐标系之间的对应关系是实时创建的,因此,根据实时对应关系,从当前待输出图像中,确定出与第二目标图像对应的目标投影区域,具有较高的可靠性。
结合第一方面的第三种可选的实施方式,本申请实施例还提供了第一方面的第四种可选的实施方式,创建摄像机坐标系与投影设备坐标系的实时对应关系,包括:
从投影场景图像中提取M个第一特征点,其中,M≥4,且为整数;
从与投影场景图像对应的历史输出图像中,提取N个第二特征点,其中,N≥4,且为整数;
根据M个第一特征点和N个第二特征点,创建摄像机坐标系与投影设备坐标系的实时对应关系。
在上述实施方式中,由于摄像机坐标系与投影设备坐标系的实时对应关系是根据从投影场景图像中提取的M个第一特征点,以及从与投影场景图像对应的历史输出图像中,提取的N个第二特征点创建的,因此,具有较高的可靠性。
结合第一方面的第四种可选的实施方式,本申请实施例还提供了第一方面的第五种可选的实施方式,根据M个第一特征点和N个第二特征点,创建摄像机坐标系与投影设备坐标系的实时对应关系,包括:
对M个第一特征点和N个第二特征点进行特征点匹配,以从M个第一特征点中筛选出Z个第一目标特征点,以及从N个第二特征点中筛选出Z个第二目标特征点,且Z个第二目标特征点与Z个第一目标特征点一一对应,其中,4≤Z≤M,且4≤Z≤N,且Z为整数;
根据Z个第一目标特征点在投影场景图像中的位置,以及Z个第二目标特征点在历史输出图像中的位置,创建摄像机坐标系与投影设备坐标系的实时对应关系。
在上述实施方式中,由于从M个第一特征点中筛选出的Z个第一目标特征点,与从N个第二特征点中筛选出的Z个第二目标特征点存在一一对应关系,因此,对M个第一特征点和N个第二特征点进行特征点匹配属于双向特征匹配,能够提高特征点匹配的可靠性。
结合第一方面的第三种、第四种,或第五种可选的实施方式,本申请实施例还提供了第一方面的第六种可选的实施方式,创建摄像机坐标系与投影设备坐标系的实时对应关系之前,从投影设备的当前待输出图像中,确定出与第二目标图像位置对应的目标投影区域,还包括:
获取投影场景图像的亮度值,以及与投影场景图像对应的历史输出图像的亮度值;
判断投影场景图像的亮度值与投影场景图像对应的历史输出图像之间的亮度差异值是否位于第一预设差异区间;
当投影场景图像的亮度值与投影场景图像对应的历史输出图像之间的亮度差异值超出第一预设差异区间时,对投影场景图像的亮度值和/或历史输出图像的亮度值进行调整,以使投影场景图像的亮度值与投影场景图像对应的历史输出图像之间的亮度差异值位于第一预设差异区间。
在上述实施方式中,在创建摄像机坐标系与投影设备坐标系的实时对应关系之前,能够对投影场景图像的亮度值和/或历史输出图像的亮度值进行调整,以使投影场景图像的亮度值与投影场景图像对应的历史输出图像之间的亮度差异值位于第一预设差异区间,从而提高创建的实时对应关系的可靠性。
第二方面,本申请实施例中提供的投影图像处理装置,应用于投影设备,投影图像处理包括:
第一图像获取模块,用于获取摄像机拍摄的投影场景图像;
第二图像获取模块,用于当投影场景图像中包括至少一张人脸图像时,从至少一张人脸图像中,确定出与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,并从第一目标图像中,确定出用于表征人眼区域的第二目标图像,目标人脸图像为进入投影场景中的人员的人脸图像;
区域确定模块,用于从投影设备的当前待输出图像中,确定出与第二目标图像位置对应的目标投影区域;
投影模块,用于降低目标投影区域的投影亮度。
本申请实施例提供的投影图像处理装置具有与上述第一方面,或第一方面的任意一种可选的实施方式所提供的投影图像处理方法相同的有益效果,此处不作赘述。
第三方面,本申请实施例提供的投影设备,包括处理器和存储器,存储器上存储有计算机程序,处理器用于执行计算机程序,以实现上述第一方面,或第一方面的任意一种可选的实施方式所提供的投影图像处理方法。
本申请实施例提供的投影设备具有与上述第一方面,或第一方面的任意一种可选的实施方式所提供的投影图像处理方法相同的有益效果,此处不作赘述。
第四方面,本申请实施例还提供了一种存储介质,存储介质上存储有计算机程序,计算机程序被执行时,实现上述第一方面,或第一方面的任意一种可选的实施方式所提供的投影图像处理方法。
本申请实施例提供的存储介质具有与上述第一方面,或第一方面的任意一种可选的实施方式所提供的投影图像处理方法相同的有益效果,此处不作赘述。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种投影设备的示意性结构框图。
图2为本申请实施例提供的投影设备的另一种示意性结构框图。
图3为本申请实施例提供的投影图像处理方法的流程图。
图4为本申请实施例提供的一种投影图像处理方法的应用场景示意图。
图5为本申请实施例提供的一种人脸特征点的标注示意图。
图6为本申请实施例提供的一种骨骼关键点的表征示意图。
图7为本申请实施例提供的投影图像处理装置的示意性结构框图。
附图标记:100-投影设备;110-处理器;120-存储器;130-通信组件;140-投影镜头;150-摄像装置;200-投影面;300-投影图像处理装置;310-第一图像获取模块;320-第二图像获取模块;330-区域确定模块;340-投影模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。此外,应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1,为本申请实施例提供的一种应用投影图像处理方法及装置的投影设备100的示意性结构框图。在结构上,投影设备100可以包括处理器110和存储器120。
处理器110与存储器120直接或间接地电性连接,以实现数据的传输或交互,例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。投影图像处理装置200包括至少一个可以软件或固件(Firmware)的形式存储在存储器120中或固化在投影设备100的操作系统(Operating System,OS)中的软件模块。处理器110用于执行存储器120中存储的可执行模块,例如,投影图像处理装置200所包括的软件功能模块及计算机程序等,以实现投影图像处理方法。处理器110可以在接收到执行指令后,执行计算机程序。
其中,处理器110可以是一种集成电路芯片,具有信号处理能力。处理器110也可以是通用处理器,例如,可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、分立门或晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。此外,通用处理器可以是微处理器或者任何常规处理器等。
存储器120可以是,但不限于,随机存取存储器(Random Access Memory,RAM)、只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-OnlyMemory,PROM)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory,EPROM),以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)。存储器120用于存储程序,处理器110在接收到执行指令后,执行该程序。
应当理解,图1所示的结构仅为示意,本申请实施例提供的投影设备100还可以具有比图1更少或更多的组件,或是具有与图1所示不同的配置,例如,如图2所示,本申请实施例提供的投影设备100还可以包括通信组件130、投影镜头140、摄像装置150等。其中,通信组件130用于与用户终端直接或间接地通信连接,以实现数据的传输或交互。如此,便可以通过用户终端将待输出图像发送给处理器110,以使处理器110将待输出图像通过投影镜头140输出。而用户终端可以是,但不限于,个人电脑(Personal Computer,PC)、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、移动上网设备(Mobile InternetDevice,MID)等。此外,本申请实施例中,摄像装置150用于拍摄投影场景图像。
请参阅图3,图3为本申请实施例提供的投影图像处理方法的流程示意图,该方法应用于图1或图2所示的投影设备100。所应说明的是,本申请实施例提供的投影图像处理方法不以图3及以下所示的顺序为限制,以下结合图3对投影图像处理方法的具体流程及步骤进行描述。
步骤S100,获取摄像机拍摄的投影场景图像。
本申请实施例中,投影场景图像包括将投影场景图像对应的历史输出图像投影到投影面上,所形成的投影图像。其中,历史输出图像可以是电子版本的演讲稿、教学课件或静态图片等数据文件中包括的某张图像,也可以是动态图片、影像视频等数据文件中包括的某帧图像。可以理解的是,本申请实施例中,当历史输出图像中包括虚拟人脸图像时,投影图像则包括与虚拟人脸图像对应的人脸图像。此外,为方便描述,本申请实施例中,约定,投影设备与投影面之间的实际空间为投影场景,因此,当有人员进入投影场景,且朝向投影设备的光源时,摄像机对投影面进行拍摄,获得的投影场景图像中,还包括进入投影场景中的人员的人脸图像。以图4为例,投影场景图像包括将历史输出图像投影到投影面200上,所形成的投影图像A,以及进入投影场景B中的人员C的人脸图像,其中,投影场景B为投影设备100与投影面200之间实际空间。
此外,需要说明的是,本申请实施例中,拍摄投影场景图像的摄像机可以是投影设备上设置的摄像装置,也可以是独立于投影设备,但与投影设备直接或间接地通信连接的摄像装置。
还需要说明的是,本申请实施例中,可以按预设时间间隔获取摄像机拍摄的投影场景图像,而该预设时间间隔可以是,但不限于40ms、50ms、60ms。
步骤S200,当投影场景图像中包括至少一张人脸图像时,从至少一张人脸图像中,确定出与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,并从第一目标图像中,确定出用于表征人眼区域的第二目标图像,其中,目标人脸图像为进入投影场景中的人员的人脸图像,而预设阈值区间可以是,但不限于[85%,100%]、[90%,100%]、[95%,100%]。
需要说明的是,本申请实施例中,由于目标人脸图像为进入投影场景中的人员的人脸图像,因此,步骤S200中,确定出的与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,便可以认为是进入投影场景中的人员的人脸图像。此外,关于预设阈值区间的设置,其目的在于提高第一目标图像的可靠性。例如,当预设阈值区间为[90%,100%],且投影场景图像中包括3张人脸图像,3张人脸图像分别为与目标人脸图像相似度分别为10%的第一待判断图像、与目标人脸图像相似度分别为15%的第二待判断图像,以及与目标人脸图像相似度分别为20%的第三待判断图像时,由于20%未位于预设阈值区间[90%,100%],因此,便可以避免出现将第三待判断图像作为第一目标图像的情况出现,从而提高第一目标图像的可靠性。
此外,基于步骤S200,可以理解的是,本申请实施例中,在执行步骤S100之后,还将对投影场景图像进行识别,以从所述投影场景图像中,确定出所有人脸图像。因此,本申请实施例中提供的投影图像处理方法,还可以包括步骤S001、步骤S002和步骤S003。
步骤S001,获取人脸样本数据集,人脸样本数据集中包括叠加有投影画面内容的第一人脸图像和未叠加投影画面内容的第二人脸图像。
当有人员进入投影场景,且朝向投影设备的光源时,投影设备投影出的图像便会覆盖在该人员的脸部区域,使得该人员的脸部区域叠加投影画面内容,此时,摄像机拍摄的投影场景图像中便包括叠加投影画面内容的人脸图像,也即,第一人脸图像。
此外,本申请实施例中,在获取到人脸样本数据集之后,还需要对人脸样本数据集中包括的每张第一人脸图像和第二人脸图像进行人脸特征点标注,以确定出多个人脸特征点,例如,68个人脸特征点。如图5所示,当人脸特征点为68个时,68个人脸特征点可以包括用于表征人脸轮廓的17个人脸特征点、用于表征右眉的5个人脸特征点、用于表征左眉的5个特征点、用于表征鼻子的9个人脸特征点、用于表征左眼的6个特征点、用于表征右眼的6个特征点、用于表征上嘴唇的8个特征点,以及用于表征下嘴唇的12个特征点。
步骤S002,构建预设模型,并基于人脸样本数据集,对预设模型进行训练,获得目标人脸识别模型。
本申请实施例中,可以将人脸样本数据集输入预设模型,以对预设模型进行训练,确定模型参数,从而获得目标人脸模型,其中,模型参数可以包括卷积核大小、池化层策略(例如,均值提取策略或最大值提取策略)。此外,本申请实施例中,预设模型可以是,但不限于卷积神经网络(Convolutional Neural Networks,CNN)模型,而获得的目标人脸识别模型包括卷积层、池化层和全连接层。其中,卷积层用于对投影场景图像进行特征区域提取,获得多个特征区域图像,例如,人脸轮廓图像、右眉图像、左眉图像、鼻子图像、左眼图像、右眼图像、上嘴唇图像和下嘴唇图像。池化层用于对卷积层提取的每个特征区域图像进行压缩,从而降低图像处理难度,以提高投影图像处理方法的执行效率。全连接层用于连接所有经池化层压缩处理的特征区域图像,获得人脸图像。
步骤S003,通过目标人脸识别模型,对投影场景图像进行识别,以从投影场景图像中,确定出所有人脸图像。
本申请实施例中,在执行步骤S100之后,可以将投影场景图像输入目标人脸识别模型,以使卷积层对投影场景图像进行特征区域提取,获得多个特征区域图像,此后,池化层对卷积层提取的每个特征区域图像进行压缩,最后,全连接层连接所有经池化层压缩处理的特征区域图像,获得人脸图像。
此外,本申请实施例中,目标人脸图像可以预先获取,并存储于投影设备,也可以实时获取,以提高投影图像处理方法的自动化程度和执行效率。基于此,当目标人脸图像为实时获取时,本申请实施例提供的投影图像处理方法,还可以包括步骤S004和步骤S005。
步骤S004,从投影场景图像中,获取与预设目标姿态匹配的目标人物图像。
当有人员进入投影场景时,可以执行与目标姿态匹配的约定动作,其中,约定动作可以是,但不限于举起左手、举起右手。
而对于步骤S004,本申请实施例中,作为一种可选的实施方式,其可以通过基于人体骨骼关键点的姿态识别方法实现,例如,提取投影场景图像中包括的至少一张人物图像,针对每张人物图像,确定该人物图像中包括的多个骨骼关键点,例如,14个骨骼关键点。如图6所示,当骨骼关键点为14个时,14个骨骼关键点可以包括右肩1、右肘2、右腕3、左肩4、左肘5、左腕6、右髋7、右膝8、右踝9、左髋10、左膝11、左踝12、头顶13、脖子14。此后,从多个骨骼关键点中确定至少两个目标关键点,并确定该至少两个目标关键点的位置信息,以获取该至少两个目标关键点的相对位置关系,再根据该至少两个目标关键点的相对位置关系,获得该人物图像的当前姿态,以判断该人物图像的当前姿态是否与目标姿态匹配,当该人物图像的当前姿态与目标姿态匹配时,将该人物图像作为目标人物图像。
以下将以约定动作为举起左手,骨骼关键点为14个为例,对步骤S004进行进一步描述。
提取投影场景图像中包括的至少一张人物图像,针对每张人物图像,例如,人物图像D,确定人物图像D中包括的14个骨骼关键点。此后,从14个骨骼关键点中确定出至少两个目标关键点,例如,3个目标关键点,且3个目标关键点分别为左肩、左肘和左腕,并确定该3个目标关键点的位置信息,以获取该3个目标关键点的相对位置关系,再根据该3个目标关键点的相对位置关系,获得人物图像D的当前姿态,以判断人物图像D的当前姿态是否与目标姿态匹配,当人物图像D的当前姿态与目标姿态匹配时,将人物图像D作为目标人物图像。其中,判断人物图像D的当前姿态是否与目标姿态匹配,可以是判断左腕是否高于左肩和左肘,且当左腕高于左肩和左肘时,判定人物图像D的当前姿态与目标姿态匹配,当左腕低于左肩和左肘时,判定人物图像D的当前姿态与目标姿态不匹配。
步骤S005,从目标人物图像中,确定出用于表征人脸区域的目标人脸图像。
在获取到目标人物图像之后,可以从目标任务图像中,直接将用于表征人脸区域的目标人脸图像截取出。
此外,可以理解的是,本申请实施例中,在执行步骤S200的过程中,获取到第一目标图像之后,可以从第一目标图像中确定出用于表征左眼的多个特征点,以组成左眼区域图像,以及从第一目标图像中确定出用于表征右眼的多个特征点,以组成右眼区域图像,而第二目标图像包括左眼区域图像和右眼区域图像。
步骤S300,从投影设备的当前待输出图像中,确定出与第二目标图像位置对应的目标投影区域。
本申请实施例中,投影设备的当前待输出图像即为投影场景图像对应的历史输出图像本身,也可以为投影场景图像对应历史输出图像的下一张待输出图像。例如,当历史输出图像为电子版本的演讲稿、教学课件或静态图片等数据文件中包括的某张图像,且在开始执行步骤S100,到执行步骤S200完成的时间段内,未接收到画面切换指令,则投影设备的当前待输出图像为投影场景图像对应的历史输出图像本身,若接收到一条画面切换指令,则投影设备的当前待输出图像为投影场景图像对应历史输出图像的下一张待输出图像。
此外,可以理解的是,本申请实施例中,需要根据摄像机坐标系与投影设备坐标系的实时对应关系,从投影设备的当前待输出图像中,确定出与第二目标图像位置对应的目标投影区域,基于此,步骤S300可以包括步骤S340和步骤S380。
步骤S340,创建摄像机坐标系与投影设备坐标系的实时对应关系。
本申请实施例中,可以通过对投影场景图像和投影场景图像对应的历史输出图像进行特征点提取,以及特征点匹配,创建摄像机坐标系与投影设备坐标系的实时对应关系。基于此,本申请实施例中,步骤S340可以包括步骤S341、步骤S342和步骤S343。
步骤S341,从投影场景图像中提取M个第一特征点,其中,M≥4,且为整数。
本申请实施例中,第一特征点为投影场景图像中灰度值相对于周围像素点发生剧烈变化的点,且第一特征点的数量至少为4个,也即,M≥4,但为避免M个第一特征点中,存在无效特征点,或不可用特征点,本申请实施例中,第一特征点的数量可以更多,例如,可以是80个。本申请实施例中,可以通过加速稳健特征(Speeded Up Robust Features,SURF)算法从投影场景图像中提取M个第一特征点,并获得每个第一特征点在摄像机坐标系中的第一三维坐标。SURF算法是一个稳健的图像识别和描述算法,使用海森矩阵(Hessian)的行列式值作特征点响应侦测,并用积分图加速运算。
步骤S342,从与投影场景图像对应的历史输出图像中,提取N个第二特征点,其中,N≥4,且为整数。
本申请实施例中,第二特征点为历史输出图像中灰度值相对于周围像素点发生剧烈变化的点,且第二特征点的数量至少为4个,也即,N≥4,但为避免N个第二特征点中,存在无效特征点,或不可用特征点,本申请实施例中,第二特征点的数量可以更多,例如,可以是80个。同样,本申请实施例中,可以通过SURF算法从与投影场景图像对应的历史输出图像中,提取N个第二特征点,并获得每个第二特征点在投影设备坐标系中的第二三维坐标。
步骤S343,根据M个第一特征点和N个第二特征点,创建摄像机坐标系与投影设备坐标系的实时对应关系。
对于步骤S343,本申请实施例中,作为一种可选的实施方式,其可以包括对M个第一特征点和N个第二特征点进行特征点匹配,以从M个第一特征点中筛选出Z个第一目标特征点,以及从N个第二特征点中筛选出Z个第二目标特征点,且Z个第二目标特征点与Z个第一目标特征点一一对应,其中,4≤Z≤M、4≤Z≤N,且Z为整数,此后,根据Z个第一目标特征点在投影场景图像中的位置,以及Z个第二目标特征点在历史输出图像中的位置,创建摄像机坐标系与投影设备坐标系的实时对应关系,也即,根据Z个第一目标特征点的第一三维坐标,以及Z个第二目标特征点的第二三维坐标,创建摄像机坐标系与投影设备坐标系的实时对应关系。本申请实施例中,由于对M个第一特征点和N个第二特征点进行特征点匹配属于双向特征匹配,因此,能够提高特征点匹配的可靠性。
此外,需要说明的是,本申请实施例在实际实施时,可以通过快速近似最近邻搜索(Fast Library for Approximate Nearest Neighbors,FLANN)算法对M个第一特征点和N个第二特征点进行特征点匹配,以从M个第一特征点中筛选出Z个第一目标特征点,以及从N个第二特征点中筛选出Z个第二目标特征点。
本申请实施例中,摄像机坐标系与投影设备坐标系的实时对应关系可以通过以下逻辑计算关系获得:
H1=Cz*Pz'
其中,H1用于表征Z个第一目标特征点与Z个第二目标特征点的映射关系,也即,摄像机坐标系与投影设备坐标系的实时对应关系,Cz为投影场景图像中Z个第一目标特征点的第一三维坐标组成的3*Z的矩阵,Pz'为投影场景图像对应的历史输出图像中Z个第二目标特征点的第二三维坐标组成的Z*3的逆矩阵。
步骤S380,根据实时对应关系,从投影设备的当前待输出图像中,确定出与第二目标图像位置对应的目标投影区域。
为提高创建的实时对应关系的可靠性,本申请实施例中,在步骤S380之前,步骤S300还可以包括步骤S310、步骤S320和步骤S330。
步骤S310,获取投影场景图像的亮度值,以及投影场景图像对应的历史输出图像的亮度值。
步骤S320,判断投影场景图像的亮度值与投影场景图像对应的历史输出图像之间的亮度差异值是否位于第一预设差异区间,其中,第一预设差异区间可以根据实际需求设定,本申请实施例对此不作限制。
步骤S330,当投影场景图像的亮度值与投影场景图像对应的历史输出图像之间的亮度差异值超出第一预设差异区间时,对投影场景图像的亮度值和/或历史输出图像的亮度值进行调整,以使投影场景图像的亮度值与投影场景图像对应的历史输出图像之间的亮度差异值位于第一预设差异区间。
通过上述设置,在对投影场景图像和投影场景图像对应的历史输出图像进行特征点提取,以及特征点匹配等操作时,便能够避免由于投影场景图像和历史输出图像亮度不同,而对特征点提取和匹配产生影响,从而保证创建摄像机坐标系与投影设备坐标系的实时对应关系的可靠性。
为保证从当前待输出图像中,确定出与第二目标图像对应的目标投影区域的可靠性,本申请实施例提供的投影图像处理方法,在执行步骤S380之前,步骤S300还可以包括步骤S350、步骤S360和步骤S370。
步骤S350,获取摄像机坐标系与投影设备坐标系的标准对应关系。
对于步骤S350,本申请实施例中,作为一种可选的实施方式,其可以包括步骤S351、步骤S352和步骤S353。
步骤S351,获取投影设备与投影面之间的距离为预设标准距离时,摄像机拍摄的标准场景图像,并确定出标准场景图像对应的标准输出图像,其中,预设标准距离可以根据实际需求设定,本申请实施例对此不作限制。
本申请实施例中,标准场景图像包括将标准场景图像对应的标准输出图像,投影到投影面上形成的投影图像。其中,标准输出图像可以是电子版本的演讲稿、教学课件或静态图片等数据文件中包括的某张图像,也可以是动态图片、影像视频等数据文件中包括的某帧图像。
步骤S352,从标准场景图像中,提取W个第三目标特征点,以及从标准输出图像中,提取W个第四目标特征点,其中,W≥4,且为整数。
本申请实施例中,从标准场景图像中,提取W个第三目标特征点之后,还可以获得每个第三目标特征点在摄像机坐标系中的第三三维坐标,同样,从标准输出图像中,提取W个第四目标特征点之后,还可以获得每个第四目标特征点在投影设备坐标系中的第四三维坐标。此外,本申请实施例中,W的取值可以为4,而4个第三目标特征点可以为标准场景图像的4个边角点,同样,4个第四目标特征点可以为标准输出图像的4个边角点。
步骤S353,根据W个第三目标特征点在标准场景图像中的位置,以及W个第四目标特征点在标准输出图像中的位置,创建摄像机坐标系与投影设备坐标系的标准对应关系,也即,根据W个第三目标特征点的第三三维坐标,以及W个第四目标特征点的第四三维坐标,创建摄像机坐标系与投影设备坐标系的标准对应关系。
本申请实施例中,摄像机坐标系与投影设备坐标系的标准对应关系可以通过以下逻辑计算关系获得:
H=Cw*Pw'
其中,H用于表征W个第三目标特征点与W个第四目标特征点的映射关系,也即,摄像机坐标系与投影设备坐标系的标准对应关系,Cw为标准场景图像中W个第三目标特征点的第三三维坐标组成的3*W的矩阵,Pw'为标准输出图像中W个第四目标特征点的第四三维坐标组成的W*3的逆矩阵。
步骤S360,判断标准对应关系与实时对应关系之间的坐标差异值是否位于第二预设差异区间,其中,第二预设差异区间可以根据实际需求设定,本申请实施例对此不作限制。
步骤S370,当标准对应关系与实时对应关系之间的坐标差异值超出第二预设差异区间时,重新执行步骤S340,直至标准对应关系与实时对应关系之间的坐标差异值位于第二预设差异区间。
步骤S400,降低目标投影区域的投影亮度。
对于步骤S400,本申请实施例中,作为第一种可选的实施方式,可以生成蒙板程序启动指令,生成蒙版图层,并降低蒙板图层中,与目标投影区域位置对应的目标蒙版区域的透明度,例如,将目标蒙版区域的透明度设置为0,而除目标蒙版区域以外,其他蒙版区域的透明度则保持不变,以对目标投影区域进行遮挡,从而实现降低目标投影区域投影亮度的目的。
此外,数字光处理(Digital Light Processing,DLP)是一种线将影像信号经过数字处理,再把对其进行投影输出的光处理技术,其主要基于数字微镜元件(DigitalMicromirror Device,DMD)来完成可视数字信息显示。DMD是在半导体芯片上布置一个由微镜片(精密、微型的反射镜)所组成的矩阵,每个微镜片控制投影输出图像中的一个像素,也即,微镜片的数量和投影输出图像的分辨率相符。这些微镜片在数字驱动信号的控制下可以迅速改变角度,例如,微镜片的角度有“开”和“关”两种工作状态,若定义,处于投影状态的微镜片的工作状态为“开”,则随数字信号朝第一预设方向倾斜第一预设角度,且被反射出去的入射光通过投影透镜将投影输出图像投影到屏幕上,若定义,处于非投影状态的微镜片的工作状态为“关”,则随数字信号朝第二预设方向倾斜第二预设角度,且反射在微镜片上的入射光被光吸收器吸收。
基于以上投影输出原理,对于步骤S400,本申请实施例中,当投影设备为DLP投影仪时,作为第二种可选的实施方式,可以从DMD包括的所有微镜片中,确定出与目标投影区域位置对应的多个目标微镜片,并将所有目标微镜片的工作状态设置为“关”,而除目标微镜片以外,其他微镜片的工作状态设置为“开”,如此,便可以实现降低目标投影区域的投影亮度的目的。
基于与上述投影图像处理方法同样的发明构思,本申请实施例还提供了一种应用于投影设备的投影图像处理装置300。请参阅图7,本申请实施例提供的投影图像处理装置300包括第一图像获取模块310、第二图像获取模块320、区域确定模块330和投影模块340。
第一图像获取模块310,用于获取摄像机拍摄的投影场景图像。
关于第一图像获取模块310的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S100的详细描述,也即,步骤S100可以由第一图像获取模块310执行。
第二图像获取模块320,用于当投影场景图像中包括至少一张人脸图像时,从至少一张人脸图像中,确定出与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,并从第一目标图像中,确定出用于表征人眼区域的第二目标图像,目标人脸图像为进入投影场景中的人员的人脸图像。
关于第二图像获取模块320的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S200的详细描述,也即,步骤S200可以由第二图像获取模块320执行。
区域确定模块330,用于从投影设备的当前待输出图像中,确定出与第二目标图像位置对应的目标投影区域。
关于区域确定模块330的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S300的详细描述,也即,步骤S300可以由区域确定模块330执行。
投影模块340,用于降低目标投影区域的投影亮度。
关于投影模块340的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S400的详细描述,也即,步骤S400可以由投影模块340执行。
本申请实施例提供的投影图像处理装置300,还可以包括样本获取模块、模型训练模块和人脸识别模块。
样本获取模块,用于获取人脸样本数据集,人脸样本数据集中包括叠加有投影画面内容的第一人脸图像和未叠加投影画面内容的第二人脸图像。
关于样本获取模块的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S001的详细描述,也即,步骤S001可以由样本获取模块执行。
模型训练模块,用于构建预设模型,并基于人脸样本数据集,对预设模型进行训练,获得目标人脸识别模型;
关于模型训练模块的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S002的详细描述,也即,步骤S002可以由模型训练模块执行。
人脸识别模块,用于通过目标人脸识别模型,对投影场景图像进行识别,以从投影场景图像中,确定出至少一张人脸图像。
关于人脸识别模块的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S003的详细描述,也即,步骤S003可以由人脸识别模块执行。
本申请实施例提供的投影图像处理装置300,还可以包括姿态匹配模块和目标任务确定模块。
姿态匹配模块,用于从投影场景图像中,获取与预设目标姿态匹配的目标人物图像。
关于姿态匹配模块的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S004的详细描述,也即,步骤S004可以由姿态匹配模块执行。
目标人物确定模块,用于从目标人物图像中,确定出用于表征人脸区域的目标人脸图像。
关于目标人物确定模块的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S005的详细描述,也即,步骤S005可以由目标人物确定模块执行。
本申请实施例中,区域确定模块330可以包括第一创建单元和投影内容确定单元。
第一创建单元,用于创建摄像机坐标系与投影设备坐标系的实时对应关系。
关于第一创建单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S340的详细描述,也即,步骤S340可以由第一创建单元执行。
投影内容确定单元,用于根据实时对应关系,从当前待输出图像中,确定出与第二目标图像位置对应的目标投影区域。
关于投影内容确定单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S380的详细描述,也即,步骤S380可以由投影内容确定单元执行。
本申请实施例中,第一创建单元可以包括第一提取子单元、第二提取子单元和第一对应关系创建子单元。
第一提取子单元,用于从投影场景图像中提取M个第一特征点,其中,M≥4,且为整数。
关于第一提取子单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S341的详细描述,也即,步骤S341可以由第一提取子单元执行。
第二提取子单元,用于从与投影场景图像对应的历史输出图像中,提取N个第二特征点其中,N≥4,且为整数。
关于第二提取子单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S342的详细描述,也即,步骤S342可以由第二提取子单元执行。
第一对应关系创建子单元,用于根据M个第一特征点和N个第二特征点,创建摄像机坐标系与投影设备坐标系的实时对应关系。
第一对应关系创建子单元,具体用于对M个第一特征点和N个第二特征点进行特征点匹配,以从M个第一特征点中筛选出Z个第一目标特征点,以及从N个第二特征点中筛选出Z个第二目标特征点,且Z个第二目标特征点与Z个第一目标特征点一一对应,其中,4≤Z≤M,且4≤Z≤N,且Z为整数,此后,再根据Z个第一目标特征点在投影场景图像中的位置,以及Z个第二目标特征点在历史输出图像中的位置,创建摄像机坐标系与投影设备坐标系的实时对应关系。
关于第一对应关系创建子单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S343的详细描述,也即,步骤S343可以由第一对应关系创建子单元执行。
本申请实施例中,区域确定模块330还可以包括亮度获取单元、第一判断单元和亮度调整单元。
亮度获取单元,用于获取投影场景图像的亮度值,以及与投影场景图像对应的历史输出图像的亮度值。
关于亮度获取单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S310的详细描述,也即,步骤S310可以由亮度获取单元执行。
第一判断单元,用于判断投影场景图像的亮度值与投影场景图像对应的历史输出图像之间的亮度差异值是否位于第一预设差异区间。
关于第一判断单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S320的详细描述,也即,步骤S320可以由第一判断单元执行。
亮度调整单元,用于当投影场景图像的亮度值与投影场景图像对应的历史输出图像之间的亮度差异值超出第一预设差异区间时,对投影场景图像的亮度值和/或历史输出图像的亮度值进行调整,以使投影场景图像的亮度值与投影场景图像对应的历史输出图像之间的亮度差异值位于第一预设差异区间。
关于亮度调整单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S330的详细描述,也即,步骤S330可以由亮度调整单元执行。
本申请实施例中,区域确定模块300还可以包括第二创建单元、第二判断单元和控制单元。
第二创建单元,用于获取摄像机坐标系与投影设备坐标系的标准对应关系。
关于第二创建单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S350的详细描述,也即,步骤S350可以由第二创建单元执行。
第二判断单元,用于判断标准对应关系与实时对应关系之间的坐标差异值是否位于第二预设差异区间。
关于第二判断单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S360的详细描述,也即,步骤S360可以由第二判断单元执行。
控制单元,用于当标准对应关系与实时对应关系之间的坐标差异值超出第二预设差异区间时,控制第一创建单元重新执行创建摄像机坐标系与投影设备坐标系的实时对应关系的步骤,直至标准对应关系与实时对应关系之间的坐标差异值位于第二预设差异区间。
关于控制单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S370的详细描述,也即,步骤S370可以由控制单元执行。
本申请实施例中,第二创建单元可以包括标准图像获取子单元、第三提取子单元和第二对应关系创建子单元。
标准图像获取子单元,用于获取投影设备与投影面之间的距离为预设标准距离时,摄像机拍摄的标准场景图像,并确定出标准场景图像对应的标准输出图像。
关于标准图像获取子单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S351的详细描述,也即,步骤S351可以由标准图像获取子单元执行。
第三提取子单元,用于从标准场景图像中,提取W个第三目标特征点,以及从标准输出图像中,提取W个第四目标特征点,其中,W≥4,且为整数。
关于第三提取子单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S352的详细描述,也即,步骤S352可以由第三提取子单元执行。
第二对应关系创建子单元,用于根据W个第三目标特征点在标准场景图像中的位置,以及W个第四目标特征点在标准输出图像中的位置,创建摄像机坐标系与投影设备坐标系的标准对应关系。
关于第二对应关系创建子单元的描述具体可参考上述投影图像处理方法相关实施例中关于步骤S353的详细描述,也即,步骤S353可以由第二对应关系创建子单元执行。
此外,本申请实施例还提供了一种存储介质,存储介质上存储有计算机程序,计算机程序被执行时,实现上述方法实施例所提供的投影图像处理方法,具体可参见上述方法实施例,本申请实施例中对此不作赘述。
综上所述,本申请实施例提供的投影图像处理方法、装置、投影设备及存储介质,能够获取摄像机拍摄的投影场景图像,当投影场景图像中包括至少一张人脸图像时,从至少一张人脸图像中,确定出与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,并从第一目标图像中,确定出用于表征人眼区域的第二目标图像,目标人脸图像为进入投影场景中的人员的人脸图像,此后,从投影设备的当前待输出图像中,确定出与第二目标图像位置对应的目标投影区域,并降低目标投影区域的投影亮度。由于目标人脸图像为进入投影场景中的人员的人脸图像,因此,从投影场景图像包括的至少一张人脸图像中,确定出的与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,则用于表征进入投影场景中人员的人脸,第二目标图像用于表征进入投影场景中人员的人眼区域,如此,当从投影设备的当前待输出图像中,确定出与第二目标图像位置对应的目标投影区域,再降低目标投影区域的亮度之后,即使进入投影场景中的人员直视投影设备的光源,也能够避免该人员的眼睛受到损伤,从而提高投影设备的安全使用性能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请每个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是每个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请每个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
此外,需要说明的是,在本文中,诸如“第一”、“第二”和“第三”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (10)

1.一种投影图像处理方法,其特征在于,所述投影图像处理方法包括:
获取摄像机拍摄的投影场景图像;
当所述投影场景图像中包括至少一张人脸图像时,从所述至少一张人脸图像中,确定出与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,并从所述第一目标图像中,确定出用于表征人眼区域的第二目标图像,所述目标人脸图像为进入投影场景中的人员的人脸图像;
从投影设备的当前待输出图像中,确定出与所述第二目标图像位置对应的目标投影区域;
降低所述目标投影区域的投影亮度。
2.根据权利要求1所述的投影图像处理方法,其特征在于,所述当所述投影场景图像中包括至少一张人脸图像时,从所述至少一张人脸图像中,确定出与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,并从所述第一目标图像中,确定出用于表征人眼区域的第二目标图像之前,所述投影图像处理方法,还包括:
获取人脸样本数据集,所述人脸样本数据集中包括叠加有投影画面内容的第一人脸图像和未叠加投影画面内容的第二人脸图像;
构建预设模型,并基于所述人脸样本数据集,对所述预设模型进行训练,获得目标人脸识别模型;
通过所述目标人脸识别模型,对所述投影场景图像进行识别,以从所述投影场景图像中,确定出所有人脸图像。
3.根据权利要求1所述的投影图像处理方法,其特征在于,所述当所述投影场景图像中包括至少一张人脸图像时,从所述至少一张人脸图像中,确定出与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,并从所述第一目标图像中,确定出用于表征人眼区域的第二目标图像之前,所述投影图像处理方法,还包括:
从所述投影场景图像中,获取与预设目标姿态匹配的目标人物图像;
从所述目标人物图像中,确定出用于表征人脸区域的所述目标人脸图像。
4.根据权利要求1所述的投影图像处理方法,其特征在于,所述从投影设备的当前待输出图像中,确定出与所述第二目标图像位置对应的目标投影区域,包括:
创建摄像机坐标系与投影设备坐标系的实时对应关系;
根据所述实时对应关系,从投影设备的当前待输出图像中,确定出与所述第二目标图像位置对应的目标投影区域。
5.根据权利要求4所述的投影图像处理方法,其特征在于,所述创建摄像机坐标系与投影设备坐标系的实时对应关系,包括:
从所述投影场景图像中提取M个第一特征点,其中,M≥4,且为整数;
从与所述投影场景图像对应的历史输出图像中,提取N个第二特征点其中,N≥4,且为整数;
根据所述M个第一特征点和所述N个第二特征点,创建摄像机坐标系与投影设备坐标系的实时对应关系。
6.根据权利要求5所述的投影图像处理方法,其特征在于,所述根据所述M个第一特征点和所述N个第二特征点,创建摄像机坐标系与投影设备坐标系的实时对应关系,包括:
对所述M个第一特征点和所述N个第二特征点进行特征点匹配,以从M个第一特征点中筛选出Z个第一目标特征点,以及从N个第二特征点中筛选出Z个第二目标特征点,且所述Z个第二目标特征点与所述Z个第一目标特征点一一对应,其中,4≤Z≤M、4≤Z≤N,且Z为整数;
根据所述Z个第一目标特征点在所述投影场景图像中的位置,以及所述Z个第二目标特征点在所述历史输出图像中的位置,创建摄像机坐标系与投影设备坐标系的实时对应关系。
7.根据权利要求4~6任意一项所述的投影图像处理方法,其特征在于,所述创建摄像机坐标系与投影设备坐标系的实时对应关系之前,所述从投影设备的当前待输出图像中,确定出与所述第二目标图像位置对应的目标投影区域,还包括:
获取所述投影场景图像的亮度值,以及与所述投影场景图像对应的历史输出图像的亮度值;
判断所述投影场景图像的亮度值与所述投影场景图像对应的历史输出图像之间的亮度差异值是否位于第一预设差异区间;
当所述投影场景图像的亮度值与所述投影场景图像对应的历史输出图像之间的亮度差异值超出所述第一预设差异区间时,对所述投影场景图像的亮度值和/或所述历史输出图像的亮度值进行调整,以使所述投影场景图像的亮度值与所述投影场景图像对应的历史输出图像之间的亮度差异值位于所述第一预设差异区间。
8.一种投影图像处理装置,其特征在于,应用于投影设备,所述投影图像处理包括:
第一图像获取模块,用于获取摄像机拍摄的投影场景图像;
第二图像获取模块,用于当所述投影场景图像中包括至少一张人脸图像时,从所述至少一张人脸图像中,确定出与目标人脸图像相似度最高,且相似度阈值位于预设阈值区间的第一目标图像,并从所述第一目标图像中,确定出用于表征人眼区域的第二目标图像,所述目标人脸图像为进入投影场景中的人员的人脸图像;
区域确定模块,用于从投影设备的当前待输出图像中,确定出与所述第二目标图像位置对应的目标投影区域;
投影模块,用于降低所述目标投影区域的投影亮度。
9.一种投影设备,其特征在于,包括处理器和存储器,所述存储器上存储有计算机程序,所述处理器用于执行所述计算机程序,以实现权利要求1~7中任意一项所述的投影图像处理方法。
10.一种存储介质,所述存储介质上存储有计算机程序,其特征在于,所述计算机程序被执行时,实现权利要求1~7中任意一项所述的投影图像处理方法。
CN201911349577.2A 2019-12-24 2019-12-24 投影图像处理方法、装置、投影设备及存储介质 Active CN110996084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911349577.2A CN110996084B (zh) 2019-12-24 2019-12-24 投影图像处理方法、装置、投影设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911349577.2A CN110996084B (zh) 2019-12-24 2019-12-24 投影图像处理方法、装置、投影设备及存储介质

Publications (2)

Publication Number Publication Date
CN110996084A true CN110996084A (zh) 2020-04-10
CN110996084B CN110996084B (zh) 2022-12-27

Family

ID=70076319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911349577.2A Active CN110996084B (zh) 2019-12-24 2019-12-24 投影图像处理方法、装置、投影设备及存储介质

Country Status (1)

Country Link
CN (1) CN110996084B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019826A (zh) * 2020-09-04 2020-12-01 北京市商汤科技开发有限公司 投影方法、系统、装置、电子设备及存储介质
CN112235553A (zh) * 2020-10-12 2021-01-15 歌尔科技有限公司 投影亮度调整方法、装置、投影设备及可读存储介质
CN112949577A (zh) * 2021-03-29 2021-06-11 杭州海康威视数字技术股份有限公司 信息关联方法、装置、服务器及存储介质
CN114363596A (zh) * 2022-01-12 2022-04-15 北京小米移动软件有限公司 投影设备的控制方法、装置、投影设备和存储介质
CN114630085A (zh) * 2020-12-11 2022-06-14 宇龙计算机通信科技(深圳)有限公司 图像投影方法、装置、存储介质及电子设备
CN114697627A (zh) * 2022-06-01 2022-07-01 深圳市美特乐光电科技有限公司 用于投影仪的人眼保护方法以及投影仪
CN114827561A (zh) * 2022-03-07 2022-07-29 成都极米科技股份有限公司 投影控制方法、装置、计算机设备和计算机可读存储介质
CN114866751A (zh) * 2022-04-15 2022-08-05 海信视像科技股份有限公司 一种投影设备及触发校正方法
CN115103170A (zh) * 2022-06-20 2022-09-23 岚图汽车科技有限公司 投影仪控制方法及装置、车辆

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000305481A (ja) * 1999-04-21 2000-11-02 Seiko Epson Corp 投写型表示装置及び情報記憶媒体
CN1523439A (zh) * 2003-02-21 2004-08-25 株式会社日立制作所 投影型显示装置
CN101795375A (zh) * 2009-12-30 2010-08-04 广东威创视讯科技股份有限公司 投影显示装置及投影控制方法
CN102193287A (zh) * 2010-03-11 2011-09-21 宏碁股份有限公司 投影方法与投影系统
CN106709954A (zh) * 2016-12-27 2017-05-24 上海唱风信息科技有限公司 在投影区域遮罩人脸的方法
CN109803132A (zh) * 2018-12-20 2019-05-24 合肥凌极西雅电子科技有限公司 一种投影设备人性化智能控制系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000305481A (ja) * 1999-04-21 2000-11-02 Seiko Epson Corp 投写型表示装置及び情報記憶媒体
CN1523439A (zh) * 2003-02-21 2004-08-25 株式会社日立制作所 投影型显示装置
CN101795375A (zh) * 2009-12-30 2010-08-04 广东威创视讯科技股份有限公司 投影显示装置及投影控制方法
CN102193287A (zh) * 2010-03-11 2011-09-21 宏碁股份有限公司 投影方法与投影系统
CN106709954A (zh) * 2016-12-27 2017-05-24 上海唱风信息科技有限公司 在投影区域遮罩人脸的方法
CN109803132A (zh) * 2018-12-20 2019-05-24 合肥凌极西雅电子科技有限公司 一种投影设备人性化智能控制系统和方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019826A (zh) * 2020-09-04 2020-12-01 北京市商汤科技开发有限公司 投影方法、系统、装置、电子设备及存储介质
CN112235553A (zh) * 2020-10-12 2021-01-15 歌尔科技有限公司 投影亮度调整方法、装置、投影设备及可读存储介质
CN114630085A (zh) * 2020-12-11 2022-06-14 宇龙计算机通信科技(深圳)有限公司 图像投影方法、装置、存储介质及电子设备
CN114630085B (zh) * 2020-12-11 2024-02-20 宇龙计算机通信科技(深圳)有限公司 图像投影方法、装置、存储介质及电子设备
CN112949577A (zh) * 2021-03-29 2021-06-11 杭州海康威视数字技术股份有限公司 信息关联方法、装置、服务器及存储介质
CN112949577B (zh) * 2021-03-29 2023-05-09 杭州海康威视数字技术股份有限公司 信息关联方法、装置、服务器及存储介质
CN114363596A (zh) * 2022-01-12 2022-04-15 北京小米移动软件有限公司 投影设备的控制方法、装置、投影设备和存储介质
CN114827561A (zh) * 2022-03-07 2022-07-29 成都极米科技股份有限公司 投影控制方法、装置、计算机设备和计算机可读存储介质
CN114866751A (zh) * 2022-04-15 2022-08-05 海信视像科技股份有限公司 一种投影设备及触发校正方法
CN114697627A (zh) * 2022-06-01 2022-07-01 深圳市美特乐光电科技有限公司 用于投影仪的人眼保护方法以及投影仪
CN115103170A (zh) * 2022-06-20 2022-09-23 岚图汽车科技有限公司 投影仪控制方法及装置、车辆
CN115103170B (zh) * 2022-06-20 2023-10-31 岚图汽车科技有限公司 投影仪控制方法及装置、车辆

Also Published As

Publication number Publication date
CN110996084B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN110996084B (zh) 投影图像处理方法、装置、投影设备及存储介质
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
US10559062B2 (en) Method for automatic facial impression transformation, recording medium and device for performing the method
CN112150638B (zh) 虚拟对象形象合成方法、装置、电子设备和存储介质
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
JP6330036B2 (ja) 画像処理装置及び画像表示装置
KR101457976B1 (ko) 입력 사용자 인터페이스 장치, 투영 장치, 커맨드 결정 방법 및 프로그램이 기록된 기록 매체
US11120535B2 (en) Image processing method, apparatus, terminal, and storage medium
JP2006191526A (ja) 最も好い時刻を選択できるデジタル撮影装置
US20150201124A1 (en) Camera system and method for remotely controlling compositions of self-portrait pictures using hand gestures
CN112019826A (zh) 投影方法、系统、装置、电子设备及存储介质
CN109690568A (zh) 一种处理方法及移动设备
CN107872659B (zh) 投影装置以及投影方法
WO2023273372A1 (zh) 手势识别对象确定方法及装置
JP2016218729A (ja) 画像処理装置、画像処理方法およびプログラム
JP2019179481A (ja) コンピュータプログラム、携帯端末装置
JP2022120681A (ja) 画像処理装置および画像処理方法
CN115049819A (zh) 注视区域识别方法及装置
WO2021035674A1 (zh) 一种图像生成方法、设备、可移动平台及存储介质
CN115393182A (zh) 图像处理方法、装置、处理器、终端及存储介质
EP2827589A1 (en) Display device and device for adapting an information
TWI743413B (zh) 獨照生成裝置和方法及其非揮發性電腦可讀媒體
JP2004070688A (ja) 情報入力装置、方法、プログラム、及びそのプログラムを記録した記録媒体
KR102532251B1 (ko) 딥러닝 알고리즘을 활용하여 추출한 얼굴 특징점을 이용하여 이미지를 보정하는 이미지 보정 방법 및 이를 수행하는 이미지 보정 시스템
US8223220B2 (en) Image processing device, image processing method, and information storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant