CN116132640A - 投影画面调整方法、装置、设备及存储介质 - Google Patents
投影画面调整方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116132640A CN116132640A CN202111339811.0A CN202111339811A CN116132640A CN 116132640 A CN116132640 A CN 116132640A CN 202111339811 A CN202111339811 A CN 202111339811A CN 116132640 A CN116132640 A CN 116132640A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- hand
- user
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000008859 change Effects 0.000 claims abstract description 95
- 230000003287 optical effect Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
Abstract
本申请公开了一种投影画面调整方法、装置、设备及存储介质,属于电子技术领域。该方法包括:从为投影设备配置的摄像装置获取拍摄图像;从拍摄图像中获取用户的手部图像数据;基于拍摄图像中用户的手部图像数据,确定用户的手部与摄像装置之间距离的变化趋势;根据变化趋势,缩放投影设备的投影画面。根据本申请实施例能够简化调整投影画面的流程的操作。
Description
技术领域
本申请属于电子技术领域,尤其涉及一种投影画面调整方法、装置、设备及存储介质。
背景技术
投影设备是一种可以将图像投射到某一物体上的设备,例如,投影设备可将图像投射到幕布上。用户在使用投影设备时,为了使得投影设备投射出的投影画面可以与被投射的物体大小相适应,需要对投影画面进行调整。在此过程中,用户需要使用遥控器来调节投影设备的光变功能,从而实现对投影画面的调整,调整投影画面的流程的操作较为繁琐。
因此,亟需一种操作简单的投影画面调整方法。
发明内容
本申请实施例提供一种投影画面调整方法、装置、设备及存储介质,能够简化调整投影画面的流程的操作。
第一方面,本申请实施例提供一种投影画面调整方法,包括:从为投影设备配置的摄像装置获取拍摄图像;从拍摄图像中获取用户的手部图像数据;基于拍摄图像中用户的手部图像数据,确定用户的手部与摄像装置之间距离的变化趋势;根据变化趋势,缩放投影设备的投影画面。
第二方面,本申请实施例提供一种投影画面调整装置,包括:图像获取模块,用于从为投影设备配置的摄像装置获取拍摄图像;数据获取模块,用于从拍摄图像中获取用户的手部图像数据;变化趋势判别模块,用于基于拍摄图像中用户的手部图像数据,确定用户的手部与摄像装置之间距离的变化趋势;处理模块,用于根据变化趋势,缩放投影设备的投影画面。
第三方面,本申请实施例提供一种投影画面调整设备,包括:处理器以及存储有计算机程序指令的存储器;处理器执行计算机程序指令时实现如第一方面的投影画面调整方法。
第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现第一方面的的投影画面调整方法。
本申请实施例提供一种投影画面调整方法、装置、设备及存储介质,可从为投影设备配置的摄像装置获取拍摄图像,基于拍摄图像中获取到的用户的手部图像数据,确定用户的手部与摄像装置之间距离的变化趋势。根据用户的手部与摄像装置之间距离的变化趋势,缩放投影设备的投影画面。用户通过手部与摄像装置的互动,即可实现投影画面的调整,不需要使用遥控器,也省去了对遥控器的操作,简化了调整投影画面的流程的操作。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的投影画面调整方法的应用场景的一示例的示意图;
图2为本申请提供的投影画面调整方法的一实施例的流程图;
图3为本申请实施例提供的手部的关键点的一示例的示意图;
图4为本申请实施例提供的手部的关键点的另一示例的示意图;
图5为本申请提供的投影画面调整方法的另一实施例的流程图;
图6为本申请提供的投影画面调整方法的又一实施例的流程图;
图7为本申请提供的投影画面调整方法的再一实施例的流程图;
图8为本申请提供的投影画面调整方法的又另一实施例的流程图;
图9为本申请提供的投影画面调整方法的又再一实施例的流程图;
图10为本申请提供的投影画面调整装置的一实施例的结构示意图;
图11为本申请提供的投影画面调整装置的另一实施例的结构示意图;
图12为本申请提供的投影画面调整装置的又一实施例的结构示意图;
图13为本申请提供的投影画面调整设备的一实施例的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
投影设备是一种可以将图像投射到某一物体上的设备,例如,投影设备可将图像投射到幕布或墙体上。用户在使用投影设备时,由于投影设备与被投射的物体之间的距离不同,被投射的物体的大小也不同,为了使得投影设备投射出的投影画面可以与被投射的物体大小相适应,需要对投影画面进行调整。在此过程中,用户需要寻找遥控器,并对遥控器进行操作,以对投影设备的投影画面进行调整,该调整投影画面的流程的操作较为繁琐。
本申请实施例提供一种投影画面调整方法、装置、设备及存储介质,能够通过为投影设备配置的摄像装置获取拍摄图像,根据从拍摄图像中获取的用户的手部图像数据,可以确定用户的手部与摄像装置之间距离的变化趋势,从而根据变化趋势来缩放投影设备的投影画面。在该投影画面调整的流程中,不需要使用遥控器,只需用户的手部与与投影设备对应配置的摄像装置的交互,即可完成投影画面的调整,简化了投影画面调整的流程。
图1为本申请实施例提供的投影画面调整方法的应用场景的一示例的示意图。如图1所示,投影设备11投射出了投影画面12,摄像装置13与投影设备11一体设置。用户可将手部14远离或靠近摄像装置13,投影设备11可根据用户的手部14远离或靠近摄像装置的趋势,来缩小或放大投射出的投影画面12。
在一些示例中,摄像装置也可与投影设备分体设置,摄像装置可为独立的装置,与投影设备配合使用。摄像装置可设置在投影设备附近,以便用户进行操作。在此并不限定摄像装置的具体位置。
下面对投影画面调整方法、装置、设备及存储介质依次进行说明。
本申请第一方面提供一种投影画面调整方法,可应用于投影画面调整装置或投影画面调整设备,即投影画面调整方法可由投影画面调整装置或投影画面调整设备执行,在此并不限定。图2为本申请提供的投影画面调整方法的一实施例的流程图。如图2所示,该投影画面调整方法可包括步骤S201至步骤S204。
在步骤S201中,从为投影设备配置的摄像装置获取拍摄图像。
摄像装置与投影设备配合使用,摄像装置可与投影设备为一体结构,也可分开设置,在此并不限定。摄像装置拍摄得到的拍摄图像可包括用户的手部图像。拍摄图像可包括一段时间内的两帧以上的拍摄图像,两帧以上的拍摄图像可以为相邻的拍摄图像,也可为不相邻的拍摄图像,在此并不限定。
在步骤S202中,从拍摄图像中获取用户的手部图像数据。
在获取到拍摄图像的情况下,可从拍摄图像中识别用户的手部,获取得到用户的手部图像数据。
手部图像数据可用于表征拍摄图像中用户的手部。手部图像数据可包括表征拍摄图像中用户的手掌,也可包括表征拍摄图像中用户的手背,还可表征拍摄图像中用户的处于某个姿势的手部,如表征拍摄图像中用户张开的手部、用户并拢的手部、用户弯曲的手部等,在此并不限定。例如,手部图像数据可包括拍摄图像中用户的手部的关键点、拍摄图像中用户的手部的轮廓、拍摄图像中用户的手部的颜色、拍摄图像中用户的手部的面积、拍摄图像中用户的手部占拍摄图像的占比等中的一项或两项以上,在此并不限定。
在一些示例中,可将拍摄图像输入预先训练得到的手部图像数据识别模型,得到手部图像数据识别模型输出的用户的手部图像数据。手部图像数据识别模型用于输出根据输入的拍摄图像识别得到的手部图像数据。具体地,在利用手部图像数据识别模型获取用户的手部图像数据之前,可获取训练数据集,利用训练数据集训练得到手部图像数据识别模型。训练数据集可包括多个训练图像和训练图像中的手部图像数据。可利用训练数据集和框架模型,训练得到手部图像数据识别模型。框架模型可包括keypoints框架模型等,在此并不限定。
在步骤S203中,基于拍摄图像中用户的手部图像数据,确定用户的手部与摄像装置之间距离的变化趋势。
基于拍摄图像中用户的手部图像数据,可确定手部图像数据表征的用户的手部在拍摄图像中的变化,通过用户的手部在拍摄图像中的变化,可确定用户的手部与拍摄装置之间距离的变化趋势。用户的手部与拍摄装置之间的距离的变化趋势可包括远离趋势和接近趋势。用户的手部与拍摄装置之间的距离的变化趋势为远离趋势,表示用户的手部与拍摄装置之间的距离越来越远。用户的手部与拍摄装置之间的距离的变化趋势为接近趋势,表示用户的手部与拍摄装置之间的距离越来越近。
例如,拍摄图像可包括一段时间内的两帧以上的拍摄图像,在这一段时间内的两帧以上的拍摄图像中,按照时间顺序,若两帧以上的拍摄图像中手部图像数据表征的用户的手部变小,表示用户的手部与拍摄装置之间的距离越来越远,可确定用户的手部与摄像装置之间距离的变化趋势为远离趋势;若两帧以上的拍摄图像中手部图像数据表征的用户的手部变大,表示用户的手部与拍摄装置之间的距离越来越近,可确定用户的手部与摄像装置之间距离的变化趋势为接近趋势。
在步骤S204中,根据变化趋势,缩放投影设备的投影画面。
可预先建立变化趋势与缩小投影设备的投影画面的操作、放大投影设备的投影画面的操作的对应关系,可根据变化趋势,以及变化趋势与缩小投影设备的投影画面的操作、放大投影设备的投影画面的操作的对应关系,对应地缩小或放大投影设备的投影画面。
在一些示例中,变化趋势可包括第一变化趋势和第二变化趋势,第一变化趋势与第二变化趋势中的一种为远离趋势,第一变化趋势与第二变化趋势中的另一种为接近趋势。第一变化趋势与缩小投影设备的投影画面的操作具有对应关系,第二变化趋势与放大投影设备的投影画面的操作具有对应关系。在变化趋势为第一变化趋势的情况下,缩小投影设备的投影画面;在变化趋势为第二变化趋势的情况下,放大投影设备的投影画面。
例如,在变化趋势为远离趋势的情况下,缩小投影设备的投影画面;在变化趋势为接近趋势的情况下,放大投影设备的投影画面。又例如,在变化趋势为接近趋势的情况下,缩小投影设备的投影画面;在变化趋势为远离趋势的情况下,放大投影设备的投影画面。
投影设备包括光学变焦马达,可通过控制光学变焦马达,来缩小或放大投影设备的投影画面。光学变焦马达的前转、后转与投影画面的缩小、放大的对应关系可根据投影设备中光学变焦马达的具体安装结构确定,在此并不限定。上述缩小投影设备的投影画面的步骤可细化为:控制投影设备中的光学变焦马达执行第一动作,以缩小投影设备的投影画面。上述放大投影设备的投影画面的步骤可细化为:控制投影设备中的光学变焦马达执行第二动作,以放大投影设备的投影画面。其中第一动作为前转与后转中的一种动作,第二动作为前转与后转中的另一种动作。
例如,控制光学变焦马达前转,以放大投影设备的投影画面;控制光学变焦马达后转,以缩小投影设备的投影画面。又例如,控制光学变焦马达前转,以缩小投影设备的投影画面;控制光学变焦马达后转,以放大投影设备的投影画面。
在本申请实施例中,可从为投影设备配置的摄像装置获取拍摄图像,基于拍摄图像中获取到的用户的手部图像数据,确定用户的手部与摄像装置之间距离的变化趋势。根据用户的手部与摄像装置之间距离的变化趋势,缩放投影设备的投影画面。用户通过手部与摄像装置的互动,即可实现投影画面的调整,不需要使用遥控器,也省去了对遥控器的操作,简化了调整投影画面的流程的操作,也提高了调整投影画面的便利性和用户体验。
在一些实施例中,手部图像数据可包括拍摄图像中用户的手部的关键点。具体地,可通过手部图像数据识别模型得到拍摄图像中用户的手部的关键点。用户的手部的关键点为能够标识用户的手部特征的点,在此并不限定。在此也并不限定用户的手部的关键点的数目和位置。在一些示例中,用户的手部的关键点可包括位于手掌的关键点、位于手指的关键点、位于手指与手掌的连接处的关键点中的一种或两种以上,在此并不限定。在一些示例中,一帧拍摄图像中用户的手部的关键点的数量可大于或等于5。
例如,图3为本申请实施例提供的手部的关键点的一示例的示意图。如图3所示,用户的手部具有5个关键点,分别为关键点A1至A5。关键点A1位于手掌,关键点A2至A5位于手指与手掌的连接处。
又例如,图4为本申请实施例提供的手部的关键点的另一示例的示意图。如图4所示,用户的手部具有21个关键点,分别为关键点B1至B21。关键点B1和B2位于手掌,关键点B3、B6、B10、B14和B18位于手指与手掌的连接处,关键点B4、B5、B7、B8、B9、B11、B12、B13、B15、B16、B17、B19、B20和B21位于手指。
上述拍摄图像可包括第一帧拍摄图像和第二帧拍摄图像。第一帧拍摄图像与第二帧拍摄图像可为相邻的两帧图像,也可为不相邻的两帧图像,在此并不限定。第二帧拍摄图像的拍摄时间晚于第一帧拍摄图像的拍摄时间。可根据第一帧拍摄图像中用户的手部图像数据和第二帧拍摄图像中用户的手部图像数据,确定用户的手部与摄像装置之间距离的变化趋势。图5为本申请提供的投影画面调整方法的另一实施例的流程图。图5与图2的不同之处在于,图2中的步骤S203可具体细化为图5中的步骤S2031至步骤S2034。
在步骤S2031中,根据第一帧拍摄图像中用户的手部的关键点,得到第一帧拍摄图像中关键点之间的距离。
第一帧拍摄图像中关键点之间的距离可包括第一帧拍摄图像中每两个关键点之间的距离或部分两个关键点之间的距离。具体地,两个关键点之间的距离可选取位于手掌的关键点和位于手指的关键点之间的距离,和/或选取位于手掌的关键点和位于手指与手掌的连接处的关键点之间的距离,和/或选取位于手掌的关键点之间的距离,和/或选取位于手指的关键点之间的距离,和/或选取位于手指与手掌的连接处的关键点之间的距离等,在此并不限定。两个关键点之间的距离可为两个相邻的关键点之间的距离,也可为两个不相邻的关键点之间的距离,在此并不限定。
在一些示例中,第一帧拍摄图像中关键点之间的距离包括第一帧拍摄图像中每两个关键点之间的距离。
例如,第一帧拍摄图像中的用户的手部的关键点如图3所示,第一帧拍摄图像中关键点之间的距离可包括位于手掌的关键点和位于手指与手掌的连接处的关键点之间的距离以及手指与手掌的连接处的关键点之间的距离,具体可包括A1A2、A1A3、A1A4、A1A5、A2A3、A3A4、A4A5、A2A4、A2A5和A3A5,A1A2为第一帧拍摄图像中关键点A1和A2之间的距离,A1A3为第一帧拍摄图像中关键点A1和A3之间的距离,A1A4为第一帧拍摄图像中关键点A1和A4之间的距离,A1A5为第一帧拍摄图像中关键点A1和A5之间的距离,A2A3为第一帧拍摄图像中关键点A2和A3之间的距离,A3A4为第一帧拍摄图像中关键点A3和A4之间的距离,A4A5为第一帧拍摄图像中关键点A4和A5之间的距离,A2A4为第一帧拍摄图像中关键点A2和A4之间的距离,A2A5为第一帧拍摄图像中关键点A2和A5之间的距离,A3A5为第一帧拍摄图像中关键点A3和A5之间的距离。
在一些示例中,在第一帧拍摄图像中关键点之间的距离包括第一帧图像中部分两个关键点之间的距离的情况下,所选取的部分两个关键点之间的距离的数量大于第一数量阈值,或者,所选取的部分两个关键点之间的距离的数量占第一帧拍摄图像中所有的两个关键点之间的距离的数量的占比大于第一占比阈值。第一数量阈值、第一占比阈值可根据场景、需求、经验等设定,在此并不限定。
例如,第一帧拍摄图像中的用户的手部的关键点如图3所示,第一帧拍摄图像中所有的两个关键点之间的距离包括A1A2、A1A3、A1A4、A1A5、A2A3、A3A4、A4A5、A2A4、A2A5和A3A5,上述距离的定义可参见上述相关说明,在此不再赘述。在选取部分两个关键点之间的距离的情况下,若第一数量阈值为5或第一占比阈值为50%,则可选取A1A2、A1A3、A1A4、A1A5、A2A3、A3A4、A4A5、A2A4、A2A5和A3A5中的任意5个距离作为选取的部分两个关键点之间的距离。
在一些示例中,在第一帧拍摄图像中关键点之间的距离包括第一帧图像中部分两个关键点之间的距离的情况下,所选取的部分两个关键点之间的距离可包括第一帧拍摄图像中预先选定的位置的关键点之间的距离,如所选取的部分两个关键点之间的距离可包括所有的两个关键点之间的距离中位于手掌的关键点和位于手指与手掌的连接处的关键点之间的距离。预先选定的位置可根据场景、需求、经验等选定,在此并不限定。
例如,第一帧拍摄图像中的用户的手部的关键点如图3所示,第一帧拍摄图像中关键点之间的距离可包括位于手掌的关键点和位于手指与手掌的连接处的关键点之间的距离,具体可包括A1A2、A1A3、A1A4和A1A5,A1A2为第一帧拍摄图像中关键点A1和A2之间的距离,A1A3为第一帧拍摄图像中关键点A1和A3之间的距离,A1A4为第一帧拍摄图像中关键点A1和A4之间的距离,A1A5为第一帧拍摄图像中关键点A1和A5之间的距离。
又例如,第一帧拍摄图像中的用户的手部的关键点如图4所示,第一帧拍摄图像中关键点之间的距离可包括位于手掌的关键点之间的距离、位于手掌的关键点和位于手指与手掌的连接处的关键点之间的距离以及位于手指的关键点之间的距离,具体可包括B1B2、B2B3、B3B4、B4B5、B1B6等等,在此不一一述说。B1B2为第一帧拍摄图像中关键点B1和B2之间的距离,B2B3为第一帧拍摄图像中关键点B2和B3之间的距离,B3B4为第一帧拍摄图像中关键点B3和B4之间的距离,B4B5为第一帧拍摄图像中关键点B4和B5之间的距离,B1B6为第一帧拍摄图像中关键点B1和B6之间的距离,其他以此类推。
在步骤S2032中,根据第二帧拍摄图像中用户的手部的关键点,得到第二帧拍摄图像中关键点之间的距离。
第二帧拍摄图像中关键点与第一帧拍摄图像中的关键点一一对应。第二帧拍摄图像中用户的手部的关键点以及关键点之间的距离可参见上述第一帧拍摄图像中用户的手部的关键点以及关键点之间的距离的相关说明,在此不再赘述。不同帧拍摄图像中关键点之间的距离可能会不同。
在步骤S2033中,在相同关键点在第一帧拍摄图像中的距离大于相同关键点在第二帧拍摄图像中的距离的情况下,确定变化趋势为远离趋势。
相同关键点在第一帧拍摄图像中的距离大于相同关键点在第二帧拍摄图像中的距离,即相同关键点在拍摄时间靠前的图像中的距离大于相同关键点在拍摄时间靠后的图像中的距离,表示用户的手部随着时间距离摄像装置越来越远,可确定变化趋势为远离趋势。
在一些示例中,可在部分相同关键点在第一帧拍摄图像中的距离大于这部分相同关键点在第二帧拍摄图像中的距离,确定变化趋势为远离趋势。
在另一些示例中,在所有相同关键点在第一帧拍摄图像中的距离均同步大于这些相同关键点在第二帧拍摄图像中的距离的情况下,确定变化趋势为远离趋势,可进一步提高变化趋势的确定准确性,从而提高投影画面调整操作判断的准确性。
例如,第一帧拍摄图像中的用户的手部的关键点的分布和第二帧拍摄图像中的用户的手部的关键点的分布如图3所示,第一帧拍摄图像中关键点之间的距离可包括A1A2、A1A3、A1A4和A1A5,第二帧拍摄图像中关键点之间的距离可包括A1A2'、A1A3'、A1A4'和A1A5'。A1A2、A1A3、A1A4和A1A5的定义可参见上文,A1A2'为第二帧拍摄图像中关键点A1和A2之间的距离,A1A3'为第二帧拍摄图像中关键点A1和A3之间的距离,A1A4'为第二帧拍摄图像中关键点A1和A4之间的距离,A1A5'为第二帧拍摄图像中关键点A1和A5之间的距离。在同时满足A1A2>A1A2'、A1A3>A1A3'、A1A4>A1A4'和A1A5>A1A5'的情况下,可确定变化趋势为远离趋势。
在步骤S2034中,在相同关键点在第一帧拍摄图像中的距离小于相同关键点在第二帧拍摄图像中的距离的情况下,确定变化趋势为接近趋势。
相同关键点在第一帧拍摄图像中的距离小于相同关键点在第二帧拍摄图像中的距离,即相同关键点在拍摄时间靠前的图像中的距离小于相同关键点在拍摄时间靠后的图像中的距离,表示用户的手部随着时间距离摄像装置越来越近,可确定变化趋势为接近趋势。
在一些示例中,可在部分相同关键点在第一帧拍摄图像中的距离小于这部分相同关键点在第二帧拍摄图像中的距离,确定变化趋势为接近趋势。
在另一些示例中,在所有相同关键点在第一帧拍摄图像中的距离均同步小于这些相同关键点在第二帧拍摄图像中的距离的情况下,确定变化趋势为接近趋势,可进一步提高变化趋势的确定准确性,从而提高投影画面调整操作判断的准确性。
例如,第一帧拍摄图像中的用户的手部的关键点的分布和第二帧拍摄图像中的用户的手部的关键点的分布如图3所示,第一帧拍摄图像中关键点之间的距离可包括A1A2、A1A3、A1A4和A1A5,第二帧拍摄图像中关键点之间的距离可包括A1A2'、A1A3'、A1A4'和A1A5'。A1A2、A1A3、A1A4、A1A5、A1A2'、A1A3'、A1A4'和A1A5'的定义可参见上文。在同时满足A1A2<A1A2'、A1A3<A1A3'、A1A4<A1A4'和A1A5<A1A5'的情况下,可确定变化趋势为接近趋势。
在一些实施例中,拍摄图像在包括第一帧拍摄图像和第二帧拍摄图像的基础上,还可包括第三帧拍摄图像。第三帧拍摄图像的拍摄时间位于第一帧拍摄图像的拍摄时间和第二帧拍摄图像的拍摄时间之间。即第三帧拍摄图像的拍摄时间晚于第一帧拍摄图像的拍摄时间,但早于第二帧拍摄图像的拍摄时间。投影设备中的光学变焦马达前转或后转用于缩放投影画面。可根据拍摄图像中手部的关键点确定投影设备中的光学变焦马达前转或后转的步数,以确定投影画面缩放的倍数。图6为本申请提供的投影画面调整方法的又一实施例的流程图。图6与图5的不同之处在于,图6所示的投影画面调整方法还可包括步骤S205和步骤S206。
在步骤S205中,根据第三帧拍摄图像中用户的手部的关键点,得到第三帧拍摄图像中关键点之间的距离。
第三帧拍摄图像中关键点与第一帧拍摄图像中的关键点、第二帧拍摄图像中的关键点一一对应。第三帧拍摄图像中用户的手部的关键点以及关键点之间的距离可参见上述第一帧拍摄图像中用户的手部的关键点以及关键点之间的距离的相关说明,在此不再赘述。不同帧拍摄图像中关键点之间的距离可能会不同。
在步骤S206中,基于第一帧拍摄图像中关键点之间的距离、第二帧拍摄图像中关键点之间的距离、第三帧拍摄图像中关键点之间的距离和预设修正参数,确定投影设备中的光学变焦马达前转或后转的步数。
可根据第一帧拍摄图像中关键点之间的距离、第二帧拍摄图像中关键点之间的距离、第三帧拍摄图像中关键点之间的距离,得到不同帧拍摄图像中关键点之间的距离的比值。根据不同帧拍摄图像中关键点之间的距离的比值和预设修正参数,确定投影设备中的光学变焦马达前转或后转的步数。预设修正参数可根据场景、需求、经验等设定,在此并不限定。
在一些示例中,光学变焦马达前转或后转的步数满足以下关系:
d=k×(|r1-r2|/r1) (1)
其中,d为光学变焦马达前转或后转的步数。k为预设修正参数。r1为相同关键点在第一帧拍摄图像中的距离与相同关键点在第三帧拍摄图像中的距离的比值。r2为相同关键点在第三帧拍摄图像中的距离与相同关键点在第二帧拍摄图像中的距离的比值。
具体地,相同关键点在第一帧拍摄图像中的距离与相同关键点在第三帧拍摄图像中的距离的比值可以为所有的相同关键点在第一帧拍摄图像中的距离与相同关键点在第三帧拍摄图像中的距离的比值的平均值。对应地,相同关键点在第三帧拍摄图像中的距离与相同关键点在第二帧拍摄图像中的距离的比值可以为所有的相同关键点在第三帧拍摄图像中的距离与相同关键点在第二帧拍摄图像中的距离的比值的平均值。
例如,第一帧拍摄图像中的用户的手部的关键点的分布、第二帧拍摄图像中的用户的手部的关键点的分布和第三帧拍摄图像中的用户的手部的关键点的分布如图3所示,第一帧拍摄图像中关键点之间的距离可包括A1A2、A1A3、A1A4和A1A5,第二帧拍摄图像中关键点之间的距离可包括A1A2'、A1A3'、A1A4'和A1A5',第三帧拍摄图像中关键点之间的距离可包括A1A2〞、A1A3〞、A1A4〞和A1A5〞。A1A2、A1A3、A1A4、A1A5、A1A2'、A1A3'、A1A4'和A1A5'的定义可参见上文,A1A2〞为第三帧拍摄图像中关键点A1和A2之间的距离,A1A3〞为第三帧拍摄图像中关键点A1和A3之间的距离,A1A4〞为第三帧拍摄图像中关键点A1和A4之间的距离,A1A5〞为第三帧拍摄图像中关键点A1和A5之间的距离。在A1A2、A1A3、A1A4和A1A5相对于A1A2〞、A1A3〞、A1A4〞和A1A5〞变化的趋势,与A1A2〞、A1A3〞、A1A4〞和A1A5〞相对于A1A2'、A1A3'、A1A4'和A1A5'变化的趋势一致的情况下,r1与r2的计算如关系式(3)和(4)所示:
r1=[(A1A2/A1A2〞)+(A1A3/A1A3〞)+(A1A4/A1A4〞)+(A1A5/A1A5〞)]/4 (3)
r2=[(A1A2〞/A1A2')+(A1A3〞/A1A3')+(A1A4〞/A1A4')+(A1A5〞/A1A5')]/4 (4)
根据不同帧拍摄图像中关键点之间的距离的比值和预设修正参数,确定投影设备中的光学变焦马达前转或后转的步数,不需要用户手动进行调整,即能够准确地控制对投影图像的缩放,省略用户操作,提高用户体验。
在一些实施例中,为了避免对用户手部与摄像装置之间距离的变化趋势的误判,可在所有相同关键点在所述第一帧拍摄图像的距离与这些相同关键点在所述第二帧拍摄图像中的距离的大小关系不一致的情况下,重新进行判断。图7为本申请提供的投影画面调整方法的再一实施例的流程图。图7与图5的不同之处在于,图7所示的投影画面调整方法还可包括步骤S207至步骤S210。
在步骤S207中,在一部分相同关键点在第一帧拍摄图像的距离大于一部分相同关键点在第二帧拍摄图像中的距离,且另一部分相同关键点在第一帧拍摄图像中的距离小于或等于一部分相同关键点在第二帧拍摄图像中的距离的情况下,获取第四帧拍摄图像。
第四帧拍摄图像的拍摄时间晚于第二帧拍摄图像的拍摄时间。在所有相同关键点在所述第一帧拍摄图像的距离与这些相同关键点在所述第二帧拍摄图像中的距离的大小关系不一致的情况下,可将第二帧拍摄图像作为判断用户的手部与摄像装置之间的距离的变化趋势所使用的拍摄时间靠前的拍摄图像,获取第四帧拍摄图像,将第四帧拍摄图像作为判断用户的手部与摄像装置之间的距离的变化趋势所使用的拍摄时间靠后的拍摄图像。
在步骤S208中,从第四帧拍摄图像中获取用户的手部的关键点。
第四帧拍摄图像中用户的手部的关键点与第二帧拍摄图像中用户的手部的关键点一一对应。从第四帧拍摄图像中获取用户的手部的关键点的内容可参见上述实施例中从第一帧拍摄图像、第二帧拍摄图像、第三帧拍摄图像中获取用户的手部的关键点的内容,在此不再赘述。
在步骤S209中,基于第二帧拍摄图像中获取用户的手部的关键点和第四帧拍摄图像中获取用户的手部的关键点,确定变化趋势。
具体地,根据第四帧拍摄图像中用户的手部的关键点,得到第四帧拍摄图像中关键点之间的距离。在相同关键点在第二帧拍摄图像中的距离大于相同关键点在第四帧拍摄图像中的距离的情况下,确定变化趋势为远离趋势。在相同关键点在第二帧拍摄图像中的距离小于相同关键点在第四帧拍摄图像中的距离的情况下,确定变化趋势为接近趋势。
在步骤S210中,根据变化趋势,缩放投影画面。
步骤S210的具体内容可参见上述实施例中的相关说明,在此不再赘述。
在另一些实施例中,手部图像数据包括用户的手部面积在拍摄图像中的占比。上述拍摄图像可包括第一帧拍摄图像和第二帧拍摄图像。第一帧拍摄图像与第二帧拍摄图像的内容可参见上述实施例中的相关说明,在此不再赘述。图8为本申请提供的投影画面调整方法的又另一实施例的流程图。图8与图2的不同之处在于,图2中的步骤S203可具体细化为图8中的步骤S2035和步骤S2036。
在步骤S2035中,在用户的手部面积在第一帧拍摄图像中的占比大于用户的手部面积在第二帧拍摄图像中的占比的情况下,确定变化趋势为远离趋势。
用户的手部面积在第一帧拍摄图像中的占比大于用户的手部面积在第二帧拍摄图像中的占比,表示用户的手部随着时间在拍摄图像中越来越小,即用户的手部与摄像装置的距离越来越远,可确定变化趋势为远离趋势。
在步骤S2036中,在用户的手部面积在第一帧拍摄图像中的占比小于用户的手部面积在第二帧拍摄图像中的占比的情况下,确定变化趋势为接近趋势。
用户的手部面积在第一帧拍摄图像中的占比小于用户的手部面积在第二帧拍摄图像中的占比,表示用户的手部随着时间在拍摄图像中越来越大,即用户的手部与摄像装置的距离越来越近,可确定变化趋势为接近趋势。
在一些实施例中,可进一步判断用户的手部的姿势是否发生变化,以避免用户想要切换至其他手势操作而无法实现。图9为本申请提供的投影画面调整方法的又再一实施例的流程图。图9与图2的不同之处在于,图9所示的投影画面调整方法还可包括步骤S211和步骤S212,图2中的步骤S203可具体细化为图9所示的步骤S2037。
在步骤S211中,根据拍摄图像中用户的手部图像数据,确定用户的手部的姿势是否发生变化。
根据手部图像数据,可获取到用户的手部的关键点、用户的手部的轮廓等,可根据用户的手部的关键点、用户的手部的轮廓等在一段时间内的变化,确定用户的手部的姿势是否发生变化。
在一些示例中,手部图像数据可包括拍摄图像中用户的手部的关键点。上述拍摄图像可包括第一帧拍摄图像和第二帧拍摄图像,第一帧拍摄图像和第二帧拍摄图像的具体内容可参见上述实施例中的相关说明,在此不再赘述。可根据第一帧拍摄图像中用户的手部的关键点,得到第一帧拍摄图像中关键点之间的距离的比值;根据第二帧拍摄图像中用户的手部的关键点,得到第二帧拍摄图像中关键点之间的距离的比值;在第一比值与第二比值的差值超出预设误差范围的情况下,确定用户的手部的姿势发生变化;在第一比值与第二比值的差值位于预设误差范围内的情况下,确定用户的手部的姿势未发生变化。
第一帧拍摄图像中关键点之间的距离的比值包括第一帧拍摄图像中不同关键点之间的距离的比值。第二帧拍摄图像中关键点之间的距离的比值包括第二帧拍摄图像中不同关键点之间的距离的比值。第一比值包括相同关键点在第一帧拍摄图像中的距离的比值,第二比值包括相同关键点在第二帧拍摄图像中的距离的比值。第一比值可包括一个或两个以上的比值,第二比值可包括一个或两个以上的比值。第一比值与第二比值一一对应。预设误差范围可根据场景、需求、经验等设定,在此并不限定。例如,预设误差范围为[-0.5,0.5]。
例如,第一帧拍摄图像中的用户的手部的关键点的分布和第二帧拍摄图像中的用户的手部的关键点的分布如图3所示,第一帧拍摄图像中关键点之间的距离可包括A1A2、A1A3、A1A4、A1A5、A2A3、A3A4和A4A5,第二帧拍摄图像中关键点之间的距离可包括A1A2'、A1A3'、A1A4'、A1A5'、A2A3'、A3A4'和A4A5'。A1A2、A1A3、A1A4、A1A5、A1A2'、A1A3'、A1A4'和A1A5'的定义可参见上文,在此不再赘述。A2A3为第一帧拍摄图像中关键点A2和A3之间的距离,A3A4为第一帧拍摄图像中关键点A3和A4之间的距离,A4A5为第一帧拍摄图像中关键点A4和A5之间的距离,A2A3'为第二帧拍摄图像中关键点A2和A3之间的距离,A3A4'为第二帧拍摄图像中关键点A3和A4之间的距离,A4A5'为第二帧拍摄图像中关键点A4和A5之间的距离。第一帧拍摄图像中关键点之间的距离的比值可包括A1A2/A1A3、A1A2/A1A4、A1A2/A1A5、A1A2/A2A3、A1A2/A3A4和A1A2/A4A5。第二帧拍摄图像中关键点之间的距离的比值可包括A1A2'/A1A3'、A1A2'/A1A4'、A1A2'/A1A5'、A1A2'/A2A3'、A1A2'/A3A4'和A1A2'/A4A5'。第一比值包括A1A2/A1A3,与A1A2/A1A3对应的第二比值为A1A2'/A1A3';第一比值包括A1A2/A1A4,与A1A2/A1A4对应的第二比值为A1A2'/A1A4';第一比值包括A1A2/A1A5,与A1A2/A1A5对应的第二比值为A1A2'/A1A5';第一比值包括A1A2/A2A3,与A1A2/A2A3对应的第二比值为A1A2'/A2A3';第一比值包括A1A2/A3A4,与A1A2/A3A4对应的第二比值为A1A2'/A3A4';第一比值包括A1A2/A4A5,与A1A2/A4A5对应的第二比值为A1A2'/A4A5'。若A1A2/A1A3与A1A2'/A1A3'的差值、A1A2/A1A4与A1A2'/A1A4'的差值、A1A2/A1A5与A1A2'/A1A5'的差值、A1A2/A2A3与A1A2'/A2A3'的差值、A1A2/A3A4与A1A2'/A3A4'的差值、A1A2/A4A5与A1A2'/A4A5'的差值均在预设误差范围内,确定用户的手部的姿势未发生变化。若A1A2/A1A3与A1A2'/A1A3'的差值、A1A2/A1A4与A1A2'/A1A4'的差值、A1A2/A1A5与A1A2'/A1A5'的差值、A1A2/A2A3与A1A2'/A2A3'的差值、A1A2/A3A4与A1A2'/A3A4'的差值、A1A2/A4A5与A1A2'/A4A5'的差值中有至少部分超出预设误差范围,确定用户的手部的姿势发生变化。
在步骤S212中,在确定用户的手部的姿势发生变化的情况下,控制投影设备执行与变化后的手部的姿势对应的动作。
用户的手部的不同的姿势对应投影设备执行的不同的动作。确定用户的手部的姿势发生变化,表示用户停止投影画面的缩放操作,需要切换至新的操作。控制投影设备执行与变化后的手部的姿势对应的动作,即奇幻至与变化后的手部的姿势对应的新的操作。
在步骤S2037中,在确定用户的手部的姿势未发生变化的情况下,基于拍摄图像中用户的手部图像数据,确定变化趋势。
确定用户的手部的姿势发生变化,表示用户仍在进行投影画面的缩放操作,可进行用户的手部与摄像装置之间距离的变化趋势的判断。
通过拍摄图像中用户的手部图像数据,确定用户的手部的姿势是否发生变化,能够准确地判定用户的需求操作,避免了对用户操作的误判,提高了用户操作的准确性,也提高了用户体验。
本申请第二方面提供一种投影画面调整装置。图10为本申请提供的投影画面调整装置的一实施例的结构示意图。如图10所示,该投影画面调整装置300可包括图像获取模块301、数据获取模块302、变化趋势判别模块303和处理模块304。
图像获取模块301可用于从为投影设备配置的摄像装置获取拍摄图像;
数据获取模块302可用于从拍摄图像中获取用户的手部图像数据;
变化趋势判别模块303可用于基于拍摄图像中用户的手部图像数据,确定用户的手部与摄像装置之间距离的变化趋势;
处理模块304可用于根据变化趋势,缩放投影设备的投影画面。
在本申请实施例中,可从为投影设备配置的摄像装置获取拍摄图像,基于拍摄图像中获取到的用户的手部图像数据,确定用户的手部与摄像装置之间距离的变化趋势。根据用户的手部与摄像装置之间距离的变化趋势,缩放投影设备的投影画面。用户通过手部与摄像装置的互动,即可实现投影画面的调整,不需要使用遥控器,也省去了对遥控器的操作,简化了调整投影画面的流程的操作,也提高了调整投影画面的便利性和用户体验。
在一些示例中,上述处理模块304可用于:在变化趋势为第一变化趋势的情况下,缩小投影设备的投影画面;在变化趋势为第二变化趋势的情况下,放大投影设备的投影画面。
其中,第一变化趋势与第二变化趋势中的一种为远离趋势,第一变化趋势与第二变化趋势中的另一种为接近趋势。
具体地,上述处理模块304可用于控制投影设备中的光学变焦马达执行第一动作,以缩小投影设备的投影画面;以及,用于控制投影设备中的光学变焦马达执行第二动作,以放大投影设备的投影画面。
其中,第一动作为前转与后转中的一种动作,第二动作为前转与后转中的另一种动作。
在一些实施例中,手部图像数据包括拍摄图像中用户的手部的关键点。拍摄图像包括第一帧拍摄图像和第二帧拍摄图像,第二帧拍摄图像的拍摄时间晚于第一帧拍摄图像的拍摄时间。
上述变化趋势判别模块303可用于:根据第一帧拍摄图像中用户的手部的关键点,得到第一帧拍摄图像中关键点之间的距离;根据第二帧拍摄图像中用户的手部的关键点,得到第二帧拍摄图像中关键点之间的距离;在相同关键点在第一帧拍摄图像中的距离大于相同关键点在第二帧拍摄图像中的距离的情况下,确定变化趋势为远离趋势;在相同关键点在第一帧拍摄图像中的距离小于相同关键点在第二帧拍摄图像中的距离的情况下,确定变化趋势为接近趋势。
在一些示例中,用户的手部的关键点包括位于手掌的关键点、位于手指的关键点、位于手指与手掌的连接处的关键点中的一种或两种以上。
在一些示例中,一帧拍摄图像中用户的手部的关键点的数量大于或等于5。
在一些示例中,拍摄图像还包括第三帧拍摄图像,第三帧拍摄图像的拍摄时间位于第一帧拍摄图像的拍摄时间和第二帧拍摄图像的拍摄时间之间。
上述变化趋势判别模块303还可用于根据第三帧拍摄图像中用户的手部的关键点,得到第三帧拍摄图像中关键点之间的距离;基于第一帧拍摄图像中关键点之间的距离、第二帧拍摄图像中关键点之间的距离、第三帧拍摄图像中关键点之间的距离和预设修正参数,确定投影设备中的光学变焦马达前转或后转的步数。
光学变焦马达前转或后转用于缩放投影画面。
具体地,上述光学变焦马达前转或后转的步数满足以下关系式(1):
d=k×(|r1-r2|/r1) (1)
其中,d为光学变焦马达前转或后转的步数,k为预设修正参数,r1为相同关键点在第一帧拍摄图像中的距离与相同关键点在第三帧拍摄图像中的距离的比值,r2为相同关键点在第三帧拍摄图像中的距离与相同关键点在第二帧拍摄图像中的距离的比值。
在一些示例中,上述图像获取模块301还用于:在一部分相同关键点在第一帧拍摄图像的距离大于一部分相同关键点在第二帧拍摄图像中的距离,且另一部分相同关键点在第一帧拍摄图像中的距离小于或等于一部分相同关键点在第二帧拍摄图像中的距离的情况下,获取第四帧拍摄图像。
第四帧拍摄图像的拍摄时间晚于第二帧拍摄图像的拍摄时间。
上述数据获取模块302还可用于从第四帧拍摄图像中获取用户的手部的关键点。
上述变化趋势判别模块303还可用于基于第二帧拍摄图像中获取用户的手部的关键点和第四帧拍摄图像中获取用户的手部的关键点,确定变化趋势。
上述处理模块304还可用于根据变化趋势,缩放投影画面。
在另一些实施例中,手部图像数据包括用户的手部面积在拍摄图像中的占比。拍摄图像包括第一帧拍摄图像和第二帧拍摄图像,第二帧拍摄图像的拍摄时间晚于第一帧拍摄图像的拍摄时间;
上述变化趋势判别模块303可用于:在用户的手部面积在第一帧拍摄图像中的占比大于用户的手部面积在第二帧拍摄图像中的占比的情况下,确定变化趋势为远离趋势;在用户的手部面积在第一帧拍摄图像中的占比小于用户的手部面积在第二帧拍摄图像中的占比的情况下,确定变化趋势为接近趋势。
图11为本申请提供的投影画面调整装置的另一实施例的结构示意图。图11与图10的不同之处在于,图11所示的投影画面调整装置300还可包括姿势判定模块305。
姿势判定模块305可用于:根据拍摄图像中用户的手部图像数据,确定用户的手部的姿势是否发生变化;在确定用户的手部的姿势发生变化的情况下,控制投影设备执行与变化后的手部的姿势对应的动作。
上述变化趋势判别模块303还可用于在确定用户的手部的姿势未发生变化的情况下,基于拍摄图像中用户的手部图像数据,确定变化趋势。
在一些示例中,手部图像数据包括拍摄图像中用户的手部的关键点。拍摄图像包括第一帧拍摄图像和第二帧拍摄图像,第二帧拍摄图像的拍摄时间晚于第一帧拍摄图像的拍摄时间。
上述姿势判定模块305可用于:根据第一帧拍摄图像中用户的手部的关键点,得到第一帧拍摄图像中关键点之间的距离的比值;根据第二帧拍摄图像中用户的手部的关键点,得到第二帧拍摄图像中关键点之间的距离的比值;在第一比值与第二比值的差值超出预设误差范围的情况下,确定用户的手部的姿势发生变化,第一比值包括相同关键点在第一帧拍摄图像中的距离的比值,第二比值包括相同关键点在第二帧拍摄图像中的距离的比值;在第一比值与第二比值的差值位于预设误差范围内的情况下,确定用户的手部的姿势未发生变化。
图12为本申请提供的投影画面调整装置的又一实施例的结构示意图。图12与图10的不同之处在于,图12所示的投影画面调整装置300还可包括训练模块306。
训练模块306可用于:获取训练数据集,训练数据集包括多个训练图像和训练图像中的手部图像数据;利用训练数据集,训练得到手部图像数据识别模型,手部图像数据识别模型用于输出根据输入的拍摄图像识别得到的手部图像数据。
上述数据获取模块302可用于:将拍摄图像输入手部图像数据识别模型,得到手部图像数据识别模型输出的用户的手部图像数据。
本申请实施例中的投影画面调整装置具体可设置在投影设备中,或实现为投影设备,或实现为其他与投影设备配置的装置,在此并不限定。
本申请第三方面还提供了一种投影画面调整设备。图13为本申请提供的投影画面调整设备的一实施例的结构示意图。如图13所示,投影画面调整设备400包括存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
在一个示例中,上述处理器402可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器401可包括只读存储器(Read-Only Memory,ROM),随机存取存储器(RandomAccess Memory,RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本申请实施例中投影画面调整方法所描述的操作。
处理器402通过读取存储器401中存储的可执行程序代码来运行与可执行程序代码对应的计算机程序,以用于实现上述实施例中的投影画面调整方法。
在一个示例中,投影画面调整设备400还可包括通信接口403和总线404。其中,如图13所示,存储器401、处理器402、通信接口403通过总线404连接并完成相互间的通信。
通信接口403,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。也可通过通信接口403接入输入设备和/或输出设备。
总线404包括硬件、软件或两者,将投影画面调整设备400的部件彼此耦接在一起。举例来说而非限制,总线404可包括加速图形端口(Accelerated Graphics Port,AGP)或其他图形总线、增强工业标准架构(Enhanced Industry Standard Architecture,EISA)总线、前端总线(Front Side Bus,FSB)、超传输(HyperTransport,HT)互连、工业标准架构(Industrial Standard Architecture,ISA)总线、无限带宽互连、低引脚数(Low pincount,LPC)总线、存储器总线、微信道架构(MicroChannel Architecture,MCA)总线、外围组件互连(Peripheral Component Interconnect,PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial Advanced Technology Attachment,SATA)总线、视频电子标准协会局部(Video Electronics Standards Association Local Bus,VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线404可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
本申请实施例中的投影画面调整设备具体可实现为投影设备或其他与投影设备配置的设备,在此并不限定。
本申请第四方面还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序指令,该计算机程序指令被处理器执行时可实现上述实施例中的投影画面调整方法,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,上述计算机可读存储介质可包括非暂态计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等,在此并不限定。
需要明确的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。对于装置实施例、设备实施例、计算机可读存储介质实施例而言,相关之处可以参见方法实施例的说明部分。本申请并不局限于上文所描述并在图中示出的特定步骤和结构。本领域的技术人员可以在领会本申请的精神之后,作出各种改变、修改和添加,或者改变步骤之间的顺序。并且,为了简明起见,这里省略对已知方法技术的详细描述。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
本领域技术人员应能理解,上述实施例均是示例性而非限制性的。在不同实施例中出现的不同技术特征可以进行组合,以取得有益效果。本领域技术人员在研究附图、说明书及权利要求书的基础上,应能理解并实现所揭示的实施例的其他变化的实施例。在权利要求书中,术语“包括”并不排除其他装置或步骤;数量词“一个”不排除多个;术语“第一”、“第二”用于标示名称而非用于表示任何特定的顺序。权利要求中的任何附图标记均不应被理解为对保护范围的限制。权利要求中出现的多个部分的功能可以由一个单独的硬件或软件模块来实现。某些技术特征出现在不同的从属权利要求中并不意味着不能将这些技术特征进行组合以取得有益效果。
Claims (15)
1.一种投影画面调整方法,其特征在于,包括:
从为投影设备配置的摄像装置获取拍摄图像;
从所述拍摄图像中获取用户的手部图像数据;
基于所述拍摄图像中所述用户的手部图像数据,确定所述用户的手部与所述摄像装置之间距离的变化趋势;
根据所述变化趋势,缩放所述投影设备的投影画面。
2.根据权利要求1所述的投影画面调整方法,其特征在于,所述根据所述变化趋势,缩放所述投影设备的投影画面,包括:
在所述变化趋势为第一变化趋势的情况下,缩小所述投影设备的投影画面;
在所述变化趋势为第二变化趋势的情况下,放大所述投影设备的投影画面;
其中,所述第一变化趋势与所述第二变化趋势中的一种为远离趋势,所述第一变化趋势与所述第二变化趋势中的另一种为接近趋势。
3.根据权利要求2所述的投影画面调整方法,其特征在于,
所述缩小所述投影设备的投影画面,包括:
控制所述投影设备中的光学变焦马达执行第一动作,以缩小所述投影设备的投影画面;
所述放大所述投影设备的投影画面,包括:
控制所述投影设备中的所述光学变焦马达执行第二动作,以放大所述投影设备的投影画面;
其中,所述第一动作为前转与后转中的一种动作,所述第二动作为前转与后转中的另一种动作。
4.根据权利要求1所述的投影画面调整方法,其特征在于,所述手部图像数据包括所述拍摄图像中所述用户的手部的关键点,所述拍摄图像包括第一帧拍摄图像和第二帧拍摄图像,所述第二帧拍摄图像的拍摄时间晚于所述第一帧拍摄图像的拍摄时间;
所述基于所述拍摄图像中所述用户的手部图像数据,确定所述用户的手部与所述摄像装置之间距离的变化趋势,包括:
根据所述第一帧拍摄图像中所述用户的手部的关键点,得到所述第一帧拍摄图像中关键点之间的距离;
根据所述第二帧拍摄图像中所述用户的手部的关键点,得到所述第二帧拍摄图像中关键点之间的距离;
在相同关键点在所述第一帧拍摄图像中的距离大于相同关键点在所述第二帧拍摄图像中的距离的情况下,确定所述变化趋势为远离趋势;
在相同关键点在所述第一帧拍摄图像中的距离小于相同关键点在所述第二帧拍摄图像中的距离的情况下,确定所述变化趋势为接近趋势。
5.根据权利要求4所述的投影画面调整方法,其特征在于,
所述用户的手部的关键点包括位于手掌的关键点、位于手指的关键点、位于手指与手掌的连接处的关键点中的一种或两种以上。
6.根据权利要求4所述的投影画面调整方法,其特征在于,所述拍摄图像还包括第三帧拍摄图像,所述第三帧拍摄图像的拍摄时间位于所述第一帧拍摄图像的拍摄时间和所述第二帧拍摄图像的拍摄时间之间;
所述方法还包括:
根据所述第三帧拍摄图像中所述用户的手部的关键点,得到所述第三帧拍摄图像中关键点之间的距离;
基于所述第一帧拍摄图像中关键点之间的距离、所述第二帧拍摄图像中关键点之间的距离、所述第三帧拍摄图像中关键点之间的距离和预设修正参数,确定所述投影设备中的光学变焦马达前转或后转的步数,所述光学变焦马达前转或后转用于缩放所述投影画面。
7.根据权利要求6所述的投影画面调整方法,其特征在于,所述光学变焦马达前转或后转的步数满足以下关系:
d=k×(|r1-r2|/r1)
其中,d为所述光学变焦马达前转或后转的步数,k为所述预设修正参数,r1为相同关键点在所述第一帧拍摄图像中的距离与相同关键点在所述第三帧拍摄图像中的距离的比值,r2为相同关键点在所述第三帧拍摄图像中的距离与相同关键点在所述第二帧拍摄图像中的距离的比值。
8.根据权利要求4所述的投影画面调整方法,其特征在于,还包括:
在一部分相同关键点在所述第一帧拍摄图像的距离大于所述一部分相同关键点在所述第二帧拍摄图像中的距离,且另一部分相同关键点在所述第一帧拍摄图像中的距离小于或等于所述一部分相同关键点在所述第二帧拍摄图像中的距离的情况下,获取第四帧拍摄图像,所述第四帧拍摄图像的拍摄时间晚于所述第二帧拍摄图像的拍摄时间;
从所述第四帧拍摄图像中获取所述用户的手部的关键点;
基于所述第二帧拍摄图像中获取所述用户的手部的关键点和所述第四帧拍摄图像中获取所述用户的手部的关键点,确定所述变化趋势;
根据所述变化趋势,缩放所述投影画面。
9.根据权利要求1所述的投影画面调整方法,其特征在于,所述手部图像数据包括所述用户的手部面积在所述拍摄图像中的占比,所述拍摄图像包括第一帧拍摄图像和第二帧拍摄图像,所述第二帧拍摄图像的拍摄时间晚于所述第一帧拍摄图像的拍摄时间;
所述基于所述拍摄图像中所述用户的手部图像数据,确定所述用户的手部与所述摄像装置之间距离的变化趋势,包括:
在所述用户的手部面积在所述第一帧拍摄图像中的占比大于所述用户的手部面积在所述第二帧拍摄图像中的占比的情况下,确定所述变化趋势为远离趋势;
在所述用户的手部面积在所述第一帧拍摄图像中的占比小于所述用户的手部面积在所述第二帧拍摄图像中的占比的情况下,确定所述变化趋势为接近趋势。
10.根据权利要求1所述的投影画面调整方法,其特征在于,还包括:
根据所述拍摄图像中所述用户的手部图像数据,确定所述用户的手部的姿势是否发生变化;
在确定所述用户的手部的姿势发生变化的情况下,控制所述投影设备执行与变化后的手部的姿势对应的动作;
所述基于所述拍摄图像中所述用户的手部图像数据,确定所述用户的手部与所述摄像装置之间距离的变化趋势,包括:
在确定所述用户的手部的姿势未发生变化的情况下,基于所述拍摄图像中所述用户的手部图像数据,确定所述变化趋势。
11.根据权利要求10所述的投影画面调整方法,其特征在于,所述手部图像数据包括所述拍摄图像中所述用户的手部的关键点,所述拍摄图像包括第一帧拍摄图像和第二帧拍摄图像,所述第二帧拍摄图像的拍摄时间晚于所述第一帧拍摄图像的拍摄时间;
所述根据所述拍摄图像中所述用户的手部图像数据,确定所述用户的手部的姿势是否发生变化,包括:
根据所述第一帧拍摄图像中所述用户的手部的关键点,得到所述第一帧拍摄图像中关键点之间的距离的比值;
根据所述第二帧拍摄图像中所述用户的手部的关键点,得到所述第二帧拍摄图像中关键点之间的距离的比值;
在第一比值与第二比值的差值超出预设误差范围的情况下,确定所述用户的手部的姿势发生变化,所述第一比值包括相同关键点在所述第一帧拍摄图像中的距离的比值,所述第二比值包括相同关键点在所述第二帧拍摄图像中的距离的比值;
在所述第一比值与所述第二比值的差值位于预设误差范围内的情况下,确定所述用户的手部的姿势未发生变化。
12.根据权利要求1所述的投影画面调整方法,其特征在于,还包括:
获取训练数据集,所述训练数据集包括多个训练图像和所述训练图像中的所述手部图像数据;
利用所述训练数据集,训练得到手部图像数据识别模型,所述手部图像数据识别模型用于输出根据输入的拍摄图像识别得到的所述手部图像数据;
所述从所述拍摄图像中获取用户的手部图像数据,包括:
将所述拍摄图像输入所述手部图像数据识别模型,得到所述手部图像数据识别模型输出的所述用户的所述手部图像数据。
13.一种投影画面调整装置,其特征在于,包括:
图像获取模块,用于从为投影设备配置的摄像装置获取拍摄图像;
数据获取模块,用于从所述拍摄图像中获取用户的手部图像数据;
变化趋势判别模块,用于基于所述拍摄图像中所述用户的手部图像数据,确定所述用户的手部与所述摄像装置之间距离的变化趋势;
处理模块,用于根据所述变化趋势,缩放所述投影设备的投影画面。
14.一种投影画面调整设备,其特征在于,包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1至13中任意一项所述的投影画面调整方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1至12中任意一项所述的投影画面调整方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111339811.0A CN116132640A (zh) | 2021-11-12 | 2021-11-12 | 投影画面调整方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111339811.0A CN116132640A (zh) | 2021-11-12 | 2021-11-12 | 投影画面调整方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116132640A true CN116132640A (zh) | 2023-05-16 |
Family
ID=86305011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111339811.0A Pending CN116132640A (zh) | 2021-11-12 | 2021-11-12 | 投影画面调整方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116132640A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6434255B1 (en) * | 1997-10-29 | 2002-08-13 | Takenaka Corporation | Hand pointing apparatus |
US20110304649A1 (en) * | 2010-06-10 | 2011-12-15 | Microsoft Corporation | Character selection |
TW201329803A (zh) * | 2012-01-13 | 2013-07-16 | Altek Corp | 投影裝置及其投影資訊操控方法 |
CN103309141A (zh) * | 2012-03-07 | 2013-09-18 | 精工爱普生株式会社 | 投影仪及投影仪的控制方法 |
US20150363003A1 (en) * | 2013-01-22 | 2015-12-17 | Crunchfish Ab | Scalable input from tracked object |
CN111860082A (zh) * | 2019-04-30 | 2020-10-30 | 阿里巴巴集团控股有限公司 | 信息处理方法、装置以及系统 |
CN111935410A (zh) * | 2020-09-11 | 2020-11-13 | 视见科技(杭州)有限公司 | 用于多机位摄像的快速取景方法和系统 |
CN112784786A (zh) * | 2021-01-29 | 2021-05-11 | 联想(北京)有限公司 | 人体姿态识别方法及装置 |
-
2021
- 2021-11-12 CN CN202111339811.0A patent/CN116132640A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6434255B1 (en) * | 1997-10-29 | 2002-08-13 | Takenaka Corporation | Hand pointing apparatus |
US20110304649A1 (en) * | 2010-06-10 | 2011-12-15 | Microsoft Corporation | Character selection |
TW201329803A (zh) * | 2012-01-13 | 2013-07-16 | Altek Corp | 投影裝置及其投影資訊操控方法 |
CN103309141A (zh) * | 2012-03-07 | 2013-09-18 | 精工爱普生株式会社 | 投影仪及投影仪的控制方法 |
US20150363003A1 (en) * | 2013-01-22 | 2015-12-17 | Crunchfish Ab | Scalable input from tracked object |
CN111860082A (zh) * | 2019-04-30 | 2020-10-30 | 阿里巴巴集团控股有限公司 | 信息处理方法、装置以及系统 |
CN111935410A (zh) * | 2020-09-11 | 2020-11-13 | 视见科技(杭州)有限公司 | 用于多机位摄像的快速取景方法和系统 |
CN112784786A (zh) * | 2021-01-29 | 2021-05-11 | 联想(北京)有限公司 | 人体姿态识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3113114B1 (en) | Image processing method and device | |
CN110634167B (zh) | 神经网络训练方法及装置和图像生成方法及装置 | |
CN107392933B (zh) | 一种图像分割的方法及移动终端 | |
JP6809262B2 (ja) | ドライバ状態検出装置 | |
CN109003224B (zh) | 基于人脸的形变图像生成方法和装置 | |
CN109840939B (zh) | 三维重建方法、装置、电子设备及存储介质 | |
KR20150076627A (ko) | 차량 운전 학습 시스템 및 방법 | |
CN111462238B (zh) | 姿态估计优化方法、装置及存储介质 | |
CN113011364B (zh) | 神经网络训练、目标对象检测、行驶控制方法及装置 | |
CN109325908B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN111047507A (zh) | 图像生成模型的训练方法、图像生成方法及装置 | |
CN112509047A (zh) | 基于图像的位姿确定方法、装置、存储介质及电子设备 | |
US10521687B2 (en) | Shape recognition device, shape recognition method, and program | |
JP2016115117A (ja) | 判定装置および判定方法 | |
CN108961314B (zh) | 运动图像生成方法、装置、电子设备及计算机可读存储介质 | |
JP2017116403A (ja) | 姿勢推定装置、姿勢推定方法、およびプログラム | |
KR102324001B1 (ko) | 위치자세 검출 방법 및 장치, 전자 기기 및 저장 매체 | |
KR102147930B1 (ko) | 포즈 인식 방법 및 장치 | |
CN116132640A (zh) | 投影画面调整方法、装置、设备及存储介质 | |
CN106406507B (zh) | 图像处理方法以及电子设备 | |
CN112990009A (zh) | 基于端到端的车道线检测方法、装置、设备及存储介质 | |
KR101909326B1 (ko) | 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템 | |
CN105678220B (zh) | 人脸关键点定位处理方法和装置 | |
CN111126101B (zh) | 关键点位置的确定方法、装置、电子设备和存储介质 | |
CN109242031B (zh) | 姿势优化模型的训练方法、使用方法、装置及处理设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |