CN114374762A - 终端设备及拍摄控制方法 - Google Patents
终端设备及拍摄控制方法 Download PDFInfo
- Publication number
- CN114374762A CN114374762A CN202111498007.7A CN202111498007A CN114374762A CN 114374762 A CN114374762 A CN 114374762A CN 202111498007 A CN202111498007 A CN 202111498007A CN 114374762 A CN114374762 A CN 114374762A
- Authority
- CN
- China
- Prior art keywords
- camera
- preset action
- radar sensor
- feature points
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000009471 action Effects 0.000 claims abstract description 81
- 238000003384 imaging method Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 6
- 239000010410 layer Substances 0.000 description 25
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72466—User interfaces specially adapted for cordless or mobile telephones with selection means, e.g. keys, having functions defined by the mode or the status of the device
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及智能终端技术领域,公开了一种终端设备及拍摄控制方法,用以解决用户使用终端后置摄像头自拍时摄像头启停时间不便于控制的问题。本申请中采用雷达传感器无接触的采集用户的肢体动作,由此触发对摄像头的管理。例如手势V开启摄像,手势S暂停摄像等。本申请采用毫米波雷达传感器识别用户手势的方式实现摄像头工作状态的启停,无需手动触碰屏幕按键,时间可由用户手势任意控制,不再受固定延时时间的约束,并能通过手势控制录像功能的暂停或结束,解决了用户使用痛点。由此,本申请具有时间可控以及不受外界环境干扰的优势,用户可以简化使用操作,实现自由的拍摄和控制。
Description
技术领域
本申请涉及智能终端技术领域,尤其涉及一种终端设备及拍摄控制方法。
背景技术
随着智能手机越来越普及,手机用户可以利用手机的前置摄像头或后置摄像头对人物或风景进行拍照或录像。用户自拍时为便于控制画面和手动操控,通常选择前置摄像头。但与后置摄像头相比,前置摄像头一般像素较低,拍照效果较差。
现有解决方案主要有以下几种。一种是使用自拍杆,但自拍杆不便于携带,尤其是不会随时随身携带。同时自拍杆长度有限,无法进行远距离自拍。第二种是利用手机自带的延时功能,该功能一旦设定时间便不可修改,同时在录像模式下无法自主控制暂停和结束时间,需要用户手动触碰屏幕按键实现录制的暂停和结束,这种控制方式影响用户体验。综上,无论是外置的机械辅助方式,还是软件的延时功能均无法实现后置摄像头启停时间的任意控制。
还有第三种方式,该方式是通过语音控制。这种方式虽然无需用户手动操控,但是在室外或人多嘈杂的环境中,算法识别准确率不高,影响用户体验。
因此,在进行拍摄时,如何利用后置摄像头进行启停时间的任意可控成为用户使用的迫切需求,尤其是进行远距离自拍时,这种需求更加迫切。
发明内容
本申请示例性的实施方式中提供一种终端设备及拍摄控制方法,用以解决用户使用终端后置摄像头自拍时摄像头启停时间不便于控制的问题。
根据示例性的实施方式中的第一方面,提供一种终端设备,包括雷达传感器、摄像头和主控芯片,其中:
所述雷达传感器,用于发射电磁波信号,并接收所述电磁波信号的回波信号;
所述雷达传感器或所述主控芯片,用于分析所述回波信号;
所述主控芯片,用于若从所述回波信号中分析出预设动作的特征信息,则控制所述摄像头执行与所述预设动作对应的操作。
在一种可能的实施方式中,所述主控芯片,还用于响应于对所述雷达传感器的启动指示,控制所述雷达传感器发射电磁波信号。
在一种可能的实施方式中,所述雷达传感器中包括雷达发射天线、雷达接收天线和雷达芯片,其中:
所述雷达芯片用于基于所述主控芯片的启动信号将调制后的电磁波信号发送至所述雷达发送天线;
所述雷达芯片,还用于获取所述雷达接收天线接收的所述回波信号,并分析所述回波信号中是否包括所述预设动作的特征信息。
在一种可能的实施方式中,所述雷达传感器具体用于,基于以下方法分析所述回波信号中是否包括所述预设动作的特征信息:
提取所述回波信号中的数据特征,所述数据特征中包括目标对象的指定肢体部位的多个特征点;
将所述多个特征点和所述预设动作的特征点进行匹配操作;
若所述多个特征点和所述预设动作的特征点匹配,则确定包括所述预设动作的特征信息;
若所述多个特征点和所述预设动作的特征点不匹配,则确定不包括所述预设动作的特征信息。
在一种可能的实施方式中,所述终端设备还包括显示屏;
所述显示屏用于在启动所述摄像头之后,显示用于启动所述雷达传感器的操作项;
其中,所述对所述雷达传感器的启动指示是基于所述操作项触发的。
在一种可能的实施方式中,所述摄像头包括摄像头芯片、镜头和感光元件,其中:
所述镜头用于获取光信号;
所述感光元件用于根据所述光信号进行成像;
所述摄像头芯片用于启动所述感光元件或关闭所述感光元件;
所述主控芯片,还用于响应于所述对所述雷达传感器的启动指示,为所述摄像头芯片上电并控制所述摄像头芯片进行复位。
在一种可能的实施方式中,所述主控芯片,具体用于若所述预设动作的特征信息指示启动所述摄像头,则在延迟指定时长后启动所述摄像头进行成像;
若所述预设动作的特征信息指示暂停成像,则控制所述摄像头暂停成像;
若所述预设动作的特征信息指示关闭所述摄像头,则关闭所述摄像头。
根据示例性的实施方式中的第二方面,提供一种拍摄控制方法,该方法包括:
发射电磁波信号,并接收所述电磁波信号的回波信号;
若从所述回波信号中分析出预设动作的特征信息,则控制摄像头执行与所述预设动作对应的操作。
在一种可能的实施方式中,分析所述回波信号中是否包括所述预设动作的特征信息,具体包括:
提取所述回波信号中的数据特征,所述数据特征中包括目标对象的指定肢体部位的多个特征点;
将所述多个特征点和所述预设动作的特征点进行匹配操作;
若所述多个特征点和所述预设动作的特征点匹配,则确定包括所述预设动作的特征信息;
若所述多个特征点和所述预设动作的特征点不匹配,则确定不包括所述预设动作的特征信息。
在一种可能的实施方式中,所述方法还包括:
响应于摄像头的打开指示显示操作界面,所述操作界面中包括是否启动雷达传感器的操作项;
若基于所述操作项的用户操作,确定启动雷达传感器则执行所述发射电磁波信号的操作。
在一种可能的实施方式中,若基于所述预设动作的特征信息确定启动所述摄像头,则在延迟指定时长后启动所述摄像头进行成像;
若基于所述预设动作的特征信息确定暂停成像,则控制所述摄像头暂停成像;
若基于所述预设动作的特征信息确定关闭所述摄像头,则关闭所述摄像头。
第三方面,本申请还提供一种计算机存储介质,其上存储有计算机程序,该程序被处理单元执行时实现第二方面中提供所述的任一方法。
第四方面,本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如本申请第二方面中提供的任一方法。
本申请的实施例提供的技术方案至少带来以下有益效果:
本申请提供了一种终端设备,采用毫米波雷达传感器识别用户手势的方式实现摄像头工作状态的启停,无需手动触碰屏幕按键,时间可由用户手势任意控制,不再受固定延时时间的约束,并能通过手势控制录像功能的暂停或结束,解决了用户使用痛点。相比现有技术中软件延时的方式,本申请具有时间可控的优点。相比语音控制的方式,本申请具有不受外界环境干扰的优势。综上所述,用户使用本申请提供的方案时,操作简便,算法识别准确率高,提升了用户体验。
另外,第二方面、第三方面和第四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。在符合本领域常识的基础上,上述各优选条件,可任意组合,即得本申请各较佳实施例。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种终端的结构示意图;
图2示例性示出了本申请实施例提供的一种终端的软件架构示意图;
图3示例性示出了本申请实施例提供的一种终端的结构示意图;
图4示例性示出了本申请实施例提供的一种终端的结构示意图;
图5示例性示出了本申请实施例提供的一种终端设备的结构示意图;
图6示例性示出了本申请实施例提供的将多个特征点和预设动作的特征点进行匹配操作的流程示意图;
图7示例性示出了本申请实施方式提供的主控芯片与感光元件的数据传输及控制指令接口电路图;
图8示例性示出了本申请实施例提供的分析所述回波信号中是否包括所述预设动作的特征信息的流程示意图;
图9示例性示出了本申请实施例提供的以手臂或手掌在空中按字母V的轨迹挥动的数据特征集示意图;
图10示例性示出了本申请实施例提供的终端设备的整体工作流程示意图;
图11示例性示出了本申请实施例提供的用户手动开启摄像头的界面示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清除、详尽地描述。其中,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
首先,图1示出了一种终端100的结构示意图。
下面以终端100为例对实施例进行具体说明。应该理解的是,图1所示终端100仅是一个范例,并且终端100可以具有比图1中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
图1中示例性示出了根据示例性实施例中终端100的硬件配置框图。如图1所示,终端100包括:射频(radio frequency,RF)电路110、存储器120、显示单元130、摄像头140、传感器150、音频电路160、无线保真(Wireless Fidelity,Wi-Fi)模块170、处理器180、蓝牙模块181、以及电源190等部件。
RF电路110可用于在收发信息或通话过程中信号的接收和发送,可以接收基站的下行数据后交给处理器180处理;可以将上行数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。
存储器120可用于存储软件程序及数据。处理器180通过运行存储在存储器120的软件程序或数据,从而执行终端100的各种功能以及数据处理。存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器120存储有使得终端100能运行的操作系统。本申请中存储器120可以存储操作系统及各种应用程序,还可以存储执行本申请实施例所述方法的程序代码。
显示单元130可用于接收输入的数字或字符信息,产生与终端100的用户设置以及功能控制有关的信号输入,具体地,显示单元130可以包括设置在终端100正面的触摸屏131,可收集用户在其上或附近的触摸操作,例如点击按钮,拖动滚动框等。
显示单元130还可用于显示由用户输入的信息或提供给用户的信息以及终端100的各种菜单的图形用户界面(graphical user interface,GUI)。具体地,显示单元130可以包括设置在终端100正面的显示屏132。其中,显示屏132可以采用液晶显示器、发光二极管等形式来配置。显示单元130可以用于显示本申请中所述的用户开启雷达传感器对拍摄功能进行远程控制的界面。
其中,触摸屏131可以覆盖在显示屏132之上,也可以将触摸屏131与显示屏132集成而实现终端100的输入和输出功能,集成后可以简称触摸显示屏。本申请中显示单元130可以显示应用程序以及对应的操作步骤。
摄像头140可用于捕获静态图像或视频。摄像头140包括摄像头芯片141、镜头142和感光元件143。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给处理器180转换成数字图像信号。摄像头芯片141用于启动感光元件143或关闭感光元件。当启动感光元件时,感光元件会将光信号转换成电信号传递给处理器180,当关闭感光元件时,感光元件不会将光信号转换成电信号,由此得不到数字图像。
终端100还可以包括至少一种传感器150,比如加速度传感器151、距离传感器152、指纹传感器153、温度传感器154、雷达传感器155。终端100还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。雷达传感器可以包括雷达芯片、雷达发射天线和雷达接收天线。
音频电路160、扬声器161、麦克风162可提供用户与终端100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出。终端100还可配置音量按钮,用于调节声音信号的音量。另一方面,麦克风162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出至RF电路110以发送给比如另一终端,或者将音频数据输出至存储器120以便进一步处理。本申请中麦克风162可以获取用户的语音。
Wi-Fi属于短距离无线传输技术,终端100可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等,它为用户提供了无线的宽带互联网访问。
处理器180是终端100的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器120内的软件程序,以及调用存储在存储器120内的数据,执行终端100的各种功能和处理数据。在一些实施例中,处理器180可包括一个或多个处理单元;处理器180还可以集成应用处理器和基带处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,基带处理器主要处理无线通信。可以理解的是,上述基带处理器也可以不集成到处理器180中。本申请中处理器180可以运行操作系统、应用程序、用户界面显示及触控响应,以及本申请实施例所述的处理方法。另外,处理器180与显示单元130耦接。本申请实施例中处理器180可作为主控芯片控制摄像头140和雷达传感器155。
蓝牙模块181,用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如,终端100可以通过蓝牙模块181与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接,从而进行数据交互。
终端100还包括给各个部件供电的电源190(比如电池)。电源190可以通过电源管理系统与处理器180、摄像头140和雷达传感器155相连,从而通过电源管理系统实现管理充电、放电以及功耗等功能。终端100还可配置有电源按钮,用于终端的开机和关机,以及锁屏等功能。
图2是本申请实施例的终端100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,可将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿、短信息等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括远程控制拍摄的暂停和结束的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供终端100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等。
通知管理器使应用程序可以在状态栏中显示通知信息(例如短信息的消息摘要,消息内容),可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,终端振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D(一种动画方式)图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合捕获拍照场景,示例性说明终端100软件以及硬件的工作流程。
当触摸屏131接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为启动雷达传感器的控件为例,相机应用调用应用框架层的接口,启动雷达传感器来控制摄像头的暂停拍摄和结束拍摄。
本申请实施例中的终端100可以为手机、平板电脑、可穿戴设备、笔记本电脑以及电视等。
下面将结合实施例对本申请提供的终端设备进行介绍。
本申请的发明构思可概括为:本申请中采用雷达传感器无接触的采集用户的肢体动作,由此触发对摄像头的管理。例如手势V开启摄像,手势S暂停摄像等。由此,用户可以简化用户操作,实现自由的拍摄和控制。具体的控制动作可支持用户自定义本申请对此不作限定。
在介绍完本申请实施例的主要发明思想之后,下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
如图5所示,为本申请提供的终端设备的结构示意图,包括雷达传感器501、摄像头503和主控芯片502,其中,雷达传感器用于发射电磁波信号,并接收该电磁波信号的回波信号,再采用该雷达传感器或所述主控芯片对该电磁波信号的回波信号进行分析。若从回波信号中分析出预设动作的特征信息,则控制摄像头执行与该预设动作对应的操作,从而实现了通过手势动作控制摄像头工作状态的启停。本申请采用毫米波雷达传感器识别用户手势的方式实现摄像头工作状态的启停,无需手动触碰屏幕按键,时间可由用户手势任意控制,不再受固定延时时间的约束,并能通过手势控制录像功能的暂停或结束,解决了用户使用终端后置摄像头自拍时摄像头启停时间不便于控制的使用痛点。相比相关技术中软件延时的方式,本申请具有时间可控的优点,相比语音控制的方式,本申请具有不受外界环境干扰的优势。综上所述,用户使用本申请提供的方案时,操作简便,算法识别准确率高,提升了用户体验。
如图3所示,本申请实施例提供的终端设备的雷达传感器与摄像头可以集成在一起。如图4所示也可以雷达传感器单独布局。总之,雷达传感器位于以摄像头为基准的指定范围内以便于对摄像头的启停进行控制。
当然,本申请实施例提供的终端设备是结构并不限于图3及图4所示的结构,还可以设置为其它结构,只要能够采用雷达传感器感知用户的肢体动作并用于控制摄像头的启停均适用于本申请实施例。
如图5所示,本申请的终端设备包括雷达传感器501、主控芯片502和摄像头503。雷达传感器包含雷达发射天线5011、雷达接收天线5012和雷达芯片5013。雷达芯片5013包含数据处理器(图5中未示出),数据处理器内置数据特征提取算法和指令训练判定算法。雷达传感器501和摄像头503位于无线终端的背面。雷达传感器501独立放置或与摄像头503集成在一起,主控芯片502集成有雷达传感器控制程序和摄像头控制程序。
雷达传感器501,用于发射电磁波信号,并接收电磁波信号的回波信号。
雷达传感器501或主控芯片502,均可用于分析回波信号,实施时对回波信号的分析可由雷达传感器501单独完成,也可以由主控芯片502单独完成,也可以由雷达传感器501和主控芯片502共同完成。
在一种可能的实施例中,以雷达传感器分析回波信号为例,雷达传感器501中包括雷达发射天线5011、雷达接收天线5012和雷达芯片5013,其中:
雷达芯片5013用于基于主控芯片502的启动信号将调制后的电磁波信号发送至雷达发射天线5011;此外,雷达芯片5013还用于获取雷达接收天线5012接收的回波信号,并分析回波信号中是否包括预设动作的特征信息。
在一种可能的实施例中,提取回波信号中的数据特征,该数据特征中包括目标对象的指定肢体部位的多个特征点,具体流程如图6所示,可实施为:
在步骤601中,将多个特征点和预设动作的特征点进行匹配操作。
其中,雷达芯片5013中的指令识别系统(在图5中未示出)预置多种手势指令,对应为步骤601中的预设动作,包括手臂或手掌向上、向下、向左和向右滑动,手臂或手掌顺和逆时针挥动,手臂或手掌在空中按字母C、G、J、L、M、N、S、U、V、W、Z的轨迹挥动,手臂或手掌在空中按数字1、2、3、6、7、8、9的轨迹挥动,可随意自定义,可以为一个手势,或手势序列,根据用户喜好。
需要说明的是,雷达可识别的手势动作是有限的,包括所述数字、字母和方向,这些手势及每个手势的特征都是预置的,在用户自定义前是没有任何功能的。用户在首次使用雷达功能前需要进行手势功能定义,即将系统预置的动作与需要实现的功能进行对应。
在步骤602中,若多个特征点和预设动作的特征点匹配,则确定包括预设动作的特征信息。
在步骤603中,若多个特征点和预设动作的特征点不匹配,则确定不包括预设动作的特征信息。
在雷达芯片5013分析回波信号中是否包括预设动作的特征信息时,若主控芯片502从回波信号中分析出预设动作的特征信息,则控制摄像头503执行与预设动作对应的操作。
摄像头503包括摄像头芯片5031、感光元件5032和镜头5033,其中:镜头5033用于获取光信号,感光元件5032用于根据所获取的光信号进行成像,摄像头芯片5031用于启动所述感光元件5032或关闭所述感光元件5032。
在一种可能的实施例中,若主控芯片502分析出预设动作的特征信息指示启动摄像头503,则在延迟指定时长后启动摄像头503进行成像;或者,若主控芯片502分析出预设动作的特征信息指示暂停成像,则控制摄像头503暂停成像;若主控芯片502分析出预设动作的特征信息指示关闭摄像头503,则关闭该摄像头503。
其中,不同的指示可以采用不同的动作,例如,1表示启动摄像,2表示暂停,3表示关闭。实施时,也可以是一个预设动作控制启动、暂停和关闭,例如,启动雷达传感器之后,第一次检测到V是启动,第二次是暂停,第三次是关闭,也可以是一段时长内检测到几次V,例如T时间内检测到一个V是启动,检测到两个是暂停,三个是关闭。
主控芯片502,还用于响应于对雷达传感器501的启动指示,控制所述雷达传感器发射电磁波信号。
需要补充的是,本申请提供的终端设备500还包括显示屏(在图5中无显示),该显示屏用于在启动摄像头503的镜头5033之后,显示用于启动雷达传感器501的操作项;基于用户所选择的操作项,触发对雷达传感器501的启动指示。
在一种可能的实施例中,用户选择启动雷达传感器501的同时,主控芯片502,将响应于对雷达传感器的启动指示,为摄像头芯片5031上电并控制该摄像头芯片5031进行复位。具体地,主控芯片与感光元件的数据传输及控制指令接口电路图如图7所示:
其中,基于感光元件5032的定义,主控芯片502将主芯片控制接口的电源控制信号PWDN置于低电位,使得感光元件开始工作,从而进入拍摄状态,并由电源AVDD给摄像头芯片5031提供一个2.8V的电压,电源DVDD提供一个1.2V的电压,主控芯片502发送复位信号RESET使镜头5033进行复位,即开始工作的指令信号,数据开始传送同时镜头5033进入工作状态。需要说明的是,若镜头5033处于工作状态,则感光元件5032对通过镜头5033进入的光信号进行图像处理并生成数字信号,若镜头5033处于非工作状态,则感光元件5032处于关闭状态,不进行任何图像处理。
基于上述相同的原理及终端设备,本申请实施例还提供了一种拍摄控制方法。该方法中首先发射电磁波信号,并接收电磁波信号的回波信号;若从回波信号中分析出预设动作的特征信息,则控制摄像头执行与预设动作对应的操作。
在一种可能的实施例中,分析所述回波信号中是否包括所述预设动作的特征信息,可实施为如图8所示的步骤:
在步骤801中,提取回波信号中的数据特征,数据特征中包括目标对象的指定肢体部位的多个特征点。
在步骤802中,将多个特征点和预设动作的特征点进行匹配操作。
在步骤803中,若多个特征点和预设动作的特征点匹配,则确定包述预设动作的特征信息。
在步骤804中,若多个特征点和预设动作的特征点不匹配,则确定不包括所述预设动作的特征信息。
以图9为例,假设预设动作为在空中绘制如图9所示的V形图样。电磁波被用户反射后形成回波,雷达接收天线接收回波并由雷达芯片对回波进行处理,得到多个特征点(如图9所示的白色圆点)的特征数据。其中,特征点的距离、速度、角度构成了特征点的特征数据,得到特征点的特征数据的操作具体可实施为:
前述接收的回波经过A/D(analog to digital converter,模拟量转换为数字量)转换后得到回波的数字信号,对该数字信号进行一维和二维FFT(fast Fouriertransform,快速傅里叶变换),然后对一维FFT得到的信号以及二维FFT得到的信号分别采用自适应卡尔曼滤波法进行数字滤波。当然,实施时除卡尔曼滤波法之外,还可以采用小波滤波和HHT(Hilbert-Huang Transform)滤波,当然实施时可以根据不同的雷达信号波形和信号处理需求进行选择。
滤波之后,利用峰值搜索法在一维FFT数据(即一维FFT得到的信号)中查找峰值,峰值点所对应的横坐标代表特征点与接收天线之间的距离,由此可以得到各个特征点相对接收天线的距离。然后在二维FFT数据(即二维FFT后的信号)的距离-速度矩阵中,再次利用峰值搜索法寻找峰值点,其中,假设电子设备包括两个接收天线,一个接收天线接收到一定时长内的若干脉冲信号,这些脉冲信号经二维FFT后的距离-速度矩阵形成一帧数据,在该帧数据中获取峰值点的横轴坐标得到的是一个接收天线与特征点的距离。另一个接收天线同样接收到若干脉冲信号,经二维FFT后形成另一帧数据,在另一帧数据中获取峰值点的横轴坐标得到的是另一个接收天线与特征点的距离,由两帧数据中的距离数据所对应的相位差可以得到该特征点的速度值。例如两个接收天线与相同特征点的距离分别为r1和r2,对应的相位差为时间差为Δt,速度可由下面的公式(1)计算得到:
雷达天线一般由多个天线组成,包括多个接收天线和发射天线,相同特征点与不同接收天线的距离差会导致一维FFT数据中峰值相位的变化,根据该相位变化可以获得特征点的角度,角度是指特征点在二维平面上运行的方向。
最终,得到了特征点的距离、速度、角度。这里的距离指的是特征点与雷达接收天线的距离,速度指的是特征点的运行速度,共同构成了特征点的特征数据。
以手臂或手掌在空中按字母V的轨迹挥动为例,该数据特征集包括手臂上5个特征点的距离、速度和角度信息,见图9中5个白色圆圈,V只是一个轨迹,这个轨迹是手臂在空中挥动形成的,这里的速度是手臂的速度。将多个特征点和预设动作V的5个特征点进行匹配操作,如果在所记录的所有点的信息中均和这5个点的位置吻合,那么就可以给出判断结果了,即若获取的多个特征点和预设动作按字母V的轨迹挥动的特征点相匹配,则确定包括预设动作的特征信息,反之,则确定不包括预设动作的特征信息。
在一种可能的实施例中,该终端设备500的整体工作流程如下图10,可实施为:
在步骤1001中,用户手动开启摄像头,并在显示屏自主选择是否同时启动雷达传感器。如图11所示,用户可自主选择是否启动雷达传感器。
在步骤1002中,若用户选择启动雷达传感器,主控芯片将唤醒雷达传感器。
在步骤1003中,主控芯片控制雷达芯片将调制后的电磁波发送至雷达发射天线。
在步骤1004中,雷达发射天线将调制后的电磁波发送到自由空间中。
在步骤1005中,若用户做好拍摄准备,通过自定义的姿势向雷达传感器发出开始拍摄的指令。
在步骤1006中,电磁波被人体反射后形成回波信号,雷达接收天线接收回波信号。
在步骤1007中,雷达芯片对回波信号进行滤波、解调和转换,形成数据特征。
在步骤1008中,指令识别算法将数据特征与用户自定义指令进行特征匹配,并输出匹配结果到主控芯片中的摄像头控制程序。
在步骤1009中,摄像头控制程序根据匹配结果发送控制指令至感光元件,实现摄像头拍摄功能的启动、暂停和停止。
若处于拍照模式下,拍照完成后,感光元件将图像数据(YUV、RGB data)通过数据传输通道发送给主控芯片。主控芯片与感光元件之间的数据传输通道一般为8-10路,根据主控芯片型号和摄像头本身来确定。
在录像模式下,用户也可以通过其他自定义的预设指令可以控制录像功能的开启、暂停和终止。
上述步骤真正解决了用户使用终端后置摄像头自拍时摄像头启停时间不便于控制的问题。本申请实施提供的拍摄控制方法不受时间约束,控制距离优于自拍杆,可在录像模式下进行暂停和结束控制,全程无需用户手动触碰屏幕。相比语音控制的方式,本申请具有不受外界环境干扰的优势,操作简便,算法识别准确率高,给用户带来隔空操控的体验。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种终端设备,其特征在于,包括雷达传感器、摄像头和主控芯片,其中:
所述雷达传感器,用于发射电磁波信号,并接收所述电磁波信号的回波信号;
所述雷达传感器或所述主控芯片,用于分析所述回波信号;
所述主控芯片,用于若从所述回波信号中分析出预设动作的特征信息,则控制所述摄像头执行与所述预设动作对应的操作。
2.根据权利要求1所述的终端设备,其特征在于,所述主控芯片,还用于响应于对所述雷达传感器的启动指示,控制所述雷达传感器发射电磁波信号。
3.根据权利要求1所述的终端设备,其特征在于,所述雷达传感器中包括雷达发射天线、雷达接收天线和雷达芯片,其中:
所述雷达芯片用于基于所述主控芯片的启动信号将调制后的电磁波信号发送至所述雷达发射天线;
所述雷达芯片,还用于获取所述雷达接收天线接收的所述回波信号,并分析所述回波信号中是否包括所述预设动作的特征信息。
4.根据权利要求1所述的终端设备,其特征在于,所述雷达传感器具体用于,基于以下方法分析所述回波信号中是否包括所述预设动作的特征信息:
提取所述回波信号中的数据特征,所述数据特征中包括目标对象的指定肢体部位的多个特征点;
将所述多个特征点和所述预设动作的特征点进行匹配操作;
若所述多个特征点和所述预设动作的特征点匹配,则确定包括所述预设动作的特征信息;
若所述多个特征点和所述预设动作的特征点不匹配,则确定不包括所述预设动作的特征信息。
5.根据权利要求2所述的终端设备,其特征在于,所述终端设备还包括显示屏;
所述显示屏用于在启动所述摄像头之后,显示用于启动所述雷达传感器的操作项;
其中,对所述雷达传感器的所述启动指示是基于所述操作项触发的。
6.根据权利要求2-4中任一所述的终端设备,其特征在于,所述摄像头包括摄像头芯片、镜头和感光元件,其中:
所述镜头用于获取光信号;
所述感光元件用于根据所述光信号进行成像;
所述摄像头芯片用于启动所述感光元件或关闭所述感光元件;
所述主控芯片,还用于响应于所述对所述雷达传感器的启动指示,为所述摄像头芯片上电并控制所述摄像头芯片进行复位。
7.根据权利要求1-4中任一所述的终端设备,其特征在于,所述主控芯片,具体用于若所述预设动作的特征信息指示启动所述摄像头,则在延迟指定时长后启动所述摄像头进行成像;
若所述预设动作的特征信息指示暂停成像,则控制所述摄像头暂停成像;
若所述预设动作的特征信息指示关闭所述摄像头,则关闭所述摄像头。
8.一种拍摄控制方法,其特征在于,
发射电磁波信号,并接收所述电磁波信号的回波信号
若从所述回波信号中分析出预设动作的特征信息,则控制摄像头执行与所述预设动作对应的操作。
9.根据权利要求8所述的方法,其特征在于,分析所述回波信号中是否包括所述预设动作的特征信息,具体包括:
提取所述回波信号中的数据特征,所述数据特征中包括目标对象的指定肢体部位的多个特征点;
将所述多个特征点和所述预设动作的特征点进行匹配操作;
若所述多个特征点和所述预设动作的特征点匹配,则确定包括所述预设动作的特征信息;
若所述多个特征点和所述预设动作的特征点不匹配,则确定不包括所述预设动作的特征信息。
10.根据权利要求8所述的方法,其特征在于,所述方法还包括:
响应于摄像头的打开指示显示操作界面,所述操作界面中包括是否启动雷达传感器的操作项;
若基于所述操作项的用户操作,确定启动雷达传感器则执行所述发射电磁波信号的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111498007.7A CN114374762A (zh) | 2021-12-09 | 2021-12-09 | 终端设备及拍摄控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111498007.7A CN114374762A (zh) | 2021-12-09 | 2021-12-09 | 终端设备及拍摄控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114374762A true CN114374762A (zh) | 2022-04-19 |
Family
ID=81141146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111498007.7A Pending CN114374762A (zh) | 2021-12-09 | 2021-12-09 | 终端设备及拍摄控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114374762A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105824406A (zh) * | 2015-11-30 | 2016-08-03 | 维沃移动通信有限公司 | 一种拍照方法和终端 |
CN108924417A (zh) * | 2018-07-02 | 2018-11-30 | Oppo(重庆)智能科技有限公司 | 拍摄控制方法及相关产品 |
CN110058777A (zh) * | 2019-03-13 | 2019-07-26 | 华为技术有限公司 | 快捷功能启动的方法及电子设备 |
WO2021013134A1 (zh) * | 2019-07-22 | 2021-01-28 | 华为技术有限公司 | 一种摄像头升降控制方法与电子设备 |
CN112753009A (zh) * | 2021-01-04 | 2021-05-04 | 华为技术有限公司 | 人机交互方法与人机交互装置 |
KR20210073292A (ko) * | 2019-12-10 | 2021-06-18 | 주식회사 에이치랩 | 레이더 기반 제스처 인식 시스템 |
CN113132609A (zh) * | 2019-12-31 | 2021-07-16 | 北京安云世纪科技有限公司 | 一种启动摄像头的方法、装置及移动终端 |
US20210226810A1 (en) * | 2020-01-17 | 2021-07-22 | Beijing Xiaomi Mobile Software Co., Ltd. | Control method and device for home device and storage medium |
-
2021
- 2021-12-09 CN CN202111498007.7A patent/CN114374762A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105824406A (zh) * | 2015-11-30 | 2016-08-03 | 维沃移动通信有限公司 | 一种拍照方法和终端 |
CN108924417A (zh) * | 2018-07-02 | 2018-11-30 | Oppo(重庆)智能科技有限公司 | 拍摄控制方法及相关产品 |
CN110058777A (zh) * | 2019-03-13 | 2019-07-26 | 华为技术有限公司 | 快捷功能启动的方法及电子设备 |
WO2021013134A1 (zh) * | 2019-07-22 | 2021-01-28 | 华为技术有限公司 | 一种摄像头升降控制方法与电子设备 |
KR20210073292A (ko) * | 2019-12-10 | 2021-06-18 | 주식회사 에이치랩 | 레이더 기반 제스처 인식 시스템 |
CN113132609A (zh) * | 2019-12-31 | 2021-07-16 | 北京安云世纪科技有限公司 | 一种启动摄像头的方法、装置及移动终端 |
US20210226810A1 (en) * | 2020-01-17 | 2021-07-22 | Beijing Xiaomi Mobile Software Co., Ltd. | Control method and device for home device and storage medium |
CN112753009A (zh) * | 2021-01-04 | 2021-05-04 | 华为技术有限公司 | 人机交互方法与人机交互装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7142783B2 (ja) | 音声制御方法及び電子装置 | |
CN115866121B (zh) | 应用界面交互方法、电子设备和计算机可读存储介质 | |
WO2021000881A1 (zh) | 一种分屏方法及电子设备 | |
CN107817939B (zh) | 一种图像处理方法及移动终端 | |
CN113254120B (zh) | 数据处理方法和相关装置 | |
WO2019072178A1 (zh) | 一种通知处理方法及电子设备 | |
US20220150403A1 (en) | Input Method and Electronic Device | |
CN114579075A (zh) | 数据处理方法和相关装置 | |
CN112383664B (zh) | 一种设备控制方法、第一终端设备、第二终端设备及计算机可读存储介质 | |
WO2020238759A1 (zh) | 一种界面显示方法和电子设备 | |
WO2022007707A1 (zh) | 家居设备控制方法、终端设备及计算机可读存储介质 | |
CN113170011A (zh) | 一种电子设备在来电时呈现视频的方法和电子设备 | |
WO2021238370A1 (zh) | 显示控制方法、电子设备和计算机可读存储介质 | |
WO2022037726A1 (zh) | 分屏显示方法和电子设备 | |
WO2022052740A1 (zh) | 一种折叠设备及其开合控制方法 | |
CN110471604A (zh) | 一种多应用切换方法和相关装置 | |
WO2022166435A1 (zh) | 分享图片的方法和电子设备 | |
WO2022028537A1 (zh) | 一种设备识别方法及相关装置 | |
CN116048361B (zh) | 交互方法、可读存储介质和电子设备 | |
WO2022078116A1 (zh) | 笔刷效果图生成方法、图像编辑方法、设备和存储介质 | |
CN114079691B (zh) | 一种设备识别方法及相关装置 | |
WO2021204103A1 (zh) | 照片预览方法、电子设备和存储介质 | |
CN114374762A (zh) | 终端设备及拍摄控制方法 | |
CN113179362B (zh) | 电子设备及其图像显示方法 | |
CN116723382B (zh) | 一种拍摄方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |