CN112287880A - 云台姿态调整方法、装置、系统和电子设备 - Google Patents
云台姿态调整方法、装置、系统和电子设备 Download PDFInfo
- Publication number
- CN112287880A CN112287880A CN202011297713.0A CN202011297713A CN112287880A CN 112287880 A CN112287880 A CN 112287880A CN 202011297713 A CN202011297713 A CN 202011297713A CN 112287880 A CN112287880 A CN 112287880A
- Authority
- CN
- China
- Prior art keywords
- image
- human body
- information
- data
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000006073 displacement reaction Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 16
- 210000002478 hand joint Anatomy 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 210000005252 bulbus oculi Anatomy 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 2
- 210000003128 head Anatomy 0.000 description 17
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000203475 Neopanax arboreus Species 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种云台位姿调整方法、装置、系统和电子设备,其中,方法包括:藉由图像获取设备实时获取原始图像;利用卷积神经网络对原始图像进行图像信息预处理,提取追踪目标的生物特征;根据生物特征和追踪模式,计算追踪目标的位移数据;根据位移数据生成云台的位姿调整数据。以解决云台搭载拍摄设备在日常使用的场景中无法根据人的姿态位置的变动进行实时调整。
Description
技术领域
本申请涉及图像处理领域,具体而言,涉及一种云台姿态调整方法、装置、系统和电子设备。
背景技术
随着计算机系统的应用、普及和网络技术的迅速发展,通过电子数码产品如摄像头及计算机网络实现远程监控已被越来越多的行业所采用。其中,尤其是带自动追踪功能的摄像头倍受欢迎。目前,手机在日常生活中使用的频率日益增加,手机的位姿在日常使用的场景中无法根据人的姿态位置的变动进行实时调整。
发明内容
本申请实施例的目的在于提供一种云台姿态调整方法、装置、系统和电子设备,用以解决现有技术中存在的技术问题。
第一方面,本发明提供一种云台姿态调整方法,包括:藉由图像获取设备实时获取原始图像;利用卷积神经网络对原始图像进行图像信息预处理,提取追踪目标的生物特征;根据生物特征和追踪模式,计算追踪目标的位移数据;根据位移数据生成云台的位姿调整数据。
在可选的实施方式中,利用卷积神经网络对原始图像进行图像信息预处理,提取生物特征包括:调用人体检测算法从原始图像中提取追踪目标,生成目标人体图像;调用人脸检测算法从目标人体图像中检测人脸位置,定位人脸关键点,提取人脸特征;调用人脸分析算法获取追踪目标的人脸朝向数据和眼球运动状态数据。
在可选的实施方式中,追踪模式包括人体位置追踪;根据生物特征和追踪模式,计算追踪目标的位移数据,包括:根据当前时刻的目标人体图像,生成追踪目标的当前位置信息;根据上一时刻的目标人体图像,生成追踪目标的历史位置信息;根据当前位置信息和历史位置信息,计算追踪目标的位移数据。
在可选的实施方式中,还包括:根据目标人体图像获取人体位置数据;根据人体位置数据计算关节位置数据;判断是否检测到手部关节信息;若检测到手部关节信息,则记录连续的原始图像;调用手势分类网络识别原始图像中的手势信息。
第二方面,本发明提供一种云台姿态调整装置,包括:第一获取模块,用于藉由图像获取设备实时获取原始图像;特征提取模块,用于利用卷积神经网络对原始图像进行图像信息预处理,提取追踪目标的生物特征;第一计算模块,用于根据生物特征和追踪模式,计算追踪目标的位移数据;位姿调整模块,用于根据位移数据生成云台的位姿调整数据。
在可选的实施方式中,特征提取模块还用于:调用人体检测算法从原始图像中提取追踪目标,生成目标人体图像;调用人脸检测算法从目标人体图像中检测人脸位置,定位人脸关键点,提取人脸特征;调用人脸分析算法获取追踪目标的人脸朝向数据和眼球运动状态数据。
在可选的实施方式中,追踪模式包括人体位置追踪;第一计算模块还用于:根据当前时刻的目标人体图像,生成追踪目标的当前位置信息;根据上一时刻的目标人体图像,生成追踪目标的历史位置信息;根据当前位置信息和历史位置信息,计算追踪目标的位移数据。
在可选的实施方式中,还包括:第二获取模块,用于根据目标人体图像获取人体位置数据;第二计算模块,用于根据人体位置数据计算关节位置数据;信息判断模块,用于判断是否检测到手部关节信息;图像记录模块,用于若检测到手部关节信息,则记录连续的原始图像;手势识别模块,用于调用手势分类网络识别原始图像中的手势信息。
第三方面,本发明提供一种云台姿态调整系统,包括:云台;图像获取设备,设置在云台上;控制器,电性连接于图像获取设备和云台;其中,控制器用于:藉由图像获取设备实时获取原始图像;利用卷积神经网络对原始图像进行图像信息预处理,提取追踪目标的生物特征;根据生物特征和追踪模式,计算追踪目标的位移数据;根据位移数据生成云台的位姿调整数据。
第四方面,本发明提供一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行上述前述实施方式任一项的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构示意图;
图2为本申请实施例提供的云台位姿调整系统的场景示意图;
图3为本申请实施例提供的云台位姿调整方法的流程图;
图4为本申请实施例提供的另一种云台位姿调整方法的流程图;
图5为本申请实施例提供的云台位姿调整装置的结构示意图。
图标:1-电子设备;10-总线;11-处理器;12-存储器;2-云台位姿调整系统;3-云台;4-图像获取设备;5-控制器;500-云台位姿调整装置;501-第一获取模块;502-特征提取模块;503-第一计算模块;504-位姿调整模块;505-第二获取模块;506-第二计算模块;507-信息判断模块;508-图像记录模块;509-手势识别模块。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
如图1所示,本实施例提供一种电子设备1,包括:至少一个处理器11和存储器12,图1中以一个处理器11为例。处理器11和存储器12通过总线10连接,存储器12存储有可被处理器11执行的指令,指令被处理器11执行。
于一实施例中,电子设备1可以是手机、平板电脑等设备,电子设备1放置在云台3上且可以控制云台3进行位姿调整。电子设备1根据其自身携带的图像获取组件,或者通过通信数据连接的图像获取设备4实时的获取图像,进而根据获取的图像进行特征提取和距离测算,以控制云台3调整位姿。
请参阅图2,其为本申请实施例提供的云台位姿调整系统2的场景示意图,如图云台位姿调整系统2包括:云台3、图像获取设备4,设置在云台3上,以及控制器5,电性连接于图像获取设备4和云台3。其中,控制器5用于:藉由图像获取设备4实时获取原始图像;利用卷积神经网络对原始图像进行图像信息预处理,提取追踪目标的生物特征;根据生物特征和追踪模式,计算追踪目标的位移数据;根据位移数据生成云台3的位姿调整数据。
请参阅图3,其为本申请实施例提供的云台3位姿调整方法的流程图,该方法可由图1所示的电子设备1来执行,并应用于图2所示的应用场景中,以实现电子设备1根据其自身携带的图像获取组件,或者通过通信数据连接的图像获取设备4实时的获取图像,进而根据获取的图像进行特征提取和距离测算,以控制云台3调整位姿。该方法包括如下步骤:
步骤301:藉由图像获取设备4实时获取原始图像。
在本步骤中,图像获取设备4可以是摄像组件,也可以是外部摄像设备拍摄后通过通信线路传输至电子设备1。当电子设备1是手机、平板电脑或智能机器人等带有摄像组件的智能设备时,电子设备1放置在云台3上,云台3位姿受电子设备1控制,云台3位姿调整后,带动电子设备1位姿调整,进一步的设置在电子设备1上的摄像组件的拍摄范围发生改变。
步骤302:利用卷积神经网络对原始图像进行图像信息预处理,提取追踪目标的生物特征。
在本步骤中,图像信息预处理包括对人体位置、人脸信息、人脸朝向信息以及眼球运动信息等信息进行收集和测算。
于一实施例中,调用人体检测算法从原始图像中提取追踪目标,生成目标人体图像。
于一实施例中,调用人脸检测算法从目标人体图像中检测人脸位置,定位人脸关键点,提取人脸特征。
于一实施例中,调用人脸分析算法获取追踪目标的人脸朝向数据和眼球运动状态数据。
当系统开始运行后,应用程序获取摄像头捕捉到的图像信息,并对之进行初步分析,获取包括:人体位置,人脸信息,人脸朝向信息以及眼球运动信息等信息。同时控制系统根据上述信息分析调整策略,初步调整云台姿态,并记录用户相关的特征,如人脸特征、用于ReIDE的特征等,为后续工作的进行提供良好支撑。应用程序调用人体检测算法将人从图像中检测出来,然后根据人体检测算法的结果将人体图像送至人脸检测算法,人脸检测算法负责检测出人脸位置并定位人脸关键点,将人脸图像进行矫正之后送入人脸识别算法中提取人脸特征,将人脸图像送至人脸分析算法,该算法负责分析人脸朝向和眼球运动状态。
步骤303:根据生物特征和追踪模式,计算追踪目标的位移数据。
在本步骤中,追踪模式包括人体位置追踪,在人体位置跟踪模式下,可以根据当前时刻的目标人体图像,生成追踪目标的当前位置信息,然后根据上一时刻的目标人体图像,生成追踪目标的历史位置信息,最终根据当前位置信息和历史位置信息,计算追踪目标的位移数据。
步骤304:根据位移数据生成云台3的位姿调整数据。
用户选定跟踪目标之后,App对摄像头输入的图像进行实时分析,系统得到目标位置、人脸朝向、眼球运动等信息,将这些信息输送给控制器5。为使手机屏幕实时对准用户,并提供更智能的需求,该系统的控制系统需要:通过大范围调节云台3角度,保证用户始终处于画面中心。根据人脸pitch、yaw,roll三个方向的朝向,调整云台3角度,保证在中等范围内人脸始终正对手机屏幕。根据人眼运动信息,通过云台3对手机进行微调,确保手机能够在不同的模式下调整到最合适的角度。
请参阅图4,其为本申请实施例提供的云台3位姿调整方法的流程图,该方法可由图1所示的电子设备1来执行,并应用于图2所示的应用场景中,以实现电子设备1根据其自身携带的图像获取组件,或者通过通信数据连接的图像获取设备4实时的获取图像,进而根据获取的图像进行特征提取和距离测算,以控制云台3调整位姿。该方法包括如下步骤:
步骤401:藉由图像获取设备4实时获取原始图像。详细请参阅上述实施例中对步骤301的描述。
步骤402:利用卷积神经网络对原始图像进行图像信息预处理,提取追踪目标的生物特征。详细请参阅上述实施例中对步骤302的描述。
步骤403:根据目标人体图像获取人体位置数据。
在本步骤中,调用人体检测算法从原始图像中提取追踪目标,生成目标人体图像。目标人体图像中的人体数据生成人体所在的位置数据。可以建立图像的二维坐标系,利用二维坐标记录被追踪的人体关键点的位置数据。
步骤404:根据人体位置数据计算关节位置数据。
在本步骤中,根据人体位置数据,输入手部检测网络,计算手部关节的位置。
步骤405:判断是否检测到手部关节信息。若检测到手部关节信息,则进入步骤406,否则返回步骤403。
步骤406:记录连续的原始图像。
在本步骤中,若检测到手部关节信息,则进入手势控制模式。开始记录连续的原始图像,以识别具体手势。
步骤407:调用手势分类网络识别原始图像中的手势信息。
步骤408:根据生物特征和追踪模式,计算追踪目标的位移数据。详细请参阅上述实施例中对步骤303的描述。
步骤409:根据位移数据生成云台3的位姿调整数据。详细请参阅上述实施例中对步骤304的描述。
于一实施例中,应用程序提供多种模式,例如家庭模式,会议模式,直播模式和休闲模式等供用户选择。用户可以在应用程序界面的相应位置进行选择,也可以在远距离通过手势控制模式的选择。在经过图像预分析步骤之后,初步调整云台姿态,并检测手部位置,若检测到手,则对手势进行分类,通过分析手势分类的结果决定使用何种模式或者进行模式的切换。本方案中模式的选择也可以由系统自主决策,用户需进行相关设置。在预分析模块的工作完成之后,相关算法对当前的信息进行整合,需要分析出用户与手机的距离,用户所处场景等信息,计算出针对当前场景的最优模式,并予以设置。
在确定了模式并将用户的重要信息进行记录之后,应用程序对摄像头输入的图像进行实时分析,根据不同工作模式下的相关设置,决定用户的姿态(人脸姿态,眼球运动等)在多大范围内变动的时候对云台姿态进行调整。
用户可以使用系统的手势控制功能实现模式切换,为保证系统在较远距离仍然可以进行手势控制,采取先检测人体位置,再检测手部的策略。初步设计三个手势控制不同模式的切换,如”胜利”手势控制近景模式开启,“竖八”手势控制远景模式开启,“五指张开”手势控制跟踪模式开启。手势控制模块考虑了较多的使用场景,提高了该系统的易用性,进而明显提升用户体验。
请参阅图5,其为本申请实施例提供的云台位姿调整装置500的结构示意图,该方法可由图1所示的电子设备1来执行,并应用于图2所示的应用场景中,以实现电子设备1根据其自身携带的图像获取组件,或者通过通信数据连接的图像获取设备4实时的获取图像,进而根据获取的图像进行特征提取和距离测算,以控制云台3调整位姿。该装置包括:第一获取模块501、特征提取模块502、第一计算模块503、位姿调整模块504、第二获取模块505、第二计算模块506、信息判断模块507、图像记录模块508、手势识别模块509。具体原理关系如下:
第一获取模块501用于藉由图像获取设备4实时获取原始图像。详细请参阅上述实施例中对步骤301的描述。
特征提取模块502用于利用卷积神经网络对原始图像进行图像信息预处理,提取追踪目标的生物特征。详细请参阅上述实施例中对步骤302的描述。
第一计算模块503用于根据生物特征和追踪模式,计算追踪目标的位移数据。详细请参阅上述实施例中对步骤303的描述。
位姿调整模块504用于根据位移数据生成云台3的位姿调整数据。详细请参阅上述实施例中对步骤304的描述。
第二获取模块505用于根据目标人体图像获取人体位置数据。详细请参阅上述实施例中对步骤403的描述。
第二计算模块506用于根据人体位置数据计算关节位置数据。详细请参阅上述实施例中对步骤404的描述。
信息判断模块507用于判断是否检测到手部关节信息。详细请参阅上述实施例中对步骤405的描述。
图像记录模块508用于若检测到手部关节信息,则记录连续的原始图像。详细请参阅上述实施例中对步骤406的描述。
手势识别模块509,用于调用手势分类网络识别原始图像中的手势信息。详细请参阅上述实施例中对步骤407的描述。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是,功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器12(Read-Only Memory,ROM)随机存取存储器12(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种云台位姿调整方法,其特征在于,包括:
藉由图像获取设备实时获取原始图像;
利用卷积神经网络对所述原始图像进行图像信息预处理,提取追踪目标的生物特征;
根据所述生物特征和追踪模式,计算所述追踪目标的位移数据;
根据所述位移数据生成云台的位姿调整数据。
2.根据权利要求1所述的方法,其特征在于,所述利用卷积神经网络对所述原始图像进行图像信息预处理,提取生物特征包括:
调用人体检测算法从所述原始图像中提取所述追踪目标,生成目标人体图像;
调用人脸检测算法从所述目标人体图像中检测人脸位置,定位人脸关键点,提取人脸特征;
调用人脸分析算法获取所述追踪目标的人脸朝向数据和眼球运动状态数据。
3.根据权利要求2所述的方法,其特征在于,所述追踪模式包括人体位置追踪;所述根据所述生物特征和追踪模式,计算所述追踪目标的位移数据,包括:
根据当前时刻的所述目标人体图像,生成所述追踪目标的当前位置信息;
根据上一时刻的所述目标人体图像,生成所述追踪目标的历史位置信息;
根据所述当前位置信息和所述历史位置信息,计算所述追踪目标的位移数据。
4.根据权利要求2所述的方法,其特征在于,还包括:
根据所述目标人体图像获取人体位置数据;
根据所述人体位置数据计算关节位置数据;
判断是否检测到手部关节信息;
若检测到手部关节信息,则记录连续的所述原始图像;
调用手势分类网络识别所述原始图像中的手势信息。
5.一种云台位姿调整装置,其特征在于,包括:
第一获取模块,用于藉由图像获取设备实时获取原始图像;
特征提取模块,用于利用卷积神经网络对所述原始图像进行图像信息预处理,提取追踪目标的生物特征;
第一计算模块,用于根据所述生物特征和追踪模式,计算所述追踪目标的位移数据;
位姿调整模块,用于根据所述位移数据生成云台的位姿调整数据。
6.根据权利要求5所述的装置,其特征在于,所述特征提取模块还用于:
调用人体检测算法从所述原始图像中提取所述追踪目标,生成目标人体图像;
调用人脸检测算法从所述目标人体图像中检测人脸位置,定位人脸关键点,提取人脸特征;
调用人脸分析算法获取所述追踪目标的人脸朝向数据和眼球运动状态数据。
7.根据权利要求6所述的装置,其特征在于,所述追踪模式包括人体位置追踪;所述第一计算模块还用于:
根据当前时刻的所述目标人体图像,生成所述追踪目标的当前位置信息;
根据上一时刻的所述目标人体图像,生成所述追踪目标的历史位置信息;
根据所述当前位置信息和所述历史位置信息,计算所述追踪目标的位移数据。
8.根据权利要求6所述的装置,其特征在于,还包括:
第二获取模块,用于根据所述目标人体图像获取人体位置数据;
第二计算模块,用于根据所述人体位置数据计算关节位置数据;
信息判断模块,用于判断是否检测到手部关节信息;
图像记录模块,用于若检测到手部关节信息,则记录连续的所述原始图像;
手势识别模块,用于调用手势分类网络识别所述原始图像中的手势信息。
9.一种云台位姿调整系统,其特征在于,包括:
云台;
图像获取设备,设置在所述云台上;
控制器,电性连接于所述图像获取设备和所述云台;其中,
所述控制器用于:藉由图像获取设备实时获取原始图像;
利用卷积神经网络对所述原始图像进行图像信息预处理,提取追踪目标的生物特征;
根据所述生物特征和追踪模式,计算所述追踪目标的位移数据;
根据所述位移数据生成所述云台的位姿调整数据。
10.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行上述权利要求1-4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011297713.0A CN112287880A (zh) | 2020-11-18 | 2020-11-18 | 云台姿态调整方法、装置、系统和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011297713.0A CN112287880A (zh) | 2020-11-18 | 2020-11-18 | 云台姿态调整方法、装置、系统和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112287880A true CN112287880A (zh) | 2021-01-29 |
Family
ID=74398034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011297713.0A Pending CN112287880A (zh) | 2020-11-18 | 2020-11-18 | 云台姿态调整方法、装置、系统和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112287880A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113838092A (zh) * | 2021-09-24 | 2021-12-24 | 精英数智科技股份有限公司 | 一种行人跟踪方法及系统 |
CN114257742A (zh) * | 2021-12-15 | 2022-03-29 | 惠州视维新技术有限公司 | 云台摄像头的控制方法、存储介质及云台摄像头 |
CN114500839A (zh) * | 2022-01-25 | 2022-05-13 | 青岛根尖智能科技有限公司 | 一种基于注意力跟踪机制的视觉云台控制方法及系统 |
CN115076561A (zh) * | 2022-05-18 | 2022-09-20 | 燕山大学 | 应用于工程机械的远程沉浸式双目云台随动系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 视频目标跟踪方法和装置 |
CN110244775A (zh) * | 2019-04-29 | 2019-09-17 | 广州市景沃电子有限公司 | 基于移动设备夹持云台的自动跟踪方法及装置 |
CN110858295A (zh) * | 2018-08-24 | 2020-03-03 | 广州汽车集团股份有限公司 | 一种交警手势识别方法、装置、整车控制器及存储介质 |
CN111901527A (zh) * | 2020-08-05 | 2020-11-06 | 深圳市浩瀚卓越科技有限公司 | 追踪控制方法、装置、对象追踪部件和存储介质 |
-
2020
- 2020-11-18 CN CN202011297713.0A patent/CN112287880A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 视频目标跟踪方法和装置 |
CN110858295A (zh) * | 2018-08-24 | 2020-03-03 | 广州汽车集团股份有限公司 | 一种交警手势识别方法、装置、整车控制器及存储介质 |
CN110244775A (zh) * | 2019-04-29 | 2019-09-17 | 广州市景沃电子有限公司 | 基于移动设备夹持云台的自动跟踪方法及装置 |
CN111901527A (zh) * | 2020-08-05 | 2020-11-06 | 深圳市浩瀚卓越科技有限公司 | 追踪控制方法、装置、对象追踪部件和存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113838092A (zh) * | 2021-09-24 | 2021-12-24 | 精英数智科技股份有限公司 | 一种行人跟踪方法及系统 |
CN114257742A (zh) * | 2021-12-15 | 2022-03-29 | 惠州视维新技术有限公司 | 云台摄像头的控制方法、存储介质及云台摄像头 |
CN114257742B (zh) * | 2021-12-15 | 2024-05-03 | 惠州视维新技术有限公司 | 云台摄像头的控制方法、存储介质及云台摄像头 |
CN114500839A (zh) * | 2022-01-25 | 2022-05-13 | 青岛根尖智能科技有限公司 | 一种基于注意力跟踪机制的视觉云台控制方法及系统 |
CN114500839B (zh) * | 2022-01-25 | 2024-06-07 | 青岛根尖智能科技有限公司 | 一种基于注意力跟踪机制的视觉云台控制方法及系统 |
CN115076561A (zh) * | 2022-05-18 | 2022-09-20 | 燕山大学 | 应用于工程机械的远程沉浸式双目云台随动系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112287880A (zh) | 云台姿态调整方法、装置、系统和电子设备 | |
CN108229369B (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
US20040233282A1 (en) | Systems, apparatus, and methods for surveillance of an area | |
US20090051787A1 (en) | Apparatus and method for photographing image using digital camera capable of providing preview images | |
EP2757771B1 (en) | Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus | |
US10429936B2 (en) | Remote control method and system for virtual operating interface | |
CN113973190A (zh) | 视频虚拟背景图像处理方法、装置及计算机设备 | |
US20210051273A1 (en) | Photographing control method, device, apparatus and storage medium | |
CN103685940A (zh) | 一种通过表情识别拍摄照片的方法 | |
US9628700B2 (en) | Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program | |
CN110290299B (zh) | 成像方法、装置、存储介质及电子设备 | |
US20220321788A1 (en) | Video Processing Method and Electronic Device | |
CN113473015B (zh) | 一种云台控制方法及电子设备 | |
CN111880640A (zh) | 屏幕控制方法、装置、电子设备及存储介质 | |
CN112541400A (zh) | 基于视线估计的行为识别方法及装置、电子设备、存储介质 | |
CN113194253A (zh) | 去除图像反光的拍摄方法、装置和电子设备 | |
CN112188105A (zh) | 跟踪拍摄方法、装置、智能设备及计算机可读存储介质 | |
CN109194916B (zh) | 一种具有图像处理模块的可移动拍摄系统 | |
CN113132801A (zh) | 视频播放的控制方法、装置、终端及存储介质 | |
KR101856547B1 (ko) | 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치 | |
CN109218612B (zh) | 一种追踪拍摄系统及拍摄方法 | |
CN111385481A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
CN105306797A (zh) | 一种用户终端及图像拍摄方法 | |
CN111726531B (zh) | 图像拍摄方法、处理方法、装置、电子设备及存储介质 | |
US8743192B2 (en) | Electronic device and image capture control method using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |