CN117621068A - 基于机器人的拍摄方法及机器人 - Google Patents

基于机器人的拍摄方法及机器人 Download PDF

Info

Publication number
CN117621068A
CN117621068A CN202311696979.6A CN202311696979A CN117621068A CN 117621068 A CN117621068 A CN 117621068A CN 202311696979 A CN202311696979 A CN 202311696979A CN 117621068 A CN117621068 A CN 117621068A
Authority
CN
China
Prior art keywords
shot
robot
preset
shooting
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311696979.6A
Other languages
English (en)
Inventor
庞景中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Motors Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Motors Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Motors Technology Co Ltd filed Critical Guangzhou Xiaopeng Motors Technology Co Ltd
Priority to CN202311696979.6A priority Critical patent/CN117621068A/zh
Publication of CN117621068A publication Critical patent/CN117621068A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本申请提供一种基于机器人的拍摄方法及机器人,所述机器人包括机械臂,所述机械臂用于固定拍摄设备,所述方法包括:对所述拍摄设备的拍摄画面进行图像识别;若所述拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度小于第一预设值,则调整所述机器人的位姿,或者输出提示移动待拍摄对象位置的信息,以使所述拍摄设备的拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度大于或等于所述第一预设值,并控制所述拍摄设备进行拍摄。通过上述方法可以使机器人使用用户选择的任意清晰度的拍摄设备进行拍摄,满足用户的拍摄需求,提升用户体验感。

Description

基于机器人的拍摄方法及机器人
技术领域
本申请涉及机器人技术领域,尤其涉及一种基于机器人的拍摄方法及机器人。
背景技术
相关技术中,机器人是使用自身的摄像头为用户拍摄,但通常为了减少生产成本,机器人的摄像头清晰度较低,不足以满足用户的拍摄需求。
发明内容
有鉴于此,本申请提供一种基于机器人的拍摄方法及机器人,以解决相关技术中的技术问题。
为实现上述目的,本申请提供技术方案如下:
根据本申请实施例的第一方面,提供一种基于机器人的拍摄方法,所述机器人包括机械臂,所述机械臂用于固定拍摄设备,所述方法包括:
对所述拍摄设备的拍摄画面进行图像识别;
若所述拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度小于第一预设值,则调整所述机器人的位姿,或者输出提示移动待拍摄对象位置的信息,以使所述拍摄设备的拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度大于或等于所述第一预设值,并控制所述拍摄设备进行拍摄。
可选的,所述方法还包括:若待拍摄对象的体态信息与预设体态信息的匹配度小于第二预设值,则输出提示待拍摄对象调整体态的信息;
在预设时间内,若待拍摄对象调整后的体态信息与预设体态信息的匹配度大于或等于第二预设值,则控制所述拍摄设备进行拍摄。
可选的,所述方法还包括:若输出提示待拍摄对象调整体态的信息后,在预设时间内,待拍摄对象未调整体态,或者接收到直接拍摄的指令信息,或者调整后的体态信息与预设体态信息的匹配度始终小于所述第二预设值,则控制所述拍摄设备进行拍摄。
可选的,所述方法还包括:将拍摄得到的照片或视频,与预设体态信息对应的照片或视频进行对比,展示对比结果。
可选的,调整所述机器人的位姿包括:
基于所述拍摄设备的视场角、所述拍摄设备与所述待拍摄对象之间的距离,以及所述待拍摄对象在所述拍摄画面中的位置,确定待拍摄对象和待拍摄对象周围的环境,相对于预设的构图规则所规定的待拍摄对象和待拍摄对象周围的环境在拍摄画面中所处的位置的偏移角度和偏移距离;
基于所述偏移距离和所述偏移角度,调整所述机器人的位姿。
根据本申请实施例的第二方面,提供一种机器人,包括机身,与所述机身连接的至少一个机械臂,所述机械臂用于固定拍摄设备;
所述机器人还包括与所述机身通信的控制系统,所述控制系统包括处理器和与所述处理器通信的存储器,所述存储器存储指令,所述指令在所述处理器上被运行时使所述处理器执行操作,所述操作包括:
对所述拍摄设备的拍摄画面进行图像识别;
若所述拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度小于第一预设值,则调整所述机器人的位姿,或者输出提示移动待拍摄对象位置的信息,以使所述拍摄设备的拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度大于或等于所述第一预设值,并控制所述拍摄设备进行拍摄。
由以上技术方案可见,本申请通过机器人的机械臂固定拍摄设备,对拍摄设备的拍摄画面进行图像识别,在待拍摄对象和/或待拍摄对象周围的环境与构图规则的匹配度符合要求时,控制拍摄设备为用户拍摄,从而使机器人可以使用用户选择的任意清晰度的拍摄设备进行拍摄,满足用户的拍摄需求,提升用户体验感。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本申请的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据本申请实施例示出的一种机器人的硬件结构示意图;
图2是根据本申请实施例示出的一种机器人的机械结构示意图;
图3是根据本申请实施例示出的一种基于机器人的拍摄方法的流程图;
图4是根据本申请实施例示出的一种基于机器人的拍摄装置的框图;
图5是根据本申请实施例示出的一种计算机设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的机器人和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参阅图1,图1为本申请其中一个实施例提供的机器人100的硬件结构示意图。机器人100可以是多种形态机器人中的任何一种,具体包括但不限于轮式机器人、足式机器人、履带式机器人、爬行机器人、蠕动式机器人或者游动式机器人等中的至少一种,例如机器人100具体可以是足式机器人,也可以是足式与轮式相结合的机器人。其中,足式机器人包括单足机器人、双足机器人或者多足机器人。多足机器人是指具有三个足或者三个以上的足式机器人,例如多足机器人具体可以是四足机器人。机器人是指一种能够半自主或全自主执行工作的机器,机器人并不限定于人形的机器装置,还可以包括例如狗、马、蛇、鱼、猿或猴等构型的机器人,例如机器人具体可以是一种四足的机器马。在图1所示的实施方式中,机器人100包括机械单元101、通讯单元102、传感单元103、接口单元104、存储单元105、显示单元106、输入单元107、控制模块110、电源111。机器人100的各种部件可以以任何方式连接,包括有线或无线连接等。本领域技术人员可以理解,图1中示出的机器人100的具体结构并不构成对机器人100的限定,机器人100可以包括比图示更多或更少的部件,某些部件也并不属于机器人100的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略,或者组合某些部件。
图2是根据本申请一个实施例提供的机器人的机械结构示意图。下面结合图1和图2对机器人100的各个部件进行具体的介绍:
机械单元101为机器人100的硬件。如图1所示,机械单元101可包括驱动板1011、电机1012、机械结构1013,如图2所示,机械结构1013可包括机身主体1014、可伸展的腿部1015、足部1016,在其他实施方式中,机械结构1013还可包括可伸展的机械臂(图未示)、可转动的头部结构1017、可摇动的尾巴结构1018、载物结构1019、鞍座结构1020、摄像头结构1021等。需要说明的是,机械单元101的各个部件模块可以为一个也可以为多个,可根据具体情况设置,比如腿部1015可为4个,每个腿部1015可配置3个电机1012,对应的电机1012为12个。
通讯单元102可用于信号的接收和发送,还可以通过与网络和其他设备通信,比如,接收遥控器或其他机器人100发送的按照特定步态以特定速度值向特定方向移动的指令信息后,传输给控制模块110处理。通讯单元102包括如WiFi模块、4G模块、5G模块、蓝牙模块、红外模块等。
传感单元103用于获取机器人100周围环境的信息数据以及监控机器人100内部各部件的参数数据,并发送给控制模块110。传感单元103包括多种传感器,如获取周围环境信息的传感器:激光雷达(用于远程物体检测、距离确定和/或速度值确定)、毫米波雷达(用于短程物体检测、距离确定和/或速度值确定)、摄像头、红外摄像头、全球导航卫星系统(GNSS,Global Navigation Satellite System)等。如监控机器人100内部各部件的传感器:惯性测量单元(IMU,Inertial Measurement Unit)(用于测量速度值、加速度值和角速度值的值),足底传感器(用于监测足底着力点位置、足底姿态、触地力大小和方向)、温度传感器(用于检测部件温度)。至于机器人100还可配置的载荷传感器、触摸传感器、电机角度传感器、扭矩传感器等其他传感器,在此不再赘述。
接口单元104可以用于接收来自外部装置的输入(例如,数据信息、电力等)并且将接收到的输入传输到机器人100内的一个或多个部件,或者可以用于向外部装置输出(例如,数据信息、电力等)。接口单元104可包括电源端口、数据端口(如USB端口)、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口等。
存储单元105用于存储软件程序以及各种数据。存储单元105可主要包括程序存储区和数据存储区,其中,程序存储区可存储操作系统程序、运动控制程序、应用程序(比如文本编辑器)等;数据存储区可存储机器人100在使用中所生成的数据(比如传感单元103获取的各种传感数据,日志文件数据)等。此外,存储单元105可以包括高速随机存取存储器,还可以包括非易失性存储器,例如磁盘存储器、闪存器、或其他易失性固态存储器。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
输入单元107可用于接收输入的数字或字符信息。具体地,输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户的触摸操作(比如用户使用手掌、手指或适合的附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置1073和触摸控制器1074两个部分。其中,触摸检测装置1073检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器1074;触摸控制器1074从触摸检测装置1073上接收触摸信息,并将它转换成触点坐标,再送给控制模块110,并能接收控制模块110发来的命令并加以执行。除了触控面板1071,输入单元107还可以包括其他输入设备1072。具体地,其他输入设备1072可以包括但不限于遥控操作手柄等中的一种或多种,具体此处不做限定。
进一步的,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给控制模块110以确定触摸事件的类型,随后控制模块110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来分别实现输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现输入和输出功能,具体此处不做限定。
控制模块110是机器人100的控制中心,利用各种接口和线路连接整个机器人100的各个部件,通过运行或执行存储在存储单元105内的软件程序,以及调用存储在存储单元105内的数据,从而对机器人100进行整体控制。
电源111用于给各个部件供电,电源111可包括电池和电源控制板,电源控制板用于控制电池充电、放电、以及功耗管理等功能。在图1所示的实施方式中,电源111电连接控制模块110,在其它的实施方式中,电源111还可以分别与传感单元103(比如摄像头、雷达、音箱等)、电机1012电性连接。需要说明的是,各个部件可以各自连接到不同的电源111,或者由相同的电源111供电。
在上述实施方式的基础上,具体地,在一些实施方式中,可以通过终端设备来与机器人100进行通信连接,在终端设备与机器人100进行通信时,可以通过终端设备来向机器人100发送指令信息,机器人100可通过通讯单元102来接收指令信息,并可在接收到指令信息的情况下,将指令信息传输至控制模块110,使得控制模块110可根据指令信息来处理得到目标速度值。终端设备包括但不限于:具备图像拍摄功能的手机、平板电脑、服务器、个人计算机、可穿戴智能设备、其它电器设备。
指令信息可以根据预设条件来确定。在一个实施方式中,机器人100可以包括传感单元103,传感单元103可根据机器人100所在的当前环境可生成指令信息。控制模块110可根据指令信息来判断机器人100的当前速度值是否满足对应的预设条件。若满足,则会保持机器人100的当前速度值和当前步态移动;若不满足,则会根据对应的预设条件来确定目标速度值和相应的目标步态,从而可控制机器人100以目标速度值和相应的目标步态移动。环境传感器可以包括温度传感器、气压传感器、视觉传感器、声音传感器。指令信息可以包括温度信息、气压信息、图像信息、声音信息。环境传感器与控制模块110之间的通信方式可以为有线通信,也可以为无线通信。无线通信的方式包括但不限于:无线网络、移动通信网络(3G、4G、5G等)、蓝牙、红外。
图3是根据本申请实施例示出的一种基于机器人的拍摄方法的流程图,所述机器人包括机械臂,所述机械臂用于固定拍摄设备,所述方法包括:
步骤S101,对拍摄设备的拍摄画面进行图像识别;
在本实施例中,拍摄设备可以包括拍摄设备可以包括智能手机、平板电脑、照相机等具备拍摄功能的设备,本申请对此不作限制。
在一实施例中,拍摄设备可以在其显示屏的取景框中展示所拍摄到的画面,机器人还可以包括摄像头,可以通过机器人的摄像头识别出拍摄设备的取景框所展示的画面,以此获得拍摄设备的拍摄画面。
在一实施例中,机器人可以与拍摄设备建立连接,拍摄设备可以将拍摄到的画面实时传输给机器人,以此获得拍摄设备的拍摄画面。其中,机器人可以与拍摄设备建立有线连接,也可以与拍摄设备建立无线连接,本申请对连接的方式不作限定。
在一实施例中,考虑到存在待拍摄对象一开始不处于拍摄画面中的情况,在步骤S101之前可以先调整机器人的位姿,以使待拍摄对象处于拍摄画面中。例如,可以对用户发出的语音信息进行识别,将该语音信息的产生位置作为待拍摄对象的位置,调整机器人的位姿,以使待拍摄对象处于拍摄画面中。又例如,用户可以通过遥控设备控制机器人,遥控设备可以通过显示屏向用户实时显示拍摄设备的拍摄画面,此时可以响应于用户发出遥控指令,根据遥控指令的指示调整机器人的位姿,以使待拍摄对象处于拍摄画面中。
在一实施例中,可以根据图像识别结果确定待拍摄对象。例如,图像识别结果可以包括若干目标对象,可以在机器人的显示屏或用户设备上显示识别得到的若干目标对象,此时可以响应于用户针对于若干目标对象的选择指令,确认被选中的目标对象为待拍摄对象。又例如,图像识别结果还可以包括目标对象的类别(例如男/女性、猫、汽车等),此时可以对用户输入的语音或文字进行语义识别,将语义识别结果与识别出的若干目标对象的类别进行匹配,确认匹配成功的类别对应的目标对象为待拍摄对象。其中,用户设备可以包括智能手机、平板电脑和智能手表等,本申请对此不作限制。
步骤S102,若拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度小于第一预设值时,则调整机器人的位姿,或者输出提示移动待拍摄对象位置的信息,以使拍摄设备的拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度大于或等于第一预设值,控制拍摄设备进行拍摄。
在本实施例中,待拍摄对象可以包括一个或多个人物、物体或其它生物,本申请对待拍摄对象的数量及类别不作限制;第一预设值可以为默认值(例如80%)或用户自定义值,本申请对此不作限制。
在本实施例中,待拍摄对象周围的环境可以指图像识别得到的若干目标对象中,与待拍摄对象的距离在指定距离范围内的目标对象;也可以是指定类别的目标对象,例如天空、植物,建筑物等。其中,不同的拍摄场景可以对应不同的指定类别,该指定类别可以由用户自定义确定,也可以通过机器学习对收集的不同拍摄场景的若干图像进行识别和分析,统计各个拍摄场景下各个类别的出现频率,确定指定出现频率所对应的类别为指定类别。例如在海边拍摄的场景下,可以确定指定类别包括出现频率最高的海洋,也可以确定指定类别包括出现频率前三高的海洋、天空和沙滩。
在一实施例中,通过图像识别可以确定待拍摄对象和/或待拍摄对象周围的环境对应的检测框,也可以确定待拍摄对象和/或待拍摄对象周围的环境的轮廓;待拍摄对象和/或待拍摄对象周围的环境在拍摄画面中所占据的区域,可以指待拍摄对象和/或待拍摄对象周围的环境对应的检测框所包围的区域,也可以指待拍摄对象和/或待拍摄对象周围的环境的轮廓所包围的区域,本申请对此不作限制。
在一实施例中,构图规则可以包括位置构图规则和比例构图规则,不同构图规则可以对应不同的匹配度计算方式。
位置构图规则可以规定待拍摄对象和/或待拍摄对象周围的环境在拍摄画面中所处的位置,例如可以规定待拍摄对象和/或待拍摄对象周围的环境处于拍摄画面正中间的指定大小区域内;又例如可以将拍摄画面通过两条水平线及两条垂直线划分为九等份,规定待拍摄对象和/或待拍摄对象周围的环境位于左/右三分之一线处或者指定的线的交叉处的指定大小区域内。
位置构图规则对应的匹配度可以是指待拍摄对象和/或待拍摄对象周围的环境在拍摄画面中所占据的区域,与位置构图规则所规定的区域的重叠率。
比例构图规则可以规定待拍摄对象和/或待拍摄对象周围的环境在拍摄画面中的占比值,还可以规定待拍摄对象与待拍摄对象周围的环境的占比值的比值,例如可以规定待拍摄对象在拍摄画面中的第一占比值为第一指定比例值,待拍摄对象周围的环境在拍摄画面中的第二占比值为第二指定比例值;又例如可以规定待拍摄对象在拍摄画面中的第一占比值,与待拍摄对象周围的环境在拍摄画面中的第二占比值的第一比值为第三指定比例值。
比例构图规则对应的匹配度可以是指:当待拍摄对象在拍摄画面中的第一占比值小于第一指定比例值时,匹配度为第一占比值与第一指定比例值的比值;当第一占比值大于或等于第一指定比例值时,匹配度为第一指定比例值与第一占比值的比值;当待拍摄对象周围的环境在拍摄画面中的第二占比值小于第二指定比例值时,匹配度为第二占比值与第二指定比例值的比值;当第二占比值大于或等于第二指定比例值时,匹配度为第二指定比例值与第二占比值的比值;匹配度可以为待拍摄对象与待拍摄对象周围的环境对应的匹配度的均值;当第一占比值与第二占比值的第一比值小于第三指定比例值时,匹配度为第一比值与第三指定比例值的比值;当第一比值大于或等于第三指定比例值时,匹配度为第一比值与第三占比值的比值。
在一实施例中,构图规则可以由用户自定义设置,用户可以通过用户设备或者机器人的显示屏,在拍摄画面中的任意位置指定任意大小的区域,作为位置构图规则所规定的区域,也可以针对于比例构图规则,规定待拍摄对象和/或待拍摄对象周围的环境在拍摄画面中的占比值,以及规定待拍摄对象与待拍摄对象周围的环境的占比值的比值,用户也可以针对不同的拍摄场景,设置不同的构图规则。
在一实施例中,可以通过机器学习的方式确定构图规则,通过机器学习对收集的不同拍摄场景的若干图像进行识别和分析,可以统计各个拍摄场景下待拍摄对象和/或待拍摄对象周围的环境在图像不同位置的出现频率,确定指定出现频率所对应的位置为对应场景下的位置构图规则所规定的区域。
也可以统计各个拍摄场景下待拍摄对象和/或待拍摄对象周围的环境在拍摄画面中的占比值的出现频率,可以确定指定出现频率所对应的占比值为对应场景下比例构图规则所规定的占比值,以及可以统计各个拍摄场景下二者占比值的比值的出现频率,可以确定指定出现频率所对应的比值为对应场景下中比例构图规则所规定的比值。
在一实施例中,可以基于拍摄设备的视场角,以及拍摄设备与待拍摄对象之间的距离,确定待拍摄对象在拍摄画面中的位置,进而可以确定待拍摄对象和待拍摄对象周围的环境,相对于预设的构图规则所规定的待拍摄对象和待拍摄对象周围的环境在拍摄画面中所处的位置的偏移角度和偏移距离,然后可以基于偏移距离和偏移角度,调整机器人的位姿,以使匹配度大于或等于第一预设值。其中,机器人的位姿可以包括机器人底盘的位姿和/或机械臂的位姿,可以基于机械臂的自由度以及路径规划算法,调整机械臂的位姿。
在一实施例中,输出提示移动待拍摄对象位置的信息前,可以先确认待拍摄对象和/或待拍摄对象周围的环境,相对于位置构图规则所规定的位置的偏移方向和/或偏移距离,再根据偏移和/或偏移距离,输出提示移动待拍摄对象位置的语音信息,例如要拍摄的用户在拍摄画面中偏移方向为右时,可以提示“请向右移动”。
也可以根据待拍摄对象和/或待拍摄对象周围的环境在拍摄画面中的占比值、待拍摄对象与待拍摄对象周围的环境的占比值的比值以及比例构图规则,输出提示移动待拍摄对象位置的语音信息,例如要拍摄的用户在拍摄画面中的占比值大于比例构图规则所规定的占比值时,可以提示“请向后移动”。并且用户移动到满足匹配度要求的位置时,可以及时通过语音提示用户,以使用户做好拍摄的准备,提升用户体验感。
在一实施例中,输出提示移动待拍摄对象位置的信息,可以是在机器人的显示屏或者用户设备上,实时显示构图规则的信息,例如可以在显示的拍摄画面中,标注出位置构图规则所规定的位置,还可以实时显示当前待拍摄对象和/或待拍摄对象周围的环境在拍摄画面中的占比值、当前待拍摄对象与待拍摄对象周围的环境的占比值的比值以及比例构图规则所规定的指定比例值,并且还可以显示当前的匹配度,以便于用户根据实时显示构图规则的信息调整待拍摄对象的位置,以及根据匹配度做好拍摄的准备,提升用户体验感。
本实施例本申请通过机器人的机械臂固定拍摄设备,对拍摄设备的拍摄画面进行图像识别,在待拍摄对象和/或待拍摄对象周围的环境与构图规则的匹配度符合要求时,控制拍摄设备为用户拍摄,从而使机器人可以使用用户选择的任意清晰度的拍摄设备进行拍摄,满足用户的拍摄需求,提升用户体验感。
在一实施例中,基于机器人的拍摄方法还可以包括:
步骤S103,若待拍摄对象的体态信息与预设的体态信息的匹配度小于第二预设值,则输出提示待拍摄对象调整体态的信息;
步骤S104,在预设时间内,若待拍摄对象调整后的体态信息与预设体态信息的匹配度大于或等于第二预设值,则控制所述拍摄设备进行拍摄。
在本实施例中,体态信息可以至少包括表情、姿势或动作中的任意一种;待拍摄对象的体态信息可以通过机器人的摄像头或者拍摄设备获取,第二预设值可以为默认值(例如70%)或用户自定义值,本申请对此不作限制。
在一实施例中,表情可以通过若干人脸关键点表征;计算待拍摄对象的体态信息与预设的体态信息的匹配度可以包括:
对待拍摄对象进行人脸识别,得到待拍摄对象的若干人脸关键点,计算待拍摄对象对应的人脸关键点与预设表情对应的预设人脸关键点的重叠率,确定待拍摄对象的表情与预设的表情的匹配度。
在一实施例中,姿势表情可以通过若干人体关键点表征;计算待拍摄对象的体态信息与预设的体态信息的匹配度可以包括:
对待拍摄对象进行人体关键点识别,得到待拍摄对象的若干人体关键点,计算待拍摄对象对应的人体关键点与预设姿势对应的预设人体关键点的重叠率,确定待拍摄对象的姿势与预设的姿势的匹配度。
在一实施例中,动作可以通过若干图像帧中的若干人体关键点表征,每个预设动作可以对应若干预设图像帧;计算待拍摄对象的体态信息与预设的体态信息的匹配度可以包括:
提取针对于待拍摄对象的拍摄视频中的若干指定图像帧,每张指定图像帧可以分别对应有预设图像帧;分别对每个指定图像帧进行人体关键点识别,得到该图像帧中待拍摄对象的若干人体关键点,计算该图像帧对应的人体关键点与其对应的预设图像帧中人体关键点的重叠率,计算所有指定图像帧对应的重叠率的均值,确定待拍摄对象的动作与预设的动作的匹配度。
在一实施例中,体态信息可以由用户自定义设置,用户可以通过用户设备上传包含体态信息的图片或视频,针对于视频用户还可以指定图像帧作为预设的图像帧,由此可以识别出图片或视频的人脸关键点或者人体关键点,确定预设的体态信息,用户也可以针对不同的拍摄场景,设置不同的预设体态信息。
在一实施例中,可以通过机器学习的方式确定体态信息,通过机器学习对收集的不同拍摄场景的若干图像或视频进行识别和分析,可以统计各个拍摄场景下待拍摄对象人脸关键点或者人体关键点的分布概率,确定指定分布概率所对应的人脸关键点或者人体关键点,进而确定预设的体态信息。
在一实施例中,输出提示待拍摄调整体态的信息前,可以先确认待拍摄对象当前的体态信息相对于预设的体态信息的偏移程度,再根据偏移程度输出提示待拍摄对象调整体态的语音信息,例如待拍摄对象的人脸关键点中嘴巴部分的关键点,相对于预设表情的嘴巴部分的关键点偏下时,可以提示“请上提嘴角”;又例如待拍摄对象的人体关键点中左手部分的关键点,相对于预设姿势的左手部分的关键点偏下时,可以提示“请提起左手”;又例如待拍摄对象的人体关键点中左手部分的关键点,相对于预设姿势的左手部分的关键点偏下时,可以提示“请提起左手”;又例如预设动作是“向上跳”,待拍摄对象的每张指定图像帧对应的人体关键点,相对于其对应的预设图像帧中人体关键点都偏下时,可以提示“请加快动作”。
在一实施例中,输出提示待拍摄调整体态的信息,可以是在机器人的显示屏或者用户设备上,实时显示预设的体态信息,例如显示预设表情或动作对应的图像,或者显示预设动作对应的视频,并且还可以显示当前的匹配度以及预设时间的倒计时,以便于用户根据显示的预设的体态信息相应调整自身的体态,及时做好拍摄的准备,提升用户体验感。
本实施例通过在待拍摄对象和/或待拍摄对象周围的环境与构图规则的匹配度符合要求时,进一步确定待拍摄对象的体态信息与预设体态信息的匹配度也在预设时间内符合要求时,控制拍摄设备进行拍摄,从而可以提升拍摄效果,进一步满足用户的拍摄需求,提升用户体验感。
在一实施例中,基于机器人的拍摄方法还可以包括:
步骤105,若输出提示待拍摄对象调整体态的信息后,在预设时间内,待拍摄对象未调整体态,或者接收到直接拍摄的指令信息,或者调整后的体态信息与预设体态信息的匹配度始终小于第二预设值,则控制所述拍摄设备进行拍摄。
在本实施例中,直接拍摄的指令信息可以包括用户发出的指示拍摄的语音指令,也可以是用户通过机器人显示屏或用户设备发出的指示拍摄的控制指令,本申请对此不作限制。
在本实施例中,可以在拍摄完成后通过机器人的显示屏或用户设备,将拍摄得到的照片或视频,与预设的体态信息对应的照片或者视频展示给用户,还可以将拍摄得到的照片或视频,与预设体态信息对应的照片或视频进行对比,标记出二者不匹配的部分,生成对比结果并展示给用户,以供用户查看拍摄效果,确定是否需要重新拍摄以得到匹配度更高的照片或视频,提升用户体验感。
本实施例考虑到存在用户不想按照预设的体态信息进行拍摄的情况,在预设时间内,待拍摄对象未调整体态,或者接收到直接拍摄的指令信息,或者待拍摄对象的体态信息与预设体态信息的匹配度在预设时间内始终不符合要求时,也可以控制拍摄设备进行拍摄,从而可以提高用户的拍摄自由度,进一步满足用户的拍摄需求,提升用户体验感。
本申请实施例还提供一种机器人,包括机身,与机身连接的至少一个机械臂,机械臂用于固定拍摄设备;
机器人还包括与机身通信的控制系统,控制系统包括处理器和与处理器通信的存储器,存储器存储指令,指令在所述处理器上被运行时使处理器执行操作,所述操作包括:
对拍摄设备的拍摄画面进行图像识别;
若拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度小于第一预设值,则调整机器人的位姿,或者输出提示移动待拍摄对象位置的信息,以使拍摄设备的拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度大于或等于第一预设值,并控制拍摄设备进行拍摄。
在本实施例中,调整机器人的位姿可以包括:基于拍摄设备的视场角、拍摄设备与待拍摄对象之间的距离,以及待拍摄对象在拍摄画面中的位置,确定待拍摄对象和待拍摄对象周围的环境,相对于预设的构图规则所规定的待拍摄对象和待拍摄对象周围的环境在拍摄画面中所处的位置的偏移角度和偏移距离;基于偏移距离和偏移角度,调整机器人的位姿。
在一实施例中,所述操作还可以包括:若待拍摄对象的体态信息与预设体态信息的匹配度小于第二预设值,则输出提示待拍摄对象调整体态的信息;
在预设时间内,若待拍摄对象调整后的体态信息与预设体态信息的匹配度大于或等于第二预设值,则控制所述拍摄设备进行拍摄。
在一实施例中,所述操作还可以包括:若输出提示待拍摄对象调整体态的信息后,在预设时间内,待拍摄对象未调整体态,或者接收到直接拍摄的指令信息,或者调整后的体态信息与预设体态信息的匹配度始终小于第二预设值,则控制拍摄设备进行拍摄。
在一实施例中,所述操作还可以包括:将拍摄得到的照片或视频,与预设体态信息对应的照片或视频进行对比,展示对比结果。
图4是根据本申请实施例示出的一种基于机器人的拍摄装置的框图;所述机器人包括机械臂,所述机械臂用于固定拍摄设备,所述装置包括:
图像识别模块11,用于对拍摄设备的拍摄画面进行图像识别;
第一拍摄模块12,用于若拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度小于第一预设值,则调整机器人的位姿,或者输出提示移动待拍摄对象位置的信息,以使拍摄设备的拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度大于或等于第一预设值,并控制拍摄设备进行拍摄。
在一实施例中,基于机器人的拍摄装置还可以包括:
体态匹配模块13,用于若待拍摄对象的体态信息与预设体态信息的匹配度小于第二预设值,则输出提示待拍摄对象调整体态的信息;
第二拍摄模块14,用于在预设时间内,若待拍摄对象调整后的体态信息与预设体态信息的匹配度大于或等于第二预设值,则控制拍摄设备进行拍摄。
在一实施例中,基于机器人的拍摄装置还可以包括:
第三拍摄模块15,用于若输出提示待拍摄对象调整体态的信息后,在预设时间内,待拍摄对象未调整体态,或者接收到直接拍摄的指令信息,或者调整后的体态信息与预设体态信息的匹配度始终小于第二预设值,则控制拍摄设备进行拍摄。
在一实施例中,基于机器人的拍摄装置还可以包括:
对比展示模块16,用于将拍摄得到的照片或视频,与预设体态信息对应的照片或视频进行对比,展示对比结果。
图5为根据本申请实施例示出的一种计算机设备的硬件结构示意图。该计算机设备可包括处理器501、存储有机器可执行指令的机器可读存储介质502。处理器501与机器可读存储介质502可经由系统总线503通信。并且,通过读取并执行机器可读存储介质502中与基于机器人的拍摄逻辑对应的机器可执行指令,处理器501可执行上文描述的基于机器人的拍摄方法。
基于上述任意实施例所述的方法,本申请实施例还提供了一种计算机可读存储介质,所述介质上存储有计算机程序,计算机程序被处理器执行时可用于执行上述任一实施例所述的基于机器人的拍摄方法。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种基于机器人的拍摄方法,其特征在于,所述机器人包括机械臂,所述机械臂用于固定拍摄设备,所述方法包括:
对所述拍摄设备的拍摄画面进行图像识别;
若所述拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度小于第一预设值,则调整所述机器人的位姿,或者输出提示移动待拍摄对象位置的信息,以使所述拍摄设备的拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度大于或等于所述第一预设值,并控制所述拍摄设备进行拍摄。
2.根据权利要求1所述的方法,其特征在于,还包括:
若待拍摄对象的体态信息与预设体态信息的匹配度小于第二预设值,则输出提示待拍摄对象调整体态的信息;
在预设时间内,若待拍摄对象调整后的体态信息与预设体态信息的匹配度大于或等于第二预设值,则控制所述拍摄设备进行拍摄。
3.根据权利要求2所述的方法,其特征在于,还包括:
若输出提示待拍摄对象调整体态的信息后,在预设时间内,待拍摄对象未调整体态,或者接收到直接拍摄的指令信息,或者调整后的体态信息与预设体态信息的匹配度始终小于所述第二预设值,则控制所述拍摄设备进行拍摄。
4.根据权利要求3所述的方法,其特征在于,还包括:
将拍摄得到的照片或视频,与预设体态信息对应的照片或视频进行对比,展示对比结果。
5.根据权利要求1所述的方法,其特征在于,调整所述机器人的位姿包括:
基于所述拍摄设备的视场角、所述拍摄设备与所述待拍摄对象之间的距离,以及所述待拍摄对象在所述拍摄画面中的位置,确定待拍摄对象和待拍摄对象周围的环境,相对于预设的构图规则所规定的待拍摄对象和待拍摄对象周围的环境在拍摄画面中所处的位置的偏移角度和偏移距离;
基于所述偏移距离和所述偏移角度,调整所述机器人的位姿。
6.一种机器人,其特征在于,包括机身,与所述机身连接的至少一个机械臂,所述机械臂用于固定拍摄设备;
所述机器人还包括与所述机身通信的控制系统,所述控制系统包括处理器和与所述处理器通信的存储器,所述存储器存储指令,所述指令在所述处理器上被运行时使所述处理器执行操作,所述操作包括:
对所述拍摄设备的拍摄画面进行图像识别;
若所述拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度小于第一预设值,则调整所述机器人的位姿,或者输出提示移动待拍摄对象位置的信息,以使所述拍摄设备的拍摄画面中待拍摄对象和/或待拍摄对象周围的环境与预设的构图规则的匹配度大于或等于所述第一预设值,并控制所述拍摄设备进行拍摄。
7.根据权利要求6所述的机器人,其特征在于,所述操作还包括:
若待拍摄对象的体态信息与预设体态信息的匹配度小于第二预设值,则输出提示待拍摄对象调整体态的信息;
在预设时间内,若待拍摄对象调整后的体态信息与预设体态信息的匹配度大于或等于第二预设值,则控制所述拍摄设备进行拍摄。
8.根据权利要求7所述的机器人,其特征在于,所述操作还包括:
若输出提示待拍摄对象调整体态的信息后,在预设时间内,待拍摄对象未调整体态,或者接收到直接拍摄的指令信息,或者调整后的体态信息与预设体态信息的匹配度始终小于所述第二预设值,则控制所述拍摄设备进行拍摄。
9.根据权利要求8所述的机器人,其特征在于,所述操作还包括:
将拍摄得到的照片或视频,与预设体态信息对应的照片或视频进行对比,展示对比结果。
10.根据权利要求6所述的机器人,其特征在于,调整所述机器人的位姿包括:
基于所述拍摄设备的视场角、所述拍摄设备与所述待拍摄对象之间的距离,以及所述待拍摄对象在所述拍摄画面中的位置,确定待拍摄对象和待拍摄对象周围的环境,相对于预设的构图规则所规定的待拍摄对象和待拍摄对象周围的环境在拍摄画面中所处的位置的偏移角度和偏移距离;
基于所述偏移距离和所述偏移角度,调整所述机器人的位姿。
CN202311696979.6A 2023-12-11 2023-12-11 基于机器人的拍摄方法及机器人 Pending CN117621068A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311696979.6A CN117621068A (zh) 2023-12-11 2023-12-11 基于机器人的拍摄方法及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311696979.6A CN117621068A (zh) 2023-12-11 2023-12-11 基于机器人的拍摄方法及机器人

Publications (1)

Publication Number Publication Date
CN117621068A true CN117621068A (zh) 2024-03-01

Family

ID=90030392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311696979.6A Pending CN117621068A (zh) 2023-12-11 2023-12-11 基于机器人的拍摄方法及机器人

Country Status (1)

Country Link
CN (1) CN117621068A (zh)

Similar Documents

Publication Publication Date Title
CN108572659B (zh) 控制无人机的方法和支持该方法的无人机
EP3671549B1 (en) Electronic device for assisting a user during exercise
WO2021127888A1 (zh) 控制方法、智能眼镜、可移动平台、云台、控制系统及计算机可读存储介质
WO2018228256A1 (zh) 一种通过图像识别方式达成室内任务目标位置确定的系统和方法
CN113752250B (zh) 机器人关节的控制方法、装置、机器人及存储介质
WO2018108176A1 (zh) 机器人视频通话控制方法、装置及终端
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
JP2018190363A (ja) 携帯型移動ロボット及びその操作方法
CN114253281A (zh) 一种四足机器人运动控制方法、相关装置及存储介质
CN117073662A (zh) 地图构建方法、装置、机器人以及存储介质
US11986959B2 (en) Information processing device, action decision method and program
CN111290574B (zh) 一种利用手势控制无人机的方法,设备及可读存储介质
CN115972217A (zh) 基于单目相机的地图建立方法和机器人
CN117621068A (zh) 基于机器人的拍摄方法及机器人
CN116358522A (zh) 局部地图生成方法和装置、机器人、计算机可读存储介质
JPWO2019138618A1 (ja) 動物型の自律移動体、動物型の自律移動体の動作方法、およびプログラム
US10891755B2 (en) Apparatus, system, and method for controlling an imaging device
CN115922731B (zh) 一种机器人的控制方法以及机器人
CN117863190B (zh) 足式机器人的移动控制方法及足式机器人
CN117808709A (zh) 地图补全方法、装置、机器人以及存储介质
CN116820099A (zh) 目标位置的确定方法、装置、机器人和存储介质
KR20190053018A (ko) 카메라를 포함하는 무인 비행 장치를 조종하는 방법 및 전자장치
CN116974288B (zh) 机器人控制方法以及机器人
CN115830110B (zh) 即时定位与地图构建方法、装置、终端设备及存储介质
CN116295338A (zh) 一种定位方法、装置、机器人及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination