CN112733619A - 采集设备的位姿调整方法、装置、电子设备及存储介质 - Google Patents
采集设备的位姿调整方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112733619A CN112733619A CN202011543572.6A CN202011543572A CN112733619A CN 112733619 A CN112733619 A CN 112733619A CN 202011543572 A CN202011543572 A CN 202011543572A CN 112733619 A CN112733619 A CN 112733619A
- Authority
- CN
- China
- Prior art keywords
- pose
- position information
- acquisition equipment
- detection image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000001514 detection method Methods 0.000 claims abstract description 184
- 238000012360 testing method Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 5
- 230000003542 behavioural effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 230000006399 behavior Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种采集设备的位姿调整方法、装置、电子设备及存储介质,其中,该位姿调整方法包括:获取检测图像,所述检测图像为置于初始位置的所述采集设备拍摄得到的图像;对所述检测图像进行目标检测,得到至少两个目标对象在所述检测图像中的位置信息;基于所述至少两个目标对象在所述检测图像中的位置信息,得到针对所述采集设备的位姿调整信息。
Description
技术领域
本公开涉及计算机视觉技术领域,具体而言,涉及一种采集设备的位姿调整方法、装置、电子设备及存储介质。
背景技术
针对中小学生用户,学习过程中是否能够保持正确的坐姿,以及是否能够具有一定时间的注意力,将极大程度影响其学习和生活质量,为了帮助中小学生用户养成良好的学习习惯,可以通过采集设备对中小学生用户的学习行为进行监督,以督促其养成良好的学习习惯。
在通过采集设备对中小学生的学习行为进行检测时,亟需一种对采集设备的拍摄位姿进行调整的方案,使得采集设备能够有效的进行检测工作。
发明内容
本公开实施例至少提供一种采集设备的位姿调整方案。
第一方面,本公开实施例提供了一种采集设备的位姿调整方法,包括:
获取检测图像,所述检测图像为置于初始位置的所述采集设备拍摄得到的图像;
对所述检测图像进行目标检测,得到至少两个目标对象在所述检测图像中的位置信息;
基于所述至少两个目标对象在所述检测图像中的位置信息,得到针对所述采集设备的位姿调整信息。
本公开实施例中,提出可以基于采集设备采集的检测图像,确定出至少两个目标对象在检测图像中的位置信息,示例性地,在采集设备应用于对学生在学习场景中的学习状态进行检测时,可以根据学生以及学生在学习过程中使用的学习工具,比如书桌、椅子等目标对象在检测图像中的位置信息,确定出针对采集设备的位姿调整信息,以便后续可以基于该位姿调整信息快速准确的对采集设备的位姿进行调整。
在一种可能的实施方式中,所述至少两个目标对象包括第一目标对象和第二目标对象,所述第一目标对象为人物,所述第二目标对象为实物;
所述初始位置在所述第二目标对象上。
在一种可能的实施方式中,在所述得到针对所述采集设备的位姿调整信息之后,所述位姿调整方法还包括如下至少一项:
控制所述采集设备按照所述位姿调整信息,调整所述采集设备的位姿;
通过所述采集设备和/或与所述采集设备通信连接的终端,输出所述位姿调整信息。
本公开实施例中,在获取到针对采集设备的位姿调整信息后,可以通过直接控制采集设备按照位姿调整信息进行位姿调整,还可以将位姿调整信息进行输出,便于用户能够基于位姿调整信息对采集设备进行手动调整,两种方式均可以快速完成对采集设备的位姿调整。
在一种可能的实施方式中,所述获取检测图像,包括:
响应于接收到位姿调整指令,和/或,检测到预设工作模式开启触发事件,获取所述检测图像。
本公开实施例中,在接收到针对采集设备的位姿调整指令后进入位姿调整阶段的情况,可以按照用户的个性化需求触发针对采集设备的位姿进行调整;在检测到预设工作模式开启触发事件后进入位姿调整阶段的情况,可以检测到进入预设工作模式下,自动化地进入位姿调整阶段,进而可以按照准确度较高的位姿进行视频流采集工作。
在一种可能的实施方式中,所述基于所述至少两个目标对象在所述检测图像中的位置信息,得到针对所述采集设备的位姿调整信息,包括:
基于所述第一目标对象在所述检测图像中的第一位置信息,以及所述检测图像的第一目标区域,确定在所述检测图像中所述第一位置信息与所述第一目标区域之间的第一相对位置信息;
基于所述第二目标对象在所述检测图像中的第二位置信息,以及所述检测图像的第二目标区域,确定在所述检测图像中所述第二位置信息与所述第二目标区域之间的第二相对位置信息;
基于所述第一相对位置信息以及所述第二相对位置信息,确定所述位姿调整信息。
本公开实施例中,通过至少两个目标对象和各自对应的目标区域在检测图像中的相对位置信息,可以快速确定出针对采集设备的位姿调整信息,从而便于后期基于位姿调整信息能够快速指导对采集设备进行位姿的准确调整。
在一种可能的实施方式中,所述位姿调整方法还包括:
响应于所述采集设备的位姿产生变化,获取测试图像;
基于所述至少两个目标对象在所述测试图像中的位置信息,确定所述采集设备的位姿是否满足指定条件;
响应于所述采集设备的位姿不满足所述指定条件,基于所述至少两个目标对象在所述测试图像中的位置信息,得到针对所述采集设备的位姿调整信息,以再次调整所述采集设备的位姿,直至调整后所述采集设备的位姿满足所述指定条件。
本公开实施例中,通过测试图像来动态地的对采集设备的位姿进行调整,便于及时基于至少两个目标对象在测试图像中的位置信息,对采集设备的位姿进行调整,直至调整出满足指定条件的位姿,从而可以在后续准确地采集到包含学生在学习场景下的视频流。
在一种可能的实施方式中,所述位姿调整方法还包括:
响应于所述采集设备的位姿满足所述指定条件,输出用于指示所述采集设备的位姿调整完毕的第一提示信息。
本公开实施例中,通过输出指示采集设备的位姿调整完毕的提示信息,便于用户确定可以开始使用采集设备进行后续工作,提高用户体验度。
在一种可能的实施方式中,所述第一目标对象包含被关注人,所述位姿调整方法还包括:
在所述采集设备的位姿调整完毕的情况下,获取包括所述被关注人的视频流;
基于所述视频流,识别所述被关注人的行为状态。
本公开实施例中,提出在采集设备的位姿调整完毕后,可以根据采集设备获取被关注人的视频流,并基于此识别被关注人的行为状态,示例性地,可以识别被关注人在学习场景中的行为状态,便于后续基于该行为状态协助被关注人养成良好的学习习惯。
在一种可能的实施方式中,所述位姿调整方法还包括:
确定所述被关注人在所述视频流的视频帧中的位置与所述视频帧的第三目标区域之间的偏离程度;
在所述偏离程度大于或等于预设偏离阈值的情况下,生成第二提示信息,所述第二提示信息用于提示所述被关注人已偏离预设检测区域。
本公开实施例中,可以通过被关注人在视频帧中的位置与视频帧的第三目标区域之间的偏离程度,快速确定被关注人是否已偏离预设检测区域,便于督促被关注人养成良好的学习习惯。
在一种可能的实施方式中,所述位姿调整方法还包括:
确定所述被关注人在所述视频流的视频帧中的位置信息是否发生变化;
在确定所述被关注人在所述视频帧中的位置信息发生变化的情况下,按照变化后的位置信息对所述采集设备的位姿进行更新,并控制所述采集设备按照更新后的位姿采集视频流。
本公开实施例中,提出根据被关注人的位置变化动态地调整采集设备的位姿,从而可以更加灵活的完成对被关注人的行为状态的检测。
第二方面,一种采集设备的位姿调整装置,包括:
获取模块,用于获取检测图像,所述检测图像为置于初始位姿的所述采集设备拍摄的图像;
确定模块,用于对所述检测图像进行目标检测,得到至少两个目标对象在所述检测图像中的位置信息;
处理模块,基于所述至少两个目标对象在所述检测图像中的位置信息,得到针对所述采集设备的位姿调整信息。
在一种可能的实施方式中,所述至少两个目标对象包括第一目标对象和第二目标对象,所述第一目标对象为人物,所述第二目标对象为实物;
所述初始位置在所述第二目标对象上。
在一种可能的实施方式中,在所述得到针对所述采集设备的位姿调整信息之后,所述处理模块还用于执行以下至少一项:
控制所述采集设备按照所述位姿调整信息,调整所述采集设备的位姿;
通过所述采集设备和/或与所述采集设备通信连接的终端,输出所述位姿调整信息。
在一种可能的实施方式中,所述获取模块在用于获取检测图像时,包括:
响应于接收到位姿调整指令,和/或,检测到预设工作模式开启触发事件,获取所述检测图像。
在一种可能的实施方式中,所述处理模块在用于基于所述至少两个目标对象在所述检测图像中的位置信息,得到针对所述采集设备的位姿调整信息时,包括:
基于所述第一目标对象在所述检测图像中的第一位置信息,以及所述检测图像的第一目标区域,确定在所述检测图像中所述第一位置信息与所述第一目标区域之间的第一相对位置信息;
基于所述第二目标对象在所述检测图像中的第二位置信息,以及所述检测图像的第二目标区域,确定在所述检测图像中所述第二位置信息与所述第二目标区域之间的第二相对位置信息;
基于所述第一相对位置信息以及所述第二相对位置信息,确定所述位姿调整信息。
在一种可能的实施方式中,所述处理模块还用于:
响应于所述采集设备的位姿产生变化,获取测试图像;
基于所述至少两个目标对象在所述测试图像中的位置信息,确定所述采集设备的位姿是否满足指定条件;
响应于所述采集设备的位姿不满足所述指定条件,基于所述至少两个目标对象在所述测试图像中的位置信息,得到针对所述采集设备的位姿调整信息,以再次调整所述采集设备的位姿,直至调整后所述采集设备的位姿满足所述指定条件。
在一种可能的实施方式中,所述处理模块还用于:
响应于所述采集设备的位姿满足所述指定条件,输出用于指示所述采集设备的位姿调整完毕的第一提示信息。
在一种可能的实施方式中,所述第一目标对象包含被关注人,所述处理模块还用于:
在所述采集设备的位姿调整完毕的情况下,获取包括所述被关注人的视频流;
基于所述视频流,识别所述被关注人的行为状态。
在一种可能的实施方式中,所述处理模块还用于:
确定所述被关注人在所述视频流的视频帧中的位置与所述视频帧的第三目标区域之间的偏离程度;
在所述偏离程度大于或等于预设偏离阈值的情况下,生成第二提示信息,所述第二提示信息用于提示所述被关注人已偏离预设检测区域。
在一种可能的实施方式中,所述处理模块还用于:
确定所述被关注人在所述视频流的视频帧中的位置信息是否发生变化;
在确定所述被关注人在所述视频帧中的位置信息发生变化的情况下,按照变化后的位置信息对所述采集设备的位姿进行更新,并控制所述采集设备按照更新后的位姿采集视频流。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的位姿调整方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的位姿调整方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种采集设备的位姿调整方法的流程图;
图2示出了本公开实施例所提供的一种针对采集设备进行位姿调整的操作界面示意图;
图3示出了本公开实施例所提供的一种确定位姿调整信息的方法的流程图;
图4示出了本公开实施例所提供的一种针对采集设备进行位姿调整的提示界面示意图;
图5示出了本公开实施例所提供的一种针对采集设备进行位姿调整的方法流程图;
图6示出了本公开实施例所提供的一种针对被关注人的行为状态进行检测的方法流程图;
图7示出了本公开实施例所提供的一种采集设备的位姿调整装置的结构示意图
图8示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
针对自制力较差的被关注人,比如低龄学生,为了督促低龄学生在学习过程中养成良好的坐姿习惯,可以通过采集设备对低龄学生进行检测,在对低龄学生进行检测之前,如何快速对采集设备的拍摄位姿进行准确调整,为本公开亟需解决的技术问题。
基于上述研究,本公开提供了一种采集设备的位姿调整方法,提出可以基于采集设备采集的检测图像,确定出至少两个目标对象在检测图像中的位置信息,示例性地,在采集设备应用于对学生在学习场景中的学习状态进行检测时,可以根据学生以及学生在学习过程中使用的学习工具,比如书桌、椅子等目标对象在检测图像中的位置信息,确定出针对采集设备的位姿调整信息,以便后续可以基于该位姿调整信息快速准确的对采集设备的位姿进行调整。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种采集设备的位姿调整方法进行详细介绍,本公开实施例所提供的位姿调整方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:包含采集设备的终端设备或服务器或其它处理设备。在一些可能的实现方式中,该位姿调整方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的采集设备的位姿调整方法的流程图,该位姿调整方法包括步骤S101~S103:
S101,获取检测图像,检测图像为置于初始位置的采集设备拍摄得到的图像。
示例性地,采集设备可以具有采集图像和/或视频的功能,包括但不限于云台摄像机、带有录像功能的智能手机、平板、笔记本等,在此不做具体限定。
示例性地,检测图像可以是采集设备采集的视频流中的指定一帧或是多帧图像,或是视频流中任一帧或是任意多帧图像,也可以是采集设备在处于位姿调整模式下,采集的用于确定位姿调整信息的图像。在从视频流中获取检测图像的过程中,可以选择随机采样的方式进行抽帧,得到一帧或是多帧图像,或是按照预设时间间隔等采样间隔从视频流中提取多帧图像。对于经采样得到的多帧图像而言,可以基于图像质量、检测需求等从中挑选符合检测条件的图像,以作为最终的检测图像。
示例性地,针对不同的应用场景,在对采集设备的位姿进行调整之前,可以将采集设备放置于与应用场景对应的初始位置。比如在采集设备应用于采集学生的学习环境的场景时,可以将采集设备放置于学生学习环境下的初始位置,比如放置在书桌上,与落座于书桌前的学生所在的位置间隔一定距离,且采集设备的拍摄方向可覆盖学生所在的位置,比如采集设备的拍摄方向朝向学生所在的位置。
S102,对检测图像进行目标检测,得到至少两个目标对象在检测图像中的位置信息。
示例性地,至少两个目标对象包括第一目标对象和第二目标对象。以采集设备用于采集学生在学习场景中视频流为例,第一目标对象人物,比如可以包含学生,第二目标对象为实物,比如可以包含学生在学习场景中使用的工具,比如书桌、学习椅等。上述提到的初始位置可以为书桌,即检测图像为置于书桌的采集设备拍摄得到的图像。
示例性地,目标对象在检测图像中的位置信息可以包括通过目标检测算法确定的目标对象的检测框在检测图像中的位置区域,也可以为目标对象包含的特征点在检测图像中的位置信息,比如以学生和书桌为例,学生在检测图像中的位置信息可以通过学生的检测框在检测图像中的位置区域表示,也可以通过学生的头部轮廓特征点在检测图像中的位置信息表示,书桌在检测图像中的位置信息可以通过书桌或者部分桌面区域的检测框在检测图像中的位置区域表示,也可以通过构成书桌桌面的轮廓特征点在检测图像中的位置信息表示。
S103,基于至少两个目标对象在检测图像中的位置信息,得到针对采集设备的位姿调整信息。
示例性地,采集设备的位姿可以包括采集设备的摄像头在采集检测图像时的拍摄位姿,比如包含在目标场所中的拍摄方向、拍摄角度以及在目标场所中的拍摄位置。
示例性地,以采集设备用于采集学生在学习场景中视频流为例,可以预先设定采集设备的标准位姿,具体可以使得学生按照与学习状态匹配的姿态坐好后,按照检测图像中可以包含学生的脸部、手部、书桌、学生和/或书桌在检测图像中的尺寸符合一定的比例、学生和/或书桌在检测图像中的位置位于预先设定的目标区域(比如位于预先绘制的中心区域)中等条件为目标,来得到针对采集设备的位姿调整信息。
示例性地,位姿调整信息可以包含针对拍摄方向的方向调整信息和/或针对采集设备与目标对象之间的相对距离的位置调整信息,比如,若检测到学生在检测图像中位置信息指示采集设备的拍摄方向偏左,此时方向调整信息可以指示采集设备向右偏移;再比如,若学生在检测图像中的位置信息指示学生和采集设备的距离较远,此时位置调整信息可以指示采集设备向学生所在的位置靠近。
本公开实施例中,提出可以基于采集设备采集的检测图像,确定出至少两个目标对象在检测图像中的位置信息,示例性地,在采集设备应用于对学生在学习场景中的学习状态进行检测时,可以根据学生以及学生在学习过程中使用的学习工具,比如书桌、椅子等目标对象在检测图像中的位置信息,确定出针对采集设备的位姿调整信息,以便后续可以基于该位姿调整信息快速准确的对采集设备的位姿进行调整。
下面将结合具体的实施例对上述S101~S103进行说明:
示例性地,以采集设备用于采集学生在学习场景中视频流为例,针对采集设备的位姿调整过程可以包括采集设备和学生对应目标客户端(学生家长使用的智能手机、平板等);或者可以包括采集设备、后台服务器和学生对应的目标客户端。
采集设备的位姿的准确度关系到能否准确采集到学生在学习场景中的视频流,从而直接影响到后续能否对学生在学习场景中的行为状态进准确检测,因此在采集学生在学习场景中的视频流之前,可以对采集设备的位姿进行调整,在一种实施方式中,获取检测图像,包括:
响应于接收到位姿调整指令,和/或,检测到预设工作模式开启触发事件,获取检测图像。
在一种实施方式中,学生的家长可以通过目标客户端触发指示采集设备进行位姿调整的指令,该指令可以直接发送至采集设备,也可以通过后台服务器发送至采集设备,在此不进行限定。
示例性地,如图2所示,为在目标客户端展示针对采集设备进行模式设置操作界面示意图,在该模式设置操作界面可以包含针对摄像头进行标定的触发按钮,比如在a图所示的操作界面上点击摄像头标定的触发按钮,然后跳转至摄像头配置操作界面b图所示,在b图所示的操作界面中点击开始配置,可以触发目标客户端发出针对采集设备的位姿进行调整的指令,此时,采集设备进入位姿调整阶段,开始获取检测图像。
以针对摄像头用于采集学生在学习场景中的视频流为例,图2中的a图的模式设置操作界面中可以包含录像设置区域21,用户可以在该录像设置区域21对摄像头是否进行录像进行设置;模式设置操作界面还可以包含学习模式设置区域22,用户可以在该学习模式设置区域开启学习模式,或者关闭学习模式,在学习模式下,摄像头可以采集目标学生在学习场景中的视频流;模式设置操作界面还可以包括摄像头标定触发区域23,用户可以点击摄像头标定的触发按钮,然后跳转至b图所示的操作界面中点击开始配置;模式设置操作界面还可以包含录像提示设置区域24,在该区域用户可以设置在摄像头开始录像时是否进行语音提示;模式设置操作界面还可以包含学习时间段设置区域,在该区域可以设置学习模式的时间段。
示例性地,图2中b图的摄像头配置操作界面包括配置提示区域31,可以在该配置提示区域展示用于对指导用户如何对摄像头进行配置的指示信息,比如可以包括:“请按照下方图示,根据学生的座位,调整摄像头位置,保证目标区域中同时包含学生脸部、手部及书桌,点击开始配置,直至听见摄像头发出配置完成的语音提示”;摄像头配置操作界面还可以包括标准摆放示意图区域32,在该标准摆放示意图区域可以展示如何摆放摄像头的位置;摄像头配置操作界面还可以包括配置触发区域23,在该配置触发区域展示针对摄像头配置的触发按钮,通过点击开始配置按钮可以开始对摄像头进行位姿调整。
示例性地,针对采集设备用于采集学生在学习场景中视频流为例,预设工作模式开启触发事件可以指学习模式开启触发事件,学习模式开启触发事件可以触发采集设备进入对学生在学习场景下进行行为状态检测的模式,考虑到学生在每次进入学习状态时的所处的位置可能会发生变化,因此这里提出在检测到学习模式开启触发事件后,可以自动先控制采集设备进入位姿调整阶段,在位姿调整结束后,再开始通过采集设备对学习进行视频流采集。
或者,可以同时满足检测到预设工作模式开启触发事件,且接收到位姿调整指令后,控制采集设备进行位姿调整阶段,比如在检测到学习模式开启触发事件后,若接收到针对采集设备的位姿调整指令,再开始控制采集设备进入位姿调整阶段,在位姿调整结束后,再开始通过采集设备对学生的视频流进行采集。
或者,还可以在检测到学生发生更换后进入位姿调整阶段,从而可以调整到适合对更换后的学生进行视频流采集的位姿,比如检测到学生A更换为学生B后,可以自动进入位姿调整阶段。
本公开实施例中,在接收到针对采集设备的位姿调整指令后进入位姿调整阶段的情况,可以按照用户的个性化需求触发针对采集设备的位姿进行调整;在检测到预设工作模式开启触发事件后进入位姿调整阶段的情况,可以检测到进入预设工作模式下,自动化地进入位姿调整阶段,进而可以按照准确度较高的位姿进行视频流采集工作。
针对上述S103,如图3所示,在基于至少两个目标对象在检测图像中的位置信息,得到针对采集设备的位姿调整信息时,包括以下S201~S203:
S201,基于第一目标对象在检测图像中的第一位置信息,以及检测图像的第一目标区域,确定在检测图像中的第一位置信息与第一目标区域之间的第一相对位置信息;
S202,基于第二目标对象在检测图像中的第二位置信息,以及检测图像的第二目标区域,确定在检测图像中第二位置信息与第二目标区域之间的第二相对位置信息;
S203,基于第一相对位置信息以及第二相对位置信息,确定位姿调整信息。
示例性地,可以通过第一目标对象和第二目标对象来确定针对采集设备的位姿调整信息,第一目标对象为学生时,可以根据学生在检测图像中的第一位置信息,以及预先设定的表示学生在检测图像中标准位置信息的第一目标区域,确定出人物在检测图像中的第一位置信息和第一目标区域之间的第一相对位置信息;第二目标对象为书桌时,可以根据书桌在检测图像中的第二位置信息,以及预先设定的表示书桌在检测图像中标准位置信息的第二目标区域,确定出书桌在检测图像中的第二位置信息和第二目标区域之间的第二相对位置信息。
示例性地,根据学生在学习场景下与书桌的位置关系,第一目标区域和第二目标区域可以完全重叠,比如均位于检测图像中的中心区域,或者可以部分重叠,比如第一目标区域位于中心靠上的区域,第二目标区域位于中心靠下的区域。
示例性地,首先可以使得学生按照预设姿态坐好,然后将采集设备放置在学生的前方,然后触发采集设备进入位姿调整阶段,可以对学生或者学生的家长进行提示,比如向家长的目标客户端发送如图4所示的摄像头调整指示界面示意图,该摄像头调整指示界面可以包含调整指导区域41,在该调整指导区域可以包含用于如何调整摄像头的指示信息,比如提示信息可以包括“请按照底部示意图,调整摄像头和学生位置,尽量保证学生人脸处于摄像头调整指示界面中的目标区域,并且保证目标区域中同时包含学生脸部、手部及书桌”,这样提示学生或者家长以目标对象(包括学生和书桌)和目标区域的相对位置信息满足预设条件为调整目标,对采集设备的位姿进行调整;摄像头调整指示界面示意图还包括目标区域指示区域42,该区域可以展示摄像头拍摄的图像,以供用户基于该图像对摄像头进行位姿调整;摄像头调整指示界面示意图还包括标准摆放示意图展示区域43,用于展示摄像头的摆放位姿。
其中,这里的目标对象包括第一目标对象学生和第二目标对象书桌,这里的目标区域包含第一目标区域和第二目标区域,且属于第一目标区域和第二目标区域重叠的情况。
示例性地,预设条件可以包括第一相对位置信息对应的预设条件,比如第一目标对象位于第一目标区域内、第一目标对象在第一目标区域内的尺寸比例符合预设比例范围,以及第二相对位置信息对应的预设条件,比如第二目标对象位于第二目标区域内、第二目标对象在第二目标区域内的尺寸比例符合预设比例范围,可以基于该预设条件对采集设备位姿的进行调整,得到针对采集设备的位姿调整信息。
示例性地,在第一目标对象包含学生的情况下,第一相对位置信息可以包含学生与第一目标区域在检测图像中的第一相对位置信息,第一相对位置信息对应的预设条件可以为检测图像中包含学生完整的脸部、肩部和手部等,且脸部、肩部和手部位于第一目标区域内;学生的脸部在检测图像中的尺寸比例符合设定比例,尺寸比例越大指示学生与采集设备之间的距离越近,尺寸比例越小指示学生与采集设备之间的距离越远,可以通过学生的脸部在检测图像中的尺寸来确定学生与采集设备之间的距离。
示例性地,在第二目标对象包含书桌的情况下,第二相对位置信息可以包含书桌与第二目标区域在检测图像中的第二相对位置信息,第二相对位置信息对应的预设条件可以为检测图像中包含书桌,且书桌面位于第二目标区域内;书桌在检测图像中的尺寸比例符合设定比例,尺寸比例越大指示书桌与采集设备之间的距离越近,尺寸比例越小指示书桌与采集设备之间的距离越远,可以通过书桌在检测图像中的尺寸来确定书桌与采集设备之间的距离。
示例性地,在通过目标对象的检测框在检测图像中的位置信息表示目标对象的位置信息时,目标对象和目标区域在检测图像中的相对位置信息可以通过目标对象在检测图像中对应的检测框与目标区域之间的相对位置信息来表示,在通过目标对象的特征点在检测图像中的位置信息表示目标对象的位置信息时,目标对象和目标区域在检测图像中的相对位置信息可以通过目标对象的特征点与目标区域之间的相对位置信息来表示。
示例性地,以通过目标对象的检测框来表示目标对象的位置信息,第一目标区域和第二目标区域完全重叠,或者第二目标区域与第一目标区域部分重叠,且第二目标区域位于第一目标区域下方为例,第一目标对象和第一目标区域之间的第一相对位置关系,以及第二目标对象和第二目标区域之间的第二相对位置关系,可以包括但不限于以下几种情况:
(1)第一目标对象的检测框的边框部分或者全部位于第一目标区域外,且靠近第一目标区域的左侧;第二目标对象的检测框的边框部分或者全部位于第二目标区域外,且靠近第二目标区域的左侧;
(2)第一目标对象的检测框的边框部分或者全部位于第一目标区域外,且靠近第一目标区域的右侧;第二目标对象的检测框的边框部分或者全部位于第二目标区域外,且靠近第二目标区域的右侧;
(3)第一目标对象的检测框的边框部分或者全部位于第一目标区域外,且靠近第一目标区域的下方;第二目标对象的检测框的边框部分或者全部位于第二目标区域外,且靠近第二目标区域的下方,或者,未检测到第二目标对象;
(4)第一目标对象的检测框的边框部分或者全部位于第一目标区域外,且靠近第一目标区域的上方,或者,未检测到第二目标对象;第一目标对象的检测框的边框部分或者全部位于第二目标区域外,且靠近第二目标区域的上方;
(5)第一目标对象的检测框位于第一目标区域内,且第一目标对象的检测框在第一目标区域内的尺寸比例偏小;第二目标对象的检测框位于第二目标区域内,且第二目标对象的检测框在第二目标区域内的尺寸比例偏小;
(6)第一目标对象的检测框位于第一目标区域内,且第一目标对象的检测框在第一目标区域内的尺寸比例偏大;第二目标对象的检测框位于第二目标区域内,且第二目标对象的检测框在第二目标区域内的尺寸比例偏大。
针对上述第(1)种情况,确定出的位姿调整信息可以包含按照预设的单位调整幅度向左调整拍摄方向;针对上述第(2)种情况,确定出的位姿调整信息可以包含按照预设的单位调整幅度向向右调整拍摄方向;针对上述第(3)种情况,确定出的位姿调整信息可以包含按照预设的单位调整幅度向下调整拍摄方向;针对上述第(4)种情况,确定出的位姿调整信息可以包含按照预设的单位调整幅度向上调整拍摄方向;针对上述第(5)种情况,确定出的位姿调整信息可以包含按照预设的单位调整幅度靠近目标对象;针对上述第(6)种情况,确定出的位姿调整信息可以包含按照预设的单位调整幅度远离目标对象等。
在另一种实施方式中,还可以基于第一相对位置信息和第二相对位置信息,直接确定出采集设备的具体位姿调整信息,比如根据第一相对位置信息和第二相对位置信息,确定出第一目标对象在采集设备对应的相机坐标系下与第一目标区域之间的偏离位置,以及第二目标对象在采集设备对应的相机坐标系下与第二目标区域之间的偏离位置,然后按照该偏离位置确定出针对采集设备的具体位姿调整信息。
本公开实施例中,通过至少两个目标对象和各自对应的目标区域在检测图像中的相对位置信息,可以快速确定出针对采集设备的位姿调整信息,从而便于后期基于位姿调整信息能够快速指导对采集设备进行位姿的准确调整。
在一种实施方式中,在得到针对采集设备的位姿调整信息之后,本公开实施例提供的位姿调整方法还包括如下至少一项:
(1)控制采集设备按照位姿调整信息,调整采集设备的位姿;
(2)通过采集设备和/或与采集设备通信连接的终端,输出位姿调整信息。
示例性地,针对第(1)种情况,在得到位姿调整信息后,采集设备的控制部件,或者与采集设备连接的其它控制部件可以根据位姿调整信息,控制采集设备进行位姿调整,比如以采集设备为云台摄像机为例,在云台摄像机的放置于桌面后,可以基于该位姿调整信息,控制云台摄像机调整拍摄位姿。
示例性地,针对第(1)种情况,在得到位姿调整信息后,还可以通过采集设备和/或与采集设备通信连接的终端,比如学生家长的目标客户端输出该位姿调整信息,方便用户能够根据该位姿调整信息快速地手动完成对采集设备的调整。
本公开实施例中,在获取到针对采集设备的位姿调整信息后,可以通过直接控制采集设备按照位姿调整信息进行位姿调整,还可以将位姿调整信息进行输出,便于用户能够基于位姿调整信息对采集设备进行手动调整,两种方式均可以快速完成对采集设备的位姿调整。
在一种实施方式中,如图5所示,本公开实施例提供的位姿调整方法还包括以下S301~S303:
S301,响应于采集设备的位姿产生变化,获取测试图像。
示例性地,在确定针对采集设备的位姿调整信息后,可以按照预设的单位调整幅度对采集设备的进行位姿调整,比如开始进行俯仰角度或者水平角度的调整,从检测到采集设备的位姿开始变化时,可以同时获取采集设备采集的图像作为检测采集设备的位姿是否调整完毕的测试图像。
S302,基于至少两个目标对象在测试图像中的位置信息,确定采集设备的位姿是否满足指定条件。
示例性地,指定条件可以与上述提到的预设条件相关,比如在采集设备的位姿能够使得第一目标对象在测试图像中的第一位置信息与第一目标区域之间的第一相对位置信息满足预设条件,且使得第二目标对象在测试图像中的第二位置信息与第二目标区域之间的第二相对位置信息满足预设条件时,确定采集设备的位姿满足指定条件,其中,第一相对位置信息对应的预设条件以及第二相对位置信息对应的预设条件详见上文描述,在此不再赘述。
示例性地,可以通过分值来表示采集设备的位姿是否满足指定条件,比如测试图像中包含学生完整的脸部、肩部和手部,且脸部、肩部和手部位于第一目标区域内、学生的脸部在测试图像中的尺寸比例符合设定比例、测试图像中包含书桌,且书桌面位于第二目标区域内、书桌在测试图像中的尺寸比例符合设定比例,均可以增加对应的分值,依据此求和可以确定总分值,这样可以确定预先设定在采集设备的位姿满足指定条件下对应的总分值为N。
示例性地,在测试图像中包含学生完整的脸部时可以增加对应的分值,相反不增加对应的分值;在测试图像中包含学生的肩部时可以增加对应的分值,相反不增加对应的分值等等,按照该方式,可以确定采集设备当前位姿对应的当前总分值,通过确定当前总分值是否达到总分值N,可以确定采集设备的位姿是否满足指定条件。
S303,响应于采集设备的位姿不满足指定条件,基于至少两个目标对象在测试图像中的位置信息,得到针对采集设备的位姿调整信息,以再次调整采集设备的位姿,直至调整后采集设备的位姿满足指定条件。
示例性地,在当前总分值低于总分值N的情况下,确定采集设备的位姿不满足指定条件,可以根据至少两个目标对象在测试图像中的位置信息,按照上述方式重新确定出针对采集设备的位姿调整信息,并通过新的位姿调整信息对采集设备的位姿进行调整,直至采集设备的位姿满足指定条件的情况下,停止调整,此时得到的采集设备的位姿可以作为较准确的目标位姿,可以控制采集设备按照该目标位姿进行后续视频流的采集工作。
本公开实施例中,通过测试图像来动态地的对采集设备的位姿进行调整,便于及时基于至少两个目标对象在测试图像中的位置信息,对采集设备的位姿进行调整,直至调整出满足指定条件的位姿,从而可以在后续准确地采集到包含学生在学习场景下的视频流。
在一种实施方式中,本公开实施例提供的位姿调整方法还包括:
响应于采集设备的位姿满足指定条件,输出用于指示采集设备的位姿调整完毕的第一提示信息。
示例性地,在对采集设备进行位姿调整,得到满足指定条件位姿后,可以直接播放用于指示采集设备的位姿调整完毕的第一提示信息,比如可以发出“滴滴滴”的声音,以提示用户已经完成采集设备位姿的调整,或者,可以将该第一提示信息发送至第一目标对象对应的目标客户端,比如发送至学生家长的目标客户端,以提示用户已经完成采集设备位姿的调整。
本公开实施例中,通过输出指示采集设备的位姿调整完毕的提示信息,便于用户确定可以开始使用采集设备进行后续工作,提高用户体验度。
在一种实施方式中,目标对象包含目标学生,在得到采集设备的目标拍摄位姿后,如图6所示,本公开实施例提供的位姿调整方法还包括以下S401~S402:
S401,在采集设备的位姿调整完毕的情况下,获取被关注人的视频流;
S402,基于视频流,识别被关注人的行为状态。
示例性地,被关注人可以是第一目标对象,在基于第一目标对象在测试图像中的位置信息调整完毕采集设备的位姿后,可以得到采集设备的目标位姿,采集设备按照目标位姿进行工作时,可以采集到被关注人的视频流。
示例性地,可以基于视频流中的视频帧识别被关注人的姿态数据,然后根据连续的视频帧,识别被关注人的行人状态,比如被关注人在学习场景中是否存在坐姿异常、注意力不集中的行为状态。
本公开实施例中,提出在采集设备的位姿调整完毕后,可以根据采集设备获取被关注人的视频流,并基于此识别被关注人的行为状态,示例性地,可以识别被关注人在学习场景中的行为状态,便于后续基于该行为状态协助被关注人养成良好的学习习惯。
在一种实施方式中,本公开实施例提供的位姿调整方法还包括以下S403~S404:
S403,确定被关注人在视频流的视频帧中的位置与视频帧的第三目标区域之间的偏离程度;
S404,在偏离程度大于或等于预设偏离阈值的情况下,生成第二提示信息,第二提示信息用于提示被关注人已偏离预设检测区域。
示例性地,采集设备在采集视频流的过程中,可以保持位姿不变,即控制采集设备按照调整好目标位姿对预设检测区域进行视频流采集。
其中,视频流的视频帧中的第三目标区域可以和上文的第一目标区域相同,也可以大于第一目标区域,第三目标区域在现实场景中可以与预设检测区域对应,比如预设检测区域为被关注人学习时使用的书桌所在的设定范围区域,根据被关注人在视频帧中的位置与视频帧的第三目标区域之间的偏离程度,可以确定出被关注人是否已经离开书桌,基于此可以生成提示被关注人已偏离预设检测区域的第二提示信息。
本公开实施例中,可以通过被关注人在视频帧中的位置与视频帧的第三目标区域之间的偏离程度,快速确定被关注人是否已偏离预设检测区域,便于督促被关注人养成良好的学习习惯。
在另一种实施方式中,本公开实施例提供的位姿调整方法还包括S405~S406:
S405,确定被关注人在视频流的视频帧中的位置信息是否发生变化;
S406,在确定被关注人在视频帧中的位置信息发生变化的情况下,按照变化后的位置信息对采集设备的位姿进行更新,并控制采集设备按照更新后的位姿采集视频流。
示例性地,针对预设检测区域的范围较大的情况,在被关注人在检测视频的视频帧中的位置信息发生变化后,可以对采集设备的位姿进行调整,可以使得采集设备跟随被关注人的移动而移动,从而可以更加灵活的完成对被关注人的行为状态的检测。
本公开实施例中,提出根据被关注人的位置变化动态地调整采集设备的位姿,从而可以更加灵活的完成对被关注人的行为状态的检测。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与采集设备的位姿调整方法对应的采集设备的位姿调整装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述位姿调整方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图7所示,为本公开实施例提供的一种采集设备的位姿调整装置500的示意图,该位姿调整装置包括:
获取模块501,用于获取检测图像,检测图像为置于初始位姿的采集设备拍摄的图像;
确定模块502,用于对检测图像进行目标检测,得到至少两个目标对象在检测图像中的位置信息;
处理模块503,基于至少两个目标对象在检测图像中的位置信息,得到针对采集设备的位姿调整信息。
在一种可能的实施方式中,至少两个目标对象包括第一目标对象和第二目标对象,第一目标对象为人物,第二目标对象为实物;
初始位置在第二目标对象上。
在一种可能的实施方式中,在得到针对采集设备的位姿调整信息之后,处理模块503还用于执行以下至少一项:
控制采集设备按照位姿调整信息,调整采集设备的位姿;
通过采集设备和/或与采集设备通信连接的终端,输出位姿调整信息。
在一种可能的实施方式中,获取模块501在用于获取检测图像时,包括:
响应于接收到位姿调整指令,和/或,检测到预设工作模式开启触发事件,获取检测图像。
在一种可能的实施方式中,处理模块503在用于基于至少两个目标对象在检测图像中的位置信息,得到针对采集设备的位姿调整信息时,包括:
基于第一目标对象在检测图像中的第一位置信息,以及检测图像的第一目标区域,确定在检测图像中第一位置信息与第一目标区域之间的第一相对位置信息;
基于第二目标对象在检测图像中的第二位置信息,以及检测图像的第二目标区域,确定在检测图像中第二位置信息与第二目标区域之间的第二相对位置信息;
基于第一相对位置信息以及第二相对位置信息,确定位姿调整信息。
在一种可能的实施方式中,处理模块503还用于:
响应于采集设备的位姿产生变化,获取测试图像;
基于至少两个目标对象在测试图像中的位置信息,确定采集设备的位姿是否满足指定条件;
响应于采集设备的位姿不满足指定条件,基于至少两个目标对象在测试图像中的位置信息,得到针对采集设备的位姿调整信息,以再次调整采集设备的位姿,直至调整后采集设备的位姿满足指定条件。
在一种可能的实施方式中,处理模块503还用于:
响应于采集设备的位姿满足指定条件,输出用于指示采集设备的位姿调整完毕的第一提示信息。
在一种可能的实施方式中,第一目标对象包含被关注人,处理模块503还用于:
在采集设备的位姿调整完毕的情况下,获取包括被关注人的视频流;
基于视频流,识别被关注人的行为状态。
在一种可能的实施方式中,处理模块503还用于:
确定被关注人在视频流的视频帧中的位置与视频帧的第三目标区域之间的偏离程度;
在偏离程度大于或等于预设偏离阈值的情况下,生成第二提示信息,第二提示信息用于提示被关注人已偏离预设检测区域。
在一种可能的实施方式中,处理模块503还用于:
确定被关注人在视频流的视频帧中的位置信息是否发生变化;
在确定被关注人在视频帧中的位置信息发生变化的情况下,按照变化后的位置信息对采集设备的位姿进行更新,并控制采集设备按照更新后的位姿采集视频流。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的拍摄位姿的位姿调整方法,本公开实施例还提供了一种电子设备600,如图8所示,为本公开实施例提供的电子设备600结构示意图,包括:
处理器61、存储器62、和总线63;存储器62用于存储执行指令,包括内存621和外部存储器622;这里的内存621也称内存储器,用于暂时存放处理器61中的运算数据,以及与硬盘等外部存储器622交换的数据,处理器61通过内存621与外部存储器622进行数据交换,当电子设备600运行时,处理器61与存储器62之间通过总线63通信,使得处理器61执行以下指令:获取检测图像,检测图像为置于初始位置的采集设备拍摄得到的图像;对检测图像进行目标检测,得到至少两个目标对象在检测图像中的位置信息;基于至少两个目标对象在检测图像中的位置信息,得到针对采集设备的位姿调整信息。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的采集设备的位姿调整方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的采集设备的位姿调整方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (13)
1.一种采集设备的位姿调整方法,其特征在于,包括:
获取检测图像,所述检测图像为置于初始位置的所述采集设备拍摄得到的图像;
对所述检测图像进行目标检测,得到至少两个目标对象在所述检测图像中的位置信息;
基于所述至少两个目标对象在所述检测图像中的位置信息,得到针对所述采集设备的位姿调整信息。
2.根据权利要求1所述的位姿调整方法,其特征在于,所述至少两个目标对象包括第一目标对象和第二目标对象,所述第一目标对象为人物,所述第二目标对象为实物;
所述初始位置在所述第二目标对象上。
3.根据权利要求1或2所述的位姿调整方法,其特征在于,在所述得到针对所述采集设备的位姿调整信息之后,所述位姿调整方法还包括如下至少一项:
控制所述采集设备按照所述位姿调整信息,调整所述采集设备的位姿;
通过所述采集设备和/或与所述采集设备通信连接的终端,输出所述位姿调整信息。
4.根据权利要求1至3中任意一项所述的位姿调整方法,其特征在于,所述获取检测图像,包括:
响应于接收到位姿调整指令,和/或,检测到预设工作模式开启触发事件,获取所述检测图像。
5.根据权利要求2所述的位姿调整方法,其特征在于,所述基于所述至少两个目标对象在所述检测图像中的位置信息,得到针对所述采集设备的位姿调整信息,包括:
基于所述第一目标对象在所述检测图像中的第一位置信息,以及所述检测图像的第一目标区域,确定在所述检测图像中所述第一位置信息与所述第一目标区域之间的第一相对位置信息;
基于所述第二目标对象在所述检测图像中的第二位置信息,以及所述检测图像的第二目标区域,确定在所述检测图像中所述第二位置信息与所述第二目标区域之间的第二相对位置信息;
基于所述第一相对位置信息以及所述第二相对位置信息,确定所述位姿调整信息。
6.根据权利要求1至5任一所述的位姿调整方法,其特征在于,所述位姿调整方法还包括:
响应于所述采集设备的位姿产生变化,获取测试图像;
基于所述至少两个目标对象在所述测试图像中的位置信息,确定所述采集设备的位姿是否满足指定条件;
响应于所述采集设备的位姿不满足所述指定条件,基于所述至少两个目标对象在所述测试图像中的位置信息,得到针对所述采集设备的位姿调整信息,以再次调整所述采集设备的位姿,直至调整后所述采集设备的位姿满足所述指定条件。
7.根据权利要求6所述的位姿调整方法,其特征在于,所述位姿调整方法还包括:
响应于所述采集设备的位姿满足所述指定条件,输出用于指示所述采集设备的位姿调整完毕的第一提示信息。
8.根据权利要求2或5所述的位姿调整方法,其特征在于,所述第一目标对象包含被关注人,所述位姿调整方法还包括:
在所述采集设备的位姿调整完毕的情况下,获取包括所述被关注人的视频流;
基于所述视频流,识别所述被关注人的行为状态。
9.根据权利要求8所述的位姿调整方法,其特征在于,所述位姿调整方法还包括:
确定所述被关注人在所述视频流的视频帧中的位置与所述视频帧的第三目标区域之间的偏离程度;
在所述偏离程度大于或等于预设偏离阈值的情况下,生成第二提示信息,所述第二提示信息用于提示所述被关注人已偏离预设检测区域。
10.根据权利要求8所述的位姿调整方法,其特征在于,所述位姿调整方法还包括:
确定所述被关注人在所述视频流的视频帧中的位置信息是否发生变化;
在确定所述被关注人在所述视频帧中的位置信息发生变化的情况下,按照变化后的位置信息对所述采集设备的位姿进行更新,并控制所述采集设备按照更新后的位姿采集视频流。
11.一种采集设备的位姿调整装置,其特征在于,包括:
获取模块,用于获取检测图像,所述检测图像为置于初始位姿的所述采集设备拍摄的图像;
确定模块,用于对所述检测图像进行目标检测,得到至少两个目标对象在所述检测图像中的位置信息;
处理模块,基于所述至少两个目标对象在所述检测图像中的位置信息,得到针对所述采集设备的位姿调整信息。
12.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的位姿调整方法的步骤。
13.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至10任一所述的位姿调整方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011543572.6A CN112733619A (zh) | 2020-12-24 | 2020-12-24 | 采集设备的位姿调整方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011543572.6A CN112733619A (zh) | 2020-12-24 | 2020-12-24 | 采集设备的位姿调整方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112733619A true CN112733619A (zh) | 2021-04-30 |
Family
ID=75604901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011543572.6A Pending CN112733619A (zh) | 2020-12-24 | 2020-12-24 | 采集设备的位姿调整方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112733619A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113274136A (zh) * | 2021-05-17 | 2021-08-20 | 上海微创医疗机器人(集团)股份有限公司 | 位姿调整方法、手术机器人系统和存储介质 |
CN113489902A (zh) * | 2021-07-02 | 2021-10-08 | 深圳课后帮科技有限公司 | 一种视频拍摄方法及系统 |
US20220337755A1 (en) * | 2021-04-20 | 2022-10-20 | Beijing Ambow Shengying Education And Technology Co., Ltd. | Method and apparatus for controlling video frame image in live classroom |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106851094A (zh) * | 2016-12-30 | 2017-06-13 | 纳恩博(北京)科技有限公司 | 一种信息处理方法和装置 |
CN109919079A (zh) * | 2019-03-05 | 2019-06-21 | 百度在线网络技术(北京)有限公司 | 用于检测学习状态的方法和装置 |
CN110572567A (zh) * | 2019-08-27 | 2019-12-13 | 高新兴科技集团股份有限公司 | 摄像头控制方法及计算机存储介质 |
CN110602383A (zh) * | 2019-08-27 | 2019-12-20 | 深圳市华橙数字科技有限公司 | 监控摄像头的位姿调节方法、装置、终端及存储介质 |
CN110609562A (zh) * | 2018-06-15 | 2019-12-24 | 华为技术有限公司 | 一种图像信息采集方法和装置 |
CN110719392A (zh) * | 2019-11-08 | 2020-01-21 | 广州酷狗计算机科技有限公司 | 可移动摄像设备、拍摄控制方法、控制设备及存储介质 |
CN111935453A (zh) * | 2020-07-27 | 2020-11-13 | 浙江大华技术股份有限公司 | 一种学习监督方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-24 CN CN202011543572.6A patent/CN112733619A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106851094A (zh) * | 2016-12-30 | 2017-06-13 | 纳恩博(北京)科技有限公司 | 一种信息处理方法和装置 |
CN110609562A (zh) * | 2018-06-15 | 2019-12-24 | 华为技术有限公司 | 一种图像信息采集方法和装置 |
CN109919079A (zh) * | 2019-03-05 | 2019-06-21 | 百度在线网络技术(北京)有限公司 | 用于检测学习状态的方法和装置 |
CN110572567A (zh) * | 2019-08-27 | 2019-12-13 | 高新兴科技集团股份有限公司 | 摄像头控制方法及计算机存储介质 |
CN110602383A (zh) * | 2019-08-27 | 2019-12-20 | 深圳市华橙数字科技有限公司 | 监控摄像头的位姿调节方法、装置、终端及存储介质 |
CN110719392A (zh) * | 2019-11-08 | 2020-01-21 | 广州酷狗计算机科技有限公司 | 可移动摄像设备、拍摄控制方法、控制设备及存储介质 |
CN111935453A (zh) * | 2020-07-27 | 2020-11-13 | 浙江大华技术股份有限公司 | 一种学习监督方法、装置、电子设备及存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220337755A1 (en) * | 2021-04-20 | 2022-10-20 | Beijing Ambow Shengying Education And Technology Co., Ltd. | Method and apparatus for controlling video frame image in live classroom |
US11812152B2 (en) * | 2021-04-20 | 2023-11-07 | Beijing Ambow Shengying Education And Technology Co., Ltd. | Method and apparatus for controlling video frame image in live classroom |
CN113274136A (zh) * | 2021-05-17 | 2021-08-20 | 上海微创医疗机器人(集团)股份有限公司 | 位姿调整方法、手术机器人系统和存储介质 |
CN113489902A (zh) * | 2021-07-02 | 2021-10-08 | 深圳课后帮科技有限公司 | 一种视频拍摄方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112733619A (zh) | 采集设备的位姿调整方法、装置、电子设备及存储介质 | |
EP3414742B1 (en) | Optimized object scanning using sensor fusion | |
WO2020125499A1 (zh) | 一种操作提示方法及眼镜 | |
CN112866808B (zh) | 一种视频处理方法、装置、电子设备及存储介质 | |
CN102332091A (zh) | 摄像装置及其控制方法、拍摄支持系统及个体评价方法 | |
EP3933552B1 (en) | Method and device for determining gaze position of user, storage medium, and electronic apparatus | |
CN104076481A (zh) | 自动聚焦方法及其设备 | |
CN110765828A (zh) | 视觉识别方法及其系统 | |
CN112101123B (zh) | 一种注意力检测方法及装置 | |
JP2017162103A (ja) | 点検作業支援システム、点検作業支援方法、点検作業支援プログラム | |
CN112699755A (zh) | 一种行为检测方法、装置、计算机设备和存储介质 | |
CN113491502A (zh) | 一种眼球追踪校准检验方法、装置、设备及存储介质 | |
CN111182280A (zh) | 一种投影方法、投影装置、音箱设备及存储介质 | |
CN106461982B (zh) | 用于确定至少一个行为参数的方法 | |
CN110673737B (zh) | 基于智能家居操作系统的显示内容的调整方法及装置 | |
CN112597899A (zh) | 一种行为状态的检测方法、装置、电子设备及存储介质 | |
JP2016149678A (ja) | カメラ校正ユニット、カメラ校正方法、およびカメラ校正プログラム | |
WO2023083279A1 (zh) | 拍摄方法及装置 | |
CN107102794B (zh) | 操作处理方法及装置 | |
CN113038257B (zh) | 音量调节方法、装置、智能电视及计算机可读存储介质 | |
CN112651865A (zh) | 一种行为状态的提示方法、装置、电子设备及存储介质 | |
CN116086396A (zh) | 一种获取距离的方法、装置、系统及存储介质 | |
CN114740966A (zh) | 多模态图像显示控制方法、系统及计算机设备 | |
CN111583106A (zh) | 智能终端及其图像显示方法、具有存储功能的装置 | |
Ferhat et al. | Eye-tracking with webcam-based setups: Implementation of a real-time system and an analysis of factors affecting performance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210430 |
|
RJ01 | Rejection of invention patent application after publication |