CN111860206B - 图像采集方法、装置、存储介质和智能设备 - Google Patents
图像采集方法、装置、存储介质和智能设备 Download PDFInfo
- Publication number
- CN111860206B CN111860206B CN202010604672.9A CN202010604672A CN111860206B CN 111860206 B CN111860206 B CN 111860206B CN 202010604672 A CN202010604672 A CN 202010604672A CN 111860206 B CN111860206 B CN 111860206B
- Authority
- CN
- China
- Prior art keywords
- image
- gesture
- display
- display frame
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004590 computer program Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请适用于图像处理技术领域，提供了一种图像采集方法、装置、存储介质和智能设备，包括：在第一显示区域内显示预设参照图像；实时拍摄当前场景图像，并在第二显示区域内预览显示，所述当前场景图像包括用户模仿所述预设参照图像中手势的手势图像；截取所述当前场景图像中的手势图像；若截取的所述手势图像满足预设采集标准，则采集所述手势图像。本申请中针对儿童用户的手势图像采集无需家长协助引导，可快速得到需采集的图像，提高图像采集的效率。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像采集方法、装置、存储介质和智能设备。
背景技术
当前机器人AI教育受到欢迎，引入娱教一体的AI教育机器人进入中小学课堂，通过机器人的实践，进行AI教育实践。手势作为一种常见的与机器人互动的机制，也被引入AI教育机器人。
现有技术中，机器人根据手势识别算法实现与用户的手势交互，而目前的手势识别算法一般是基于深度学习模型的人工智能算法。对于用户主要为儿童的AI教育机器人，开发人员需要采集多种应用场景下儿童不同的手势图像信息作为样本训练数据，训练用于手势识别的深度学习模型，从而实现AI教育机器人的手势识别，样本训练数据越丰富，越有助于提升深度学习模型进行手势识别的准确性。
然而，由于被采集的群体主要为3-7岁的儿童，儿童手势图像信息的采集存在极大的不确定性，儿童不能独立且准确的做出手势，需要大人的协助引导，导致儿童手势图像信息的采集过程耗时长，采集效率低。
发明内容
本申请实施例提供了一种图像采集方法、装置、存储介质和智能设备，可以解决现有技术中，存在儿童不能独立且准确的做出手势，需要大人的协助引导，导致儿童手势图像信息的采集过程耗时长，采集效率低的问题。
第一方面，本申请实施例提供了一种图像采集方法，包括：
在第一显示区域内显示预设参照图像；
实时拍摄当前场景图像，并在第二显示区域内预览显示，所述当前场景图像包括用户模仿所述预设参照图像中手势的手势图像；
截取所述当前场景图像中的手势图像；
若截取的所述手势图像满足预设采集标准，则采集所述手势图像。
在第一方面的一种可能的实现方式中，所述截取所述当前场景图像中的手势图像的步骤，包括：
在所述第二显示区域内随机生成显示框；
利用所述显示框对所述当前场景图像进行图像截取，获取所述当前场景图像中的手势图像。
在第一方面的一种可能的实现方式中，所述利用所述显示框对所述当前场景图像进行图像截取，获取所述当前场景图像中的手势图像的步骤，包括：
检测所述显示框内的图像是否包括手势图像；
若所述显示框截取的图像不包括手势图像，则播放语音提示用户调整手势模仿的位置，以使得所述手势图像在所述显示框内；
利用所述显示框截取所述当前场景图像中的手势图像。
在第一方面的一种可能的实现方式中，所述利用所述显示框对所述当前场景图像进行图像截取，获取所述当前场景图像中的手势图像的步骤，包括：
检测所述显示框内的图像是否包括手势图像；
若所述显示框截取的图像不包括手势图像，则获取所述显示框在所述第二显示区域的第一显示信息，以及所述手势图像在所述第二显示区域中的第二显示信息；
根据所述第一显示信息与所述第二显示信息，调整拍摄的位置信息，以使得所述手势图像在所述显示框内；
利用所述显示框截取所述当前场景图像中的手势图像。
在第一方面的一种可能的实现方式中，所述第一显示信息包括所述显示框在所述第二显示区域的第一位置信息，所述第二显示信息包括所述手势图像在所述第二显示区域中的第二位置信息，所述拍摄的位置信息包括拍摄角度，所述根据所述第一显示信息与所述第二显示信息，调整拍摄的位置信息，以使得所述手势图像在所述显示框内的步骤，包括：
根据所述第一位置信息以及所述第二位置信息，确定所述显示框与所述手势图像在所述第二显示区域中的区域距离；
根据所述区域距离与预设的距离角度对照表，确定与所述区域距离对应的角度；
根据所述角度调整所述拍摄角度，以使得所述手势图像在所述显示框内。
在第一方面的一种可能的实现方式中，所述若截取的所述手势图像满足预设采集标准，则采集所述手势图像的步骤，包括：
计算所述手势图像与所述预设参照图像的相似度；
若所述相似度大于或等于预设相似度阈值，则采集所述手势图像。
在第一方面的一种可能的实现方式中，所述图像采集方法还包括：
若所述相似度小于预设相似度阈值，则在所述第一显示区域播放所述预设参照图像对应的手势分解教学视频。
第二方面，本申请实施例提供了一种图像采集装置，包括：
参考显示单元，用于在第一显示区域内显示预设参照图像；
拍摄预览单元，用于实时拍摄当前场景图像，并在第二显示区域内预览显示，所述当前场景图像包括用户模仿所述预设参照图像中手势的手势图像；
图像截取单元，用于截取所述当前场景图像中的手势图像；
图像采集单元，用于若截取的所述手势图像满足预设采集标准，则采集所述手势图像。
第三方面，本申请实施例提供了一种智能设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的图像采集方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的图像采集方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在智能设备上运行时，使得智能设备执行如上述第一方面所述的图像采集方法。
本申请实施例中，通过在第一显示区域内显示预设参照图像，供用户参考模仿，然后实时拍摄当前场景图像，并在第二显示区域内预览显示，所述当前场景图像包括用户模仿所述预设参照图像中手势的手势图像，再截取所述当前场景图像中的手势图像，若截取的所述手势图像满足预设采集标准，则采集所述手势图像，采集过程无需家长引导，通过实时捕捉用户模仿的手势图像并截取，可快速得到需采集的图像，从而提高图像采集的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像采集方法的实现流程图；
图2是本申请实施例提供的图像采集方法中语音提示用户在显示框内模仿手势的具体实现流程图；
图3是本申请实施例提供的图像采集方法调整拍摄位置以使得手势图像在显示框内的具体实现流程图；
图4是本申请实施例提供的图像采集方法调整拍摄角度以使得手势图像在显示框内的具体实现流程图；
图5.1至图5.5是本申请实施例提供的图像采集方法中显示框截图手势图像的场景示意图；
图6是本申请实施例提供的图像采集方法S104的具体实现流程图；
图7是本申请实施例提供的图像采集装置的结构框图；
图8是本申请实施例提供的智能设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的语音信息处理方法可以应用于智能机器人等智能终端上，本申请实施例对智能终端的具体类型不作任何限制。
图1示出了本申请实施例提供的图像采集方法的实现流程，该方法流程包括步骤S101至S104。各步骤的具体实现原理如下：
S101：在第一显示区域内显示预设参照图像。
上述第一显示区域为显示屏幕上用于显示预设参照图像的区域，上述预设参照图像是指需采集的手势图像的标准手势图像。在一些实施方式中，上述预设参照图像不止一张，随机显示多张预设参照图像中的一张，供用户参照模仿。
本申请实施例中，通过在第一显示区域内显示预设参照图像，供用户参照模仿，从而便于获取需求采集的手势图像。
作为本申请一种可能的实施方式，在上述步骤S101之前，获取图像采集指令，基于所述图像采集指令，在第一显示区域内随机显示多张预设参照图像中的其中一张，供用户参照模仿。
S102：实时拍摄当前场景图像，并在第二显示区域内预览显示，所述当前场景图像包括用户模仿所述预设参照图像中手势的手势图像。
在本申请实施例中，用户模仿预设参照图像中的手势，通过摄像头实时捕捉当前场景图像，并在第二显示区域内预览显示。
在一些实施方式中，机器人设有显示屏幕，将所述显示屏幕的显示区域划分为第一显示区域和第二显示区域。示例性地，在第一显示区域内显示预设参照图像，摄像头实时拍摄用户模仿所述预设参照图像的当前场景图像，并在第二显示区域内预览显示。
在另一些实施方式中，带有显示屏幕的机器人与带有显示屏幕的智能设备连接，例如，机器人与智能手机通信连接，将机器人的显示屏幕确定为第一显示区域，将智能设备的显示屏幕确定为第二显示区域。示例性地，在接收到图像采集指令时，在机器人的显示屏幕上显示预设参照图像，机器人的摄像头实时拍摄用户模仿所述预设参照图像的当前场景图像，并将该当前场景图像实时传输至智能设备的显示屏幕中进行预览显示。
在另一些实施方式中，机器人与带有显示屏幕的智能设备连接，例如，机器人与智能手机通信连接，将智能设备的显示屏幕划分为第一显示区域和第二显示区域。示例性地，在接收到图像采集指令时，机器人将预设参照图像传送至智能设备，并在智能设备显示屏幕的第一显示区域内显示预设参照图像，机器人的摄像头实时拍摄用户模仿所述预设参照图像的当前场景图像，并将该当前场景图像实时传输至智能设备显示屏幕中的第二显示区域进行预览显示。
S103：截取所述当前场景图像中的手势图像。
在本申请实施例中，摄像头拍摄的当前场景图像不仅仅包括用户模仿所述预设参照图像中手势的手势图像，还包括背景图像，而需要采集的为手势图像。因此，通过对上述当前场景图像进行截取，得到手势图像。
在一种可能的实施方式中，上述步骤S103具体包括：
A1：在所述第二显示区域内随机生成显示框。所述显示框用于截取图像，具体用于截取整体图像中的局部图像。
在一种实施方式中，根据预设的随机算法，在上述第二显示区域内随机生成显示框的第一显示信息，根据上述第一显示信息中的第一尺寸信息和第一显示位置信息，在上述第二显示区域中第一显示位置信息相应的位置显示第一尺寸大小的显示框。
在一种实施方式中，由于第二显示区域内预览显示有当前场景图像，显示框在第二显示区域内显示，相当于在当前场景图像上显示。需说明的是，显示框在第二显示区域中的现实和大小及位置并不会跟随第二显示区域内预览显示的当前场景图像发生变化而变化。
A2：利用所述显示框对所述当前场景图像进行图像截取，获取所述当前场景图像中的手势图像。
本申请实施例中，通过在第二显示区域上生成显示框，利用该显示框快速截取需要的手势图像，可提高图像采集的效率。
作为本申请一种可能的实施方式，图2示出了本申请实施例提供的图像采集方法步骤A2的具体实现流程，详述如下：
B1：检测所述显示框内的图像是否包括手势图像。
对所述显示框内的图像进行手势检测，检测是否存在手势图像。具体地，可对显示框内的图像进行手部关键点检测，根据检测到的手部关键点，确定是否存在手势图像。
B2：若所述显示框截取的图像不包括手势图像，则播放语音提示用户调整手势模仿的位置，以使得所述手势图像在所述显示框内。
在一种实施方式中，当用户模仿的手势图像在不在显示框内，引导用户移动手部，调整手势模仿位置，以使得上述当前场景图像中的手势图像在上述显示框内。
B3：利用所述显示框截取所述当前场景图像中的手势图像。
本申请实施例通过播放预设的语音提示引导用户调整手势模仿位置，使得手势图像在显示框内显示，从而可得到满足需求的手势图像。
作为本申请一种可能的实施方式，图3示出了本申请实施例提供的图像采集方法步骤A2的具体实现流程，详述如下：
D1：检测所述显示框内的图像是否包括手势图像。
D2：若所述显示框截取的图像不包括手势图像，则获取所述显示框在所述第二显示区域的第一显示信息，以及所述手势图像在所述第二显示区域中的第二显示信息。
在一些实施方式中，上述第一显示信息包括显示框的第一尺寸信息以及显示框在上述第二显示区域的第一位置信息，上述第二显示信息包括手势图像在上述第二显示区域中第二尺寸信息以及第二位置信息。其中，第一尺寸信息可根据随机生成时确定，第二尺寸信息可根据手势图像中手势的轮廓信息确定。
D3：根据所述第一显示信息与所述第二显示信息，调整拍摄的位置信息，以使得所述手势图像在所述显示框内。
作为本申请一种可能的实施方式，所述拍摄的位置信息包括拍摄角度，如图4所示，上述步骤D3具体包括：
C1：根据所述第一位置信息以及所述第二位置信息，确定所述显示框与所述手势图像在所述第二显示区域中的区域距离。所述区域距离具体包括距离值和距离方向，可用二维向量表示。
C2：根据所述区域距离与预设的距离角度对照表，确定与所述区域距离对应的角度。
其中，上述预设的距离角度对照表包括区域距离与角度的映射关系。上述角度为拍摄需调整的角度。
C3：根据所述角度调整所述拍摄角度，以使得所述手势图像在所述显示框内。
具体地，获取当前的拍摄角度，根据当前的拍摄角度与上述区域距离对应的角度，旋转摄像头或者旋转机器人，调整拍摄角度，更新当前场景图像，使得当前场景图像中的手势图像在上述显示框内，从而方便截取到满足要求的手势图像。
D4：利用所述显示框截取所述当前场景图像中的手势图像。
作为本申请一种可能的实施方式，所述拍摄的位置信息包括拍摄距离，上述步骤D3具体包括：
C31’：根据所述第一尺寸信息以及所述第二尺寸信息，确定所述手势图像在所述显示框的尺寸占比。
C32’：根据所述尺寸占比与预设的占比距离对照表，确定与所述尺寸占比对应的距离。
其中，上述预设的占比距离对照表包括尺寸占比与距离的映射关系。上述距离是指拍摄需调整的与被拍摄的用户之间的距离。
C33’：根据所述距离调整所述拍摄距离，以使得所述手势图像在所述显示框内的占比达到预设占比阈值。上述拍摄距离是指摄像头与被拍摄的用户的手势之间的距离，在一种实施方式中，可根据景深确定拍摄距离。
具体地，获取当前的拍摄距离，根据当前的拍摄距离与上述尺寸占比对应的距离，调整景深，或者控制移动机器人，调整拍摄距离，更新当前场景图像，使得当前场景图像中的手势图像在上述显示框内的尺寸占比满足预设占比阈值，从而方便截取到满足要求的手势图像。
示例性地，拍摄位置包括拍摄角度和拍摄距离，如图5.1至图5.5所示，通过引导用户调整模仿位置和/或调整摄像头的拍摄位置，以使得当前场景图像中的手势图像在上述显示框内，并且手势图像在显示框内的占比达到预设占比阈值，从而得到尺寸多样化的手势图像。
S104：若截取的所述手势图像满足预设采集标准，则采集所述手势图像。
在一种可能的实施方式中，图6示出了本申请实施例提供的图像采集方法步骤S104的具体实现流程，详述如下：
D1：计算所述手势图像与所述预设参照图像的相似度。
D2：若所述相似度大于或等于预设相似度阈值，则采集所述手势图像。
例如，若手势图像与预设参照图像的相似度达0.8，则确定该手势图像满足预设采集标准，可以采集该手势图像。
在本申请实施例中，通过计算手势图像与预设参照图像的相似度，确定用户模仿的手势是否满足预设采集标准，从而避免采集不符合采集标准中的手势图像，浪费时间。
在一种可能的实施方式中，若所述相似度小于预设相似度阈值，则在所述第一显示区域播放所述预设参照图像对应的手势分解教学视频。具体地，上述手势分解教学视频用于分解教学手势，引导儿童用户学习如何做出相应的手势，无需家长协助引导，方便儿童用户独立学习模仿。
在一种可能的实施方式中，将采集的手势图像进行标注，生成目标手势图像，其中，标注的信息包括截取所述手势图像的显示框的尺寸信息，以及所述显示框在第二显示区域中的显示位置信息。将上述目标手势图像发送至指定智能终端。所述目标手势图像可用于深度学习模型的训练。
在另一种可能的实施方式中，将采集的手势图像与提供截取该手势图像的当前场景图像关联后发送至指定智能终端。在该实施方式中，目标手势图像的标注信息还包括采集的手势图像与提供截取该手势图像的关联信息。
本申请实施例中，通过对采集的手势图像进行自动标注，可得到大量标注好的手势图像，用于补充深度学习模型的训练数据，有助于提高用于手势交互的深度学习模型的训练效率，增强训练效果。
由上所述，在本申请实施例中，通过在第一显示区域内显示预设参照图像，供用户参考模仿，然后实时拍摄当前场景图像，并在第二显示区域内预览显示，所述当前场景图像包括用户模仿所述预设参照图像中手势的手势图像，再截取所述当前场景图像中的手势图像，若截取的所述手势图像满足预设采集标准，则采集所述手势图像，采集过程无需家长引导，通过实时捕捉用户模仿的手势图像并截取，可快速得到需采集的图像，从而提高图像采集的效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的图像采集方法，图7示出了本申请实施例提供的图像采集装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图7，该图像采集装置包括：参考显示单元71，拍摄预览单元72，图像截取单元73，图像采集单元74，其中：
参考显示单元71，用于在第一显示区域内显示预设参照图像；
拍摄预览单元72，用于实时拍摄当前场景图像，并在第二显示区域内预览显示，所述当前场景图像包括用户模仿所述预设参照图像中手势的手势图像；
图像截取单元73，用于截取所述当前场景图像中的手势图像；
图像采集单元74，用于若截取的所述手势图像满足预设采集标准，则采集所述手势图像。
在一种可能的实施方式中，所述图像截取单元73包括：
显示框生成模块，用于在所述第二显示区域内随机生成显示框；
手势图像截取模块，用于利用所述显示框对所述当前场景图像进行图像截取，获取所述当前场景图像中的手势图像。
在一种可能的实施方式中，所述手势图像截取模块具体包括：
第一手势检测子模块，用于检测所述显示框内的图像是否包括手势图像；
语音引导子模块，用于若所述显示框截取的图像不包括手势图像，则播放语音提示用户调整手势模仿的位置，以使得所述手势图像在所述显示框内；
第一图像截取子模块，用于利用所述显示框截取所述当前场景图像中的手势图像。
在一种可能的实施方式中，所述手势图像截取模块具体包括：
第二手势检测子模块，用于检测所述显示框内的图像是否包括手势图像；
显示信息获取子模块，用于若所述显示框截取的图像不包括手势图像，则获取所述显示框在所述第二显示区域的第一显示信息，以及所述手势图像在所述第二显示区域中的第二显示信息；
拍摄调整子模块，用于根据所述第一显示信息与所述第二显示信息，调整拍摄的位置信息，以使得所述手势图像在所述显示框内；
第二图像截取子模块，用于利用所述显示框截取所述当前场景图像中的手势图像。
在一种可能的实施方式中，所述第一显示信息包括所述显示框在所述第二显示区域的第一位置信息，所述第二显示信息包括所述手势图像在所述第二显示区域中的第二位置信息，所述拍摄的位置信息包括拍摄角度，所述拍摄调整子模块包括：
区域距离确定子模块，用于根据所述第一位置信息以及所述第二位置信息，确定所述显示框与所述手势图像在所述第二显示区域中的区域距离；
角度确定子模块，用于根据所述区域距离与预设的距离角度对照表，确定与所述区域距离对应的角度；
第一调整子模块，用于根据所述角度调整所述拍摄角度，以使得所述手势图像在所述显示框内。
在一种可能的实施方式中，所述第一显示信息包括所述显示框在所述第二显示区域的第一尺寸信息，所述第二显示信息包括所述手势图像在所述第二显示区域中的第二尺寸信息，所述拍摄的位置信息包括拍摄距离，所述拍摄调整子模块包括：
尺寸占比子模块，用于根据所述第一尺寸信息以及所述第二尺寸信息，确定所述手势图像在所述显示框的尺寸占比。
距离确定子模块，用于根据所述尺寸占比与预设的占比距离对照表，确定与所述尺寸占比对应的距离。
第二调整子模块，用于根据所述距离调整所述拍摄距离，以使得所述手势图像在所述显示框内的占比达到预设占比阈值。
在一种可能的实施方式中，所述图像采集单元74包括：
相似度计算模块，用于计算所述手势图像与所述预设参照图像的相似度；
图像采集模块，用于若所述相似度大于或等于预设相似度阈值，则采集所述手势图像。
在一种可能的实施方式中，所述图像采集单元74还包括：
视频播放模块，用于若所述相似度小于预设相似度阈值，则在所述第一显示区域播放所述预设参照图像对应的手势分解教学视频。
在一种可能的实施方式中，所述图像采集装置还包括：
信息标注单元，用于将采集的手势图像进行标注，生成目标手势图像，其中，标注的信息包括截取所述手势图像的显示框的尺寸信息，以及所述显示框在第二显示区域中的显示位置信息；
图像发送单元，用于将所述目标手势图像发送至指定智能终端。
由上所述，在本申请实施例中，通过在第一显示区域内显示预设参照图像，供用户参考模仿，然后实时拍摄当前场景图像，并在第二显示区域内预览显示，所述当前场景图像包括用户模仿所述预设参照图像中手势的手势图像，再截取所述当前场景图像中的手势图像，若截取的所述手势图像满足预设采集标准，则采集所述手势图像，采集过程无需家长引导，通过实时捕捉用户模仿的手势图像并截取，可快速得到需采集的图像，从而提高图像采集的效率。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如图1至图6表示的任意一种图像采集方法的步骤。
本申请实施例还提供一种智能设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如图1至图6表示的任意一种图像采集方法的步骤。
本申请实施例还提供一种计算机程序产品，当该计算机程序产品在服务器上运行时，使得服务器执行实现如图1至图6表示的任意一种图像采集方法的步骤。
图8是本申请一实施例提供的智能设备的示意图。如图8所示，该实施例的智能设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机可读指令82。所述处理器80执行所述计算机可读指令82时实现上述各个图像采集方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，所述处理器80执行所述计算机可读指令82时实现上述各装置实施例中各模块/单元的功能，例如图7所示单元71至74的功能。
示例性的，所述计算机可读指令82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令82在所述智能设备8中的执行过程。
所述智能设备8可以为智能机器人。所述智能设备8可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是智能设备8的示例，并不构成对智能设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述智能设备8还可以包括输入输出设备、网络接入设备、总线等。
所述处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81可以是所述智能设备8的内部存储单元，例如智能设备8的硬盘或内存。所述存储器81也可以是所述智能设备8的外部存储设备，例如所述智能设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述智能设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机可读指令以及所述智能设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (8)
1.一种图像采集方法，其特征在于，包括：
在第一显示区域内显示预设参照图像；
实时拍摄当前场景图像，并在第二显示区域内预览显示，所述当前场景图像包括用户模仿所述预设参照图像中手势的手势图像；
截取所述当前场景图像中的手势图像，包括：在所述第二显示区域内随机生成显示框；利用所述显示框对所述当前场景图像进行图像截取，获取所述当前场景图像中的手势图像；
所述利用所述显示框对所述当前场景图像进行图像截取，获取所述当前场景图像中的手势图像的步骤，包括：
检测所述显示框内的图像是否包括手势图像；若所述显示框截取的图像不包括手势图像，则获取所述显示框在所述第二显示区域的第一显示信息，以及所述手势图像在所述第二显示区域中的第二显示信息；根据所述第一显示信息与所述第二显示信息，调整拍摄的位置信息，以使得所述手势图像在所述显示框内；利用所述显示框截取所述当前场景图像中的手势图像；
所述第一显示信息包括所述显示框的第一尺寸信息以及所述显示框在所述第二显示区域的第一位置信息，所述第二显示信息包括所述手势图像在所述第二显示区域中第二尺寸信息以及第二位置信息，所述调整拍摄的位置信息包括调整拍摄角度和/或拍摄距离；
所述调整拍摄角度包括：获取当前的拍摄角度，根据当前的拍摄角度与区域距离对应的角度，调整拍摄角度，其中，根据所述第一位置信息以及所述第二位置信息，确定所述显示框与所述手势图像在所述第二显示区域中的区域距离；
所述调整拍摄距离包括：获取当前的拍摄距离，根据当前的拍摄距离与尺寸占比对应的距离，调整拍摄距离，其中，根据所述第一尺寸信息以及所述第二尺寸信息，确定所述手势图像在所述显示框的尺寸占比；
若截取的所述手势图像满足预设采集标准，则采集所述手势图像。
2.根据权利要求1所述的图像采集方法，其特征在于，所述利用所述显示框对所述当前场景图像进行图像截取，获取所述当前场景图像中的手势图像的步骤，包括：
检测所述显示框内的图像是否包括手势图像；
若所述显示框截取的图像不包括手势图像，则播放语音提示用户调整手势模仿的位置，以使得所述手势图像在所述显示框内；
利用所述显示框截取所述当前场景图像中的手势图像。
3.根据权利要求1所述的图像采集方法，其特征在于，所述根据所述第一显示信息与所述第二显示信息，调整拍摄的位置信息，以使得所述手势图像在所述显示框内的步骤，包括：
根据所述区域距离与预设的距离角度对照表，确定与所述区域距离对应的角度；
根据所述角度调整所述拍摄角度，以使得所述手势图像在所述显示框内；
和/或，
根据所述尺寸占比与预设的占比距离对照表，确定与所述尺寸占比对应的距离；
根据所述距离调整所述拍摄距离，以使得所述手势图像在所述显示框内的占比达到预设占比阈值。
4.根据权利要求1至3任一项所述的图像采集方法，其特征在于，所述若截取的所述手势图像满足预设采集标准，则采集所述手势图像的步骤，包括：
计算所述手势图像与所述预设参照图像的相似度；
若所述相似度大于或等于预设相似度阈值，则采集所述手势图像。
5.根据权利要求4所述的图像采集方法，其特征在于，所述图像采集方法还包括：
若所述相似度小于预设相似度阈值，则在所述第一显示区域播放所述预设参照图像对应的手势分解教学视频。
6.一种图像采集装置，其特征在于，包括：
参考显示单元，用于在第一显示区域内显示预设参照图像；
拍摄预览单元，用于实时拍摄当前场景图像，并在第二显示区域内预览显示，所述当前场景图像包括用户模仿所述预设参照图像中手势的手势图像；
图像截取单元，用于截取所述当前场景图像中的手势图像；所述图像截取单元包括：
显示框生成模块，用于在所述第二显示区域内随机生成显示框；
手势图像截取模块，用于利用所述显示框对所述当前场景图像进行图像截取，获取所述当前场景图像中的手势图像；
所述手势图像截取模块具体包括：
第二手势检测子模块，用于检测所述显示框内的图像是否包括手势图像；
显示信息获取子模块，用于若所述显示框截取的图像不包括手势图像，则获取所述显示框在所述第二显示区域的第一显示信息，以及所述手势图像在所述第二显示区域中的第二显示信息；
拍摄调整子模块，用于根据所述第一显示信息与所述第二显示信息，调整拍摄的位置信息，以使得所述手势图像在所述显示框内；所述第一显示信息包括所述显示框的第一尺寸信息以及所述显示框在所述第二显示区域的第一位置信息，所述第二显示信息包括所述手势图像在所述第二显示区域中第二尺寸信息以及第二位置信息，所述调整拍摄的位置信息包括调整拍摄角度和/或拍摄距离；
所述调整拍摄角度包括：获取当前的拍摄角度，根据当前的拍摄角度与区域距离对应的角度，调整拍摄角度，其中，根据所述第一位置信息以及所述第二位置信息，确定所述显示框与所述手势图像在所述第二显示区域中的区域距离；
所述调整拍摄距离包括：获取当前的拍摄距离，根据当前的拍摄距离与尺寸占比对应的距离，调整拍摄距离，其中，根据所述第一尺寸信息以及所述第二尺寸信息，确定所述手势图像在所述显示框的尺寸占比；
第二图像截取子模块，用于利用所述显示框截取所述当前场景图像中的手势图像；
图像采集单元，用于若截取的所述手势图像满足预设采集标准，则采集所述手势图像。
7.一种智能设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的图像采集方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的图像采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010604672.9A CN111860206B (zh) | 2020-06-29 | 2020-06-29 | 图像采集方法、装置、存储介质和智能设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010604672.9A CN111860206B (zh) | 2020-06-29 | 2020-06-29 | 图像采集方法、装置、存储介质和智能设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860206A CN111860206A (zh) | 2020-10-30 |
| CN111860206B true CN111860206B (zh) | 2024-01-02 |
Family
ID=72988713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010604672.9A Active CN111860206B (zh) | 2020-06-29 | 2020-06-29 | 图像采集方法、装置、存储介质和智能设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860206B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112492211A (zh) * | 2020-12-01 | 2021-03-12 | 咪咕文化科技有限公司 | 一种拍摄方法、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1039434A (ja) * | 1996-07-25 | 1998-02-13 | Katsumasa Nishimura | 立体写真撮影装置及びそれを用いた撮影方法 |
| CN101960840A (zh) * | 2008-02-29 | 2011-01-26 | Lg电子株式会社 | 使用个人视频录像机的图像比较设备以及使用该图像比较设备的方法 |
| CN107257439A (zh) * | 2017-07-26 | 2017-10-17 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
| CN107730529A (zh) * | 2017-10-10 | 2018-02-23 | 上海魔迅信息科技有限公司 | 一种视频动作评分方法及系统 |
| CN108156385A (zh) * | 2018-01-02 | 2018-06-12 | 联想(北京)有限公司 | 图像获取方法及图像获取装置 |
| CN108229473A (zh) * | 2017-12-29 | 2018-06-29 | 苏州科达科技股份有限公司 | 车辆年检标签检测方法及装置 |
| CN109547694A (zh) * | 2018-11-29 | 2019-03-29 | 维沃移动通信有限公司 | 一种图像显示方法及终端设备 |
| CN110266938A (zh) * | 2018-12-27 | 2019-09-20 | 全球能源互联网研究院有限公司 | 基于深度学习的变电站设备智能拍摄方法及装置 |
| CN110611787A (zh) * | 2019-06-10 | 2019-12-24 | 青岛海信电器股份有限公司 | 一种显示器及图像处理方法 |
-
2020
- 2020-06-29 CN CN202010604672.9A patent/CN111860206B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1039434A (ja) * | 1996-07-25 | 1998-02-13 | Katsumasa Nishimura | 立体写真撮影装置及びそれを用いた撮影方法 |
| CN101960840A (zh) * | 2008-02-29 | 2011-01-26 | Lg电子株式会社 | 使用个人视频录像机的图像比较设备以及使用该图像比较设备的方法 |
| CN107257439A (zh) * | 2017-07-26 | 2017-10-17 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
| CN107730529A (zh) * | 2017-10-10 | 2018-02-23 | 上海魔迅信息科技有限公司 | 一种视频动作评分方法及系统 |
| CN108229473A (zh) * | 2017-12-29 | 2018-06-29 | 苏州科达科技股份有限公司 | 车辆年检标签检测方法及装置 |
| CN108156385A (zh) * | 2018-01-02 | 2018-06-12 | 联想(北京)有限公司 | 图像获取方法及图像获取装置 |
| CN109547694A (zh) * | 2018-11-29 | 2019-03-29 | 维沃移动通信有限公司 | 一种图像显示方法及终端设备 |
| CN110266938A (zh) * | 2018-12-27 | 2019-09-20 | 全球能源互联网研究院有限公司 | 基于深度学习的变电站设备智能拍摄方法及装置 |
| CN110611787A (zh) * | 2019-06-10 | 2019-12-24 | 青岛海信电器股份有限公司 | 一种显示器及图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860206A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107105310B (zh) | 一种视频直播中人物形象替换方法、装置和一种录播系统 | |
| WO2022105519A1 (zh) | 音效调整方法、装置、设备、存储介质及计算机程序产品 | |
| JP7457806B2 (ja) | レンズ分割の実現方法、装置および関連製品 | |
| CN109034397A (zh) | 模型训练方法、装置、计算机设备及存储介质 | |
| WO2021098616A1 (zh) | 运动姿态识别方法、运动姿态识别装置、终端设备及介质 | |
| CN107798932A (zh) | 一种基于ar技术的早教训练系统 | |
| CN107452018B (zh) | 主讲人跟踪方法及系统 | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| CN112669422B (zh) | 仿真3d数字人生成方法、装置、电子设备及存储介质 | |
| CN112528768A (zh) | 视频中的动作处理方法、装置、电子设备及存储介质 | |
| CN112331001A (zh) | 一种基于虚拟现实技术的教学系统 | |
| CN111738769B (zh) | 视频处理方法及装置 | |
| CN111860206B (zh) | 图像采集方法、装置、存储介质和智能设备 | |
| CN113240031A (zh) | 全景图像特征点匹配模型的训练方法、装置以及服务器 | |
| CN113515187B (zh) | 一种虚拟现实场景的生成方法和网络侧设备 | |
| CN104933278B (zh) | 一种用于言语障碍康复训练的多通道交互方法和系统 | |
| CN113743237B (zh) | 跟随动作的准确度判定方法、装置、电子设备及存储介质 | |
| WO2024027063A1 (zh) | 直播方法、装置、存储介质、电子设备及产品 | |
| CN113724176A (zh) | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 | |
| CN114222065A (zh) | 图像处理方法、装置、电子设备、存储介质及程序产品 | |
| CN112528790A (zh) | 基于行为识别的教学管理方法、装置及服务器 | |
| CN114419956B (zh) | 基于学生画像的实物编程方法及相关设备 | |
| CN112165582B (zh) | 生成视频的方法、装置、存储介质及电子设备 | |
| JP6733027B1 (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
| CN118135658A (zh) | 手部动作识别方法、装置、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |