CN104349197B - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN104349197B CN104349197B CN201310347509.9A CN201310347509A CN104349197B CN 104349197 B CN104349197 B CN 104349197B CN 201310347509 A CN201310347509 A CN 201310347509A CN 104349197 B CN104349197 B CN 104349197B
- Authority
- CN
- China
- Prior art keywords
- image
- subgraph
- operating body
- skeleton
- acquisition unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 39
- 210000000988 bone and bone Anatomy 0.000 claims description 2
- 210000000746 body region Anatomy 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 17
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种数据处理方法及装置，应用于电子设备，所述电子设备包括采集单元，所述方法包括获取采集单元采集到的第一图像；确定第一图像中的第一子图像，第一子图像与一操作体相对应；获取采集单元采集到的至少一个分别以第一子图像中操作体为目标的第二图像，每个第二图像中分别包括一第二子图像，每个第二子图像分别与操作体相对应；第一子图像所占第一图像中的第一比例小于每个第二子图像所占其各自对应的第二图像中的第二比例；获取与至少一个第二子图像中操作体相对应的操作命令；执行操作命令。本申请通过对操作体所在区域图像进行拉近获取，进而得到更为清楚精确的操作体图像，提高操作体的识别准确率，进而提高操作的准确性。
Description
技术领域
本申请涉及计算机应用技术领域，特别涉及一种数据处理方法及装置。
背景技术
目前，在进行电视操作者的手势识别时，通常采用在电视机上设置摄像头的方式进行识别获取。但由于电视操作者距离电视机距离较远，现有进行手势识别的摄像头无法达到高像素的要求，使得现有方案对手势的识别准确率较低。
发明内容
本申请所要解决的技术问题是提供一种数据处理方法及装置，用以解决现有技术中手势识别的方案中，识别准确低导致对应命令及操作的执行准确低的技术问题。
本申请提供了一种数据处理方法，应用于电子设备，所述电子设备包括采集单元，所述方法包括：
获取所述采集单元采集到的第一图像；
确定所述第一图像中的第一子图像，所述第一子图像与一操作体相对应；
获取所述采集单元采集到的至少一个分别以所述第一子图像中操作体为目标的第二图像，每个所述第二图像中分别包括一第二子图像，每个所述第二子图像分别与所述操作体相对应；
其中，所述第一子图像所占所述第一图像中的第一比例小于每个所述第二子图像所占其各自对应的第二图像中的第二比例；
获取与至少一个所述第二子图像中操作体相对应的操作命令；
执行所述操作命令。
上述方法，优选的，每个所述第二子图像所对应的第二比例各不相同，且所述第二子图像对应的第二比例依其被所述采集单元所采集的前后顺序依次增大。
上述方法，优选的，所述获取所述采集单元采集到的至少一个分别以所述第一子图像中操作体为目标的第二图像，包括：
触发所述采集单元采集至少一个分别以所述第一子图像中操作体为对焦点的第二图像；
获取每个所述第二图像。
上述方法，优选的，所述确定所述第一图像中的第一子图像，包括：
识别所述第一图像，得到所述第一图像中的操作体位置；
确定所述操作体位置所在区域图像为所述第一图像中的第一子图像。
上述方法，优选的，所述识别所述第一图像，得到所述第一图像中的操作体位置，包括：
扫描所述第一图像，得到所述第一图像中至少一个待选操作体的骨架；
确定所述待选操作体骨架中与接收到的用户操作指令所描述的骨架相匹配的目标骨架；
确定所述目标骨架的位置为所述第一图像中的操作体位置。
上述方法，优选的，所述识别所述第一图像，得到所述第一图像中的操作体位置，包括：
扫描所述第一图像，得到所述第一图像中的人体骨架；
确定所述人体骨架中与接收到的用户操作指令所描述的骨架相匹配的目标骨架；
确定所述目标骨架的位置为所述第一图像中的操作体位置。
上述方法，优选的，所述获取与至少一个所述第二子图像中操作体相对应的操作命令，包括：
在至少一个所述第二子图像中，选取其第二比例值最大的第二子图像作为目标子图像；
识别所述目标子图像中的操作体的轮廓数据；
依据预设的命令与轮廓的对应关系，确定与所述轮廓数据相对应的命令作为操作命令。
本申请还提供了一种数据处理装置，应用于电子设备，所述电子设备包括采集单元，所述装置包括：
第一图像获取单元，用于获取所述采集单元采集到的第一图像；
第一子图像确定单元，用于确定所述第一图像中的第一子图像，所述第一子图像与一操作体相对应；
第二图像获取单元，用于获取所述采集单元采集到的至少一个分别以所述第一子图像中操作体为目标的第二图像，每个所述第二图像中分别包括一第二子图像，每个所述第二子图像分别与所述操作体相对应；
其中，所述第一子图像所占所述第一图像中的第一比例小于每个所述第二子图像所占其各自对应的第二图像中的第二比例；
命令获取单元，用于获取与至少一个所述第二子图像中操作体相对应的操作命令；
命令执行单元，用于执行所述操作命令。
上述装置，优选的，每个所述第二子图像所对应的第二比例各不相同，且所述第二子图像对应的第二比例依其被所述采集单元所采集的前后顺序依次增大。
上述装置，优选的，所述第二图像获取单元包括：
采集触发子单元，用于触发所述采集单元采集至少一个分别以所述第一子图像中操作体为对焦点的第二图像；
图像获取子单元，用于获取每个所述第二图像。
上述装置，优选的，所述第一子图像确定单元包括：
图像识别子单元，用于识别所述第一图像，得到所述第一图像中的操作体位置；
图像确定子单元，用于确定所述操作体位置所在区域图像为所述第一图像中的第一子图像。
上述装置，优选的，所述图像识别子单元包括；
第一扫描模块，用于扫描所述第一图像，得到所述第一图像中至少一 个待选操作体的骨架；
第一骨架确定模块，用于确定所述待选操作体骨架中与接收到的用户操作指令所描述的骨架相匹配的目标骨架；
第一位置确定模块，用于确定所述目标骨架所对应的待选操作体的位置为所述第一图像中的操作体位置。
上述装置，优选的，所述图像识别子单元包括：
第二扫描模块，用于扫描所述第一图像，得到所述第一图像中的人体骨架；
第二骨架确定模块，用于确定所述人体骨架中与接收到的用户操作指令所描述的骨架相匹配的目标骨架；
第二位置确定模块，用于确定所述目标骨架的位置为所述第一图像中的操作体位置。
上述装置，优选的，所述命令获取单元，包括：
图像选取子单元，用于在至少一个所述第二子图像中，选取其第二比例值最大的第二子图像作为目标子图像；
轮廓识别子单元，用于识别所述目标子图像中操作体的轮廓数据；
命令确定子单元，用于依据预设的命令与轮廓的对应关系，确定与所述轮廓数据相对应的命令作为操作命令。
由上述方案可知，本申请提供的一种数据处理方法及装置，通过获取电子设备中采集单元采集到的第一图像，进而确定该第一图像中与一操作体相对应的第一子图像，并获取该采集单元采集到多个的以第一子图像中操作体为目标的第二图像，每个第二图像包括与该操作体相对应的第二子图像，而第一子图像所占第一图像中的第一比例小于每个第二子图像所占其各自对应的第二图像中的第二比例，之后，获取与至少一个第二子图像中操作体相对应的操作命令并执行该操作命令，实现本申请目的。本申请通过对操作体所在区域图像进行拉近获取，进而得到更为清楚精确的操作体图像，从而获取到对应的操作命令，并执行该命令，提高操作体的识别准确率，进而提高操作的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种数据处理方法实施例一的流程图；
图2为本申请实施例一的应用示例图；
图3为本申请实施例一的另一应用示例图；
图4为本申请提供的一种数据处理方法实施例二的部分流程图；
图5为本申请实施例二的部分流程图；
图6为本申请实施例二的另一部分流程图；
图7为本申请实施例二的应用示例图；
图8为本申请实施例二的另一应用示例图；
图9为本申请提供的一种数据处理方法实施例三的部分流程图；
图10为本申请提供的一种数据处理装置实施例四的结构示意图；
图11为本申请实施例四的部分结构示意图；
图12为本申请提供的一种数据处理装置实施例五的部分结构示意图；
图13为本申请实施例五的部分结构示意图；
图14为本申请实施例五的另一部分结构示意图；
图15为本申请提供的一种数据处理装置实施例六的部分结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参考图1，为本申请提供的一种数据处理方法实施例一的流程图，所述方法可以应用于电子设备，所述电子设备为包含有采集单元的设备，所述采 集单元可以对场景图像进行采集，所述方法可以包括以下步骤：
步骤101：获取所述采集单元采集到的第一图像。
其中，所述第一图像是指待识别操作体所在场景的全景图像，所述待识别操作体可以为人体的手、口或眼球等。
其中，所述采集单元可以为能够采集图像数据的摄像头等设备，所述电子设备可以为电视机、电脑或pad等设置有采集单元的装置，在需要对用户的操作体进行识别从而进行电子设备上的命令执行时，如用户通过手部动作触发点击电子设备的显示单元所显示的内容时，执行本申请，触发所述采集单元采集用户所在的全景图像即为第一图像，进而由本申请对该第一图像进行获取。
步骤102：确定所述第一图像中的第一子图像，所述第一子图像与一操作体相对应。
其中，所述第一子图像与所述操作体相对应是指，在所述第一图像中所述操作体所对应的图像区域即为所述第一子图像，如图2中所示。
需要说明的是，所述第一子图像即所述操作体所在图像区域所占所述第一图像中的比例定义为第一比例。
步骤103：获取所述采集单元采集到的至少一个分别以所述第一子图像中操作体为目标的第二图像。
其中，每个所述第二图像中分别包括一第二子图像，每个所述第二子图像分别与所述操作体相对应。
需要说明的是，所述步骤103可以理解为，所述采集单元采集到的第二图像即为包含有所述操作体所对应的图像区域的图像。所述第二子图像与所述操作体相对应是指，在所述第二图像中所述操作体所对应的图像区域即为该第二图像中的第二子图像，如图3中所示。
其中，所述第二子图像即为所述操作体所在第二图像中所占图像区域在所述第二图像中的比例定义为第二比例，在本申请实施例中，每个所述第二比例均大于所述第一比例，可以理解为：所述采集单元所采集到的第一图像与第二图像的分辨率且大小相同，在所述第一图像中所述操作体所占的第一比例小于每个所述第二图像中所述操作体所占的第二比例，所述第二图像为 所述第一图像中含有所述第一子图像的部分图像以变化的倍数放大之后且其分辨率不便的效果图。
其中，每个所述第二子图像所对应的第二比例各不相同，且所述第二子图像对应的第二比例依其被所述采集单元所采集的前后顺序依次增大。
其中，所述步骤103可以通过以下方式具体实现：
触发所述采集单元以所述第一子图像中操作体为对焦点，并以至少一个对焦焦距采集包含有所述第一子图像全部区域的第二图像，其中每个对焦焦距均不相同且随着图像获取的次数依次减小，每个对焦焦距对应一个第二图像及其第二子图像，所述采集单元采集到的第二图像即为以所述第一子图像中操作体目标拉近焦距之后得到的图像，所述采集单元最终采集到的第二图像中对应的第二比例最大，之后，由本申请对每个所述第二图像进行获取。
此时，所述步骤103中获取到的第二图像中的第二子图像较所述第一子图像明显容易辨识。
步骤104：获取与至少一个所述第二子图像中操作体相对应的操作命令。
其中，所述步骤104可以理解为：根据所述第二子图像中操作体的轮廓或骨架形状判定出该操作体所属用户的意图，从而确定与该用户意图相对应的操作命令。
步骤105：执行所述操作命令。
其中，在所述步骤104中确定到与第二子图像中操作体对应的操作命令之后，依据该操作命令，在所述电子设备所显示的内容上执行相对应的动作，如点击选中或打开对应文件等。
由上述方案可知，本申请提供的一种数据处理方法实施例一，通过获取电子设备中采集单元采集到的第一图像，进而确定该第一图像中与一操作体相对应的第一子图像，并获取该采集单元采集到多个的以第一子图像中操作体为目标的第二图像，每个第二图像包括与该操作体相对应的第二子图像，而第一子图像所占第一图像中的第一比例小于每个第二子图像所占其各自对应的第二图像中的第二比例，之后，获取与至少一个第二子图像中操作体相对应的操作命令并执行该操作命令，实现本申请实施例目的。本申请实施例通过对操作体所在区域图像进行拉近获取，进而得到更为清楚精确的操作 体图像，从而获取到对应的操作命令，并执行该命令，提高操作体的识别准确率，进而提高操作的准确性。
参考图4，为本申请提供的一种数据处理方法实施例二中所述步骤102的流程图，所述步骤102可以包括以下步骤：
步骤401：识别所述第一图像，得到所述第一图像中的操作体位置。
其中，所述操作体位置可以为所述操作体的绝对中心点所在位置的坐标值，也可以为所述操作体的边缘轮廓所在位置的坐标值，也可以为以所述操作体的绝对中心点为中心的最大外切圆的边缘坐标值等。
其中，参考图5，为本申请实施例二中所述步骤401的流程图，所述步骤401可以通过以下步骤实现：
步骤501：扫描所述第一图像，得到所述第一图像中至少一个待选操作体的骨架。
其中，所述步骤501中可以采用二维图像扫描方法扫描所述第一图像，也可以采用样本匹配识别的方法扫描匹配该第一图像，从而得到所述第一图像中至少一个待选操作体的骨架。
其中，所述待选操作体可以包括口、眼球、手和躯体等中的任意一种或任意组合。
步骤502：确定所述待选操作体骨架中与接收到的用户操作指令所描述的骨架相匹配的目标骨架。
其中，所述用户操作指令是指用户对操作体类型进行定义或设置的指令，可以由用户预先进行设置，也可以在本申请实施例运行过程中由用户设置。所述用户操作指令中设置有用户所定义的操作体类型对应的骨架信息。
步骤503：确定所述目标骨架的位置为所述第一图像中的操作体位置。
其中，所述步骤503中的所述目标骨架的位置可以为所述步骤401中所述操作体的绝对中心点所在位置的坐标值，或者，所述操作体的绝对中心点为中心的最大外切圆的边缘坐标值等。
参考图6，为本申请实施例二中所述步骤401的流程图，其中，所述步骤401可以通过以下步骤实现：
步骤601：扫描所述第一图像，得到所述第一图像中的人体骨架。
其中，所述步骤601中可以采用二维图像扫描方法扫描所述第一图像，也可以采用样本匹配识别的方法扫描匹配该第一图像，从而得到所述第一图像中的人体骨架。所述人体骨架可以为人体的全部骨架或包含有操作体骨架的部分骨架，如图7（1-tracking）中所示。
步骤602：确定所述人体骨架中与接收到的用户操作指令所描述的骨架相匹配的目标骨架。
其中，所述用户操作指令是指用户对操作体类型进行定义或设置的指令，可以由用户预先进行设置，也可以在本申请实施例运行过程中由用户设置。所述用户操作指令中设置有用户所定义的操作体类型对应的骨架信息。
需要说明的是，所述步骤602中可以通过逐步匹配的方式，确定该人体骨架中与用户操作指令中骨架相匹配的目标骨架。
步骤603：确定所述目标骨架的位置为所述第一图像中的操作体位置。
其中，所述步骤603中的所述目标骨架的位置可以为所述步骤401中所述操作体的绝对中心点所在位置的坐标值，或者，所述操作体的绝对中心点为中心的最大外切圆的边缘坐标值等。
步骤402：确定所述操作体位置所在区域图像为所述第一图像中的第一子图像。
其中，所述步骤402中的第一子图像包括由所述操作体的边缘轮廓在内的操作体位置所对应各个像素点所组成的图像。
以图8为例，图中8a为获取到的第一图像，含有手掌图像的全景图像，在获取第一图像之后，如图中8b至图中8d中所示的确定第一图像中第一子图像，手掌图像，在确定第一子图像之后，获取含有该第一子图像中手掌图像的第二图像，如图中8e中所示，该第二图像中含有与手掌对应的第二子图像，且第二比例大于第一比例，即相对于第一图像中的第一子图像，第二图像中的 第二子图像较大，相对清晰，易于辨识。
参考图9，为本申请提供的一种数据处理方法实施例三中所述步骤104的流程图，所述步骤104可以通过以下步骤实现：
步骤901：在至少一个所述第二子图像中，选取其第二比例值最大的第二子图像作为目标子图像。
需要说明的是，所述第二图像中其第二子图像对应的第二比例值最大说明该第二图像中第二子图像最为清晰，在后续的操作体命令确定的准确率更为精确。
步骤902：识别所述目标子图像中的操作体的轮廓数据。
其中，所述步骤902中可以通过二维图像扫描等方式实现对目标子图像中操作体轮廓数据的识别。
步骤903：依据预设的命令与轮廓的对应关系，确定与所述轮廓数据相对应的命令作为操作命令。
其中，所述命令与轮廓的对应关系可以由用户预先设置。每个轮廓数据对应该轮廓数据对应操作体姿势的操作命令。由此在识别到操作体轮廓数据之后，确定与该轮廓数据相对应的操作命令，进而后续中对该操作命令进行执行，实现本申请目的。
参考图10，为本申请提供的一种数据处理装置实施例四的结构示意图，所述装置应用于电子设备，所述电子设备为包含有采集单元的设备，所述采集单元可以对场景图像进行采集，所述装置可以包括：
第一图像获取单元1001，用于获取所述采集单元采集到的第一图像。
其中，所述第一图像是指待识别操作体所在场景的全景图像，所述待识别操作体可以为人体的手、口或眼球等。
其中，所述采集单元可以为能够采集图像数据的摄像头等设备，所述电子设备可以为电视机、电脑或pad等设置有采集单元的装置，在需要对用户的操作体进行识别从而进行电子设备上的命令执行时，如用户通过手部动作触发点击电子设备的显示单元所显示的内容时，执行本申请，触发所述采集 单元采集用户所在的全景图像即为第一图像，进而由本申请对该第一图像进行获取。
第一子图像确定单元1002，用于确定所述第一图像中的第一子图像，所述第一子图像与一操作体相对应。
其中，所述第一子图像与所述操作体相对应是指，在所述第一图像中所述操作体所对应的图像区域即为所述第一子图像，如图2中所示。
需要说明的是，所述第一子图像即所述操作体所在图像区域所占所述第一图像中的比例定义为第一比例。
第二图像获取单元1003，用于获取所述采集单元采集到的至少一个分别以所述第一子图像中操作体为目标的第二图像。
其中，每个所述第二图像中分别包括一第二子图像，每个所述第二子图像分别与所述操作体相对应。
需要说明的是，所述第二图像获取单元1003可以理解为，所述采集单元采集到的第二图像即为包含有所述操作体所对应的图像区域的图像。所述第二子图像与所述操作体相对应是指，在所述第二图像中所述操作体所对应的图像区域即为该第二图像中的第二子图像，如图3中所示。
其中，所述第二子图像即为所述操作体所在第二图像中所占图像区域在所述第二图像中的比例定义为第二比例，在本申请实施例中，每个所述第二比例均大于所述第一比例，可以理解为：所述采集单元所采集到的第一图像与第二图像的分辨率且大小相同，在所述第一图像中所述操作体所占的第一比例小于每个所述第二图像中所述操作体所占的第二比例，所述第二图像为所述第一图像中含有所述第一子图像的部分图像以变化的倍数放大之后且其分辨率不便的效果图。
其中，每个所述第二子图像所对应的第二比例各不相同，且所述第二子图像对应的第二比例依其被所述采集单元所采集的前后顺序依次增大。
其中，参考图11，为本申请实施例四中所述第二图像获取单元1003的结构示意图，其中，所述第二图像获取单元1003可以包括：
采集触发子单元1031，用于触发所述采集单元采集至少一个分别以所述第一子图像中操作体为对焦点的第二图像。
其中，所述采集触发子单元1031可以理解为：触发所述采集单元以所述第一子图像中操作体为对焦点，并以至少一个对焦焦距采集包含有所述第一子图像全部区域的第二图像，其中每个对焦焦距均不相同且随着图像获取的次数依次减小，每个对焦焦距对应一个第二图像及其第二子图像，所述采集单元采集到的第二图像即为以所述第一子图像中操作体目标拉近焦距之后得到的图像，所述采集单元最终采集到的第二图像中对应的第二比例最大。
图像获取子单元1032，用于获取每个所述第二图像。
其中，在所述采集触发子单元1031触发所述采集单元获取第二图像之后，由所述图像获取子单元1032对每个所述第二图像进行获取。
此时，所述第二图像获取单元1003中获取到的第二图像中的第二子图像较所述第一子图像明显容易辨识。
命令获取单元1004，用于获取与至少一个所述第二子图像中操作体相对应的操作命令。
其中，所述命令获取单元1004可以理解为：根据所述第二子图像中操作体的轮廓或骨架形状判定出该操作体所属用户的意图，从而确定与该用户意图相对应的操作命令。
命令执行单元1005，用于执行所述操作命令。
其中，所述命令获取单元1004在确定到与第二子图像中操作体对应的操作命令之后，所述命令执行单元1005依据该操作命令，在所述电子设备所显示的内容上执行相对应的动作，如点击选中或打开对应文件等。
由上述方案可知，本申请提供的一种数据处理装置实施例四，通过获取电子设备中采集单元采集到的第一图像，进而确定该第一图像中与一操作体相对应的第一子图像，并获取该采集单元采集到多个的以第一子图像中操作体为目标的第二图像，每个第二图像包括与该操作体相对应的第二子图像，而第一子图像所占第一图像中的第一比例小于每个第二子图像所占其各自对应的第二图像中的第二比例，之后，获取与至少一个第二子图像中操作体相对应的操作命令并执行该操作命令，实现本申请实施例目的。本申请实施例通过对操作体所在区域图像进行拉近获取，进而得到更为清楚精确的操作 体图像，从而获取到对应的操作命令，并执行该命令，提高操作体的识别准确率，进而提高操作的准确性。
参考图12，为本申请提供的一种数据处理装置实施例五中所述第一子图像确定单元1002的结构示意图，所述第一子图像确定单元1002可以包括：
图像识别子单元1021，用于识别所述第一图像，得到所述第一图像中的操作体位置。
其中，所述操作体位置可以为所述操作体的绝对中心点所在位置的坐标值，也可以为所述操作体的边缘轮廓所在位置的坐标值，也可以为以所述操作体的绝对中心点为中心的最大外切圆的边缘坐标值等。
其中，参考图13，为本申请实施例五中所述图像识别子单元1021的结构示意图，所述图像识别子单元1021可以包括；
第一扫描模块10211，用于扫描所述第一图像，得到所述第一图像中至少一个待选操作体的骨架。
其中，所述第一扫描模块10211可以采用二维图像扫描方法扫描所述第一图像，也可以采用样本匹配识别的方法扫描匹配该第一图像，从而得到所述第一图像中至少一个待选操作体的骨架。
其中，所述待选操作体可以包括口、眼球、手和躯体等中的任意一种或任意组合。
第一骨架确定模块10212，用于确定所述待选操作体骨架中与接收到的用户操作指令所描述的骨架相匹配的目标骨架。
其中，所述用户操作指令是指用户对操作体类型进行定义或设置的指令，可以由用户预先进行设置，也可以在本申请实施例运行过程中由用户设置。所述用户操作指令中设置有用户所定义的操作体类型对应的骨架信息。
第一位置确定模块10213，用于确定所述目标骨架所对应的待选操作体的位置为所述第一图像中的操作体位置。
其中，所述第一位置确定模块10213中的所述目标骨架的位置可以为 所述图像识别子单元1021中所述操作体的绝对中心点所在位置的坐标值，或者，所述操作体的绝对中心点为中心的最大外切圆的边缘坐标值等。
参考图14，为本申请实施例五中所述图像识别子单元1021的另一结构示意图，所述图像识别子单元1021可以包括：
第二扫描模块10214，用于扫描所述第一图像，得到所述第一图像中的人体骨架。
其中，所述第二扫描模块10214可以采用二维图像扫描方法扫描所述第一图像，也可以采用样本匹配识别的方法扫描匹配该第一图像，从而得到所述第一图像中的人体骨架。所述人体骨架可以为人体的全部骨架或包含有操作体骨架的部分骨架，如图7中所示。
第二骨架确定模块10215，用于确定所述人体骨架中与接收到的用户操作指令所描述的骨架相匹配的目标骨架。
其中，所述用户操作指令是指用户对操作体类型进行定义或设置的指令，可以由用户预先进行设置，也可以在本申请实施例运行过程中由用户设置。所述用户操作指令中设置有用户所定义的操作体类型对应的骨架信息。
需要说明的是，所述第二骨架确定模块10215可以通过逐步匹配的方式，确定该人体骨架中与用户操作指令中骨架相匹配的目标骨架。
第二位置确定模块10216，用于确定所述目标骨架的位置为所述第一图像中的操作体位置。
其中，所述第二位置确定模块10216中的所述目标骨架的位置可以为所述图像确定子单元1022中所述操作体的绝对中心点所在位置的坐标值，或者，所述操作体的绝对中心点为中心的最大外切圆的边缘坐标值等。
图像确定子单元1022，用于确定所述操作体位置所在区域图像为所述第一图像中的第一子图像。
其中，所述图像确定子单元1022中的第一子图像包括由所述操作体的边缘轮廓在内的操作体位置所对应各个像素点所组成的图像。
以图8为例，图中8a为获取到的第一图像，含有手掌图像的全景图像， 在获取第一图像之后，如图中8b至图中8d中所示的确定第一图像中第一子图像，手掌图像，在确定第一子图像之后，获取含有该第一子图像中手掌图像的第二图像，如图中8e中较小框图内所示，该第二图像中含有与手掌对应的第二子图像，且第二比例大于第一比例，即相对于第一图像中的第一子图像，第二图像中的第二子图像较大，相对清晰，易于辨识。
参考图15，为本申请提供的一种数据处理装置实施例六中所述命令获取单元1004的结构示意图，其中，所述命令获取单元1004可以包括：
图像选取子单元1041，用于在至少一个所述第二子图像中，选取其第二比例值最大的第二子图像作为目标子图像。
需要说明的是，所述第二图像中其第二子图像对应的第二比例值最大说明该第二图像中第二子图像最为清晰，在后续的操作体命令确定的准确率更为精确。
轮廓识别子单元1042，用于识别所述目标子图像中操作体的轮廓数据。
其中，所述轮廓识别子单元1042可以通过二维图像扫描等方式实现对目标子图像中操作体轮廓数据的识别。
命令确定子单元1043，用于依据预设的命令与轮廓的对应关系，确定与所述轮廓数据相对应的命令作为操作命令。
其中，所述命令与轮廓的对应关系可以由用户预先设置。每个轮廓数据对应该轮廓数据对应操作体姿势的操作命令。由此在识别到操作体轮廓数据之后，确定与该轮廓数据相对应的操作命令，进而后续中对该操作命令进行执行，实现本申请目的。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而 且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种数据处理方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种数据处理方法，其特征在于，应用于电子设备，所述电子设备包括采集单元，所述方法包括：
获取所述采集单元采集到的第一图像，所述第一图像是指待识别操作体所在场景的全景图像；
确定所述第一图像中的第一子图像，所述第一子图像与一操作体相对应；
获取所述采集单元采集到的至少一个分别以所述第一子图像中操作体为目标的第二图像，每个所述第二图像中分别包括一第二子图像，每个所述第二子图像分别与所述操作体相对应；
其中，所述第一子图像所占所述第一图像中的第一比例小于每个所述第二子图像所占其各自对应的第二图像中的第二比例；
获取与至少一个所述第二子图像中操作体相对应的操作命令；
执行所述操作命令；
其中所述确定所述第一图像中的第一子图像，包括：
识别所述第一图像，得到所述第一图像中的操作体位置；
确定所述操作体位置所在区域图像为所述第一图像中的第一子图像。
2.根据权利要求1所述的方法，其特征在于，每个所述第二子图像所对应的第二比例各不相同，且所述第二子图像对应的第二比例依其被所述采集单元所采集的前后顺序依次增大。
3.根据权利要求1所述的方法，其特征在于，所述获取所述采集单元采集到的至少一个分别以所述第一子图像中操作体为目标的第二图像，包括：
触发所述采集单元采集至少一个分别以所述第一子图像中操作体为对焦点的第二图像；
获取每个所述第二图像。
4.根据权利要求1所述的方法，其特征在于，所述识别所述第一图像，得到所述第一图像中的操作体位置，包括：
扫描所述第一图像，得到所述第一图像中至少一个待选操作体的骨架；
确定所述待选操作体骨架中与接收到的用户操作指令所描述的骨架相匹配的目标骨架；
确定所述目标骨架的位置为所述第一图像中的操作体位置。
5.根据权利要求1所述的方法，其特征在于，所述识别所述第一图像，得到所述第一图像中的操作体位置，包括：
扫描所述第一图像，得到所述第一图像中的人体骨架；
确定所述人体骨架中与接收到的用户操作指令所描述的骨架相匹配的目标骨架；
确定所述目标骨架的位置为所述第一图像中的操作体位置。
6.根据权利要求1或3所述的方法，其特征在于，所述获取与至少一个所述第二子图像中操作体相对应的操作命令，包括：
在至少一个所述第二子图像中，选取其第二比例值最大的第二子图像作为目标子图像；
识别所述目标子图像中的操作体的轮廓数据；
依据预设的命令与轮廓的对应关系，确定与所述轮廓数据相对应的命令作为操作命令。
7.一种数据处理装置，其特征在于，应用于电子设备，所述电子设备包括采集单元，所述装置包括：
第一图像获取单元，用于获取所述采集单元采集到的第一图像，所述第一图像是指待识别操作体所在场景的全景图像；
第一子图像确定单元，用于确定所述第一图像中的第一子图像，所述第一子图像与一操作体相对应；
第二图像获取单元，用于获取所述采集单元采集到的至少一个分别以所述第一子图像中操作体为目标的第二图像，每个所述第二图像中分别包括一第二子图像，每个所述第二子图像分别与所述操作体相对应；
其中，所述第一子图像所占所述第一图像中的第一比例小于每个所述第二子图像所占其各自对应的第二图像中的第二比例；
命令获取单元，用于获取与至少一个所述第二子图像中操作体相对应的操作命令；
命令执行单元，用于执行所述操作命令；
其中所述第一子图像确定单元包括：
图像识别子单元，用于识别所述第一图像，得到所述第一图像中的操作体位置；
图像确定子单元，用于确定所述操作体位置所在区域图像为所述第一图像中的第一子图像。
8.根据权利要求7所述的装置，其特征在于，每个所述第二子图像所对应的第二比例各不相同，且所述第二子图像对应的第二比例依其被所述采集单元所采集的前后顺序依次增大。
9.根据权利要求7所述的装置，其特征在于，所述第二图像获取单元包括：
采集触发子单元，用于触发所述采集单元采集至少一个分别以所述第一子图像中操作体为对焦点的第二图像；
图像获取子单元，用于获取每个所述第二图像。
10.根据权利要求7所述的装置，其特征在于，所述图像识别子单元包括；
第一扫描模块，用于扫描所述第一图像，得到所述第一图像中至少一个待选操作体的骨架；
第一骨架确定模块，用于确定所述待选操作体骨架中与接收到的用户操作指令所描述的骨架相匹配的目标骨架；
第一位置确定模块，用于确定所述目标骨架所对应的待选操作体的位置为所述第一图像中的操作体位置。
11.根据权利要求7所述的装置，其特征在于，所述图像识别子单元包括：
第二扫描模块，用于扫描所述第一图像，得到所述第一图像中的人体骨架；
第二骨架确定模块，用于确定所述人体骨架中与接收到的用户操作指令所描述的骨架相匹配的目标骨架；
第二位置确定模块，用于确定所述目标骨架的位置为所述第一图像中的操作体位置。
12.根据权利要求7或9所述的装置，其特征在于，所述命令获取单元，包括：
图像选取子单元，用于在至少一个所述第二子图像中，选取其第二比例值最大的第二子图像作为目标子图像；
轮廓识别子单元，用于识别所述目标子图像中操作体的轮廓数据；
命令确定子单元，用于依据预设的命令与轮廓的对应关系，确定与所述轮廓数据相对应的命令作为操作命令。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310347509.9A CN104349197B (zh) | 2013-08-09 | 2013-08-09 | 一种数据处理方法及装置 |
| US14/230,250 US8964128B1 (en) | 2013-08-09 | 2014-03-31 | Image data processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310347509.9A CN104349197B (zh) | 2013-08-09 | 2013-08-09 | 一种数据处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104349197A CN104349197A (zh) | 2015-02-11 |
| CN104349197B true CN104349197B (zh) | 2019-07-26 |
Family
ID=52448363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310347509.9A Active CN104349197B (zh) | 2013-08-09 | 2013-08-09 | 一种数据处理方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8964128B1 (zh) |
| CN (1) | CN104349197B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105472238A (zh) * | 2015-11-16 | 2016-04-06 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
| CN105550655A (zh) * | 2015-12-16 | 2016-05-04 | Tcl集团股份有限公司 | 一种手势图像获取设备及其手势图像获取方法 |
| CN110942422A (zh) * | 2018-09-21 | 2020-03-31 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和计算机存储介质 |
| CN113743282A (zh) * | 2021-08-30 | 2021-12-03 | 深圳Tcl新技术有限公司 | 内容搜索方法、装置、电子设备和计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102307309A (zh) * | 2011-07-29 | 2012-01-04 | 杭州电子科技大学 | 一种基于自由视点的体感交互导播系统及方法 |
| CN102761706A (zh) * | 2011-04-26 | 2012-10-31 | 株式会社理光 | 成像设备、成像方法及程序 |
| CN103135881A (zh) * | 2011-12-02 | 2013-06-05 | 深圳泰山在线科技有限公司 | 显示控制方法及系统 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2667571Y (zh) * | 2003-10-27 | 2004-12-29 | 北京雷波泰克信息技术有限公司 | 快速多目标人像自动识别与跟踪安全防御装置 |
| US8041659B2 (en) * | 2006-07-14 | 2011-10-18 | Ailive, Inc. | Systems and methods for motion recognition using multiple sensing streams |
| US8384665B1 (en) * | 2006-07-14 | 2013-02-26 | Ailive, Inc. | Method and system for making a selection in 3D virtual environment |
| US8856691B2 (en) * | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
| JP5396620B2 (ja) * | 2010-01-08 | 2014-01-22 | 任天堂株式会社 | 情報処理プログラム及び情報処理装置 |
| US8523667B2 (en) * | 2010-03-29 | 2013-09-03 | Microsoft Corporation | Parental control settings based on body dimensions |
| CN106125921B (zh) * | 2011-02-09 | 2019-01-15 | 苹果公司 | 3d映射环境中的凝视检测 |
| US20120226981A1 (en) * | 2011-03-02 | 2012-09-06 | Microsoft Corporation | Controlling electronic devices in a multimedia system through a natural user interface |
| CN102685382B (zh) * | 2011-03-18 | 2016-01-20 | 安尼株式会社 | 图像处理装置和方法、及移动体防碰撞装置 |
| US20120268424A1 (en) * | 2011-04-20 | 2012-10-25 | Kim Taehyeong | Method and apparatus for recognizing gesture of image display device |
| RU2455676C2 (ru) * | 2011-07-04 | 2012-07-10 | Общество с ограниченной ответственностью "ТРИДИВИ" | Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления |
| JP2013205983A (ja) * | 2012-03-27 | 2013-10-07 | Sony Corp | 情報入力装置及び情報入力方法、並びにコンピューター・プログラム |
| US9682321B2 (en) * | 2012-06-20 | 2017-06-20 | Microsoft Technology Licensing, Llc | Multiple frame distributed rendering of interactive content |
| US20140009384A1 (en) * | 2012-07-04 | 2014-01-09 | 3Divi | Methods and systems for determining location of handheld device within 3d environment |
| CN102801924B (zh) * | 2012-07-20 | 2014-12-03 | 合肥工业大学 | 一种基于Kinect的电视节目主持互动系统 |
| US10474342B2 (en) * | 2012-12-17 | 2019-11-12 | Microsoft Technology Licensing, Llc | Scrollable user interface control |
| CN103123689B (zh) * | 2013-01-21 | 2016-11-09 | 信帧电子技术（北京）有限公司 | 一种基于人腿检测的奔跑检测方法和装置 |
-
2013
- 2013-08-09 CN CN201310347509.9A patent/CN104349197B/zh active Active
-
2014
- 2014-03-31 US US14/230,250 patent/US8964128B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102761706A (zh) * | 2011-04-26 | 2012-10-31 | 株式会社理光 | 成像设备、成像方法及程序 |
| CN102307309A (zh) * | 2011-07-29 | 2012-01-04 | 杭州电子科技大学 | 一种基于自由视点的体感交互导播系统及方法 |
| CN103135881A (zh) * | 2011-12-02 | 2013-06-05 | 深圳泰山在线科技有限公司 | 显示控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8964128B1 (en) | 2015-02-24 |
| US20150042893A1 (en) | 2015-02-12 |
| CN104349197A (zh) | 2015-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104427252B (zh) | 用于合成图像的方法及其电子设备 | |
| CN104349197B (zh) | 一种数据处理方法及装置 | |
| CN108594999B (zh) | 用于全景图像展示系统的控制方法和装置 | |
| US9008442B2 (en) | Information processing apparatus, information processing method, and computer program | |
| DE102018103572A1 (de) | Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium | |
| CN111527468A (zh) | 一种隔空交互方法、装置和设备 | |
| CN105068646B (zh) | 终端的控制方法和系统 | |
| CN106407875A (zh) | 目标特征提取方法及装置 | |
| JP2013101242A (ja) | 画像処理装置、表示制御方法及びプログラム | |
| CN104349021A (zh) | 图像采集方法、装置及终端 | |
| CN106778615B (zh) | 一种识别用户身份的方法、装置和物业服务机器人 | |
| US9268408B2 (en) | Operating area determination method and system | |
| CN106272446B (zh) | 机器人动作模拟的方法和装置 | |
| KR101256046B1 (ko) | 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템 | |
| US11026762B2 (en) | Medical observation device, processing method, and medical observation system | |
| CN109313806A (zh) | 图像处理装置、图像处理系统、图像处理方法和程序 | |
| CN109828681A (zh) | 激光笔光流轨迹跟踪方法、投影设备及计算机可读存储介质 | |
| TW202145065A (zh) | 一種圖像處理方法、電子設備及電腦可讀儲存介質 | |
| CN111291746A (zh) | 影像处理系统及影像处理方法 | |
| JP2016146188A (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
| CN109889892A (zh) | 视频效果添加方法、装置、设备及存储介质 | |
| CN107749942A (zh) | 悬浮拍摄方法、移动终端及计算机可读存储介质 | |
| JPH10149447A (ja) | ジェスチャー認識方法および装置 | |
| CN114463776A (zh) | 跌倒识别方法、装置、设备及存储介质 | |
| Albuquerque et al. | Remote Pathological Gait Classification System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |