CN106020448A - 基于智能终端的人机交互方法和系统 - Google Patents

基于智能终端的人机交互方法和系统 Download PDF

Info

Publication number
CN106020448A
CN106020448A CN201610300527.5A CN201610300527A CN106020448A CN 106020448 A CN106020448 A CN 106020448A CN 201610300527 A CN201610300527 A CN 201610300527A CN 106020448 A CN106020448 A CN 106020448A
Authority
CN
China
Prior art keywords
target object
user
recognition result
information
positional information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610300527.5A
Other languages
English (en)
Other versions
CN106020448B (zh
Inventor
刘国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN GUOHUA IDENTIFICATION TECHNOLOGY DEVELOPMENT Co Ltd
Original Assignee
SHENZHEN GUOHUA IDENTIFICATION TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN GUOHUA IDENTIFICATION TECHNOLOGY DEVELOPMENT Co Ltd filed Critical SHENZHEN GUOHUA IDENTIFICATION TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN201610300527.5A priority Critical patent/CN106020448B/zh
Publication of CN106020448A publication Critical patent/CN106020448A/zh
Priority to PCT/CN2017/081938 priority patent/WO2017190614A1/zh
Application granted granted Critical
Publication of CN106020448B publication Critical patent/CN106020448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

一种基于智能终端的人机交互方法,包括:识别参考物体;识别目标物体并输出识别结果;所述识别结果包括目标物体信息和目标物体记载的可见图文信息中的至少一种信息;获取所述目标物体相对于所述参考物体的位置信息;根据所述位置信息确定用户的意图;以及根据所述用户意图对所述识别结果进行处理后输出给用户。上述基于智能终端的人机交互方法,会对目标物体进行识别并输出识别结果,还会根据目标物体相对于参考物体的位置信息获取用户意图,并根据用户意图对识别结果进行处理后输出给用户。交互过程中用户只需要将目标物体放入相应位置即可,操作简便,用户体验感较好。本发明还涉及一种基于智能终端的人机交互系统。

Description

基于智能终端的人机交互方法和系统
技术领域
本发明涉及智能终端控制技术领域,特别是涉及一种基于智能终端的人机交互方法和系统。
背景技术
随着智能终端技术的迅速发展,智能终端如智能电视、计算机以及平板电脑等的应用也越来越广泛,智能终端上集成的功能也越来越多。传统的智能终端需要用户通过遥控器、智能终端上的物理按键或者触控键来进行操作,操作较为麻烦且不便于实现智能终端与用户之间的交互。
发明内容
基于此,有必要提供一种操作简便的基于智能终端的人机交互方法和系统。
一种基于智能终端的人机交互方法,包括:识别参考物体;识别目标物体并输出识别结果;所述识别结果包括目标物体信息和目标物体记载的可见图文信息中的至少一种信息;获取所述目标物体相对于所述参考物体的位置信息;根据所述位置信息确定用户的意图;以及根据所述用户意图对所述识别结果进行处理后输出给用户。
在其中一个实施例中,所述识别参考物体的步骤之前还包括采集目标区域内的视频图像的步骤;所述识别参考物体的步骤为在所述视频图像中识别参考物体;所述识别目标物体并输出识别结果的步骤为在所述视频图像中识别目标物体并输出识别结果。
在其中一个实施例中,所述识别参考物体的步骤之后、所述识别目标物体并输出识别结果的步骤之前还包括,根据所述参考物体将所述视频图像划分为多个代表不同相对位置信息的识别区域的步骤;所述识别区域为用于识别目标物体的区域;所述识别目标物体并输出识别结果的步骤为在所述识别区域中识别目标物体并输出识别结果;所述获取所述目标物体相对于所述参考物体的位置信息的步骤包括,获取所述目标物体所在的识别区域的相对位置信息。
在其中一个实施例中,所述识别目标物体的步骤包括:获取视频图像内的物体的特征参数;所述特征参数包括物体的运动速度、速度变化规律、颜色、形状和大小中的至少一种参数;判断所述物体的特征参数是否满足预设条件;若是,则将所述物体识别为目标物体。
在其中一个实施例中,所述根据所述位置信息确定用户的意图的步骤之前还包括存储用户意图对应表的步骤;所述用户意图对应表用于存储位置信息以及与所述位置信息对应的用户意图;所述根据所述位置信息确定用户意图的步骤包括根据所述位置信息从所述用户意图对应表中获取对应的用户意图;所述根据所述用户意图对所述识别结果进行处理后输出给用户的步骤之后还包括存储处理结果形成历史操作记录的步骤。
一种基于智能终端的人机交互系统,包括:识别模块,用于识别参考物体;所述识别模块,还用于识别目标物体并输出识别结果;所述识别结果包括目标物体信息和目标物体记载的可见图文信息中的至少一种信息;获取模块,用于获取所述目标物体相对于所述参考物体的位置信息;意图确定模块,用于根据所述位置信息确定用户的意图;以及处理模块,用于根据所述用户意图对所述识别结果进行处理后输出给用户。
在其中一个实施例中,还包括视频图像采集模块,用于采集目标区域内的视频图像;所述识别模块用于在所述视频图像中识别参考物体,以及识别目标物体并输出识别结果。
在其中一个实施例中,还包括区域划分模块;所述区域划分模块用于将视频图像划分为多个代表不同相对位置信息的识别区域;所述识别模块用于识别所述识别区域内的目标物体并输出识别结果;所述获取模块用于获取所述目标物体所在的识别区域的相对位置信息。
在其中一个实施例中,所述识别模块包括:获取单元,用于获取视频图像内的物体的特征参数;所述特征参数包括物体的运动速度、速度变化规律、颜色、形状和大小中的至少一种参数;判断单元,用于判断所述特征参数是否满足预设条件;所述判断单元在所述特征参数满足预设条件时将所述物体判断为目标物体;以及识别单元,用于在所述判断单元判断出所述物体为目标物体后,对目标物体进行识别。
在其中一个实施例中,还包括存储模块;所述存储模块用于存储用户意图对应表;所述用户意图对应表用于存储位置信息以及与所述位置信息对应的用户意图;所述获取模块用于根据所述位置信息从存储模块中获取与所述位置信息对应的用户意图;所述存储模块还用于存储处理结果形成历史操作记录。
一种基于智能终端的人机交互方法,包括:识别参考物体;识别目标物体并输出识别结果;所述识别结果包括目标物体信息和目标物体记载的可见图文信息中的至少一种信息;获取所述目标物体相对于所述参考物体的位置信息;根据所述位置信息获取对应的用户意图;根据所述用户意图获取对应的比对数据库;将所述识别结果在所述比对数据库中进行比对获取相应的数据信息;以及根据所述用户意图对所述数据信息进行处理后输出给用户。
一种基于智能终端的人机交互方法,包括:识别参考物体识别目标物体并输出识别结果;所述识别结果包括目标物体信息和目标物体记载的可见图文信息中的至少一种信息;获取所述目标物体的特征参数;所述特征参数包括物体的运动速度、速度变化规律、颜色、形状和大小中的至少一种参数;根据所述特征参数确定用户的意图;以及根据所述用户意图对所述识别结果进行处理后输出给用户。
一种基于智能终端的人机交互方法,包括:对目标区域图像进行识别并输出识别结果;根据目标区域的位置信息确定对应的用户意图;以及根据所述用户意图对所述识别结果进行处理并输出给用户。
上述基于智能终端的人机交互方法和系统,会对目标物体进行识别并输出识别结果。同时,还会根据目标物体相对于参考物体的位置信息获取用户意图,并根据用户意图对识别结果进行处理后输出给用户,从而实现良好的人机交互功能,并且交互过程中用户只需要将目标物体放入相应位置即可,操作简便,用户体验感较好。
附图说明
图1为一实施例中的基于智能终端的人机交互方法的流程图;
图2为图1中S120的流程图;
图3为另一实施例中的基于智能终端的人机交互方法的流程图;
图4为一实施例中的基于智能终端的人机交互系统的方框图;
图5为又一实施例中的基于智能终端的人机交互方法的流程图;
图6为再一实施例中的基于智能终端的人机交互方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
一实施例中的基于智能终端的人机交互方法用于实现智能终端与用户之间的交互过程。该方法可以由智能终端单独实现,可以由包括智能终端和远程服务器的系统来实现。智能终端可以包括智能电视、计算机、平板电脑以及机器人等具有语音以及视频播放等功能的电子设备。图1为一实施例中的基于智能终端的人机交互方法的流程图,该人机交互方法包括以下步骤。
S110,识别参考物体。
参考物体作为识别的基准,可以预先设定。参考物体可以为用户的预设部位,如手部、头部、胸部等。预设部位也还可以更细化的设定为眼部、鼻部、耳部、嘴部以及头发等。参考物体可以由用户进行设定,且可以在设定后进行相应的修改。在本实施例中,参考物体为用户的脸部。因此通过摄像头采集视频信号,得到YUV视频。读取视频中的每帧图像。在获取到的图像上进行人脸检测,从而识别出人脸并记录人脸的位置信息,实现参考物体的识别。在一实施例中,为防止误检的情况发生,会结合多帧视频帧来判断是否存在真正的人脸。如果连续N帧视频帧中至少有连续M帧都检测到了人脸,则判断此视频帧序列中出现了人脸,得到人脸的位置信息。可以利用在Y通道视频帧上基于Haar特征和级联式Adaboost分类器进行人脸检测,以得到人脸位置信息。在一实施例中,N为5,M为3。在其他的实施例中,N和M的取值可以根据需要进行调整,并不限于本实施例中的数值。参考物体可以不参考人体,而采用视频取景框。
S120,识别目标物体并输出识别结果。
在采集到视频图像内识别目标物体。在本实施例中,采集图像视频后,先识别参考物体,然后根据预设的相对于参考物体划分的区域位置信息确定目标识别区域,然后对目标识别区域内的图像进行识别,以识别目标物体的详细信息。在其他的实施例中,当参考物体为视频取景框时,也可以按照预设视频取景框中目标物体相对位置信息,直接在视频图像中识别目标物体。在其他的实施例中,也可以直接根据物体的特征参数如运动速度、速度变化规律、颜色、形状和/或大小来对视频图像进行目标物体识别。目标物体包括实物以及记载有可见图文信息的物体(如卡片)。当目标物体为卡片时,可见图文信息包括文字信息和图案信息。文字信息可以包括汉字词汇、唐诗宋词、儿歌、视频节目名称、电视频道等信息。图案信息可以为二维码、电视台标、其他具有通用含义的标识以及图像等。因此,当目标物体为实物时,则输出对该实物的识别结果。当目标物体为卡片时,则输出该卡片上记载的可见图文信息。在一实施例中,该识别结果还包括目标物体的位置信息。目标物体的位置是根据预先设定的相对于参考物体的一个相对位置信息。
图2为一实施例中识别目标物体的具体流程图,该过程包括以下子步骤。
S210,根据参考物体将视频图像划分为多个代表不同相对位置信息的识别区域。
识别区域为用于识别目标物体的区域。系统会对目标区域图像自动进行识别。当物体放入识别区域内系统会对该区域内的物体进行识别,以识别出目标物体。例如,在视频图像中识别到参考物体为人脸时,可以将人脸周围的区域进行划分,形成多个代表不同相对位置的识别区域。例如,在脸部四周预先设置上、下、左和右四个目标识别区域,或者在耳朵附近设置识别区域、在嘴巴附近设置识别区域等。每个识别区域相对于参考物体的位置信息确定可知。参考物体附件的识别区域可以预设一个或者多个。当参考物体为视频取景框时,将视频取景框划分为多个代表不同相对位置的识别区域。视频取景框的识别区域划分可以预先设置,即当参考物体为视频取景框时,S210可以在执行S110之前执行。
S220,获取视频图像内的物体的特征参数。
物体的特征参数包括物体的运动速度、速度变化规律、颜色、形状和大小中的至少一种参数。在本实施例中,物体的特征参数包括物体的运动速度、速度变化规律、颜色、形状和大小。物体的运动速度的获取方法如下:将视频图像中的每帧图像中物体的位置和当前帧的序号记录下来。根据系统的帧率得到处理每帧图像的时间,接着利用之前记录下来的位置信息和图像帧的序号,就可以计算出识别区域内物体的运动速度。
S230,判断视频区域内的物体的特征参数是否满足预设条件。
当特征参数满足预设条件时则执行S240,否则执行S250。预设条件可以包括相应参数的取值范围。系统会预先存储目标物体的特征参数的预设条件。
S240,将该物体识别为目标物体并输出识别结果。
将特征参数满足预设条件的物体识别为目标物体,并对其进行识别输出识别结果。在一实施例中,系统还会存储有目标物体对比库,从而直接根据识别到的目标物体与目标对比库中进行对比,从而识别出目标物体信息。例如,参考物体可以不参考人体,而采用视频取景框。因此当智能终端检测到视频接入时,系统在视频取景框的特定部分设置目标区域,系统对每帧图像中目标区域截图,用此截图跟目标物体比对库进行比对,从而识别出目标物体信息。通过对物体的特征参数进行限定来识别目标物体,可以避免系统将视频图像内的非目标物体识别为目标物体的概率,有效降低误操作率,提高用户的体验感。
S250,不执行任何操作。
当没有识别到目标物体时,不对判断结果执行任何操作。
S130,获取目标物体相对于参考物体的位置信息。
获取目标物体所在的目标识别区域相对于参考物体的位置信息。如前所述,该目标识别区域相对于参考物体的位置信息预先已经设定好,因此在识别到目标物体之后即可确定出目标物体相对于参考物体的位置信息。
当目标物体同时介于两个识别区域时,则需要获取用户的历史操作记录,从而根据用户的历史操作记录分析出用户的个人喜好,并根据分析结果确定目标位置的位置信息。可以理解,在目标物体同时介于两个识别区域时,也可以发出提示信息,以提示用户重新正确放置目标物体。
S140,根据该位置信息确定用户的意图。
当目标物体相对于参考物体处于不同位置时,其可以表示不同的意图。例如,当参考物体为脸部时,用户将目标物体放置在嘴部附近,则可以确定用户想要查询涉及目标物体的食谱的相关信息(如视频信息、图片信息等)。在本实施例中,系统中会预先存储有用户意图对应表。用户意图对应表中存储有位置信息以及与位置信息对应的用户意图。例如,当参考物体为脸部时,可以定义脸部下方对应的意图为播放音乐,左侧为播放视频、右侧则为搜索相关内容以及上方为电视节目切换等。还可以定义当参考物体位于嘴部附近时,定义用户意图为查看菜谱视频信息,当参考物体位于眼部附近时,则也可以定义用户意图为播放视频(如观看电影等),放在耳朵附近则可以定义为播放音乐,也即点歌。因此,根据获取到的位置信息就可以确定用户想要发出什么指令,也即获取到用户的意图。在一实施例中,还可以根据目标物体的特征参数获取用户意图。此时,用户意图对应表中会存储特征参数以及与特征参数对应的用户意图。比如,当目标物体的速度达到一定条件时,认为用户有播放视频的意图。
S150,根据用户意图对识别结果进行处理后输出给用户。
根据获取到的用户意图对识别结果进行相应的处理。例如,当根据位置信息确认出用户想要播放视频时,则播放与识别结果相关的视频信息。播放的视频信息可以从远程服务器上获取,也可以从本地存储器中获取。当存在多个相关视频时,则显示视频列表,以供用户进行选择播放。在一实施例中,系统还会存储处理结果,并将处理结果与用户信息一一对应存储,以形成历史操作记录。形成的历史操作记录可以供系统作为参考,从而在目标物体介于两个子区域之间时,由系统根据历史操作记录分析用户的习惯和偏好,从而进行相应处理。
上述基于智能终端的人机交互方法,会对目标物体进行识别并输出识别结果。同时,还会根据目标物体相对于参考物体的位置信息获取用户意图,并根据用户意图对识别结果进行处理后输出给用户,从而实现良好的人机交互功能,并且交互过程中用户只需要将目标物体放入相应位置即可,操作简便,用户体验感较好。
下面结合一具体实施例来进行说明。在本实施例中,参考物体为脸部。用户意图对应表中,目标物体位于脸部下方时对应的用户意图为文字识别,目标物体位于脸部左侧时对应的用户意图为视频播放,目标物体位于脸部的右侧时对应的用户意图为搜索,目标物体位于脸部的上方时对应的用户意图为讲故事。因此,采集目标区域内的视频图像,并在视频图像中识别参考物体,并在识别区域内识别出目标物体。当目标物体为卡片时且卡片上记载的为文字信息时,则识别卡片上的文字信息并获取卡片相对于脸部的位置信息。当卡片位于脸部的下方时,则可以确定用户想进行文字识别,则对卡片上的文字进行识别并播放识别结果,识别结果包括卡片上记载的文字的语音、来源以及含义等,还可以包括构词造句、书写笔画、对应的英文等内容。当卡片上记载的为图案信息时,则可以将该图案信息转换为文字信息,展示相应的文字的语音、来源等信息。例如,当卡片上记载的是苹果图案时,系统会将其识别结果转换为文字信息“苹果”,从而输出与“苹果”相关的文字识别结果。当卡片位于脸部左侧时,则可以确定用户想播放视频,则根据识别结果播放与识别结果匹配的视频。例如,当卡片上的文字为某一唐诗时,则播放该唐诗的教学视频。播放视频类型可以根据用户预先定义。当用户主要用于学习时,则可以将播放视频预先定义为教学视频,则系统在根据识别结果进行处理时,仅播放相关的教学视频。
图3为另一实施例中的基于智能终端的人机交互方法的流程图,该方法包括以下步骤:
S310,对目标区域图像进行识别并输出识别结果。
系统设置有预设取景框,作为参考物体。并且预设取景框中设置有一个或者多个目标区域。每个目标区域在预设取景框中的位置信息以及代表的用户意图确定已知。对预设取景框中的目标区域图像进行识别以输出识别结果。
S320,根据目标区域的位置信息确定对应的用户意图。
S330,根据用户意图对识别结果进行处理并输出给用户。
上述人机交互方法尤其适用于智能家居环境以及教学领域中。并且,上述人机交互方法的操作简便,无需涉及复杂的操作程序,即便是儿童也能够独立与智能终端进行人机交互,从而有助于辅助儿童的学习。
本发明实施例还提供了一种基于智能终端的人机交互系统,该人机交互系统的结构框图如图4所示。参见图4,该人机交互系统包括识别模块10、获取模块20、意图确定模块30以及处理模块40。
识别模块10用于识别参考物体,还用于识别目标物体并输出识别结果。识别结果包括目标物体信息和目标物体记载的可见图文信息中的至少一种信息。获取模块20用于获取目标物体相对于参考物体的位置信息。意图确定模块30用于根据位置信息确定用户的意图。处理模块40用于根据用户意图对识别结果进行处理后输出给用户。
在本实施例中,上述人机交互系统还包括视频图像采集模块50,用于采集目标区域内的视频图像。识别模块10用于在采集到的视频图像中识别参考物体以及目标物体。具体地,识别模块10包括获取单元、判断单元和识别单元。获取单元,用于获取视频图像内的物体的特征参数。特征参数包括物体的运动速度、速度变化规律、颜色、形状和大小中的至少一种参数。判断单元用于判断所述特征参数是否满足预设条件。判断单元在特征参数满足预设条件时将该物体判断为目标物体。识别单元用于在判断单元判断出物体为目标物体后,对目标物体进行识别。
在本实施例中,上述人机交互系统还包括存储模块60。存储模块60用于存储用户意图对应表。用户意图对应表用于存储相位置信息以及与位置信息对应的用户意图。存储模块50也可以设置于智能终端内,也可以设置在远程服务器上。在一实施例中,存储模块50还用于存储输出给用户的处理结果,以形成该用户的历史操作记录。
上述基于智能终端的人机交互系统,会对目标物体进行识别并输出识别结果。同时,还会根据目标物体相对于参考物体的位置信息获取用户意图,并根据用户意图对识别结果进行处理后输出给用户,从而实现良好的人机交互功能,并且交互过程中用户只需要将目标物体放入相应位置即可,操作简便,用户体验感较好。
本发明实施例还提供了一种智能终端,其包括智能终端本体,还包括前述任一实施例中的人机交互系统。
本发明还提供一种基于智能终端的人机交互方法,该方法包括以下步骤,如图5所示。
S410,识别参考物体。
S420,识别目标物体并输出识别结果。
别结果包括目标物体信息和目标物体记载的可见图文信息中的至少一种信息。
S430,获取目标物体相对于参考物体的位置信息
S440,根据位置信息获取对应的用户意图;
S450,根据用户意图获取对应的比对数据库。。
在本实施例中,不同的位置信息对应有不同的对比数据库。不同的对比数据库中存储与不同类型的数据资源,以表示不同的用户意图。例如,当位于参考物体左侧时,对应的对比数据库中存储的资源可以仅包括视频资源,而右侧对应的对比数据库中则可以仅包括歌曲等音频资源。对比数据库内存储的数据资源类型可以根据用户习惯进行设定。
S460,将识别结果在比对数据库中进行比对获取相应的数据信息。
在识别结果在对比数据库中进行比对,从而获取到匹配的数据信息。例如,获取到的对比数据库为视频数据库,则根据识别结果在对比数据库中寻找到匹配的视频资料。
S470,根据用户意图对数据信息进行处理后输出给用户。
例如,当获取到是为视频资料时,播放该视频资料;当获取到的是音频资料时,则播放该音频资料,从而完成与用户的交互过程。图6为另一实施例中的人机交互方法的流程图,该方法包括以下步骤:
S610,采集视频图像。
S620,获取视频图像内的物体的特征参数。
S630,将特征参数满足预设条件的物体判断为目标物体,并截取目标物体图像。
S640,对目标物体进行识别。
S650,根据识别到的目标物体的特征参数确定对应的用户意图.
S660,根据用户意图对识别结果进行处理后输出给用户。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种基于智能终端的人机交互方法,包括:
识别参考物体;
识别目标物体并输出识别结果;所述识别结果包括目标物体信息和目标物体记载的可见图文信息中的至少一种信息;
获取所述目标物体相对于所述参考物体的位置信息;
根据所述位置信息确定用户的意图;以及
根据所述用户意图对所述识别结果进行处理后输出给用户。
2.根据权利要求1所述的方法,其特征在于,所述识别参考物体的步骤之前还包括采集目标区域内的视频图像的步骤;
所述识别参考物体的步骤为在所述视频图像中识别参考物体;
所述识别目标物体并输出识别结果的步骤为在所述视频图像中识别目标物体并输出识别结果。
3.根据权利要求2所述的方法,其特征在于,所述识别参考物体的步骤之后、所述识别目标物体并输出识别结果的步骤之前还包括,根据所述参考物体将所述视频图像划分为多个代表不同相对位置信息的识别区域的步骤;所述识别区域为用于识别目标物体的区域;
所述识别目标物体并输出识别结果的步骤为在所述识别区域中识别目标物体并输出识别结果;
所述获取所述目标物体相对于所述参考物体的位置信息的步骤包括,获取所述目标物体所在的识别区域的相对位置信息。
4.根据权利要求2所述的方法,其特征在于,所述识别目标物体的步骤包括:
获取视频图像内的物体的特征参数;所述特征参数包括物体的运动速度、速度变化规律、颜色、形状和大小中的至少一种参数;
判断所述物体的特征参数是否满足预设条件;
若是,则将所述物体识别为目标物体。
5.根据权利要求1所述的方法,其特征在于,所述根据所述位置信息确定用户的意图的步骤之前还包括存储用户意图对应表的步骤;所述用户意图对应表用于存储位置信息以及与所述位置信息对应的用户意图;
所述根据所述位置信息确定用户意图的步骤包括根据所述位置信息从所述用户意图对应表中获取对应的用户意图;
所述根据所述用户意图对所述识别结果进行处理后输出给用户的步骤之后还包括存储处理结果形成历史操作记录的步骤。
6.一种基于智能终端的人机交互系统,其特征在于,包括:
识别模块,用于识别参考物体;
所述识别模块,还用于识别目标物体并输出识别结果;所述识别结果包括目标物体信息和目标物体记载的可见图文信息中的至少一种信息;
获取模块,用于获取所述目标物体相对于所述参考物体的位置信息;
意图确定模块,用于根据所述位置信息确定用户的意图;以及
处理模块,用于根据所述用户意图对所述识别结果进行处理后输出给用户。
7.根据权利要求6所述的人机交互系统,其特征在于,还包括视频图像采集模块,用于采集目标区域内的视频图像;所述识别模块用于在所述视频图像中识别参考物体,以及识别目标物体并输出识别结果。
8.根据权利要求7所述的人机交互系统,其特征在于,还包括区域划分模块;所述区域划分模块用于将视频图像划分为多个代表不同相对位置信息的识别区域;所述识别模块用于识别所述识别区域内的目标物体并输出识别结果;所述获取模块用于获取所述目标物体所在的识别区域的相对位置信息。
9.根据权利要求7所述的人机交互系统,其特征在于,所述识别模块包括:获取单元,用于获取视频图像内的物体的特征参数;所述特征参数包括物体的运动速度、速度变化规律、颜色、形状和大小中的至少一种参数;
判断单元,用于判断所述特征参数是否满足预设条件;所述判断单元在所述特征参数满足预设条件时将所述物体判断为目标物体;以及
识别单元,用于在所述判断单元判断出所述物体为目标物体后,对目标物体进行识别。
10.根据权利要求7所述的人机交互系统,其特征在于,还包括存储模块;所述存储模块用于存储用户意图对应表;所述用户意图对应表用于存储位置信息以及与所述位置信息对应的用户意图;所述获取模块用于根据所述位置信息从存储模块中获取与所述位置信息对应的用户意图;所述存储模块还用于存储处理结果形成历史操作记录。
11.一种基于智能终端的人机交互方法,包括:
识别参考物体;
识别目标物体并输出识别结果;所述识别结果包括目标物体信息和目标物体记载的可见图文信息中的至少一种信息;
获取所述目标物体相对于所述参考物体的位置信息;
根据所述位置信息获取对应的用户意图;
根据所述用户意图获取对应的比对数据库;
将所述识别结果在所述比对数据库中进行比对获取相应的数据信息;以及
根据所述用户意图对所述数据信息进行处理后输出给用户。
12.一种基于智能终端的人机交互方法,包括:
识别参考物体
识别目标物体并输出识别结果;所述识别结果包括目标物体信息和目标物体记载的可见图文信息中的至少一种信息;
获取所述目标物体的特征参数;所述特征参数包括物体的运动速度、速度变化规律、颜色、形状和大小中的至少一种参数;
根据所述特征参数确定用户的意图;以及
根据所述用户意图对所述识别结果进行处理后输出给用户。
13.一种基于智能终端的人机交互方法,包括:
对目标区域图像进行识别并输出识别结果;
根据目标区域的位置信息确定对应的用户意图;以及
根据所述用户意图对所述识别结果进行处理并输出给用户。
CN201610300527.5A 2016-05-06 2016-05-06 基于智能终端的人机交互方法和系统 Active CN106020448B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610300527.5A CN106020448B (zh) 2016-05-06 2016-05-06 基于智能终端的人机交互方法和系统
PCT/CN2017/081938 WO2017190614A1 (zh) 2016-05-06 2017-04-26 基于智能终端的人机交互方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610300527.5A CN106020448B (zh) 2016-05-06 2016-05-06 基于智能终端的人机交互方法和系统

Publications (2)

Publication Number Publication Date
CN106020448A true CN106020448A (zh) 2016-10-12
CN106020448B CN106020448B (zh) 2019-03-29

Family

ID=57099115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610300527.5A Active CN106020448B (zh) 2016-05-06 2016-05-06 基于智能终端的人机交互方法和系统

Country Status (2)

Country Link
CN (1) CN106020448B (zh)
WO (1) WO2017190614A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529460A (zh) * 2016-11-03 2017-03-22 贺江涛 一种基于机器人端的物体分类识别系统及识别方法
WO2017190614A1 (zh) * 2016-05-06 2017-11-09 深圳市国华识别科技开发有限公司 基于智能终端的人机交互方法和系统
CN108806360A (zh) * 2018-05-31 2018-11-13 北京智能管家科技有限公司 伴读方法、装置、设备和存储介质
CN109388461A (zh) * 2018-09-27 2019-02-26 青岛海信电器股份有限公司 屏幕画面截图中识别物体的显示方法、装置及显示终端
CN110051384A (zh) * 2018-01-17 2019-07-26 珠海艾博罗生物技术股份有限公司 结合医学统计信息的胎儿颈背透明物位置检测方法及系统
CN111837094A (zh) * 2018-03-12 2020-10-27 索尼公司 信息处理装置、信息处理方法和程序
CN114092546A (zh) * 2021-11-19 2022-02-25 深圳市国华识别科技开发有限公司 卡片识字方法、装置、计算机设备以及存储介质
US11812188B2 (en) 2018-09-27 2023-11-07 Hisense Visual Technology Co., Ltd. Method and device for displaying a screen shot

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255989B (zh) * 2018-08-30 2021-07-23 广东小天才科技有限公司 一种智能点读方法及点读设备
CN111355644B (zh) * 2020-02-19 2021-08-20 珠海格力电器股份有限公司 一种在不同空间之间进行信息交互的方法及系统
CN111627039A (zh) * 2020-05-09 2020-09-04 北京小狗智能机器人技术有限公司 一种基于图像识别的交互系统及交互方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488299A (zh) * 2013-10-15 2014-01-01 大连市恒芯科技有限公司 一种融合人脸和手势的智能终端人机交互方法
US20140139425A1 (en) * 2012-11-19 2014-05-22 Sony Corporation Image processing apparatus, image processing method, image capture apparatus and computer program
CN104486548A (zh) * 2014-12-26 2015-04-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN105242888A (zh) * 2014-07-10 2016-01-13 联想(北京)有限公司 一种系统控制方法及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012098771A (ja) * 2010-10-29 2012-05-24 Sony Corp 画像処理装置および方法、並びに、プログラム
CN103186230B (zh) * 2011-12-30 2017-06-06 北京朝歌数码科技股份有限公司 基于颜色识别与跟踪的人机交互方法
CN103376890B (zh) * 2012-04-16 2016-08-31 富士通株式会社 基于视觉的手势遥控系统
CN106020448B (zh) * 2016-05-06 2019-03-29 深圳市国华识别科技开发有限公司 基于智能终端的人机交互方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140139425A1 (en) * 2012-11-19 2014-05-22 Sony Corporation Image processing apparatus, image processing method, image capture apparatus and computer program
CN103488299A (zh) * 2013-10-15 2014-01-01 大连市恒芯科技有限公司 一种融合人脸和手势的智能终端人机交互方法
CN105242888A (zh) * 2014-07-10 2016-01-13 联想(北京)有限公司 一种系统控制方法及电子设备
CN104486548A (zh) * 2014-12-26 2015-04-01 联想(北京)有限公司 一种信息处理方法及电子设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017190614A1 (zh) * 2016-05-06 2017-11-09 深圳市国华识别科技开发有限公司 基于智能终端的人机交互方法和系统
CN106529460A (zh) * 2016-11-03 2017-03-22 贺江涛 一种基于机器人端的物体分类识别系统及识别方法
CN110051384A (zh) * 2018-01-17 2019-07-26 珠海艾博罗生物技术股份有限公司 结合医学统计信息的胎儿颈背透明物位置检测方法及系统
CN110051384B (zh) * 2018-01-17 2021-11-12 珠海艾博罗生物技术股份有限公司 结合医学统计信息的胎儿颈背透明物位置检测方法及系统
CN111837094A (zh) * 2018-03-12 2020-10-27 索尼公司 信息处理装置、信息处理方法和程序
CN108806360A (zh) * 2018-05-31 2018-11-13 北京智能管家科技有限公司 伴读方法、装置、设备和存储介质
CN109388461A (zh) * 2018-09-27 2019-02-26 青岛海信电器股份有限公司 屏幕画面截图中识别物体的显示方法、装置及显示终端
US11812188B2 (en) 2018-09-27 2023-11-07 Hisense Visual Technology Co., Ltd. Method and device for displaying a screen shot
CN114092546A (zh) * 2021-11-19 2022-02-25 深圳市国华识别科技开发有限公司 卡片识字方法、装置、计算机设备以及存储介质

Also Published As

Publication number Publication date
CN106020448B (zh) 2019-03-29
WO2017190614A1 (zh) 2017-11-09

Similar Documents

Publication Publication Date Title
CN106020448A (zh) 基于智能终端的人机交互方法和系统
CN103760968B (zh) 数字标牌显示内容选择方法和装置
CN113596537B (zh) 显示设备及播放速度方法
US20110283189A1 (en) Systems and methods for adjusting media guide interaction modes
WO2018102283A1 (en) Providing related objects during playback of video data
CN102857810A (zh) 信息处理设备、信息处理方法和程序
US20110279359A1 (en) Systems and methods for monitoring motion sensor signals and adjusting interaction modes
US11706485B2 (en) Display device and content recommendation method
CN105635824A (zh) 个性化频道推荐方法和系统
CN107818180A (zh) 视频关联方法、视频显示方法、装置及存储介质
CN110035302B (zh) 信息推荐及模型训练方法和装置、计算设备、存储介质
US20180199101A1 (en) Display apparatus and method for providing service thereof
KR20150050902A (ko) 멀티미디어 기기, 온라인 교육 시스템 및 이들의 컨텐츠 제공 방법
CN103092332A (zh) 电视数字图像交互方法及系统
CN108958503A (zh) 输入方法和装置
KR102122918B1 (ko) 대화형 질의응답 장치 및 그 방법
WO2022033228A1 (zh) 一种数据处理方法及装置
CN111552794B (zh) 提示语生成方法、装置、设备和存储介质
CN113722542A (zh) 视频推荐方法及显示设备
CN111344664B (zh) 电子设备及其控制方法
CN113678137A (zh) 显示设备
WO2023000950A1 (zh) 显示设备及媒资内容推荐方法
WO2024055661A1 (zh) 一种显示设备及显示方法
CN116774954A (zh) 显示设备和服务器
WO2011142898A1 (en) Systems and methods for adjusting media guide interaction modes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant