CN117424994A - 一种投影仪智能交互控制方法及系统 - Google Patents
一种投影仪智能交互控制方法及系统 Download PDFInfo
- Publication number
- CN117424994A CN117424994A CN202311734239.7A CN202311734239A CN117424994A CN 117424994 A CN117424994 A CN 117424994A CN 202311734239 A CN202311734239 A CN 202311734239A CN 117424994 A CN117424994 A CN 117424994A
- Authority
- CN
- China
- Prior art keywords
- gesture
- control
- projector controller
- projector
- included angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims description 12
- 206010047571 Visual impairment Diseases 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 claims description 6
- 230000018109 developmental process Effects 0.000 claims description 6
- 230000005057 finger movement Effects 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims 4
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种投影仪智能交互控制方法及系统,涉及投影仪技术领域,包括:判断投影仪控制者的第一手势是否为控制手势;识别残影辅助画面中与第二手势一致的遥控手势,调用与遥控手势对应的控制描述,依据控制描述对投影画面作出切换;对投影仪控制者的手指进行触摸识别,当投影仪控制者的手指触摸投影画面时,则根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画;依据投影仪控制者的语音调整线条粗细和颜色;当投影仪完成智能交互时,判断投影仪控制者的第三手势是否为回调手势。通过设置语音判断模块、图像判断模块、画面切换模块和触摸控制模块,使用者不必记住每个操控手势,能减小使用者的使用负担。
Description
技术领域
本发明涉及投影仪技术领域,具体是涉及一种投影仪智能交互控制方法及系统。
背景技术
投影仪是一种用来在屏幕上放大显示图像的投影装置,目前已广泛应用于教学和家庭影院中。例如,用于会议室、课堂演示以及在家庭中通过连接DVD影碟机等设备在大屏幕上观看电影。为了提升投影仪的交互性,使用者可以使用手势识别的技术对投影仪进行控制。
但每种操控指令均对应唯一的手势,使用者无法记牢所有的手势,因此,对于使用者的使用便利性造成困扰,此外,在使用过程中,无法直接在投影屏幕上作出标记,导致演示效果打折。
发明内容
为解决上述技术问题,提供一种投影仪智能交互控制方法及系统,本技术方案解决了上述背景技术中提出的每种操控指令均对应唯一的手势,使用者无法记牢所有的手势,因此,对于使用者的使用便利性造成困扰,此外,在使用过程中,无法直接在投影屏幕上作出标记,导致演示效果打折的问题。
为达到以上目的,本发明采用的技术方案为:
一种投影仪智能交互控制方法,包括:
投影仪进行智能交互时,获取投影仪控制者的第一手势,获取投影仪控制者的语音信息,判断投影仪控制者的第一手势是否为控制手势;
若投影仪控制者的第一手势是控制手势,则调出残影辅助画面;
若投影仪控制者的第一手势不是控制手势,则判断投影仪控制者的语音信息中是否包含有控制指令;
若判断投影仪控制者的语音信息中包含有控制指令,则调出残影辅助画面;
若判断投影仪控制者的语音信息中未包含控制指令,则不作任何处理;
获取投影仪控制者依据残影辅助画面作出的第二手势,识别残影辅助画面中与第二手势一致的遥控手势,调用与遥控手势对应的控制描述,依据控制描述对投影画面作出切换;
对投影仪控制者的手指进行触摸识别,当投影仪控制者的手指触摸投影画面时,则根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画;
依据投影仪控制者的语音调整线条粗细和颜色;
当投影仪完成智能交互时,获取投影仪控制者依据残影辅助画面作出的第三手势,判断投影仪控制者的第三手势是否为回调手势;
若投影仪控制者的第三手势是回调手势,则关闭残影辅助画面;
若投影仪控制者的第一手势不是控制手势,则不作任何处理。
优选的,所述判断投影仪控制者的第一手势是否为控制手势包括以下步骤:
按从上至下和从左至右的顺序进行识别,识别第一手势的至少一个第一关节,依据第一关节分割第一手势,得到第一手指分割段;
捕获相邻所述第一手指分割段的第一夹角,捕获与手掌相邻的第一手指分割段与手掌的第二夹角;
将第一夹角与第二夹角按识别顺序进行编号;
按从上至下和从左至右的顺序进行识别,识别控制手势的至少一个第二关节,依据第二关节分割控制手势,得到第二手指分割段;
捕获相邻所述第二手指分割段的第三夹角,捕获与手掌相邻的第二手指分割段与手掌的第四夹角;
将第三夹角和第四夹角按识别顺序进行编号;
将第一夹角与同编号的第三夹角作差并取绝对值,得到第一求和,将第二夹角与同编号的第四夹角作差并取绝对值,得到第二求和;
叠加所有第一求和及第二求和,得到最终求和;
若最终求和大于预设角度,则第一手势不是控制手势;
若否,则第一手势是控制手势。
优选的,所述判断投影仪控制者的语音信息中是否包含有控制指令包括以下步骤:
提取控制指令中的至少一个关键字一,提取投影仪控制者的语音信息中的至少一个关键字二;
使用人工智能对关键字一和关键字二进行语义识别;
若关键字一和关键字二表达相同语义,则投影仪控制者的语音信息中包含有控制指令;
若否,则投影仪控制者的语音信息中不包含控制指令。
优选的,所述残影辅助画面包括:
至少一个控制描述和至少一个遥控手势,遥控手势和对应所述控制描述并列设置;
残影辅助画面由副投影摄像头投出,叠加在主投影摄像头投出的投影画面;
残影辅助画面的色彩区别于投影画面的色彩;
控制手势和回调手势均预先设置在残影辅助画面中,控制手势对应的控制描述为调出残影辅助画面,回调手势对应的控制描述为关闭残影辅助画面。
优选的,所述识别残影辅助画面中与第二手势一致的遥控手势包括以下步骤:
按从上至下和从左至右的顺序进行识别,识别第二手势的至少一个第三关节,依据第三关节分割第二手势,得到第三手指分割段;
捕获相邻所述第三手指分割段的第五夹角,捕获与手掌相邻的第三手指分割段与手掌的第六夹角;
将第五夹角与第六夹角按识别顺序进行编号;
按从上至下和从左至右的顺序进行识别,识别残影辅助画面中的遥控手势的至少一个第四关节,依据第四关节分割控制手势,得到第四手指分割段;
捕获相邻所述第四手指分割段的第七夹角,捕获与手掌相邻的第四手指分割段与手掌的第八夹角;
将第七夹角和第八夹角按识别顺序进行编号;
将第五夹角与同编号的第七夹角作差并取绝对值,得到第三求和,将第六夹角与同编号的第八夹角作差并取绝对值,得到第四求和;
叠加所有第三求和及第四求和,得到总求和;
若总求和大于预设角度,则遥控手势与第二手势不一致;
若否,则遥控手势与第二手势一致;
遍历残影辅助画面中的遥控手势,选择出与第二手势一致的遥控手势。
优选的,所述对投影仪控制者的手指进行触摸识别包括以下步骤:
在投影屏幕侧面安装摄影机,摄影机获取手指与投影屏幕的相对位置画面;
在相对位置画面中捕获手指位置,并捕获投影屏幕位置;
将手指临近投影屏幕的端部作为识别点,计算识别点到投影屏幕的距离;
若识别点到投影屏幕的距离小于预设距离,则判断手指触摸投影屏幕;
若否,则判断手指未触摸投影屏幕。
优选的,所述根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画包括以下步骤:
对投影仪控制者的手指端部进行识别,间隔预设时间识别得出至少一个手指端部的坐标;
根据手指端部的坐标,在投影画面上将手指端部的坐标对应的位置标记显色点,使用线段连接相邻所述显色点;
所述线段汇总得到在投影画面上的书写或绘画结果。
优选的,所述依据投影仪控制者的语音调整线条粗细和颜色包括以下步骤:
提取投影仪控制者的语音中的关键字三;
使用人工智能识别关键字三,得到线条的描述和颜色的描述;
将所述描述转化为操控指令,对线条进行调整。
一种投影仪智能交互控制系统,用于实现上述的投影仪智能交互控制方法,包括:
图像获取模块,所述图像获取模块获取投影仪控制者的第一手势,获取投影仪控制者依据残影辅助画面作出的第二手势;
图像判断模块,所述图像判断模块判断投影仪控制者的第一手势是否为控制手势,识别残影辅助画面中与第二手势一致的遥控手势;
语音获取模块,所述语音获取模块获取投影仪控制者的语音信息;
语音判断模块,所述语音判断模块判断投影仪控制者的语音信息中是否包含有控制指令,依据投影仪控制者的语音调整线条粗细和颜色;
画面叠加模块,所述画面叠加模块调出残影辅助画面或关闭残影辅助画面;
画面切换模块,所述画面切换模块依据控制描述对投影画面作出切换;
触摸控制模块,所述触摸控制模块对投影仪控制者的手指进行触摸识别,根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画。
与现有技术相比,本发明的有益效果在于:
通过设置语音判断模块、图像判断模块、画面切换模块和触摸控制模块,可以调出残影辅助画面,根据残影辅助画面中的提示,作出用于控制投影仪的手势,因而,不必记住每个操控手势,能减小使用者的使用负担,同时,为了防止使用者忘记调出残影辅助画面的手势,还配备语音识别,可以通过语音调出残影辅助画面,残影辅助画面以另一种色调的虚像形式,叠加在投影画面上,不会影响正常的投影,此外,由于使用者需要在投影画面上作出各自标注,以便增强演示效果,因此,触摸控制模块对投影仪控制者的手指进行触摸识别,根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画。
附图说明
图1为本发明的投影仪智能交互控制方法流程示意图;
图2为本发明的判断投影仪控制者的第一手势是否为控制手势流程示意图;
图3为本发明的判断投影仪控制者的语音信息中是否包含有控制指令流程示意图;
图4为本发明的识别残影辅助画面中与第二手势一致的遥控手势流程示意图;
图5为本发明的对投影仪控制者的手指进行触摸识别流程示意图;
图6为本发明的根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画流程示意图;
图7为本发明的依据投影仪控制者的语音调整线条粗细和颜色流程示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。
参照图1所示,一种投影仪智能交互控制方法,包括:
投影仪进行智能交互时,获取投影仪控制者的第一手势,获取投影仪控制者的语音信息,判断投影仪控制者的第一手势是否为控制手势;
若投影仪控制者的第一手势是控制手势,则调出残影辅助画面;
若投影仪控制者的第一手势不是控制手势,则判断投影仪控制者的语音信息中是否包含有控制指令;
若判断投影仪控制者的语音信息中包含有控制指令,则调出残影辅助画面;
若判断投影仪控制者的语音信息中未包含控制指令,则不作任何处理;
获取投影仪控制者依据残影辅助画面作出的第二手势,识别残影辅助画面中与第二手势一致的遥控手势,调用与遥控手势对应的控制描述,依据控制描述对投影画面作出切换;
对投影仪控制者的手指进行触摸识别,当投影仪控制者的手指触摸投影画面时,则根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画;
依据投影仪控制者的语音调整线条粗细和颜色;
当投影仪完成智能交互时,获取投影仪控制者依据残影辅助画面作出的第三手势,判断投影仪控制者的第三手势是否为回调手势;
若投影仪控制者的第三手势是回调手势,则关闭残影辅助画面;
若投影仪控制者的第一手势不是控制手势,则不作任何处理。
参照图2所示,判断投影仪控制者的第一手势是否为控制手势包括以下步骤:
按从上至下和从左至右的顺序进行识别,识别第一手势的至少一个第一关节,依据第一关节分割第一手势,得到第一手指分割段;
捕获相邻所述第一手指分割段的第一夹角,捕获与手掌相邻的第一手指分割段与手掌的第二夹角;
将第一夹角与第二夹角按识别顺序进行编号;
按从上至下和从左至右的顺序进行识别,识别控制手势的至少一个第二关节,依据第二关节分割控制手势,得到第二手指分割段;
捕获相邻所述第二手指分割段的第三夹角,捕获与手掌相邻的第二手指分割段与手掌的第四夹角;
将第三夹角和第四夹角按识别顺序进行编号;
将第一夹角与同编号的第三夹角作差并取绝对值,得到第一求和,将第二夹角与同编号的第四夹角作差并取绝对值,得到第二求和;
叠加所有第一求和及第二求和,得到最终求和;
若最终求和大于预设角度,则第一手势不是控制手势;
若否,则第一手势是控制手势;
判断手势存在的难点在于,即使使用表达的第一手势是控制手势,但使用者作出的第一手势不可能与控制手势完全一致,因此直接使用图像识别,判断两个手势是否一致,则一定会出现漏判的情况,即将一部分不是非常标准的第一手势判断为不是控制手势,则会影响使用者使用手势控制投影仪,因此使用手指关节处的夹角作为判断指标,当二者差距在预设角度内,则判断第一手势是控制手势,即使第一手势不是非常标准,也不会影响判断。
参照图3所示,判断投影仪控制者的语音信息中是否包含有控制指令包括以下步骤:
提取控制指令中的至少一个关键字一,提取投影仪控制者的语音信息中的至少一个关键字二;
使用人工智能对关键字一和关键字二进行语义识别;
若关键字一和关键字二表达相同语义,则投影仪控制者的语音信息中包含有控制指令;
若否,则投影仪控制者的语音信息中不包含控制指令;
使用语音判断是为了防止使用者忘记调用残影辅助画面的手势,则会导致使用者无法使用残影辅助画面中的控制描述和遥控手势,对投影仪进行后续控制,语音识别时,使用者只需说出控制指令中的关键字即可完成调用。
残影辅助画面包括:
至少一个控制描述和至少一个遥控手势,遥控手势和对应所述控制描述并列设置;
残影辅助画面由副投影摄像头投出,叠加在主投影摄像头投出的投影画面;
残影辅助画面的色彩区别于投影画面的色彩;
控制手势和回调手势均预先设置在残影辅助画面中,控制手势对应的控制描述为调出残影辅助画面,回调手势对应的控制描述为关闭残影辅助画面;
残影辅助画面中,控制描述和遥控手势对应设置,使用者可以根据控制描述找到对应的遥控手势,作出遥控手势,进而投影仪作出与控制描述对应的切换效果。
参照图4所示,识别残影辅助画面中与第二手势一致的遥控手势包括以下步骤:
按从上至下和从左至右的顺序进行识别,识别第二手势的至少一个第三关节,依据第三关节分割第二手势,得到第三手指分割段;
捕获相邻所述第三手指分割段的第五夹角,捕获与手掌相邻的第三手指分割段与手掌的第六夹角;
将第五夹角与第六夹角按识别顺序进行编号;
按从上至下和从左至右的顺序进行识别,识别残影辅助画面中的遥控手势的至少一个第四关节,依据第四关节分割控制手势,得到第四手指分割段;
捕获相邻所述第四手指分割段的第七夹角,捕获与手掌相邻的第四手指分割段与手掌的第八夹角;
将第七夹角和第八夹角按识别顺序进行编号;
将第五夹角与同编号的第七夹角作差并取绝对值,得到第三求和,将第六夹角与同编号的第八夹角作差并取绝对值,得到第四求和;
叠加所有第三求和及第四求和,得到总求和;
若总求和大于预设角度,则遥控手势与第二手势不一致;
若否,则遥控手势与第二手势一致;
遍历残影辅助画面中的遥控手势,选择出与第二手势一致的遥控手势;
第二手势一致的遥控手势
判断手势存在的难点在于,即使使用表达的第二手势是遥控手势,但使用者作出的第二手势不可能与遥控手势完全一致,因此直接使用图像识别,判断两个手势是否一致,则一定会出现漏判的情况,即对于一部分不是非常标准的第二手势找不到对应的遥控手势,则会影响使用者使用手势控制投影仪,因此使用手指关节处的夹角作为判断指标,当二者差距在预设角度内,则将遥控手势作为与第二手势一致的手势,即使第二手势不是非常标准,也不会影响判断。
参照图5所示,对投影仪控制者的手指进行触摸识别包括以下步骤:
在投影屏幕侧面安装摄影机,摄影机获取手指与投影屏幕的相对位置画面;
在相对位置画面中捕获手指位置,并捕获投影屏幕位置;
将手指临近投影屏幕的端部作为识别点,计算识别点到投影屏幕的距离;
若识别点到投影屏幕的距离小于预设距离,则判断手指触摸投影屏幕;
若否,则判断手指未触摸投影屏幕;
对投影仪控制者的手指进行触摸识别是为了判断使用者是否在触摸投影屏幕,以此判断是否需要将使用者手指的轨迹使用线条投影显示在同一画面中,因为,没有特定原因,则使用者不会触摸投影画面,只有在需要标注时,才会触摸投影画面。
参照图6所示,根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画包括以下步骤:
对投影仪控制者的手指端部进行识别,间隔预设时间识别得出至少一个手指端部的坐标;
根据手指端部的坐标,在投影画面上将手指端部的坐标对应的位置标记显色点,使用线段连接相邻所述显色点;
所述线段汇总得到在投影画面上的书写或绘画结果;
其原理是,将手指端部的轨迹分割为多个分割点,使用分割点顺次连接的折线对手指端部的轨迹进行拟合,只要预设时间足够小,则相邻分割点足够接近,则折线拟合手指端部的轨迹的精度越高。
参照图7所示,依据投影仪控制者的语音调整线条粗细和颜色包括以下步骤:
提取投影仪控制者的语音中的关键字三;
使用人工智能识别关键字三,得到线条的描述和颜色的描述;
将所述描述转化为操控指令,对线条进行调整。
一种投影仪智能交互控制系统,用于实现上述的投影仪智能交互控制方法,包括:
图像获取模块,所述图像获取模块获取投影仪控制者的第一手势,获取投影仪控制者依据残影辅助画面作出的第二手势;
图像判断模块,所述图像判断模块判断投影仪控制者的第一手势是否为控制手势,识别残影辅助画面中与第二手势一致的遥控手势;
语音获取模块,所述语音获取模块获取投影仪控制者的语音信息;
语音判断模块,所述语音判断模块判断投影仪控制者的语音信息中是否包含有控制指令,依据投影仪控制者的语音调整线条粗细和颜色;
画面叠加模块,所述画面叠加模块调出残影辅助画面或关闭残影辅助画面;
画面切换模块,所述画面切换模块依据控制描述对投影画面作出切换;
触摸控制模块,所述触摸控制模块对投影仪控制者的手指进行触摸识别,根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画。
上述投影仪智能交互控制系统的工作过程如下:
步骤一:投影仪进行智能交互时,图像获取模块获取投影仪控制者的第一手势,语音获取模块获取投影仪控制者的语音信息,图像判断模块判断投影仪控制者的第一手势是否为控制手势;
若投影仪控制者的第一手势是控制手势,则画面叠加模块调出残影辅助画面;
若投影仪控制者的第一手势不是控制手势,则语音判断模块判断投影仪控制者的语音信息中是否包含有控制指令;
若判断投影仪控制者的语音信息中包含有控制指令,则画面叠加模块调出残影辅助画面;
若判断投影仪控制者的语音信息中未包含控制指令,则不作任何处理;
步骤二:图像获取模块获取投影仪控制者依据残影辅助画面作出的第二手势,图像判断模块识别残影辅助画面中与第二手势一致的遥控手势,画面切换模块调用与遥控手势对应的控制描述,依据控制描述对投影画面作出切换;
步骤三:触摸控制模块对投影仪控制者的手指进行触摸识别,当投影仪控制者的手指触摸投影画面时,则根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画;
语音判断模块依据投影仪控制者的语音调整线条粗细和颜色;
步骤四:当投影仪完成智能交互时,图像获取模块获取投影仪控制者依据残影辅助画面作出的第三手势,图像判断模块判断投影仪控制者的第三手势是否为回调手势;
若投影仪控制者的第三手势是回调手势,则画面叠加模块关闭残影辅助画面;
若投影仪控制者的第一手势不是控制手势,则不作任何处理。
再进一步的,本方案还提出一种存储介质,其上存储有计算机可读程序,计算机可读程序被调用时执行上述的投影仪智能交互控制方法。
可以理解的是,存储介质可以是磁性介质,例如,软盘、硬盘、磁带;光介质例如,DVD;或者半导体介质例如固态硬盘SolidStateDisk,SSD等。
综上所述,本发明的优点在于:通过设置语音判断模块、图像判断模块、画面切换模块和触摸控制模块,可以调出残影辅助画面,根据残影辅助画面中的提示,作出用于控制投影仪的手势,因而,不必记住每个操控手势,能减小使用者的使用负担,同时,为了防止使用者忘记调出残影辅助画面的手势,还配备语音识别,可以通过语音调出残影辅助画面,残影辅助画面以另一种色调的虚像形式,叠加在投影画面上,不会影响正常的投影,此外,由于使用者需要在投影画面上作出各自标注,以便增强演示效果,因此,触摸控制模块对投影仪控制者的手指进行触摸识别,根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (9)
1.一种投影仪智能交互控制方法,其特征在于,包括:
投影仪进行智能交互时,获取投影仪控制者的第一手势,获取投影仪控制者的语音信息,判断投影仪控制者的第一手势是否为控制手势;
若投影仪控制者的第一手势是控制手势,则调出残影辅助画面;
若投影仪控制者的第一手势不是控制手势,则判断投影仪控制者的语音信息中是否包含有控制指令;
若判断投影仪控制者的语音信息中包含有控制指令,则调出残影辅助画面;
若判断投影仪控制者的语音信息中未包含控制指令,则不作任何处理;
获取投影仪控制者依据残影辅助画面作出的第二手势,识别残影辅助画面中与第二手势一致的遥控手势,调用与遥控手势对应的控制描述,依据控制描述对投影画面作出切换;
对投影仪控制者的手指进行触摸识别,当投影仪控制者的手指触摸投影画面时,则根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画;
依据投影仪控制者的语音调整线条粗细和颜色;
当投影仪完成智能交互时,获取投影仪控制者依据残影辅助画面作出的第三手势,判断投影仪控制者的第三手势是否为回调手势;
若投影仪控制者的第三手势是回调手势,则关闭残影辅助画面;
若投影仪控制者的第一手势不是控制手势,则不作任何处理。
2.根据权利要求1所述的一种投影仪智能交互控制方法,其特征在于,所述判断投影仪控制者的第一手势是否为控制手势包括以下步骤:
按从上至下和从左至右的顺序进行识别,识别第一手势的至少一个第一关节,依据第一关节分割第一手势,得到第一手指分割段;
捕获相邻所述第一手指分割段的第一夹角,捕获与手掌相邻的第一手指分割段与手掌的第二夹角;
将第一夹角与第二夹角按识别顺序进行编号;
按从上至下和从左至右的顺序进行识别,识别控制手势的至少一个第二关节,依据第二关节分割控制手势,得到第二手指分割段;
捕获相邻所述第二手指分割段的第三夹角,捕获与手掌相邻的第二手指分割段与手掌的第四夹角;
将第三夹角和第四夹角按识别顺序进行编号;
将第一夹角与同编号的第三夹角作差并取绝对值,得到第一求和,将第二夹角与同编号的第四夹角作差并取绝对值,得到第二求和;
叠加所有第一求和及第二求和,得到最终求和;
若最终求和大于预设角度,则第一手势不是控制手势;
若否,则第一手势是控制手势。
3.根据权利要求2所述的一种投影仪智能交互控制方法,其特征在于,所述判断投影仪控制者的语音信息中是否包含有控制指令包括以下步骤:
提取控制指令中的至少一个关键字一,提取投影仪控制者的语音信息中的至少一个关键字二;
使用人工智能对关键字一和关键字二进行语义识别;
若关键字一和关键字二表达相同语义,则投影仪控制者的语音信息中包含有控制指令;
若否,则投影仪控制者的语音信息中不包含控制指令。
4.根据权利要求3所述的一种投影仪智能交互控制方法,其特征在于,所述残影辅助画面包括:
至少一个控制描述和至少一个遥控手势,遥控手势和对应所述控制描述并列设置;
残影辅助画面由副投影摄像头投出,叠加在主投影摄像头投出的投影画面;
残影辅助画面的色彩区别于投影画面的色彩;
控制手势和回调手势均预先设置在残影辅助画面中,控制手势对应的控制描述为调出残影辅助画面,回调手势对应的控制描述为关闭残影辅助画面。
5.根据权利要求4所述的一种投影仪智能交互控制方法,其特征在于,所述识别残影辅助画面中与第二手势一致的遥控手势包括以下步骤:
按从上至下和从左至右的顺序进行识别,识别第二手势的至少一个第三关节,依据第三关节分割第二手势,得到第三手指分割段;
捕获相邻所述第三手指分割段的第五夹角,捕获与手掌相邻的第三手指分割段与手掌的第六夹角;
将第五夹角与第六夹角按识别顺序进行编号;
按从上至下和从左至右的顺序进行识别,识别残影辅助画面中的遥控手势的至少一个第四关节,依据第四关节分割控制手势,得到第四手指分割段;
捕获相邻所述第四手指分割段的第七夹角,捕获与手掌相邻的第四手指分割段与手掌的第八夹角;
将第七夹角和第八夹角按识别顺序进行编号;
将第五夹角与同编号的第七夹角作差并取绝对值,得到第三求和,将第六夹角与同编号的第八夹角作差并取绝对值,得到第四求和;
叠加所有第三求和及第四求和,得到总求和;
若总求和大于预设角度,则遥控手势与第二手势不一致;
若否,则遥控手势与第二手势一致;
遍历残影辅助画面中的遥控手势,选择出与第二手势一致的遥控手势。
6.根据权利要求5所述的一种投影仪智能交互控制方法,其特征在于,所述对投影仪控制者的手指进行触摸识别包括以下步骤:
在投影屏幕侧面安装摄影机,摄影机获取手指与投影屏幕的相对位置画面;
在相对位置画面中捕获手指位置,并捕获投影屏幕位置;
将手指临近投影屏幕的端部作为识别点,计算识别点到投影屏幕的距离;
若识别点到投影屏幕的距离小于预设距离,则判断手指触摸投影屏幕;
若否,则判断手指未触摸投影屏幕。
7.根据权利要求6所述的一种投影仪智能交互控制方法,其特征在于,所述根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画包括以下步骤:
对投影仪控制者的手指端部进行识别,间隔预设时间识别得出至少一个手指端部的坐标;
根据手指端部的坐标,在投影画面上将手指端部的坐标对应的位置标记显色点,使用线段连接相邻所述显色点;
所述线段汇总得到在投影画面上的书写或绘画结果。
8.根据权利要求7所述的一种投影仪智能交互控制方法,其特征在于,所述依据投影仪控制者的语音调整线条粗细和颜色包括以下步骤:
提取投影仪控制者的语音中的关键字三;
使用人工智能识别关键字三,得到线条的描述和颜色的描述;
将所述描述转化为操控指令,对线条进行调整。
9.一种投影仪智能交互控制系统,用于实现如权利要求1-8任一项所述的投影仪智能交互控制方法,其特征在于,包括:
图像获取模块,所述图像获取模块获取投影仪控制者的第一手势,获取投影仪控制者依据残影辅助画面作出的第二手势;
图像判断模块,所述图像判断模块判断投影仪控制者的第一手势是否为控制手势,识别残影辅助画面中与第二手势一致的遥控手势;
语音获取模块,所述语音获取模块获取投影仪控制者的语音信息;
语音判断模块,所述语音判断模块判断投影仪控制者的语音信息中是否包含有控制指令,依据投影仪控制者的语音调整线条粗细和颜色;
画面叠加模块,所述画面叠加模块调出残影辅助画面或关闭残影辅助画面;
画面切换模块,所述画面切换模块依据控制描述对投影画面作出切换;
触摸控制模块,所述触摸控制模块对投影仪控制者的手指进行触摸识别,根据投影仪控制者的手指移动的路径,在投影画面上书写或绘画。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311734239.7A CN117424994B (zh) | 2023-12-18 | 2023-12-18 | 一种投影仪智能交互控制方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311734239.7A CN117424994B (zh) | 2023-12-18 | 2023-12-18 | 一种投影仪智能交互控制方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117424994A true CN117424994A (zh) | 2024-01-19 |
CN117424994B CN117424994B (zh) | 2024-03-19 |
Family
ID=89523380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311734239.7A Active CN117424994B (zh) | 2023-12-18 | 2023-12-18 | 一种投影仪智能交互控制方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117424994B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105912106A (zh) * | 2016-04-05 | 2016-08-31 | 深圳市祈锦通信技术有限公司 | 一种智能投影交互系统及其交互方法 |
CN106775394A (zh) * | 2016-12-09 | 2017-05-31 | 掌阅科技股份有限公司 | 内容展现方法、装置及电子设备、存储介质 |
CN107589628A (zh) * | 2017-09-11 | 2018-01-16 | 大连海事大学 | 一种基于手势识别的全息投影装置及其工作方法 |
CN113918077A (zh) * | 2021-09-13 | 2022-01-11 | 科大讯飞股份有限公司 | 投影方法及投影控制方法和相关装置、投影仪、存储介质 |
-
2023
- 2023-12-18 CN CN202311734239.7A patent/CN117424994B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105912106A (zh) * | 2016-04-05 | 2016-08-31 | 深圳市祈锦通信技术有限公司 | 一种智能投影交互系统及其交互方法 |
CN106775394A (zh) * | 2016-12-09 | 2017-05-31 | 掌阅科技股份有限公司 | 内容展现方法、装置及电子设备、存储介质 |
CN107589628A (zh) * | 2017-09-11 | 2018-01-16 | 大连海事大学 | 一种基于手势识别的全息投影装置及其工作方法 |
CN113918077A (zh) * | 2021-09-13 | 2022-01-11 | 科大讯飞股份有限公司 | 投影方法及投影控制方法和相关装置、投影仪、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117424994B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10482777B2 (en) | Systems and methods for content analysis to support navigation and annotation in expository videos | |
Garg et al. | Vision based hand gesture recognition | |
CN107909022B (zh) | 一种视频处理方法、装置、终端设备和存储介质 | |
KR20170080538A (ko) | 스마트 데스크탑 및 스마트 단말에 기반한 컨텐츠 표시 방법 | |
CN104063039A (zh) | 一种穿戴式计算机智能终端的人机交互方法 | |
CN103106388B (zh) | 图像识别方法和系统 | |
EP3970360A1 (en) | Virtualization of physical activity surface | |
CN111580903A (zh) | 实时投票方法、装置、终端设备和存储介质 | |
US11209975B2 (en) | Enhanced canvas environments | |
CN110517683A (zh) | 头戴式vr/ar设备及其控制方法 | |
CN117424994B (zh) | 一种投影仪智能交互控制方法及系统 | |
Liang et al. | Turn any display into a touch screen using infrared optical technique | |
CN111506200B (zh) | 一种基于体感互动控制投影的系统和方法 | |
CN112788390B (zh) | 一种基于人机交互的控制方法、装置、设备及存储介质 | |
CN112306342B (zh) | 大屏小屏显示互相切换方法、装置、存储介质及电子白板 | |
WO2021000683A1 (zh) | 一种手势识别方法、装置及计算机可读存储介质 | |
Wang et al. | Simulating a smartboard by real-time gesture detection in lecture videos | |
KR20170092167A (ko) | 시선 추적을 이용한 제어 장치 | |
CN116048374B (zh) | 虚拟隐形键盘的在线考试方法及系统 | |
CN113721829B (zh) | 基于手势操作的全景课件平滑旋转操控的方法及系统 | |
TWI714888B (zh) | 操作互動觸控顯示系統之方法 | |
WO2024065345A1 (zh) | 隔空手势编辑方法、装置、显示系统及介质 | |
KR102045860B1 (ko) | 스마트 이러닝 시스템의 사용자 핸드 제스처 감응 방법 | |
Kayama et al. | Spoken dialog system on plasma display panel estimating users' interest by image processing | |
WO2022057870A1 (zh) | 人机交互方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |