CN113903224A - 一种基于双向信号交互式显示系统 - Google Patents

Abstract

本发明适用于智能显示设备技术领域，尤其涉及一种基于双向信号交互式显示系统，所述系统包括：启动识别模块，用于获取实时监测画面信息，进行启动动作识别；动作交互模块，用于采集并识别画面信息，生成并传递识别结果；语音交互模块，用于获取语音信息，对语音信息进行内容识别，得到内容识别结果；结果展示模块，用于生成模拟手势动画信息，并展示给动作交互用户。本发明过对残障人士进行图像采集，从而识别残障人士作出的手语，并将识别结果转换为文字或者语音，并采集对话者的声音信息，并根据声音信息转化出对应的手语或文字以供残障人士理解，从而完美解决了残障人士与健全人之间的沟通问题，突破了残障人士融入社会的障碍。

Description

一种基于双向信号交互式显示系统

技术领域

本发明属于智能显示设备技术领域，尤其涉及一种基于双向信号交互式显示系统。

背景技术

显示系统是一种提供视觉信息的电子系统。显示系统按照不同的应用，采用一种或多种、一台或多台显示设备、提供单人或成组人所需的视觉信息，接收来自不同电子设备或系统的信号，一般需要配备适当的输入装置以便实现人－机联系和必要的记录设备供以后查用。

在当前社会中，有很多身体机能出现障碍的残疾人士。其中，聋哑人就是其中的一部分。对于语言障碍和听力障碍的残障人士而言，其无法直接通过语言来与人交流，一般需要采用手语的方式来表达自身的想法。

但是，对于一般人来说，没有学习过手语，因此，即使残障人士通过手语进行了表达，作为普通人也是无法对其进行理解，即使能够猜出手语的意思，也无法通过语言与残障人士进行进一步沟通，这就导致了残障人士与健全人之间的交流屏障，也进一步导致了残障人士容易与社会脱节的现象。

发明内容

本发明实施例的目的在于提供基于双向信号交互式显示系统，旨在解决残障人士无法与健全人进行交流的问题，本发明通过人像识别的方式，对残障人士的手语进行识别和翻译，从而解决了残障人士与健全人之间的沟通问题。

本发明实施例是这样实现的，一种基于双向信号交互式显示系统，所述系统包括：

启动识别模块，用于显示交互引导动作，获取实时监测画面信息，并对实时监测画面信息进行启动动作识别；

动作交互模块，用于在识别到交互引导动作时，采集并识别动作交互用户的画面信息，生成并传递识别结果；

语音交互模块，用于获取语音交互用户的语音信息，对语音信息进行内容识别，得到内容识别结果；

结果展示模块，用于根据内容识别结果生成模拟手势动画信息，并展示给动作交互用户。

优选的，所述启动识别模块包括：

引导动作显示单元，用于显示交互引导动作，所述交互引导动作为特定的手部动作，且区别于所有手语用语；

画面截取单元，用于按照预设的时间步长进行画面截取，得到待分析截图画面；

特征匹配单元，用于对待分析截图画面进行特征提取，并将得到的画面特征与预设的交互引导动作进行比对，若两者匹配则视为启动动作识别成功。

优选的，所述动作交互模块包括：

数据解析单元，用于解析画面信息，从中抽取动作画面帧；

动作识别单元，用于每次抽取一张画面帧，对画面帧进行关节数据识别，生成动作识别图像；

动作比对单元，用于将动作识别图像与手语数据库中的所有手语手势进行逐一对比，确定当前动作识别图像中包含的手语信息，以生成并传递识别结果。

优选的，所述结果展示模块包括：

关键字提取单元，用于对内容识别结果进行关键字提取，得到关键字临时数据；

手势提取单元，用于将关键字临时数据中包含的关键字按照提取顺序进行读取，并据此查询手语数据库中对应的手语手势，得到手语手势集合；

手语展示单元，用于生成虚拟人物形象，并使虚拟任务形象按照关键字提取顺序展示手语手势集合内包含的所有手语手势。

优选的，所述传递识别结果的步骤，采用文字传递或者语音传递。

优选的，所述展示给动作交互用户的步骤中，采用文字图片或者动画形式进行展示。

优选的，所述获取实时监测画面信息的步骤之后，还包括识别用户唇部动作及肢体动作，若用户无唇部动作且有连续的肢体动作，则视为启动动作识别成功。

本发明实施例的另一目的在于提供一种基于双向信号的交互式显示方法，所述方法包括：

显示交互引导动作，获取实时监测画面信息，并对实时监测画面信息进行启动动作识别；

在识别到交互引导动作时，采集并识别动作交互用户的画面信息，生成并传递识别结果；

获取语音交互用户的语音信息，对语音信息进行内容识别，得到内容识别结果；

根据内容识别结果生成模拟手势动画信息，并展示给动作交互用户。

优选的，所述显示交互引导动作，获取实时监测画面信息，并对实时监测画面信息进行启动动作识别的步骤，具体包括：

显示交互引导动作，所述交互引导动作为特定的手部动作，且区别于所有手语用语；

按照预设的时间步长进行画面截取，得到待分析截图画面；

对待分析截图画面进行特征提取，并将得到的画面特征与预设的交互引导动作进行比对，若两者匹配则视为启动动作识别成功。

优选的，所述在识别到交互引导动作时，采集并识别动作交互用户的画面信息，生成并传递识别结果的步骤，具体包括：

解析画面信息，从中抽取动作画面帧；

每次抽取一张画面帧，对画面帧进行关节数据识别，生成动作识别图像；

将动作识别图像与手语数据库中的所有手语手势进行逐一对比，确定当前动作识别图像中包含的手语信息，以生成并传递识别结果。

本发明实施例提供的一种基于双向信号交互式显示系统，通过对残障人士进行图像采集，从而识别残障人士作出的手语，并将识别结果转换为文字或者语音，并采集对话者的声音信息，并根据声音信息转化出对应的手语或文字以供残障人士理解，从而完美解决了残障人士与健全人之间的沟通问题，突破了残障人士融入社会的障碍。

附图说明

图1为本发明实施例提供的一种基于双向信号的交互式显示方法的流程图；

图2为本发明实施例提供的显示交互引导动作以获取实时监测画面信息并对实时监测画面信息进行启动动作识别的步骤的流程图；

图3为本发明实施例提供的在识别到交互引导动作时采集并识别动作交互用户的画面信息并生成并传递识别结果的步骤的流程图；

图4为本发明实施例提供的一种基于双向信号交互式显示系统的架构图；

图5为本发明实施例提供的启动识别模块的架构图；

图6为本发明实施例提供的动作交互模块的架构图；

图7为本发明实施例提供的结果展示模块的架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。

在当前社会中，有很多身体机能出现障碍的残疾人士。其中，聋哑人就是其中的一部分。对于语言障碍和听力障碍的残障人士而言，其无法直接通过语言来与人交流，一般需要采用手语的方式来表达自身的想法。但是，对于一般人来说，没有学习过手语，因此，即使残障人士通过手语进行了表达，作为普通人也是无法对其进行理解，即使能够猜出手语的意思，也无法通过语言与残障人士进行进一步沟通，这就导致了残障人士与健全人之间的交流屏障，也进一步导致了残障人士容易与社会脱节的现象。

在本发明中，通过对残障人士进行图像采集，从而识别残障人士作出的手语，并将识别结果转换为文字或者语音，并采集对话者的声音信息，并根据声音信息转化出对应的手语或文字以供残障人士理解，从而完美解决了残障人士与健全人之间的沟通问题，突破了残障人士融入社会的障碍。

如图1所示，为本发明实施例提供的一种基于双向信号的交互式显示方法的流程图，所述方法包括：

S100，显示交互引导动作，获取实时监测画面信息，并对实时监测画面信息进行启动动作识别。

在本步骤中，显示交互引导动作，通过预设交互引导动作，以提示用户做出相应的肢体动作，以启动动作识别，交互引导动作是用于判断当前是否需要启动动作识别，在不启动动作识别的时候，则无需对当前的画面进行实时处理，以减少数据处理量，也避免了误识别的情况，在显示交互引导动作之后，利用图像采集装置进行实时画面的监测，得到实时监测画面信息，图像采集装置可以是摄像机等具有画面采集功能的设备，通过对实时监测画面信息进行识别，从而判断实时监测画面信息中是否包含有交互引导动作，以此作为依据判断是否启动动作识别；获取实时监测画面信息的步骤之后，还包括识别用户唇部动作及肢体动作，若用户无唇部动作且有连续的肢体动作，则视为启动动作识别成功；所述展示给动作交互用户的步骤中，采用文字图片或者动画形式进行展示。

S200，在识别到交互引导动作时，采集并识别动作交互用户的画面信息，生成并传递识别结果。

在本步骤中，在识别到交互引导动作时，说明当前有用户需要进行手语交流，因此，主动采集当前用户的画面信息，并对画面信息进行图像识别，识别该画面信息中包含的手语动作，从而得到识别结果，在得到识别结果之后，可以采用文字的方式进行传递，还可以采用与语音播报的方式进行传递。

S300，获取语音交互用户的语音信息，对语音信息进行内容识别，得到内容识别结果。

在本步骤中，获取语音交互用户的语音信息，此时已经通过文字方式或者语音播报的方式将手语转换的结果进行了展示，此时需要将语音交互用户所需要反馈给动作交互用户的内容进行转换，因此需要获取语音交互用户的语音信息，然后对语音信息中的内容进行识别，从而获取内容识别结果，内容识别结果中则记录了语音交互用户的想要表达的内容。

S400，根据内容识别结果生成模拟手势动画信息，并展示给动作交互用户。

在本步骤中，根据内容识别结果生成模拟手势动画信息，在内容识别结果中包含了语音交互用户想要表达的文字，因此可以据此查找对应的手语手势，从而利用动画的形式，将相应的手语手势展示给动作交互用户，至此完成一轮交流，为了持续进行交流，重复上述步骤即可。

如图2所示，作为本发明的一个优选实施例，所述显示交互引导动作，获取实时监测画面信息，并对实时监测画面信息进行启动动作识别的步骤，具体包括：

S101，显示交互引导动作，所述交互引导动作为特定的手部动作，且区别于所有手语用语。

在本步骤中，显示交互引导动作，交互引导动作为特定的手部动作，为了方便识别，需要特定一个手部动作，且为了与手语手势进行区分，该手部动作需要区别于所有的手语用语。

S102，按照预设的时间步长进行画面截取，得到待分析截图画面。

在本步骤中，按照预设的时间步长进行画面截取，这是为了避免对所有数据进行处理将会导致的浪费计算资源，通过每隔一段时间截取一帧画面，最终得到待分析截图画面。

S103，对待分析截图画面进行特征提取，并将得到的画面特征与预设的交互引导动作进行比对，若两者匹配则视为启动动作识别成功。

在本步骤中，对待分析截图画面进行特征提取，通过对待分析截图画面进行内容识别，从而识别画面中动作用户的动作，将其动作作为画面特征进行提取，然后将其与预设的交互引导动作进行比对，若两者匹配则视为启动动作识别成功，反之则不启动动作识别，保持静默状态。

如图3所示，作为本发明的一个优选实施例，所述在识别到交互引导动作时，采集并识别动作交互用户的画面信息，生成并传递识别结果的步骤，具体包括：

S201，解析画面信息，从中抽取动作画面帧。

在本步骤中，首先解析画面信息，将其中包含的所有画面帧都提取出来，然后从中抽取部分画面帧，例如，原画面的录制帧率为60，那么每分钟就会产生60张画面帧，由于画面帧的内容变化并不大，因此可以从中挑选部分画面帧作为特征画面。

S202，每次抽取一张画面帧，对画面帧进行关节数据识别，生成动作识别图像。

在本步骤中，每次抽取一张画面帧，从而对画面帧进行关节数据识别，从而生成模拟骨骼，根据模拟骨骼就能够生成动作识别图像，模拟骨骼通过线条进行表示，并将其他内容都抹除，以方便进行识别。

S203，将动作识别图像与手语数据库中的所有手语手势进行逐一对比，确定当前动作识别图像中包含的手语信息，以生成并传递识别结果。

在本步骤中，每次读取一张动作识别图像，然后将每一张动作识别图像与手语数据库中的所有手语手势进行逐一对比，如果两者之间能够为吻合，则确定了当前动作识别图像中包含的手语信息，以最终生成识别结果，然后通过文字形式或者语音播报的形式进行传递。

如图4所示，为发明实施例提供的一种基于双向信号交互式显示系统，所述系统包括：

启动识别模块100，用于显示交互引导动作，获取实时监测画面信息，并对实时监测画面信息进行启动动作识别。

在本步骤中，启动识别模块100显示交互引导动作，通过预设交互引导动作，以提示用户做出相应的肢体动作，以启动动作识别，交互引导动作是用于判断当前是否需要启动动作识别，在不启动动作识别的时候，则无需对当前的画面进行实时处理，以减少数据处理量，也避免了误识别的情况，在显示交互引导动作之后，利用图像采集装置进行实时画面的监测，得到实时监测画面信息，图像采集装置可以是摄像机等具有画面采集功能的设备，通过对实时监测画面信息进行识别，从而判断实时监测画面信息中是否包含有交互引导动作，以此作为依据判断是否启动动作识别；所述系统还包括语音提示模块，所述语音提示模块用于在启动动作识别成功时发出语音提示并展示预设的启动成功动画；所述启动识别模块还包括指令接收单元，用于在接收输入的启动指令后，启动动作识别。

动作交互模块200，用于在识别到交互引导动作时，采集并识别动作交互用户的画面信息，生成并传递识别结果。

在本模块中，动作交互模块200在识别到交互引导动作时，说明当前有用户需要进行手语交流，因此，主动采集当前用户的画面信息，并对画面信息进行图像识别，识别该画面信息中包含的手语动作，从而得到识别结果，在得到识别结果之后，可以采用文字的方式进行传递，还可以采用与语音播报的方式进行传递。

语音交互模块300，用于获取语音交互用户的语音信息，对语音信息进行内容识别，得到内容识别结果。

在本模块中，语音交互模块300获取语音交互用户的语音信息，此时已经通过文字方式或者语音播报的方式将手语转换的结果进行了展示，此时需要将语音交互用户所需要反馈给动作交互用户的内容进行转换，因此需要获取语音交互用户的语音信息，然后对语音信息中的内容进行识别，从而获取内容识别结果，内容识别结果中则记录了语音交互用户的想要表达的内容。

结果展示模块400，用于根据内容识别结果生成模拟手势动画信息，并展示给动作交互用户。

在本模块中，结果展示模块400根据内容识别结果生成模拟手势动画信息，在内容识别结果中包含了语音交互用户想要表达的文字，因此可以据此查找对应的手语手势，从而利用动画的形式，将相应的手语手势展示给动作交互用户，至此完成一轮交流，为了持续进行交流，重复上述步骤即可。

如图5所示，作为本发明的一个优选实施例，所述启动识别模块100包括：

引导动作显示单元101，用于显示交互引导动作，所述交互引导动作为特定的手部动作，且区别于所有手语用语。

在本模块中，引导动作显示单元101显示交互引导动作，交互引导动作为特定的手部动作，为了方便识别，需要特定一个手部动作，且为了与手语手势进行区分，该手部动作需要区别于所有的手语用语。

画面截取单元102，用于按照预设的时间步长进行画面截取，得到待分析截图画面。

在本模块中，画面截取单元102按照预设的时间步长进行画面截取，这是为了避免对所有数据进行处理将会导致的浪费计算资源，通过每隔一段时间截取一帧画面，最终得到待分析截图画面。

特征匹配单元103，用于对待分析截图画面进行特征提取，并将得到的画面特征与预设的交互引导动作进行比对，若两者匹配则视为启动动作识别成功。

在本模块中，特征匹配单元103对待分析截图画面进行特征提取，通过对待分析截图画面进行内容识别，从而识别画面中动作用户的动作，将其动作作为画面特征进行提取，然后将其与预设的交互引导动作进行比对，若两者匹配则视为启动动作识别成功，反之则不启动动作识别，保持静默状态。

如图6所示，作为本发明的一个优选实施例，所述动作交互模块200包括：

数据解析单元201，用于解析画面信息，从中抽取动作画面帧。

在本模块中，数据解析单元201解析画面信息，将其中包含的所有画面帧都提取出来，然后从中抽取部分画面帧，例如，原画面的录制帧率为60，那么每分钟就会产生60张画面帧，由于画面帧的内容变化并不大，因此可以从中挑选部分画面帧作为特征画面。

动作识别单元202，用于每次抽取一张画面帧，对画面帧进行关节数据识别，生成动作识别图像。

在本模块中，动作识别单元202每次抽取一张画面帧，从而对画面帧进行关节数据识别，从而生成模拟骨骼，根据模拟骨骼就能够生成动作识别图像，模拟骨骼通过线条进行表示，并将其他内容都抹除，以方便进行识别。

动作比对单元203，用于将动作识别图像与手语数据库中的所有手语手势进行逐一对比，确定当前动作识别图像中包含的手语信息，以生成并传递识别结果。

在本模块中，动作比对单元203每次读取一张动作识别图像，然后将每一张动作识别图像与手语数据库中的所有手语手势进行逐一对比，如果两者之间能够为吻合，则确定了当前动作识别图像中包含的手语信息，以最终生成识别结果，然后通过文字形式或者语音播报的形式进行传递。

如图7所示，作为本发明的一个优选实施例，所述结果展示模块300包括：

关键字提取单元301，用于对内容识别结果进行关键字提取，得到关键字临时数据。

在本模块中，关键字提取单元301对内容识别结果中的文字进行关键字提取，提取其中的词语，并将提取得到的词语转化为标准的手语用词，从而得到关键字临时数据，关键字临时数据中包含有所有的关键字。

手势提取单元302，用于将关键字临时数据中包含的关键字按照提取顺序进行读取，并据此查询手语数据库中对应的手语手势，得到手语手势集合。

在本模块中，手势提取单元302按照关键字提取的顺序对每一个关键字进行提取，然后根据提出的关键字查询手语数据库，以得到每一个手语手势，并将所有查询得到的手语手势进行存储，得到手语手势集合。

手语展示单元303，用于生成虚拟人物形象，并使虚拟任务形象按照关键字提取顺序展示手语手势集合内包含的所有手语手势。

在本模块中，手语展示单元303先生成虚拟任务形象，然后根据关键字生成对应的动作，使得虚拟任务形象按照关键字提取顺序展示手语手势集合内包含的所有手语手势；所述虚拟人物形象的性别根据动作交互用户的性别进行对应设置。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于双向信号交互式显示系统，其特征在于，所述系统包括：

启动识别模块，用于显示交互引导动作，获取实时监测画面信息，并对实时监测画面信息进行启动动作识别；

动作交互模块，用于在识别到交互引导动作时，采集并识别动作交互用户的画面信息，生成并传递识别结果；

语音交互模块，用于获取语音交互用户的语音信息，对语音信息进行内容识别，得到内容识别结果；

结果展示模块，用于根据内容识别结果生成模拟手势动画信息，并展示给动作交互用户。

2.根据权利要求1所述的基于双向信号交互式显示系统，其特征在于，所述启动识别模块包括：

引导动作显示单元，用于显示交互引导动作，所述交互引导动作为特定的手部动作，且区别于所有手语用语；

画面截取单元，用于按照预设的时间步长进行画面截取，得到待分析截图画面；

特征匹配单元，用于对待分析截图画面进行特征提取，并将得到的画面特征与预设的交互引导动作进行比对，若两者匹配则视为启动动作识别成功。

3.根据权利要求1所述的基于双向信号交互式显示系统，其特征在于，所述动作交互模块包括：

数据解析单元，用于解析画面信息，从中抽取动作画面帧；

动作识别单元，用于每次抽取一张画面帧，对画面帧进行关节数据识别，生成动作识别图像；

动作比对单元，用于将动作识别图像与手语数据库中的所有手语手势进行逐一对比，确定当前动作识别图像中包含的手语信息，以生成并传递识别结果。

4.根据权利要求1所述的基于双向信号交互式显示系统，其特征在于，所述结果展示模块包括：

关键字提取单元，用于对内容识别结果进行关键字提取，得到关键字临时数据；

手势提取单元，用于将关键字临时数据中包含的关键字按照提取顺序进行读取，并据此查询手语数据库中对应的手语手势，得到手语手势集合；

手语展示单元，用于生成虚拟人物形象，并使虚拟任务形象按照关键字提取顺序展示手语手势集合内包含的所有手语手势。

5.根据权利要求3所述的基于双向信号交互式显示系统，其特征在于，所述传递识别结果的步骤，采用文字传递或者语音传递。

6.根据权利要求1所述的基于双向信号交互式显示系统，其特征在于，所述展示给动作交互用户的步骤中，采用文字图片或者动画形式进行展示。

7.根据权利要求1所述的基于双向信号交互式显示系统，其特征在于，所述获取实时监测画面信息的步骤之后，还包括识别用户唇部动作及肢体动作，若用户无唇部动作且有连续的肢体动作，则视为启动动作识别成功。

8.根据权利要求1所述的基于双向信号交互式显示系统，其特征在于，所述系统还包括语音提示模块，所述语音提示模块用于在启动动作识别成功时发出语音提示并展示预设的启动成功动画。

9.根据权利要求2所述的基于双向信号交互式显示系统，其特征在于，所述启动识别模块还包括指令接收单元，用于在接收输入的启动指令后，启动动作识别。

10.根据权利要求4所述的基于双向信号交互式显示系统，其特征在于，所述虚拟人物形象的性别根据动作交互用户的性别进行对应设置。

Images