CN111093046A - 一种基于图像采集设备的显示屏开启方法及终端设备 - Google Patents

Abstract

本发明涉及终端设备技术领域，公开一种基于图像采集设备的显示屏开启方法及终端设备，包括：显示屏包括墨水屏和彩色显示屏，墨水屏用于输出若干个应用启动端口，彩色显示屏用于输出多媒体内容，当检测到用户通过墨水屏输出的任意一个应用启动端口启动对应的目标应用时，检测目标应用是否触发终端设备的图像采集设备开启；如果是，开启图像采集设备和彩色显示屏；将图像采集设备采集到的环境图像加载至彩色显示屏进行显示，以及将环境图像发送至目标应用的视频通话方。实施本发明实施例，能够提升了用户使用终端设备进行视频通话的使用体验。

Description

一种基于图像采集设备的显示屏开启方法及终端设备

技术领域

本发明涉及终端设备技术领域，具体涉及一种基于图像采集设备的显示屏开启方法及终端设备。

背景技术

随着智能手机、平板电脑等终端设备的快速发展，越来越多的用户选择使用终端设备进行学习、工作或是娱乐。由于当前终端设备的显示屏通常为液晶显示屏，长期使用会导致用户视力受损，因此市面上出现了使用墨水屏的终端设备。然而，在实践中发现，在进行视频通话的过程中，墨水屏可能存在清晰度较低或者播放卡顿等情况，导致用户通常无法通过墨水屏清晰的看到用户周围的环境图像，影响了用户在视频通话过程中的使用体验。

发明内容

本发明实施例公开一种基于图像采集设备的显示屏开启方法及终端设备，能够提升用户使用终端设备进行视频通话的使用体验。

本发明实施例第一方面公开一种基于图像采集设备的显示屏开启方法，所述显示屏包括墨水屏和彩色显示屏，所述墨水屏用于输出若干个应用启动端口，所述彩色显示屏用于输出多媒体内容，所述方法包括：

当检测到用户通过所述墨水屏输出的任意一个所述应用启动端口启动对应的目标应用时，检测所述目标应用是否触发终端设备的所述图像采集设备开启；

如果是，开启所述图像采集设备和所述彩色显示屏；

将所述图像采集设备采集到的环境图像加载至所述彩色显示屏进行显示，以及将所述环境图像发送至所述目标应用的视频通话方。

作为一种可选的实施方式，在本发明实施例第一方面中，所述将所述环境图像发送至所述目标应用的视频通话方之后，所述方法还包括：

当检测到用户输入的拍照指令时，通过所述图像采集设备进行拍照，得到所述彩色显示屏输出的当前环境图像；

当所述终端设备的麦克风采集到用户输入的提问语音时，对所述当前环境图像进行分析，得到所述当前环境图像中与所述提问语音匹配的特征图像信息；

以所述特征图像信息为依据，搜索得到与所述提问语音对应的第一答案信息；

通过所述墨水屏输出所述第一答案信息。

作为一种可选的实施方式，在本发明实施例第一方面中，得到所述彩色显示屏输出的当前环境图像之后，所述方法还包括：

识别所述当前环境图像中是否存在待搜索题目；

如果是，向所述视频通话方发送所述待搜索题目，以使所述视频通话方反馈与所述待搜索题目匹配的第二答案信息；

当接收到所述视频通话方反馈的所述第二答案信息时，通过所述墨水屏输出显示所述第二答案信息。

作为一种可选的实施方式，在本发明实施例第一方面中，所述当所述终端设备的麦克风采集到用户输入的提问语音时，对所述当前环境图像进行分析，得到所述当前环境图像中与所述提问语音匹配的特征图像信息，包括：

当所述终端设备的麦克风采集到用户输入的提问语音时，提取所述提问语音中包含的关键名词；

对所述当前环境图像进行图像语义分割，得到所述当前环境图像中包含的若干个语义信息；

从所述若干个语义信息中确定与所述关键名词匹配的目标语义信息；

从所述当前环境图像中提取与所述目标语义信息匹配的特征图像信息。

作为一种可选的实施方式，在本发明实施例第一方面中，所述将所述环境图像发送至所述目标应用的视频通话方之后，所述方法还包括：

当接收到所述视频通话方发送的危险预警指令时，对所述环境图像进行识别，得到所述环境图像中包含的若干个物体信息；

检测所述若干个物体信息中是否包含危险信息；

如果是，确定所述终端设备的用户处于危险环境中，并通过所述墨水屏输出危险环境提示信息，以及向所述视频通话方发送所述危险环境提示信息，所述危险环境提示信息用于提示所述终端设备的所处环境存在危险。

本发明实施例第二方面公开一种终端设备，所述终端设备包含显示屏，所述显示屏包括墨水屏和彩色显示屏，所述墨水屏用于输出若干个应用启动端口，所述彩色显示屏用于输出多媒体内容，所述终端设备包括：

第一检测单元，用于当检测到用户通过所述墨水屏输出的任意一个所述应用启动端口启动对应的目标应用时，检测所述目标应用是否触发所述终端设备的所述图像采集设备开启；

开启单元，用于在所述第一检测单元检测的结果为是时，开启所述图像采集设备和所述彩色显示屏；

显示单元，用于将所述图像采集设备采集到的环境图像加载至所述彩色显示屏进行显示，以及将所述环境图像发送至所述目标应用的视频通话方。

作为一种可选的实施方式，在本发明实施例第二方面中，所述终端设备还包括：

拍照单元，用于在所述显示单元将所述环境图像发送至所述目标应用的视频通话方之后，以及当检测到用户输入的拍照指令时，通过所述图像采集设备进行拍照，得到所述彩色显示屏输出的当前环境图像；

分析单元，用于当所述终端设备的麦克风采集到用户输入的提问语音时，对所述当前环境图像进行分析，得到所述当前环境图像中与所述提问语音匹配的特征图像信息；

搜索单元，用于以所述特征图像信息为依据，搜索得到与所述提问语音对应的第一答案信息；

第一输出单元，用于通过所述墨水屏输出所述第一答案信息。

作为一种可选的实施方式，在本发明实施例第二方面中，所述终端设备还包括：

第一识别单元，用于在所述拍照单元得到所述彩色显示屏输出的当前环境图像之后，识别所述当前环境图像中是否存在待搜索题目；

发送单元，用于在所述第一识别单元识别的结果为是时，向所述视频通话方发送所述待搜索题目，以使所述视频通话方反馈与所述待搜索题目匹配的第二答案信息；

第二输出单元，用于当接收到所述视频通话方反馈的所述第二答案信息时，通过所述墨水屏输出显示所述第二答案信息。

作为一种可选的实施方式，在本发明实施例第二方面中，所述分析单元包括：

第一提取子单元，用于当所述终端设备的麦克风采集到用户输入的提问语音时，通过语音识别技术提取所述提问语音中包含的关键名词；

分割子单元，用于对所述当前环境图像进行图像语义分割，得到所述当前环境图像中包含的若干个语义信息；

确定子单元，用于从所述若干个语义信息中确定与所述关键名词匹配的目标语义信息；

第二提取子单元，用于从所述当前环境图像中提取与所述目标语义信息匹配的特征图像信息。

作为一种可选的实施方式，在本发明实施例第二方面中，所述终端设备还包括：

第二识别单元，用于在所述显示单元将所述环境图像发送至所述目标应用的视频通话方之后，以及当接收到所述视频通话方发送的危险预警指令时，对所述环境图像进行识别，得到所述环境图像中包含的若干个物体信息；

第二检测单元，用于检测所述若干个物体信息中是否包含危险信息；

确定单元，用于在所述第二检测单元检测的结果为是时，确定所述终端设备的用户处于危险环境中，并通过所述墨水屏输出危险环境提示信息，以及向所述视频通话方发送所述危险环境提示信息，所述危险环境提示信息用于提示所述终端设备的所处环境存在危险。

本发明实施例第三方面公开另一种终端设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行第一方面的任意一种方法的部分或全部步骤。

本发明实施例第四方面公开一种计算机可读存储介质，所述计算机可读存储介质存储了程序代码，其中，所述程序代码包括用于执行第一方面的任意一种方法的部分或全部步骤的指令。

本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，显示屏包括墨水屏和彩色显示屏，墨水屏用于输出若干个应用启动端口，彩色显示屏用于输出多媒体内容，当检测到用户通过墨水屏输出的任意一个应用启动端口启动对应的目标应用时，检测目标应用是否触发终端设备的图像采集设备开启；如果是，开启图像采集设备和彩色显示屏；将图像采集设备采集到的环境图像加载至彩色显示屏进行显示，以及将环境图像发送至目标应用的视频通话方。可见，实施本发明实施例，能够在图形采集设备被触发开启的同时开启彩色显示屏，并且将图像采集设备采集到的环境图像输出至彩色显示屏上，与此同时可以将环境图像发送至目标应用的视频通话方，以使终端设备的用户可以与视频通话方同时看到相同的清晰度较高的环境图像，从而提升了用户使用终端设备进行视频通话的使用体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种基于图像采集设备的显示屏开启方法的流程示意图；

图2是本发明实施例公开的另一种基于图像采集设备的显示屏开启方法的流程示意图；

图3是本发明实施例公开的另一种基于图像采集设备的显示屏开启方法的流程示意图；

图4是本发明实施例公开的一种终端设备的结构示意图；

图5是本发明实施例公开的另一种终端设备的结构示意图；

图6是本发明实施例公开的另一种终端设备的结构示意图；

图7是本发明实施例公开的另一种终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开一种基于图像采集设备的显示屏开启方法及终端设备，能够使终端设备的用户可以与视频通话方同时看到相同的清晰度较高的环境图像，从而提升了用户使用终端设备进行视频通话的使用体验。以下分别进行详细说明。

实施例一

请参阅图1，图1是本发明实施例公开的一种基于图像采集设备的显示屏开启方法的流程示意图。其中，显示屏包括墨水屏和彩色显示屏，墨水屏用于输出若干个应用启动端口，彩色显示屏用于输出多媒体内容。如图1所示，该基于图像采集设备的显示屏开启方法可以包括以下步骤：

101、当检测到用户通过墨水屏输出的任意一个应用启动端口启动对应的目标应用时，终端设备检测目标应用是否触发终端设备的图像采集设备开启，如果是，执行步骤102～步骤103；如果否，结束本流程。

本发明实施例中，终端设备可以为家教机、学习平板等，且终端设备上设置的显示屏可以包含墨水屏和彩色显示屏，且本发明实施例对墨水屏和彩色显示屏的大小以及墨水屏和彩色显示屏的相对位置关系均不做限定，此外，墨水屏可以通过电子纸显技术实现，墨水屏可以模拟书本的效果，从而实现保护用户视力的效果；彩色显示屏可以为液晶显示器(Liquid Crystal Display，LCD)等，由于墨水屏输出的图像采集设备采集的环境图像在墨水屏上输出的效果为黑白图像，因此用墨水屏输出环境图像的效果较差，因此可以通过彩色显示屏输出环境图像，以使终端设备的用户可以通过彩色显示屏看到更为清晰、效果更好的环境图像，提高了终端设备用户的使用体验。此外，图像采集设备可以为摄像头等设备，且图像采集设备可以设置在终端设备的墨水屏上，也可以设置为终端设备的彩色显示屏上，对此，本发明实施例不做限定。

本发明实施例中，墨水屏上可以包含一个或多个应用的启动端口，该应用的启动端口可以以图标的形式显示，当终端设备的用户点击墨水屏上的任意一个应用启动端口时，可以确定该应用启动端口对应的目标应用，当检测到目标应用在使用过程需要使用图像采集设备采集的图像时，可以认为该目标应用会在使用过程中触发图像采集设备启动；例如，当用户点击相机应用启动时，相机应用在使用过程中需要使用图像采集设备采集终端设备周围的环境图像，因此可以认为相机应用会在使用过程中触发图像采集设备启动；还可以当用户点击社交类应用启动时，社交类应用在使用过程中可能会向交互方发送图片或视频等内容，社交类应用的图片或视频等内容通常是通过图像采集设备得到的，因此可以认为社交类应用会在使用过程中触发图像采集设备启动；且当可能触发图像采集设备的目标应用在使用过程中触发图像采集设备启动时，终端设备才控制图像采集设备和彩色显示屏开启。

作为一种可选的实施方式，终端设备在检测到目标应用未触发终端设备的图像采集设备开启之后，还可以包含以下步骤：

终端设备获取目标应用的应用信息，该应用信息中可以包含目标应用的应用类型以及该目标应用输出的数据类型；

当检测到目标应用输出的数据类型中包含图片类型和/或视频类型时，终端设备获取该图片类型和/或视频类型对应的输出内容；

终端设备通过彩色显示屏输出显示该输出内容。

其中，实施这种实施方式，可以检测用户需要开启的目标应用中是否包含需要彩色显示屏输出显示的图片或视频内容，如果存在，则获取该图片或视频内容，并在彩色显示屏上输出显示该图片或视频内容，以通过彩色显示屏输出观看体验更好的图片或视频内容。

102、终端设备开启图像采集设备和彩色显示屏。

本发明实施例中，图像采集设备的开启方式可以为控制图像采集设备进入运行状态，以使图像采集设备采集终端设备所处环境的环境图像，此外，终端设备还可以控制彩色显示屏开启，以使彩色显示屏可以输出显示图像采集设备采集的环境图像。

103、终端设备将图像采集设备采集到的环境图像加载至彩色显示屏进行显示，以及将环境图像发送至目标应用的视频通话方。

本发明实施例中，彩色显示屏输出环境图像的方式可以通过全屏显示的方式输出，还可以在彩色显示屏上任意一个区域输出显示该环境图像，以使彩色显示屏输出显示环境图像的方式更加多样化。

本发明实施例中，视频通话方可以为终端设备的用户预先添加的好友，也可以为临时与终端设备建立通讯连接的陌生人，视频通话方使用的视频通话设备可以为智能手机、平板电脑、笔记本电脑等终端设备，对此，本发明实施例不做限定。

在图1所描述的方法中，能够使终端设备的用户可以与视频通话方同时看到相同的清晰度较高的环境图像，从而提升了用户使用终端设备进行视频通话的使用体验。此外，实施图1所描述的方法，可以通过彩色显示屏输出观看体验更好的图片或视频内容。

实施例二

请参阅图2，图2是本发明实施例公开的另一种基于图像采集设备的显示屏开启方法的流程示意图。其中，显示屏包括墨水屏和彩色显示屏，墨水屏用于输出若干个应用启动端口，彩色显示屏用于输出多媒体内容。如图2所示，该基于图像采集设备的显示屏开启方法可以包括以下步骤：

201、当检测到用户通过墨水屏输出的任意一个应用启动端口启动对应的目标应用时，终端设备检测目标应用是否触发终端设备的图像采集设备开启，如果是，执行步骤202～步骤208；如果否，结束本流程。

202、终端设备开启图像采集设备和彩色显示屏。

203、终端设备将图像采集设备采集到的环境图像加载至彩色显示屏进行显示，以及将环境图像发送至目标应用的视频通话方。

204、当检测到用户输入的拍照指令时，终端设备通过图像采集设备进行拍照，得到彩色显示屏输出的当前环境图像。

作为一种可选的实施方式，终端设备执行步骤204之前，还可以执行以下步骤：

当检测到用户基于终端设备输入的点击操作时，终端设备确定该点击操作对应的目标显示屏；

当检测到目标显示屏为墨水屏时，终端设备获取墨水屏对应的墨水屏坐标系，并确定该点击操作在该墨水屏坐标系中对应的第一坐标，以及确定该第一坐标是否对应拍照指令，如果是，确定检测到用户输入的拍照指令；

当检测到目标显示屏为彩色显示屏时，终端设备获取彩色显示屏对应的彩色显示屏坐标系，并确定该点击操作在该彩色显示屏坐标系中对应的第二坐标，以及确定该第二坐标是否对应拍照指令，如果是，确定检测到用户输入的拍照指令。

其中，实施这种实施方式，可以在检测到用户输入的点击操作时，确定用户点击操作对应的显示屏，进而根据不同的显示屏采用不同的方式检测拍照指令，以使拍照指令的检测方式更加准确。

205、当终端设备的麦克风采集到用户输入的提问语音时，终端设备对当前环境图像进行分析，得到当前环境图像中与提问语音匹配的特征图像信息。

本发明实施例中，用户可以针对当前环境图像中的任意信息进行提问，例如，当当前环境图像中存在花朵时，用户可以输入“花朵是什么颜色？”的提问语音，终端设备可以从提问语音中识别出“花朵”这一关键名词，并且终端设备可以从当前环境图像中识别出“花朵”这一语义信息，进而终端设备将语义信息的“花朵”与关键名词的“花朵”进行匹配，从而在当前环境图像中确定语义信息的“花朵”对应的特征图像信息。

作为一种可选的实施方式，当终端设备的麦克风采集到用户输入的提问语音时，终端设备对当前环境图像进行分析，得到当前环境图像中与提问语音匹配的特征图像信息的方式可以包含以下步骤：

当终端设备的麦克风采集到用户输入的提问语音时，终端设备提取提问语音中包含的关键名词；

终端设备对当前环境图像进行图像语义分割，得到当前环境图像中包含的若干个语义信息；

终端设备从若干个语义信息中确定与关键名词匹配的目标语义信息；

终端设备从当前环境图像中提取与目标语义信息匹配的特征图像信息。

其中，实施这种实施方式，可以通过对当前环境图像进行语义分割的方式得到当前环境图像中包含的若干语义信息，并从若干语义信息中确定与提问语音匹配的目标语义信息，从而根据目标语义信息提取当前环境图像中的特征图像信息，以使特征图像信息的确定方式更加准确。

206、终端设备以特征图像信息为依据，搜索得到与提问语音对应的第一答案信息。

207、终端设备通过墨水屏输出第一答案信息。

本发明实施例中，第一答案信息的数据类型可以为图片和/或文字的类型，因此墨水屏可以输出图片类型的答案信息，也可以输出文字类型的答案信息，还可以同时输出文字类型和图片类型的答案信息。

本发明实施例中，执行步骤204～步骤207，可以根据用户输入的提问语音，确定该提问语音与当前环境图像相关的问题，进而对该问题进行搜索，以得到用户想要搜索的答案，并将该答案进行输出，以使终端设备基于当前环境图像搜索的内容更具针对性。

208、终端设备识别当前环境图像中是否存在待搜索题目，如果是，执行步骤209～步骤210；如果否，结束本流程。

作为一种可选的实施方式，终端设备识别当前环境图像中是否存在待搜索题目的方式可以包含以下步骤：

终端设备对当前环境图像进行文字识别，获取当前环境图像中包含的文字信息；

终端设备对该文字信息进行整理，得到该文字信息对应的内容信息；

终端设备对该内容信息进行语义分析，判断该内容信息是否包含题目信息；

如果是，终端设备确定当前环境图像中存在待搜索题目。

其中，实施这种实施方式，可以从当前环境图像中识别出文字信息，并对文字信息进行分析，确定当前环境图像中是否包含待搜索题目，从而提高了识别当前环境图像中待搜索题目的准确性。

209、终端设备向视频通话方发送待搜索题目，以使视频通话方反馈与待搜索题目匹配的第二答案信息。

210、当接收到视频通话方反馈的第二答案信息时，终端设备通过墨水屏输出显示第二答案信息。

举例来说，视频通话方可以是老师，在终端设备的用户与老师进行视频通话的过程中，视频通话的内容可以为教学内容或答疑内容，当用户有想要向老师询问的问题时，可以拍摄包含待询问题目的图像，并向老师发送包含待询问题目的图像，以使老师可以对该图像中包含的待询问题目做出解答，老师可以通过老师使用的终端设备将解答出的该待询问题目的答案反馈至用户的终端设备，以使终端设备可以通过墨水屏输出显示老师解答的答案，从而提高了用户与老师之间的交互性。

本发明实施例中，执行步骤208～步骤210，可以在检测出当前环境图像中存在待搜索题目时，可以将该待搜索题目发送至视频通话方，以使视频通话方针对该待搜索题目进行搜索或解答，以得到该待搜索题目的答案，并向终端设备发送该答案，以使终端设备通过墨水屏输出该答案，从而提升了终端设备与视频通话方之间的互动性。

本发明实施例中，步骤208～步骤210可以在步骤204之后的任意步骤之前或之后执行，对本发明实施例不造成影响。

在图2所描述的方法中，能够使终端设备的用户可以与视频通话方同时看到相同的清晰度较高的环境图像，从而提升了用户使用终端设备进行视频通话的使用体验。此外，实施图2所描述的方法，可以使拍照指令的检测方式更加准确。此外，实施图2所描述的方法，可以使特征图像信息的确定方式更加准确。此外，实施图2所描述的方法，可以使终端设备基于当前环境图像搜索的内容更具针对性。此外，实施图2所描述的方法，提高了识别当前环境图像中待搜索题目的准确性。此外，实施图2所描述的方法，提升了终端设备与视频通话方之间的互动性。

实施例三

请参阅图3，图3是本发明实施例公开的另一种基于图像采集设备的显示屏开启方法的流程示意图。其中，显示屏包括墨水屏和彩色显示屏，墨水屏用于输出若干个应用启动端口，彩色显示屏用于输出多媒体内容。如图3所示，该基于图像采集设备的显示屏开启方法可以包括以下步骤：

301、当检测到用户通过墨水屏输出的任意一个应用启动端口启动对应的目标应用时，终端设备检测目标应用是否触发终端设备的图像采集设备开启，如果是，执行步骤302～步骤305；如果否，结束本流程。

302、终端设备开启图像采集设备和彩色显示屏。

303、终端设备将图像采集设备采集到的环境图像加载至彩色显示屏进行显示，以及将环境图像发送至目标应用的视频通话方。

304、当接收到视频通话方发送的危险预警指令时，终端设备对环境图像进行识别，得到环境图像中包含的若干个物体信息；

本发明实施例中，视频通话方可能是终端设备的用户的家长、亲属等监护人，监护人通常会较为关心终端设备的用户的安全，因此，视频通话方可以向终端设备发送危险预警指令，以知悉终端设备的用户所处的环境是否安全。

305、终端设备检测若干个物体信息中是否包含危险信息，如果是，执行步骤306；如果否，结束本流程。

本发明实施例中，危险信息可以包含危险的事物(如管制刀具、火焰、洪水等)，当检测到终端设备检测到的若干个物体信息中存在任意一个物体信息与危险信息匹配，可以认为终端设备的用户当前所处的环境中存在危险因素。

306、终端设备确定终端设备的用户处于危险环境中，并通过墨水屏输出危险环境提示信息，以及向视频通话方发送危险环境提示信息，危险环境提示信息用于提示终端设备的所处环境存在危险。

本发明实施例中，执行步骤304～步骤306，视频通话方可以向终端设备发送危险预警指令，以使终端设备可以对终端设备所处的周围环境进行检测，判断周围环境中是否存在危险，如果存在危险，可以向终端设备的用户发出提示信息，以使终端设备的用户注意到危险的存在，从而提高了终端设备的用户的安全性。

在图3所描述的方法中，能够使终端设备的用户可以与视频通话方同时看到相同的清晰度较高的环境图像，从而提升了用户使用终端设备进行视频通话的使用体验。此外，实施图3所描述的方法，提高了终端设备的用户的安全性。

实施例四

请参阅图4，图4是本发明实施例公开的一种终端设备的结构示意图。其中，终端设备包含显示屏，显示屏包括墨水屏和彩色显示屏，墨水屏用于输出若干个应用启动端口，彩色显示屏用于输出多媒体内容，如图4所示，该终端设备可以包括：

第一检测单元401，用于当检测到用户通过墨水屏输出的任意一个应用启动端口启动对应的目标应用时，检测目标应用是否触发终端设备的图像采集设备开启。

作为一种可选的实施方式，第一检测单元401还可以用于：

在检测到目标应用未触发终端设备的图像采集设备开启之后，获取目标应用的应用信息，该应用信息中可以包含目标应用的应用类型以及该目标应用输出的数据类型；

当检测到目标应用输出的数据类型中包含图片类型和/或视频类型时，获取该图片类型和/或视频类型对应的输出内容；

通过彩色显示屏输出显示该输出内容。

其中，实施这种实施方式，可以检测用户需要开启的目标应用中是否包含需要彩色显示屏输出显示的图片或视频内容，如果存在，则获取该图片或视频内容，并在彩色显示屏上输出显示该图片或视频内容，以通过彩色显示屏输出观看体验更好的图片或视频内容。

开启单元402，用于在第一检测单元401检测的结果为是时，开启图像采集设备和彩色显示屏。

显示单元403，用于将开启单元402开启的图像采集设备采集到的环境图像加载至彩色显示屏进行显示，以及将环境图像发送至目标应用的视频通话方。

可见，实施图4所描述的终端设备，能够使终端设备的用户可以与视频通话方同时看到相同的清晰度较高的环境图像，从而提升了用户使用终端设备进行视频通话的使用体验。此外，实施图4所描述的终端设备，可以通过彩色显示屏输出观看体验更好的图片或视频内容。

实施例五

请参阅图5，图5是本发明实施例公开的另一种终端设备的结构示意图。其中，图5所示的终端设备是由图4所示的终端设备进行优化得到的。其中，终端设备包含显示屏，显示屏包括墨水屏和彩色显示屏，墨水屏用于输出若干个应用启动端口，彩色显示屏用于输出多媒体内容，图5所示的终端设备还可以包括：

拍照单元404，用于在显示单元403将环境图像发送至目标应用的视频通话方之后，以及当检测到用户输入的拍照指令时，通过图像采集设备进行拍照，得到彩色显示屏输出的当前环境图像。

作为一种可选的实施方式，拍照单元404还可以用于：

当检测到用户基于终端设备输入的点击操作时，确定该点击操作对应的目标显示屏；

当检测到目标显示屏为墨水屏时，获取墨水屏对应的墨水屏坐标系，并确定该点击操作在该墨水屏坐标系中对应的第一坐标，以及确定该第一坐标是否对应拍照指令，如果是，确定检测到用户输入的拍照指令；

当检测到目标显示屏为彩色显示屏时，获取彩色显示屏对应的彩色显示屏坐标系，并确定该点击操作在该彩色显示屏坐标系中对应的第二坐标，以及确定该第二坐标是否对应拍照指令，如果是，确定检测到用户输入的拍照指令。

其中，实施这种实施方式，可以在检测到用户输入的点击操作时，确定用户点击操作对应的显示屏，进而根据不同的显示屏采用不同的方式检测拍照指令，以使拍照指令的检测方式更加准确。

分析单元405，用于当终端设备的麦克风采集到用户输入的提问语音时，对拍照单元404得到的当前环境图像进行分析，得到当前环境图像中与提问语音匹配的特征图像信息。

搜索单元406，用于以分析单元405得到的特征图像信息为依据，搜索得到与提问语音对应的第一答案信息。

第一输出单元407，用于通过墨水屏输出搜索单元406得到的第一答案信息。

本发明实施例中，可以根据用户输入的提问语音，确定该提问语音与当前环境图像相关的问题，进而对该问题进行搜索，以得到用户想要搜索的答案，并将该答案进行输出，以使终端设备基于当前环境图像搜索的内容更具针对性。

作为一种可选的实施方式，图5所示的终端设备还可以包括：

第一识别单元408，用于在拍照单元404得到彩色显示屏输出的当前环境图像之后，识别当前环境图像中是否存在待搜索题目；

发送单元409，用于在第一识别单元408识别的结果为是时，向视频通话方发送待搜索题目，以使视频通话方反馈与待搜索题目匹配的第二答案信息；

第二输出单元410，用于当接收到视频通话方反馈的第二答案信息时，通过墨水屏输出显示第二答案信息。

其中，实施这种实施方式，可以在检测出当前环境图像中存在待搜索题目时，可以将该待搜索题目发送至视频通话方，以使视频通话方针对该待搜索题目进行搜索或解答，以得到该待搜索题目的答案，并向终端设备发送该答案，以使终端设备通过墨水屏输出该答案，从而提升了终端设备与视频通话方之间的互动性。

作为一种可选的实施方式，第一识别单元408识别当前环境图像中是否存在待搜索题目的方式具体可以为：

对当前环境图像进行文字识别，获取当前环境图像中包含的文字信息；

对该文字信息进行整理，得到该文字信息对应的内容信息；

对该内容信息进行语义分析，判断该内容信息是否包含题目信息；

如果是，确定当前环境图像中存在待搜索题目。

其中，实施这种实施方式，可以从当前环境图像中识别出文字信息，并对文字信息进行分析，确定当前环境图像中是否包含待搜索题目，从而提高了识别当前环境图像中待搜索题目的准确性。

作为一种可选的实施方式，图5所示的终端设备的分析单元405可以包括：

第一提取子单元4051，用于当终端设备的麦克风采集到用户输入的提问语音时，通过语音识别技术提取提问语音中包含的关键名词；

分割子单元4052，用于对当前环境图像进行图像语义分割，得到当前环境图像中包含的若干个语义信息；

确定子单元4053，用于从分割子单元4052得到的若干个语义信息中确定与第一提取子单元4051提取的关键名词匹配的目标语义信息；

第二提取子单元4054，用于从拍照单元404得到的当前环境图像中提取与确定子单元4053确定的目标语义信息匹配的特征图像信息。

其中，实施这种实施方式，可以通过对当前环境图像进行语义分割的方式得到当前环境图像中包含的若干语义信息，并从若干语义信息中确定与提问语音匹配的目标语义信息，从而根据目标语义信息提取当前环境图像中的特征图像信息，以使特征图像信息的确定方式更加准确。

可见，实施图5所描述的终端设备，能够使终端设备的用户可以与视频通话方同时看到相同的清晰度较高的环境图像，从而提升了用户使用终端设备进行视频通话的使用体验。此外，实施图5所描述的终端设备，可以使拍照指令的检测方式更加准确。此外，实施图5所描述的终端设备，可以使特征图像信息的确定方式更加准确。此外，实施图5所描述的终端设备，可以使终端设备基于当前环境图像搜索的内容更具针对性。此外，实施图5所描述的终端设备，提高了识别当前环境图像中待搜索题目的准确性。此外，实施图5所描述的终端设备，提升了终端设备与视频通话方之间的互动性。

实施例六

请参阅图6，图6是本发明实施例公开的另一种终端设备的结构示意图。其中，图6所示的终端设备是由图5所示的终端设备进行优化得到的。其中，终端设备包含显示屏，显示屏包括墨水屏和彩色显示屏，墨水屏用于输出若干个应用启动端口，彩色显示屏用于输出多媒体内容，图6所示的终端设备还可以包括：

第二识别单元411，用于在显示单元403将环境图像发送至目标应用的视频通话方之后，以及当接收到视频通话方发送的危险预警指令时，对环境图像进行识别，得到环境图像中包含的若干个物体信息。

第二检测单元412，用于检测第二识别单元411得到的若干个物体信息中是否包含危险信息。

确定单元413，用于在第二检测单元412检测的结果为是时，确定终端设备的用户处于危险环境中，并通过墨水屏输出危险环境提示信息，以及向视频通话方发送危险环境提示信息，危险环境提示信息用于提示终端设备的所处环境存在危险。

本发明实施例中，视频通话方可以向终端设备发送危险预警指令，以使终端设备可以对终端设备所处的周围环境进行检测，判断周围环境中是否存在危险，如果存在危险，可以向终端设备的用户发出提示信息，以使终端设备的用户注意到危险的存在，从而提高了终端设备的用户的安全性。

可见，实施图6所描述的终端设备，能够使终端设备的用户可以与视频通话方同时看到相同的清晰度较高的环境图像，从而提升了用户使用终端设备进行视频通话的使用体验。此外，实施图6所描述的终端设备，提高了终端设备的用户的安全性。

实施例七

请参阅图7，图7是本发明实施例公开的另一种终端设备的结构示意图。如图7所示，该终端设备可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，执行以上各方法实施例中的方法的部分或全部步骤。

本发明实施例还公开一种计算机可读存储介质，其中，计算机可读存储介质存储了程序代码，其中，程序代码包括用于执行以上各方法实施例中的方法的部分或全部步骤的指令。

本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

应理解，说明书通篇中提到的“本发明实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在本发明实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

另外，本文中术语“系统”和“网络”在本文中常可互换使用。应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

以上对本发明实施例公开的一种基于图像采集设备的显示屏开启方法及终端设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于图像采集设备的显示屏开启方法，其特征在于，所述显示屏包括墨水屏和彩色显示屏，所述墨水屏用于输出若干个应用启动端口，所述彩色显示屏用于输出多媒体内容，所述方法包括：

当检测到用户通过所述墨水屏输出的任意一个所述应用启动端口启动对应的目标应用时，检测所述目标应用是否触发终端设备的所述图像采集设备开启；

如果是，开启所述图像采集设备和所述彩色显示屏；

将所述图像采集设备采集到的环境图像加载至所述彩色显示屏进行显示，以及将所述环境图像发送至所述目标应用的视频通话方。

2.根据权利要求1所述的方法，其特征在于，所述将所述环境图像发送至所述目标应用的视频通话方之后，所述方法还包括：

当检测到用户输入的拍照指令时，通过所述图像采集设备进行拍照，得到所述彩色显示屏输出的当前环境图像；

当所述终端设备的麦克风采集到用户输入的提问语音时，对所述当前环境图像进行分析，得到所述当前环境图像中与所述提问语音匹配的特征图像信息；

以所述特征图像信息为依据，搜索得到与所述提问语音对应的第一答案信息；

通过所述墨水屏输出所述第一答案信息。

3.根据权利要求2所述的方法，其特征在于，得到所述彩色显示屏输出的当前环境图像之后，所述方法还包括：

识别所述当前环境图像中是否存在待搜索题目；

如果是，向所述视频通话方发送所述待搜索题目，以使所述视频通话方反馈与所述待搜索题目匹配的第二答案信息；

当接收到所述视频通话方反馈的所述第二答案信息时，通过所述墨水屏输出显示所述第二答案信息。

4.根据权利要求2或3所述的方法，其特征在于，所述当所述终端设备的麦克风采集到用户输入的提问语音时，对所述当前环境图像进行分析，得到所述当前环境图像中与所述提问语音匹配的特征图像信息，包括：

当所述终端设备的麦克风采集到用户输入的提问语音时，提取所述提问语音中包含的关键名词；

对所述当前环境图像进行图像语义分割，得到所述当前环境图像中包含的若干个语义信息；

从所述若干个语义信息中确定与所述关键名词匹配的目标语义信息；

从所述当前环境图像中提取与所述目标语义信息匹配的特征图像信息。

5.根据权利要求1～4任一项所述的方法，其特征在于，所述将所述环境图像发送至所述目标应用的视频通话方之后，所述方法还包括：

当接收到所述视频通话方发送的危险预警指令时，对所述环境图像进行识别，得到所述环境图像中包含的若干个物体信息；

检测所述若干个物体信息中是否包含危险信息；

如果是，确定所述终端设备的用户处于危险环境中，并通过所述墨水屏输出危险环境提示信息，以及向所述视频通话方发送所述危险环境提示信息，所述危险环境提示信息用于提示所述终端设备的所处环境存在危险。

6.一种终端设备，其特征在于，所述终端设备包含显示屏，所述显示屏包括墨水屏和彩色显示屏，所述墨水屏用于输出若干个应用启动端口，所述彩色显示屏用于输出多媒体内容，所述终端设备包括：

第一检测单元，用于当检测到用户通过所述墨水屏输出的任意一个所述应用启动端口启动对应的目标应用时，检测所述目标应用是否触发所述终端设备的所述图像采集设备开启；

开启单元，用于在所述第一检测单元检测的结果为是时，开启所述图像采集设备和所述彩色显示屏；

显示单元，用于将所述图像采集设备采集到的环境图像加载至所述彩色显示屏进行显示，以及将所述环境图像发送至所述目标应用的视频通话方。

7.根据权利要求6所述的终端设备，其特征在于，所述终端设备还包括：

拍照单元，用于在所述显示单元将所述环境图像发送至所述目标应用的视频通话方之后，以及当检测到用户输入的拍照指令时，通过所述图像采集设备进行拍照，得到所述彩色显示屏输出的当前环境图像；

分析单元，用于当所述终端设备的麦克风采集到用户输入的提问语音时，对所述当前环境图像进行分析，得到所述当前环境图像中与所述提问语音匹配的特征图像信息；

搜索单元，用于以所述特征图像信息为依据，搜索得到与所述提问语音对应的第一答案信息；

第一输出单元，用于通过所述墨水屏输出所述第一答案信息。

8.根据权利要求7所述的终端设备，其特征在于，所述终端设备还包括：

第一识别单元，用于在所述拍照单元得到所述彩色显示屏输出的当前环境图像之后，识别所述当前环境图像中是否存在待搜索题目；

发送单元，用于在所述第一识别单元识别的结果为是时，向所述视频通话方发送所述待搜索题目，以使所述视频通话方反馈与所述待搜索题目匹配的第二答案信息；

第二输出单元，用于当接收到所述视频通话方反馈的所述第二答案信息时，通过所述墨水屏输出显示所述第二答案信息。

9.根据权利要求7或8所述的终端设备，其特征在于，所述分析单元包括：

第一提取子单元，用于当所述终端设备的麦克风采集到用户输入的提问语音时，通过语音识别技术提取所述提问语音中包含的关键名词；

分割子单元，用于对所述当前环境图像进行图像语义分割，得到所述当前环境图像中包含的若干个语义信息；

确定子单元，用于从所述若干个语义信息中确定与所述关键名词匹配的目标语义信息；

第二提取子单元，用于从所述当前环境图像中提取与所述目标语义信息匹配的特征图像信息。

10.根据权利要求6～9任一项所述的终端设备，其特征在于，所述终端设备还包括：

第二识别单元，用于在所述显示单元将所述环境图像发送至所述目标应用的视频通话方之后，以及当接收到所述视频通话方发送的危险预警指令时，对所述环境图像进行识别，得到所述环境图像中包含的若干个物体信息；

第二检测单元，用于检测所述若干个物体信息中是否包含危险信息；

确定单元，用于在所述第二检测单元检测的结果为是时，确定所述终端设备的用户处于危险环境中，并通过所述墨水屏输出危险环境提示信息，以及向所述视频通话方发送所述危险环境提示信息，所述危险环境提示信息用于提示所述终端设备的所处环境存在危险。

Images