CN106375448A - 图像处理方法和装置及系统 - Google Patents

Abstract

本发明公开了一种图像处理方法和装置及系统。其中，该方法包括：在待确定场景中，采集距离目标用户预设范围的场景图像；根据场景图像获取待确定场景的图像元素；在待确定场景的图像元素符合预设条件的情况下，确定待确定场景为目标场景；以及输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作。本发明解决了相关技术中用于指示用户执行行为动作的指令信息比较局限的技术问题。

Description

图像处理方法和装置及系统

技术领域

本发明涉及图像处理领域，具体而言，涉及一种图像处理方法和装置及系统。

背景技术

目前，用于指示用户执行行为动作的指令信息比较局限，比如，市面上的盲人辅助系统要么只包含上述的某个子系统，要么是利用传统的底层特征，达到的辅助效果不高。

方案一：盲人辅助行走拐杖的设计，利用超声波测距技术识别障碍物与盲人自己之间的距离远近，供盲人提前作出应对方案，减少行走过程中的危险，从而达到辅助盲人独立行走的目的，但只能避障，不能够避行人，不能进行行道检测，不能对红绿灯进行判断，只能解决一般行走时的道路情况的简单问题，用于指示用户执行行为动作的指令信息比较局限。

方案二：以视觉为基础之视障辅助导引系统，原理是利用定位测量的技术，事先盲人确定好目的地，系统提供点对点的导引资讯，包含到下一个定点距离还要走多远，以及要转的角度资讯，最终引导盲人到达指定地方，但没有避障功能，不能对行走途中的路况予以实时检测，所使用的道路情况也比较简单，因此用于指示用户执行行为动作的指令信息比较局限。

方案三：基于快速图-声转换的视障者视觉辅助系统研究，利用将图片检测识别的结果转化为声音信息，但是准确率和速度低，用于指示用户执行行为动作的指令信息比较局限。

最后上述的三种方案只适用行走场景，并不适用其它的应用场景。

针对上述的用于指示用户执行行为动作的指令信息比较局限的技术问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像处理方法和装置及系统，以至少解决相关技术中用于指示用户执行行为动作的指令信息比较局限的技术问题。

根据本发明实施例的一个方面，提供了一种图像处理方法。该图像处理方法包括：在待确定场景中，采集距离目标用户预设范围的场景图像；根据场景图像获取待确定场景的图像元素；在待确定场景的图像元素符合预设条件的情况下，确定待确定场景为目标场景；以及输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作。

根据本发明实施例的另一方面，还提供了一种图像处理装置。该图像处理装置包括：采集单元，在待确定场景中，用于采集距离目标用户预设范围的场景图像；获取单元，用于根据场景图像获取待确定场景的图像元素；确定单元，用于在待确定场景的图像元素符合预设条件的情况下，确定待确定场景为目标场景；以及输出单元，用于输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作。

根据本发明实施例的另一方面，还提供了一种图像处理系统。该图像处理系统包括：摄像头，用于在待确定场景中，采集距离目标用户预设范围的场景图像；处理设备，与摄像头相连接，用于根据场景图像获取待确定场景的图像元素；在待确定场景的图像元素符合预设条件的情况下，确定待确定场景为目标场景；以及输出设备，与处理设备相连接，用于输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作。

在本发明实施例中，在待确定场景中，采集距离目标用户预设范围的场景图像；根据场景图像获取待确定场景的图像元素；在待确定场景的图像元素符合预设条件的情况下，确定待确定场景为目标场景；以及输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作的方式，达到了对目标用户的行为动作在目标场景下进行指示的目的，从而实现了扩展用于指示用户执行行为动作的指令信息的技术效果，进而解决了相关技术中用于指示用户执行行为动作的指令信息比较局限的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种图像处理方法的硬件环境的示意图；

图2是根据本发明实施例的一种图像处理方法的流程图；

图3是根据本发明实施例的另一种图像处理方法的流程图；

图4是根据本发明实施例的另一种图像处理方法的流程图；

图5是根据本发明实施例的一种输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作的方法的流程图；

图6是根据本发明实施例的另一种图像处理方法的流程图；

图7是根据本发明实施例的另一种图像处理方法的流程图；

图8是根据本发明实施例的一种检测目标用户与目标障碍物体的相对位置的方法的流程图；

图9是根据本发明实施例的另一种输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作的方法的流程图；

图10是根据本发明实施例的一种在饮食场景中识别目标用户待使用的目标餐具和/或待食用的目标食物的方法的流程图；

图11是根据本发明实施例的另一种图像处理方法的流程图；

图12是根据本发明实施例的另一种图像处理方法的流程图；

图13是根据本发明实施例的另一种图像处理方法的流程图；

图14是根据本发明实施例的另一种输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作的方法的流程图；

图15是根据本发明实施例的另一种输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作的方法的流程图；

图16是根据本发明实施例的另一种输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作流程的方法的流程图；

图17是根据本发明实施例的一种行走场景下的图像处理方法的流程图；

图18是根据本发明实施例的一种沿盲道行走时的图像处理方法的流程图；

图19是根据本发明实施例的一种饮食场景的示意图；

图20是根据本发明实施例的一种饮食场景的图像处理方法的流程图；

图21是根据本发明实施例的一种着装场景下的图像处理方法的流程图；

图22是根据本发明实施例的一种阅读场景下的图像处理方法的流程图；

图23是根据本发明实施例的一种盲人辅助系统的结构示意图；

图24是根据本发明实施例的一种盲人辅助系统的示意图；

图25是根据本发明实施例的一种图像处理装置的示意图；

图26是根据本发明实施例的一种图像处理系统的示意图；以及

图27是根据本发明实施例的一种终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种图像处理方法的实施例。

可选地，在本实施例中，上述图像处理方法可以应用于如图1所示的由服务器102和终端104所构成的硬件环境中。图1是根据本发明实施例的一种图像处理方法的硬件环境的示意图。如图1所示，服务器102通过网络与终端104进行连接，上述网络包括但不限于：广域网、城域网或局域网，终端104并不限定于PC、手机、平板电脑等。本发明实施例的图像处理方法可以由服务器102来执行，也可以由终端104来执行，还可以是由服务器102和终端104共同执行。其中，终端104执行本发明实施例的图像处理方法也可以是由安装在其上的客户端来执行。

图2是根据本发明实施例的一种图像处理方法的流程图。如图2所示，该方法可以包括以下步骤：

步骤S202，在待确定场景中，采集距离目标用户预设范围的场景图像。

在本发明上述步骤S202提供的技术方案中，待确定场景为目标用户所处的当前场景，可以为目标用户所处的行走场景，可以为目标用户所处的饮食场景，可以为目标用户所处的着装场景，也可以为目标用户所处的阅读场景。在待确定场景中，采集距离目标用户预设范围的场景图像，其中，目标用户优选为盲人，采集盲人所处场景的周围的物体的图像，比如，在目标用户所处的行走场景中，采集十字路口的图像、路边的图像，盲人过马路或者走盲道时所处场景的图像，在目标用户所处的饮食场景中，可以采集盲人用餐时所处场景的图像，在目标用户所处的着装场景中，可以采集盲人穿衣服时所处场景的图像，在目标用户所处的阅读场景中，可以盲人阅读时所处场景的图像。

需要说明的是，该预设范围的场景图像为具有一定标识性的图像，以和其它场景下的图像区分开。

步骤S204，根据场景图像获取待确定场景的图像元素。

在本发明上述步骤S204提供的技术方案中，根据场景图像获取目标用户所处的待确定场景的图像元素。

不同场景下的场景图像不同，比如，目标用户所处的当前场景中的场景图像，目标用户所处的行走场景中的场景图像，目标用户所处的饮食场景中的场景图像，目标用户所处的着装场景中的场景图像，目标用户所处的阅读场景中的场景图像都不同。在待确定场景中，不同场景涉及的图像元素不同，该图像元素为用于根据场景图像确定场景的核心元素，根据图像元素可以识别出场景。目标用户所处的场景为待确定的场景，在采集距离目标用户预设范围的场景图像之后，对场景图像进行分析，获取目标用户所处的待确定场景的图像元素，从而识别出场景图像对应的场景的核心元素。

步骤S206，在待确定场景的图像元素符合预设条件的情况下，确定待确定场景为目标场景。

在本发明上述步骤S206提供的技术方案中，在待确定场景的图像元素符合预设条件的情况下，确定待确定场景为目标场景。

在根据场景图像获取目标用户所处的待确定场景的图像元素之后，将该场景图像对应的场景的核心元素与已经建立好的多个元素库中的图像元素进行比对，得到比对结果，判断比对结果是否达到预设阈值，如果判断出比对结果达到预设阈值时，确定待确定场景的图像元素符合预设条件，进而确定目标用户所处的待确定场景为目标场景，比如，目标场景为盲人过马路或者走盲道时所处的场景，盲人用餐时所处的场景，盲人穿衣服时所处的场景，盲人阅读时所处的场景等，避免了只能识别出行走场景，而不进行对其它场景的识别的缺陷。

步骤S208，输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作。

在本发明上述步骤S208提供的技术方案中，输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作。

目标场景对应不同指令信息以指示目标用户执行不同的行为动作。在确定待确定场景为目标场景之后，输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作，比如，根据目标用户在行走场景下，对目标用户的行为动作进行指令提示以使目标用户安全行走，可以有效辅助目标用户过马路与者盲人走盲道；在目标用户的用餐场景下，对目标用户的用餐行为动作进行指令提示以使目标用户顺利用餐；在目标用户的着装场景下，对目标用户的着装行为动作进行调整，以使目标用户的着装得体，从而避免了用于指示用户执行行为动作的指令信息比较局限的问题。

通过上述步骤S202至步骤S208，在待确定场景中，通过采集距离目标用户预设范围的场景图像；根据场景图像获取待确定场景的图像元素；在待确定场景的图像元素符合预设条件的情况下，确定待确定场景为目标场景；以及输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作，可以解决相关技术中用于指示用户执行行为动作的指令信息比较局限的技术问题，进而达到扩展用于指示用户执行行为动作的指令信息的技术效果。

作为一种可选的实施方式，在根据场景图像获取目标用户所处的待确定场景的图像元素之前，将多个图像元素库中的图像元素与待确定场景的图像元素进行比对，得到多个比对结果，如果多个比对结果中存在达到预设阈值的比对结果，确定待确定场景的图像元素符合预设条件。

图3是根据本发明实施例的另一种图像处理方法的流程图。如图3所示，该图像处理方法还包括：

步骤S301，获取包括目标图像元素库的多个图像元素库。

在本发明上述步骤S301提供的技术方案中，在根据场景图像获取目标用户所处的待确定场景的图像元素之前，获取包括目标图像元素库的多个图像元素库，其中，目标图像元素库与目标场景相对应，多个图像元素库与多种预设场景一一对应。

在根据场景图像获取目标用户所处的待确定场景的图像元素之前，获取多个图像元素库，不同的图像元素库包括不同预设场景的图像元素，多个预设场景为预先确定好的本发明实施例的可适用的场景。多个图像元素库包括目标图像元素库，该目标图像元素库与目标场景相对应，也即，根据目标图像元素库中的图像元素可以确定目标场景。

步骤S302，分别将多个图像元素库中的图像元素与待确定场景的图像元素进行比对，得到多个比对结果。

在本发明上述步骤S302提供的技术方案中，分别将多个图像元素库中的图像元素与待确定场景的图像元素进行比对，得到多个比对结果，其中，多个比对结果与多个图像元素库一一对应。

在获取待确定场景的图像元素和多个图像元素库的图像元素之后，分别将多个图像元素库中的图像元素与待确定场景的图像元素进行比对，得到与每个图像元素库对应的比对结果。

步骤S303，判断多个比对结果中是否存在达到预设阈值的比对结果。

在本发明上述步骤S303提供的技术方案中，分别将多个图像元素库中的图像元素与待确定场景的图像元素进行比对，得到多个比对结果之后，判断多个比对结果中是否存在达到预设阈值的比对结果。

判断每个图像元素库中的图像元素与待确定场景的图像元素的比对结果是否达到预设阈值，如果达到预设阈值，执行步骤S304。

步骤S304，确定待确定场景的图像元素符合预设条件，并将达到预设阈值的比对结果对应的图像元素库确定为目标图像元素库，根据目标图像元素库确定目标场景。

在本发明上述步骤S304提供的技术方案中，如果判断出多个比对结果中存在达到预设阈值的比对结果，确定待确定场景的图像元素符合预设条件，并将达到预设阈值的比对结果对应的图像元素库确定为目标图像元素库，根据目标图像元素库确定目标场景。

在判断每个图像元素库中的图像元素与待确定场景的图像元素的比对结果是否达到预设阈值之后，如果达到预设阈值，则将达到阈值的图像元素的图像元素库确定为目标图像元素库，进而根据该目标图像元素库与目标场景的对应关系确定目标场景。

该实施例在根据场景图像获取目标用户所处的待确定场景的图像元素之前，获取包括目标图像元素库的多个图像元素库，目标图像元素库与目标场景相对应，多个图像元素库与多种预设场景一一对应；分别将多个图像元素库中的图像元素与待确定场景的图像元素进行比对，得到多个比对结果，多个比对结果与多个图像元素库一一对应；判断多个比对结果中是否存在达到预设阈值的比对结果；以及如果判断出多个比对结果中存在达到预设阈值的比对结果，确定待确定场景的图像元素符合预设条件，并将达到预设阈值的比对结果对应的图像元素库确定为目标图像元素库，根据目标图像元素库确定目标场景，实现了对目标场景的确定，避免了只能识别出行走场景，而不进行对其它场景的识别的缺陷，进而达到扩展用于指示用户执行行为动作的指令信息的技术效果。

作为一种可选的实施方式，多种预设场景至少包括以下之一：目标用户所处的行走场景；目标用户所处的饮食场景；目标用户所处的着装场景；目标用户所处的阅读场景。

目标用户所处的行走场景、饮食场景、着装场景、阅读场景的图像元素预先设置好，形成多个图像元素库，将多个图像元素库中的图像元素与待确定场景的图像元素进行比对以确定待确定目标场景，也即，该目标场景可以为行走场景、饮食场景、着装场景、阅读场景。

在行走场景下，根据目标用户所处的阅读场景在行走场景下，会根据当前行人与目标物体的所处相对位置，对行人的行为动作进行指令提示，可以有效辅助行人过马路与辅助盲人走盲道；在饮食场景下，可以针对盲人吃饭会遇到不知道食物在哪里的问题，检测出餐具以及食物的位置，根据这些信息可以帮助盲人判断食物的与手的位置，可选地，在盲人吃饭时，还可以检测出食物的颜色信息以使盲人进一步对食物了解；在着装场景下，可以针对盲人穿衣服不能够看到是否有错误，比如，衣服穿反了，头发是否很乱，扣子是否扣错等的问题，进行打分判断，使盲人根据打分结果对衣服进行调整；在阅读场景下，可以对阅读文本进行定位和识别，最后合成语音信息，使盲人根据语音信息了解阅读文本的内容，达到扩展用于指示用户执行行为动作的指令信息的技术效果。

作为一种可选的实施方式，在输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作之后，在目标用户当前行为动作和/或当前位置达到预设标准的情况下，根据当前行为动作和/或当前位置输出调整指令以指示目标用户根据调整指令调整当前行为动作和/或当前位置。

图4是根据本发明实施例的另一种图像处理方法的流程图。如图4所示，该方法还包括以下步骤：

步骤S401，检测目标用户根据指令信息执行的当前行为动作和/或当前行为动作发生的当前位置。

在本发明上述步骤S401提供的技术方案中，在输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作之后，检测目标用户根据指令信息执行的当前行为动作和/或当前行为动作发生的当前位置。

在输出与目标场景对应的指令信息之后，目标用户根据指令信息的提示，执行行为动作，得到当前行为动作，比如，前进，后退，拿起目标物体，放下目标物体。检测当前行为动作和/或当前行为动作发生的当前位置，比如，当目标场景为行人场景时，检测目标用户的行走动作，和/或检测目标用户相对于其他行人的位置。可选地，当前位置通过目标场景下的标识物进行标定。

步骤S402，判断当前行为动作和/或当前位置是否达到预设标准。

在本发明上述步骤S402提供的技术方案中，在检测目标用户根据指令信息执行的当前行为动作和/或当前行为动作发生的当前位置之后，判断当前行为动作和/或当前位置是否达到预设标准。

在检测目标用户根据指令信息执行的当前行为动作和/或当前行为动作发生的当前位置之后，判断当前行为动作和/或当前位置是否达到预设标准，比如，当目标场景为行人场景时，检测盲人的当前位置和行走动作是否达到盲人处于盲道上且在盲道上行走的标准。

步骤S403，根据当前行为动作和/或当前位置输出调整指令以指示目标用户根据调整指令调整当前行为动作和/或当前位置直至达到预设标准。

在本发明上述步骤S403提供的技术方案中，如果判断出当前行为动作和/或当前位置未达到预设标准，根据当前行为动作和/或当前位置输出调整指令以指示目标用户根据调整指令调整当前行为动作和/或当前位置直至达到预设标准。

当目标场景为行人场景时，如果判断出当前行为动作未达到预设标准，比如，在检测到盲人前方有障碍物时，盲人应该停止行走，该停止行走为预设标准，如果盲人继续行走，则确定盲人当前的行为动作没有达到标准，会发出调整指令以使盲人停止继续行走，直至盲人停止行走；判断当前位置是否达到预设标准，比如，盲人顺利避开障碍物时所处的位置为预设标准，如果盲人越来越靠近障碍物，则确定盲人所处的当前位置没有达到预设标准，会发出调整指令以使盲人按照调整指令所指示的方向偏离障碍物的位置，直至盲人所处的位置符合预设标准。

该实施例在输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作之后，检测目标用户根据指令信息执行的当前行为动作和/或当前行为动作发生的当前位置；判断当前行为动作和/或当前位置是否达到预设标准；以及如果判断出当前行为动作和/或当前位置未达到预设标准，根据当前行为动作和/或当前位置输出调整指令以指示目标用户根据调整指令调整当前行为动作和/或当前位置直至达到预设标准，从而实现了指示目标用户对当前行为动作进行调整的目的。

作为一种可选的实施方式，目标场景为目标用户的行走场景，步骤S208，输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作包括：通过目标用户与目标障碍物体的相对位置输出用于指示目标用户调整当前行为动作的指令信息以使目标用户避开目标障碍物体。

图5是根据本发明实施例的一种输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作的方法的流程图。如图5所示，该方法包括以下步骤：

步骤S501，检测目标用户与目标障碍物体的相对位置。

在本发明上述步骤S501提供的技术方案中，检测目标用户与目标障碍物体的相对位置。

目标障碍物为阻碍目标用户行走的对象，可以为其他行人，也可以为静止物体，或者移动物体，检测目标用户与目标障碍物体的相对位置，可以通过超声波测距技术识别目标障碍物与目标用户之间的相对位置。

步骤S502，根据相对位置输出用于指示目标用户调整当前行为动作的指令信息以使目标用户避开目标障碍物体。

在本发明上述步骤S502提供的技术方案中，在检测目标用户与目标障碍物体的相对位置之后，根据相对位置输出用于指示目标用户调整当前行为动作的指令信息以使目标用户避开目标障碍物体。

可选地，当相对位置比较接近时，输出用于指示目标用户停止以当前的行走角度和行走速度继续前进的指令信息，从而使目标用户避开障碍物体，确保目标用户安全行走。

该实施例在目标场景为目标用户的行走场景的情况下，通过检测目标用户与目标障碍物体的相对位置；以及根据相对位置输出用于指示目标用户调整当前行为动作的指令信息以使目标用户避开目标障碍物体，实现了输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作的目的。

作为一种可选的实施方式，在检测目标用户与目标障碍物体的相对位置之前，根据检测预设范围内的交通标识输出用于指示目标用户的行为动作的指令信息。

图6是根据本发明实施例的另一种图像处理方法的流程图。如图6所示，该方法还包括以下步骤：

步骤S601，检测预设范围内的交通标识。

在本发明上述步骤S601提供的技术方案中，检测预设范围内的交通标识。

检测预设范围内的交通标识，采集目标用户前方(-45°至+45°)范围内的红黄绿灯变化情况，比如，目标用户处于十字路口，检测十字路口的红绿灯变化情况。

步骤S602，如果检测到交通标识为红灯/黄灯，输出用于指示目标用户停止行走并等待的第一指令信息。

在本发明上述步骤S602提供的技术方案中，在检测预设范围内的交通标识之后，确定交通标识的变化情况，如果检测到交通标识为红灯/黄灯，则目标用户若继续行走将会很危险，为了安全，输出用于指示目标用户停止行走并等待的第一指令信息，该第一指令信息可以为语音提示信息。

步骤S603，如果检测到交通标识为绿灯，输出用于指示目标用户行走的第二指令信息。

在本发明上述步骤S603提供的技术方案中，在检测预设范围内的交通标识之后，如果检测到交通标识为绿灯，则目标用户此时行走将符合交通规则，输出用于指示目标用户行走的第二指令信息，该第二指令信息可以为语音提示信息。

该实施例通过在检测目标用户与目标障碍物体的相对位置之前，检测预设范围内的交通标识；如果检测到交通标识为红灯/黄灯，输出用于指示目标用户停止行走并等待的第一指令信息；以及如果检测到交通标识为绿灯，输出用于指示目标用户行走的第二指令信息，达到了扩展用于指示用户执行行为动作的指令信息的技术效果。

作为一种可选的实施方式，在输出用于指示目标用户行走的第二指令信息之后，目标用户根据第二指令信息行走，根据对目标用户所处的第一行道和第一行道上的行人输出用于指示目标用户调整行走路线的第三指令信息。

图7是根据本发明实施例的另一种图像处理方法的流程图。如图7所示，该方法还包括以下步骤：

步骤S701，在目标用户行走的过程中，对目标用户所处的第一行道和第一行道上的行人执行检测，得到检测结果。

在本发明上述步骤S701提供的技术方案中，在输出用于指示目标用户行走的第二指令信息之后，目标用户根据第二指令信息的提示进行行走。在目标用户行走的过程中，对目标用户所处的第一行道上的和第一行道上的行人执行检测，比如，当目标用户为盲人、第一行道为盲道时，检测盲人是否处于盲道上，并且检测盲道上的行人，得到检测结果。

步骤S702，根据检测结果输出用于指示目标用户调整行走路线的第三指令信息。

在本发明上述步骤S702提供的技术方案中，在输出用于指示目标用户行走的第二指令信息之后，对检测结果进行综合分析，比如，对盲人是否处于盲道上以及盲道上的行人进行检测的结果进行综合分析，进而输出用于指示目标用户调整行走路线的第三指令信息，该第三指令信息可以为语音提示信息，从而使目标用户根据第三指令信息的提示调整行走路线，可以避免盲人走出人行道，也可以避免从后面撞到盲人前面的行人，保证了盲人行走的安全性。

该实施例通过在输出用于指示目标用户行走的第二指令信息之后，目标用户根据第二指令信息行走，在目标用户行走的过程中，对目标用户所处的第一行道和第一行道上的行人执行检测，得到检测结果；以及根据检测结果输出用于指示目标用户调整行走路线的第三指令信息，达到了扩展用于指示用户执行行为动作的指令信息的技术效果。

作为一种可选的实施方式，检测目标用户与目标障碍物体的相对位置包括：在目标用户在第一预设时间内处于第二行道上的情况下，检测第二行道上的行人位置，根据行人位置输出用于指示目标用户调整行走角度的第四指令信息。

图8是根据本发明实施例的一种检测目标用户与目标障碍物体的相对位置的方法的流程图。如图8所示，该方法包括以下步骤：

步骤S801，检测目标用户是否在第一预设时间内处于第二行道上。

在本发明上述步骤S801提供的技术方案中，检测目标用户与目标障碍物体的相对位置，可以检测目标用户是否在第一预设时间内处于第二行道上。

步骤S802，如果检测到目标用户在第一预设时间内处于第二行道上，检测第二行道上的行人位置。

在本发明上述步骤S802提供的技术方案中，如果检测到目标用户在第一预设时间内处于第二行道上，检测第二行道上的行人位置。比如，盲人在走盲道时，检测连续5s的视频，如果5s内的视频中盲道都在脚下时，通过深度神经网络检测盲道，然后检测盲道上的行人位置。

步骤S803，根据行人位置输出用于指示目标用户调整行走角度的第四指令信息。

在本发明上述步骤S803提供的技术方案中，在检测第二行道上的行人位置之后，根据行人位置输出用于指示目标用户调整行走角度的第四指令信息，可以根据盲道上行人的位置调整目标用户的行走角度。

该实施例通过检测目标用户是否在第一预设时间内处于第二行道上；如果检测到目标用户在第一预设时间内处于第二行道上，检测第二行道上的行人位置，实现了检测目标用户与目标障碍物体的相对位置，进而根据行人位置输出用于指示目标用户调整行走角度的第四指令信息，达到了扩展用于指示用户执行行为动作的指令信息的技术效果。

作为一种可选的实施方式，在检测目标用户是否在第一预设时间内处于第二行道上之后，如果检测到目标用户不处于第二行道上，输出用于指示目标用户不处于第二行道上的第一语音提示信息以指示目标用户调整行走角度。

第二行道可以为盲道，在检测目标用户是否在第一预设时间内处于第二行道上之后，如果检测到盲人已经越过盲道，则输出第一语音提示信息以提示盲人调整行走角度，以重新回到盲道上。

作为一种可选的实施方式，目标场景为目标用户所处的饮食场景，步骤S208，输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作包括：在饮食场景中根据目标餐具的信息和/或目标食物的信息输出用于指示目标用户用餐的指令信息。

图9是根据本发明实施例的另一种输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作的方法的流程图。如图9所示，该方法包括以下步骤：

步骤S901，在饮食场景中识别目标用户待使用的目标餐具和/或待食用的目标食物，得到目标餐具的信息和/或目标食物的信息。

在本发明上述步骤S901提供的技术方案中，在饮食场景中识别目标用户待使用的目标餐具和/或待食用的目标食物，得到目标餐具的信息和/或目标食物的信息。

在饮食场景中，目标用户的前方放置有餐具和食物以供目标用户选择，识别目标用户待使用的目标餐具，和/或待食用的目标食物，得到目标餐具的信息和/或目标食物的信息。可以识别筷子、勺子、碗、食物，纸巾等餐具，可以识别目标餐具的位置信息，目标食物的位置信息，目标食物和目标餐具的相对位置信息，目标食物的属性信息等。

步骤S902，根据目标餐具的信息和/或目标食物的信息输出用于指示目标用户用餐的指令信息。

在本发明上述步骤S902提供的技术方案中，在得到目标餐具的信息和/或目标食物的信息之后，根据目标餐具的信息和/或目标食物的信息输出用于指示目标用户用餐的指令信息。

在得到目标餐具的信息和/或目标食物的信息之后，可以根据目标餐具的位置信息输出用于指示目标用户获取餐具的提示信息，以及根据目标食物的信息输出用于指示目标用户所获取的食物的属性。根据当前的场景情况发出与目标用户的行为动作相对应的指令信息，直至目标用户完成指令信息对应的行为动作。

该实施例目标场景为目标用户所处的饮食场景的情况下，输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作包括：在饮食场景中识别目标用户待使用的目标餐具和/或待食用的目标食物，得到目标餐具的信息和/或目标食物的信息；以及根据目标餐具的信息和/或目标食物的信息输出用于指示目标用户用餐的指令信息，达到了扩展用于指示用户执行行为动作的指令信息的技术效果。

作为一种可选的实施方式，在饮食场景中识别目标餐具的位置和/或目标食物的位置，得到目标餐具的位置信息和/或目标食物的位置信息；根据目标餐具的位置信息和/或目标食物的位置信息输出用于指示目标用户获取目标餐具和/或目标食物的第五指令信息。

图10是根据本发明实施例的一种在饮食场景中识别目标用户待使用的目标餐具和/或待食用的目标食物的方法的流程图。如图10所示，该在饮食场景中识别目标用户待使用的目标餐具和/或待食用的目标食物的方法包括以下步骤：

步骤S1001，在饮食场景中识别目标餐具的位置和/或目标食物的位置，得到目标餐具的位置信息和/或目标食物的位置信息。

在本发明上述步骤S1001提供的技术方案中，在饮食场景中识别目标餐具的位置和/或目标食物的位置，得到目标餐具的位置信息和/或目标食物的位置信息。

在饮食场景中识别目标餐具的位置和/或目标食物的位置，比如，在饮食场景中识别目标餐具距离目标用户多远，位于目标用户的具体方位，得到目标餐具的位置信息，和/或，识别目标食物距离目标用户多远，位于目标用户的具体方位，得到目标食物的位置信息。

步骤S1002，根据目标餐具的位置信息和/或目标食物的位置信息输出用于指示目标用户获取目标餐具和/或目标食物的第五指令信息。

在本发明上述步骤S1002提供的技术方案中，根据目标餐具的位置信息和/或目标食物的位置信息输出用于指示目标用户获取目标餐具和/或目标食物的第五指令信息。比如，目标用户为盲人，盲人首先需要获取筷子，根据筷子的位置信息输出用于指示盲人获取筷子的第五指令信息以提示盲人筷子在相对于自己多远、什么方位的位置。在盲人拿完筷子之后，对目标食物进行检测，根据检测到的目标食物的位置信息输出用于指示盲人获取食物的第五指令信息以提示目标食物在相对于自己多远、什么方位的位置，盲人移动筷子到目标食物的位置，如果筷子放到盛放目标食物的餐具中时，可以输出用于提示盲人所夹目标食物的信息。需要说明的是，盲人夹目标食物的准确度需要靠盲人的自我感知能力，第五指令信息可以为语音提示信息。可选地，在盲人吃完饭之后，放下筷子，输出用于指示盲人是否需要餐巾以及获取餐巾的第五指令信息，达到了扩展用于指示用户执行行为动作的指令信息的技术效果。

该实施例在饮食场景中识别目标餐具的位置和/或目标食物的位置，得到目标餐具的位置信息和/或目标食物的位置信息；以及根据目标餐具的位置信息和/或目标食物的位置信息输出用于指示目标用户获取目标餐具和/或目标食物的第五指令信息，达到了扩展用于指示用户执行行为动作的指令信息的技术效果。

作为一种可选的实施方式，在输出用于指示目标用户获取目标餐具的第五指令信息之后，如果检测到目标用户获取到目标餐具，停止输出第五指令信息。

图11是根据本发明实施例的另一种图像处理方法的流程图。如图11所示，该方法包括以下步骤：

步骤S1101，检测目标用户是否获取到目标餐具。

在本发明上述步骤S1101提供的技术方案中，在输出用于指示目标用户获取目标餐具的第五指令信息之后，检测目标用户是否获取到目标餐具，比如，在目标用户开始用餐时，检测目标用户是否获取到筷子。

步骤S1102，如果检测到目标用户获取到目标餐具，停止输出第五指令信息。

在本发明上述步骤S1102提供的技术方案中，在检测目标用户是否获取到目标餐具之后，如果检测到目标用户获取到目标餐具，在输出用于指示目标用户获取目标餐具的第五指令信息之后，停止输出第五指令信息，比如，在检测到目标用户已经获取到筷子之后，便不会在输出第五指令信息以提示目标用户获取筷子。

可选地，在停止输出第五指令信息之后，开始识别目标食物的信息，根据识别出的目标食物的信息提示目标用户目标食物在距离自己多远，哪个方位，然后目标用户使用筷子去夹目标食物。

该实施例通过在输出用于指示目标用户获取目标餐具的第五指令信息之后，检测目标用户是否获取到目标餐具；以及如果检测到目标用户获取到目标餐具，停止输出第五指令信息，达到了扩展用于指示用户执行行为动作的指令信息的技术效果。

作为一种可选的实施方式，在检测到目标用户获取到目标餐具之后，在检测到目标用户结束使用目标餐具，输出用于指示目标用户获取下一个目标餐具的第五指令信息。

图12是根据本发明实施例的另一种图像处理方法的流程图。如图12所示，该方法还包括以下步骤：

步骤S1201，检测目标用户是否结束使用目标餐具。

在本发明上述步骤S1201提供的技术方案中，在检测到目标用户获取到目标餐具之后，目标用户开始使用目标餐具。检测目标用户是否结束使用目标餐具。比如，目标用户在获取到筷子之后，目标用户开始使用筷子，在目标用户放下筷子之后，则检测到目标用户结束使用筷子。

步骤S1202，如果检测到目标用户结束使用目标餐具，输出用于指示目标用户获取下一个目标餐具的第五指令信息。

在本发明上述步骤S1202提供的技术方案中，在检测目标用户是否结束使用目标餐具之后，如果检测到目标用户结束使用目标餐具，输出用于指示目标用户获取下一个目标餐具的第五指令信息，可选地，输出目标用户是否需要下一个目标餐具的信息以及下一个目标餐具的位置信息。比如，在检测到目标用户放下筷子之后，输出用于指示目标用户是否使用纸巾的信心以及纸巾的位置信息，并且获取纸巾的第五指令信息。

该实施例通过在检测到目标用户获取到目标餐具之后，检测目标用户是否结束使用目标餐具；以及如果检测到目标用户结束使用目标餐具，输出用于指示目标用户获取下一个目标餐具的第五指令信息，达到了扩展用于指示用户执行行为动作的指令信息的技术效果。

作为一种可选的实施方式，在输出用于指示目标用户获取目标食物的第五指令信息之后，在检测到第一餐具与第二餐具具有预设位置关系时，输出用于提示目标食物的属性的提示信息。

图13是根据本发明实施例的另一种图像处理方法的流程图。如图13所示，该方法还包括以下步骤：

步骤S1301，检测目标用户手持的第一餐具与盛放目标食物的第二餐具是否具有预设位置关系。

在本发明上述步骤S1301提供的技术方案中，在输出用于指示目标用户获取目标食物的第五指令信息之后，检测目标用户手持的第一餐具与盛放目标食物的第二餐具是否具有预设位置关系，通过第一餐具获取目标食物，目标食物放置于第二餐具上，当检测第一餐具和第二餐具具有预设位置关系时，可以确定第一餐具即将获取到第二餐具中的目标食物。

步骤S1302，如果检测到第一餐具与第二餐具具有预设位置关系，输出用于提示目标食物的属性的提示信息。

在本发明上述步骤S1302提供的技术方案中，在检测目标用户手持的第一餐具与盛放目标食物的第二餐具是否具有预设位置关系之后，如果检测到第一餐具与第二餐具具有预设位置关系，输出用于提示目标食物的属性的提示信息。比如，第一餐具为筷子，第二餐具为盘子，当筷子放到盘子中时，输出用于提示盘子里食物的名称，以及盘子里食物的颜色信息等。

该实施例通过检测目标用户手持的第一餐具与盛放目标食物的第二餐具是否具有预设位置关系，如果检测到第一餐具与第二餐具具有预设位置关系，输出用于提示目标食物的属性的提示信息，达到了扩展用于指示用户执行行为动作的指令信息的技术效果。

作为一种可选的实施方式，目标场景为目标用户所处的饮食场景，输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作包括：根据历史用餐信息确定用于向目标用户推荐目标食物的推荐信息，并根据推荐信息输出用于指示目标用户选择推荐的目标食物的第六指令信息。

图14是根据本发明实施例的另一种输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作的方法的流程图。如图14所示，该方法包括以下步骤：

步骤S1401，获取目标用户的历史用餐信息。

在本发明上述步骤S1401提供的技术方案中，获取目标用户的历史用餐信息。在饮食场景中，历史用餐信息包括目标用户用餐的喜好信息，比如，将历史用餐信息中目标用户食用的食物确定为目标用户喜欢的食物。

步骤S1402，根据历史用餐信息确定推荐信息。

在本发明上述步骤S1402提供的技术方案中，根据历史用餐信息输出推荐信息，其中，推荐信息用于推荐目标用户选择推荐的目标食物。在获取目标用户的历史用餐信息之后，根据历史用餐信息确定目标用户的喜好食物，根据喜好食物输出推荐信息，目标用户根据推荐信息确定即将选择的目标食物。

步骤S1403，根据推荐信息输出用于指示目标用户选择推荐的目标食物的第六指令信息。

在本发明上述步骤S1403提供的技术方案中，在根据历史用餐信息输出推荐信息之后，根据推荐信息输出用于指示目标用户选择推荐的目标食物的第六指令信息。根据推荐信息确定当前识别出的目标食物是否为目标用户的喜好食物，如果目标食物为目标用户的喜好食物，则输出用于指示目标用户选择推荐的目标食物的第六指令信息，该第六指令信息可以为语音提示信息。

该实施例在目标场景为目标用户所处的饮食场景的情况下，获取目标用户的历史用餐信息；根据历史用餐信息输出推荐信息，其中，推荐信息用于推荐目标用户选择推荐的目标食物；以及根据推荐信息确定用于指示目标用户选择推荐的目标食物的第六指令信息，实现了输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作，进而达到了扩展用于指示用户执行行为动作的指令信息的技术效果。

作为一种可选的实施方式，目标场景为目标用户所处的着装场景，步骤S208输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作包括：在目标用户处于预设位置的情况下，根据着装信息确定目标用户的着装效果等级。

图15是根据本发明实施例的另一种输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作的方法的流程图。该方法包括以下步骤：

步骤S1501，输出用于指示目标用户处于预设位置的第七指令信息。

在本发明上述步骤S1501提供的技术方案中，目标场景为着装场景，输出用于指示目标用户处于预设位置的第七指令信息。

目标用户可以为盲人，当盲人穿好衣服之后，可以对照镜子的高度，或者将用于执行图像处理方法的系统置于一定高度，该高度和盲人胸口大致向平。输出用于指示目标用户处于预设位置的第七指令信息，使盲人后退两米左右。

步骤S1502，在目标用户处于预设位置的情况下，在第二预设时间之后采集目标用户的着装信息。

在本发明上述步骤S1502提供的技术方案中，在目标用户处于预设位置的情况下，在第二预设时间之后采集目标用户的着装信息。在盲人后退两米，在10秒之后，开启视频采集任务，采集目标用户的着装信息。

步骤S1503，根据着装信息确定目标用户的着装效果等级。

在本发明上述步骤S1503提供的技术方案中，在第二预设时间之后采集目标用户的着装信息，根据着装信息确定目标用户的着装效果等级。如果盲人保持直立的状态不动，会根据盲人的着装信息自动打分。可选地，如果打分超过0.8，输出“可以”的语音提示信息，如果打分在0.6至0.8之间，会输出“一般”的语音提示信息，如果打分超过0.6，会输出“不可以”的语音提示信息，从而确定目标用户的着装效果等级。

该实施例通过输出用于指示目标用户处于预设位置的第七指令信息；在目标用户处于预设位置的情况下，在第二预设时间之后采集目标用户的着装信息；根据着装信息确定目标用户的着装效果等级，达到了输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作的目的，进而达到了扩展用于指示用户执行行为动作的指令信息的技术效果。

作为一种可选的实施方式，在根据着装信息确定目标用户的着装效果等级之后，当着装效果等级低于预设着装效果等级时，输出用于指示目标用户的当前着装不合格的第二语音提示信息，以指使目标用户根据第二语音提示信息对当前着装进行调整。

当着装效果等级低于预设着装效果等级时，输出用于指示目标用户的当前着装不合格的第二语音提示信息以使目标用户根据第二语音提示信息对当前着装进行调整。

可选地，如果输出“不可以”的语音提示信息，输出“不可以”的原因，比如，输出盲人的着装“搭配不合理”，或者“衣服穿反了”等提示信息，盲人进而根据相应的提示对着装做出改进。

作为一种可选的实施方式，目标场景为目标用户的阅读场景，输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作包括：检测目标阅读对象的倾斜角度是否为预设倾斜角度，并检测目标阅读对象是否相对于目标用户正面放置；根据目标阅读对象的倾斜角度是否为预设倾斜角度，以及目标阅读对象是否相对于目标用户正面放置输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作。

图16是根据本发明实施例的另一种输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作流程的方法的流程图。如图16所示，该方法还包括以下步骤：

步骤S1601，检测目标阅读对象的倾斜角度是否为预设倾斜角度，并检测目标阅读对象是否相对于目标用户正面放置。

在本发明上述步骤S1601提供的技术方案中，检测目标阅读对象的倾斜角度是否为预设倾斜角度，并检测目标阅读对象是否相对于目标用户正面放置。

目标对象为盲人时，盲人要阅读书的时候，只需要拿出书放在面前，计算书的倾斜角度和正反与否。

步骤S1602，如果检测到目标阅读对象的倾斜角度不为预设倾斜角度，输出用于指示目标用户调整目标阅读对象的倾斜角度至预设倾斜角度的第八指令信息。

在本发明上述步骤S1602提供的技术方案中，如果检测到目标阅读对象的倾斜角度不为预设倾斜角度，输出用于指示目标用户调整目标阅读对象的倾斜角度至预设倾斜角度的第八指令信息。该第八指令信息可以为语音提示信息。只有当书本与图像采集设备处于一定角度时，才有利于对书本上的文字的识别，可以通过不断地输出第八指令信息指示盲人将书调整到最合适的角度，实现对目标阅读对象的定位。

步骤S1603，如果检测到目标阅读对象未相对于目标用户正面放置，输出用于指示目标用户将目标阅读对象相对于目标用户正面放置的第九指令信息。

在本发明上述步骤S1603提供的技术方案中，如果检测到目标阅读对象未相对于目标用户正面放置，输出用于指示目标用户将目标阅读对象相对于目标用户正面放置的第九指令信息。该第九指令信息可以为语音提示信息。如果书本拿反了，检测到书本没有相对于盲人正面放置，输出用于指示盲人将目标阅读对象相对于盲人正面放置的第九指令信息，实现对目标阅读对象的定位。

步骤S1604，如果检测到目标阅读对象的倾斜角度为预设倾斜角度，并检测到目标阅读对象相对于目标用户正面放置，对目标阅读对象的文字信息进行处理，得到目标阅读对象的语音信息。

在本发明上述步骤S1604提供的技术方案中，如果检测到目标阅读对象的倾斜角度为预设倾斜角度，并检测到目标阅读对象相对于目标用户正面放置，对目标阅读对象的文字信息进行处理，得到目标阅读对象的语音信息。在目标用户对目标阅读对象的倾斜角度和正反放置进行调整之后，如果检测到目标阅读对象的倾斜角度为预设倾斜角度，并检测到目标阅读对象相对于目标用户正面放置，根据文字检测、文字识别进行语音合成，输出目标阅读对象的语音信息，进而实现目标用户听书的目的。可选地，对目标阅读对象的定位和识别采用端到端的方法实现文字检测与识别，最后利用语音合成技术得到的文字检测结果转变为声音。

该实施例在目标场景为目标用户的阅读场景的情况下，检测目标阅读对象的倾斜角度是否为预设倾斜角度，并检测目标阅读对象是否相对于目标用户正面放置；如果检测到目标阅读对象的倾斜角度不为预设倾斜角度，输出用于指示目标用户调整目标阅读对象的倾斜角度至预设倾斜角度的第八指令信息；如果检测到目标阅读对象未相对于目标用户正面放置，输出用于指示目标用户将目标阅读对象相对于目标用户正面放置的第九指令信息；以及如果检测到目标阅读对象的倾斜角度为预设倾斜角度，并检测到目标阅读对象相对于目标用户正面放置，对目标阅读对象的文字信息进行处理，得到目标阅读对象的语音信息，达到了输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作的目的，进而达到了扩展用于指示用户执行行为动作的指令信息的技术效果。

实施例2

当目标场景为行走场景时，该图像处理方法主要利用有监督学习的方法解决系统识别红绿灯识别，人行道检测，盲人行道检测，行人检测问题。这些子问题都利用深度学习的方法学习相应的模型，然后将相应的模型嵌入到系统中即可。该部分涉及到的检测与识别任务，利用端到端的深度学习目标检测框架来完成。

图17是根据本发明实施例的一种行走场景下的图像处理方法的流程图。如图17所示，该方法包括以下步骤：

步骤S1701，输入视频。

在本发明上述步骤S1701提供的技术方案中，输入视频，也即，采集目标用户所处的场景的图像。

步骤S1702，对视频进行图像处理。

在本发明上述步骤S1702提供的技术方案中，在输入视频之后，对视频进行图像处理。

步骤S1703，检测交通标识。

在本发明上述步骤S1703提供的技术方案中，在对视频进行图像处理之后，检测交通标识检测，比如，检测交通标识为绿灯，还是红灯/黄灯。

步骤S1704，如果交通标识为绿灯，进行人行道检测。

在本发明上述步骤S1704提供的技术方案中，在检测交通标识检测之后，如果交通标识为绿灯，进行人行道检测。

步骤S1705，如果交通标志为红灯/黄灯，则盲人等待。

在本发明上述步骤S1705提供的技术方案中，在检测交通标识检测之后，如果交通标志为红灯，则盲人等待。

步骤S1706，判断人行道与原图像的位置。

在本发明上述步骤S1706提供的技术方案中，在进行人行道检测之后，判断人行道与原图像的位置。

步骤S1707，对行人检测。

在本发明上述步骤S1707提供的技术方案中，在进行人行道检测之后，对行人检测。

步骤S1708，判断人行道上的行人情况。

在本发明上述步骤S1708提供的技术方案中，在对行人检测之后，判断人行道上的行人情况。

步骤S1709，发出调整指令。

在本发明上述步骤S1709提供的技术方案中，在判断人行道与原图像的位置以及判断人行道上的行人情况之后，发出调整指令，该调整指令用于对用于指示目标用户执行动作行为的指令信息进行调整的指令。

该实施例根据盲人头部的视频采集系统，采集前方(-45至+45)度范围内的红绿灯情况，如果为红灯或者黄灯，为了安全，盲人停止过马路；如果当前为绿灯，则进一步检测人行道检测与行人检测，根据检测结果，综合分析，系统给出行人的行走路线调整。这样既可以避免盲人走出人行道，又可以避免从后面撞到前面的行人。

图18是根据本发明实施例的一种沿盲道行走时的图像处理方法的流程图。如图18所示，该方法包括以下步骤：

步骤S1801，输入视频。

步骤S1802，对视频进行图像处理。

步骤S1803，盲道检测。

步骤S1804，行人检测。

步骤S1805，发出调整指令。

在走盲道时，即当相机检测连续5s内的视频，盲道都在自己脚下时，进入盲道辅助模式。首先利用深度神经网络检测盲道，然后检测行人，根据盲道上行人的位置，调整行走角度，如果盲人越过盲道，系统给出语音提示，盲人调整行走角度。

当目标场景为饮食场景时，主要利用有监督的学习方法解决包括筷子、勺子、碗、碟子、纸巾等餐具识别，实时分析出盲人手掌与对应物体的相对位置，这些识别与检测问题也利用深度学习的方法学习相应的模型。针对盲人饮食习惯，该模块可以根据历史饮食习惯推荐盲人的用餐，解决盲人吃饭时，看不到食物，也不知道食物名字的情况下，可以给出一些推荐。该模块也利用端到端的神经网络目标识别框架实现食具和食物检测。同时，利用了“基于图像的问答系统”来完成，图像检测识别后，各个目标之间的相对位置关系以及各个目标属性等信息，根据这些信息，系统方能给出正确的辅助性指令。

图19是根据本发明实施例的一种饮食场景的示意图。如图19所示，该饮食场景包括食物和餐具。食物包括果汁、面包，蛋糕，咖啡，餐具包括小刀和叉子。

图20是根据本发明实施例的一种饮食场景的图像处理方法的流程图。如图20所示，该方法包括以下步骤：

步骤S2001，输入视频。

步骤S2002，对视频进行图像处理。

步骤S2003，餐具和手掌检测结果。

步骤S2004，判断餐具与人手的相对位置。

步骤S2005，发出调整指令。

根据场景识别结果，如果在餐厅，系统会提示进入此系统。当进入此系统后，当食物放好后，辅助系统会识别基本的餐具如筷子，勺子，碗，食物，纸巾等，系统会根据当前的场景情况发出相应的控制指令，知道盲人完成动作。例如，当盲人在座位上已做好，服务员把餐具已放好。整个吃饭过程，都在辅助系统的提示下完成。首先，盲人需要筷子，系统首先提示盲人拿筷子，并告知筷子的位置，拿完筷子，系统便不会提示此信息，而进行食物检测，根据检测到的食物，系统会提示XX菜在哪里，然后筷子往指定的位置去，如果筷子放到某菜的盆里面，系统会提示例如“您夹的是XX菜”，当然这个夹菜准确度需要盲人的自我感知能力。当吃晚饭，筷子放下后，系统会提示盲人是否需要纸巾以及告知纸巾的方位。

当目标场景为着装场景时，主要穿衣的整齐程度进行评测，该部分的评分系统利用基于AlexNet框架的完成自动穿衣打分问题，将穿衣整齐度分为三类：好，一般，差。模型的训练数据来源于穿衣者的日常穿衣的后拍摄图片。

图21是根据本发明实施例的一种着装场景下的图像处理方法的流程图。如图21所示，该方法包括以下步骤：

步骤S2101，输入视频。

步骤S2102，对视频进行图像处理。

步骤S2103，穿衣评分。

步骤S2104，根据评分使盲人调整动作。

在该实施例中，当盲人衣服穿好之后，可以对照着镜子或者将系统至于一定的高度(和盲人胸口大致)，然后盲人后退两米，系统会在10s钟之后自动开启任务视频采集任务，此时盲人保持直立的状态不动(3s),会根据当前的盲人穿衣的情况自动打分，如果打分超过0.8，输出“可以”的语音提示信息；如果打分在0.6～0.8之间，输出“一般”的语音提示信息；如果打分低于0.6，输出“不可以”的语音提示信息，并且还会进一步给出不可以的原因，比如“搭配不可以”或者“衣服穿反了”等提示，盲人就可以根据相应的提示给出改进。

当目标场景为阅读场景时，主要实现文本定位与识别的功能，利用端到端的方法实现文字检测与识别，最后利用语音合成技术将得到的文字检测结果转变为声音。

图22是根据本发明实施例的一种阅读场景下的图像处理方法的流程图。如图22所示，该方法包括以下步骤：

步骤S2201，输入视频。

步骤S2202，对视频进行图像处理。

步骤S2203，检测文字。

步骤S2204，对检测到的文字进行识别。

步骤S2205，语音合成。

在该实施例中，在盲人要阅读的时候，盲人只需要拿出书放在面前，系统首先计算书本的倾斜角度与正反与否。只有当书本与相机处于一定的角度时，才有利于文字的识别，这点可以利用语音不断给盲人进而调整到最适合角度。如果书本拿反了，系统可以检测出来并给出提示信息。最后盲人便可以根据文字检测，文字识别，语音合成等技术“听书”了。

实施例3

本发明实施例的应用环境可以但不限于参照上述实施例中的应用环境，本实施例中对此不再赘述。本发明实施例提供了用于实施上述图像处理方法的一种可选的具体应用。

该实施例的图像处理方法应用于盲人辅助系统。该盲人辅助系统的硬件环境为Jetson TX1GPU模块，操作系统为ubunbu14.04，相机为TD130电子目镜天文望远镜摄像头。可以配备一块类似于笔记本电脑的电池，续航能力2～3小时。

该盲人辅助系统主要应用盲人户外行走，饮食吃饭，穿衣，钞票面值识别等场合。

该盲人辅助系统可以像VR头盔一样戴在头上，由耳机将辅助系统的辅助指令传递给盲人。盲人可以根据系统语音提示选择某个子辅助系统，在设计物体检测时，系统会根据当前盲人与目标物体的所处相对位置，对行人的动作进行指令提示，可以有效辅助盲人过马路与走盲道。针对盲人吃饭会遇到不知道饭在哪里的问题，在饮食辅助系统中，系统会检出食具以及食物的位置。根据这些信息可以帮助盲人判断食物的与手的位置。在吃饭时，系统还会告诉盲人食物的颜色信息，这样可以帮助盲人对食物的了解。针对盲人穿衣服不能够看到是否有错误(衣服穿反了，头发是否很乱，扣子是否扣错等)的问题，进行打分判断，盲人根据好,一般,差三种评分标准，进行调整。

图23是根据本发明实施例的一种盲人辅助系统的结构示意图。如图23所示，该系统包括眼罩1，视频摄像头2，处理设备3和耳机4。

该系统除了具有视觉方面的辅助功能，还集成简单的无线通话功能与无线广播的娱乐功能等。整个系统主要为一个Jetson TX1开发板，外围可以用一些硬质塑钢材料分装起来，需要说明的是，四周不能全部密封，要留一些网状开口，因为系统需要散热。形成一个类似与盒子的装置。这样盲人背在身后，安全又可靠。另外可以从盒子中引出耳机4，供盲人听指令信息。视频采集摄像头2可以固定在眼罩1上面，并利用数据线将视频信息传入盒子中，通过处理设备3进行处理，进而输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作。

图24是根据本发明实施例的一种盲人辅助系统的示意图。如图24所示，该系统包括：视觉采集系统，场景识别系统，行走辅助系统，饮食辅助系统，穿衣辅助系统，阅读辅助系统，分别通过视觉采集系统，场景识别系统，行走辅助系统，饮食辅助系统，穿衣辅助系统，阅读辅助系统输出相关的控制指令，进而输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作。通过上述系统执行本发明实施例的图像处理方法，此处不再赘述，可以解决相关技术中用于指示用户执行行为动作的指令信息比较局限的技术问题，进而达到扩展用于指示用户执行行为动作的指令信息的技术效果。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例4

根据本发明实施例，还提供了一种用于实施上述图像处理方法的图像处理装置。图25是根据本发明实施例的一种图像处理装置的示意图。如图25所示，该图像处理装置可以包括：

采集单元10，用于在待确定场景中，采集距离目标用户预设范围的场景图像。

获取单元20，用于根据场景图像获取待确定场景的图像元素。

确定单元30，用于在待确定场景的图像元素符合预设条件的情况下，确定待确定场景为目标场景。

输出单元40，用于输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作。

需要说明的是，该实施例中的采集单元10可以用于执行本发明实施例1中的步骤S202，该实施例中的获取单元20可以用于执行本发明实施例1中的步骤S204，该实施例中的确定单元30可以用于执行本发明实施例1中的步骤S206，该实施例中的输出单元40可以用于执行本发明实施例1中的步骤S208。

此处需要说明的是，上述单元与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。

实施例5

本发明实施例还提供了一种图像处理系统。需要说明的是，该实施例的图像处理系统可以用于执行本发明实施例的图像处理方法。

图26是根据本发明实施例的一种图像处理系统的示意图。如图26所示，该图像处理系统包括：摄像头50、处理设备60和输出设备70。

摄像头50，用于在待确定场景中，采集距离目标用户预设范围的场景图像。该摄像头可以位于眼罩上。

处理设备60，与摄像头相连接，用于根据场景图像获取待确定场景的图像元素；在待确定场景的图像元素符合预设条件的情况下，确定待确定场景为目标场景。

输出设备70，与处理设备相连接，用于输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作。该设备可以为语音输出设备。

该实施例的目标对象为盲人。盲人戴上图像处理系统后，自己可以选择设备的启动与否。该图像处理系统包括场景识别系统，用于对目标用户所处的场景进行识别。首先系统会启动场景识别系统，根据眼罩上的摄像头采集的视频进行分析，判断盲人此刻所处于的场景。因为不同场景所涉及的核心元素不同，针对典型的应用场景，对应于应用场景中的元素库；根据图像对场景的识别技术，识别出盲人所处的当前场景中的多个元素，并且与已经建立好的多个元素库中的图像因素进行比对，得到比对结果，当比对结果达到阈值时，确认对应的目标场景，得到检测结果，并将设备切换至对应的目标的场景识别子系统，比如，场景识别系统对应于十字路口，室内，路边盲道等，该图像处理系统会根据检测结果进入对应的场景识别子系统中。

该图像处理系统包括：行走辅助系统模块、饮食辅助系统模块、穿衣辅助系统模块和阅读辅助系统模块分别应用于行走场景，饮食场景，着装场景和阅读场景，分别用于执行行走场景下的图像处理方法，饮食场景下的图像处理方法，着装场景下的图像处理方法和阅读场景下的图像处理方法，关于上述方法已在方法实施例中详述，此处不再赘述。

实施例6

根据本发明实施例，还提供了一种用于实施上述图像处理方法的服务器或终端。

图27是根据本发明实施例的一种终端的结构框图。如图27所示，该终端可以包括：一个或多个(图中仅示出一个)处理器271、存储器273、以及传输装置275(如上述实施例中的发送装置)，如图27所示，该终端还可以包括输入输出设备277。

其中，存储器273可用于存储软件程序以及模块，如本发明实施例中的图像处理方法和装置对应的程序指令/模块，处理器271通过运行存储在存储器273内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器273可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器273可进一步包括相对于处理器271远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述的传输装置275用于经由一个网络接收或者发送数据，还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置275包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置275为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

其中，具体地，存储器273用于存储应用程序。

处理器271可以通过传输装置275调用存储器273存储的应用程序，以执行下述步骤：

在待确定场景中，采集距离目标用户预设范围的场景图像；

根据场景图像获取目标用户所处的待确定场景的图像元素；

在待确定场景的图像元素符合预设条件的情况下，确定待确定场景为目标场景；

输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作。

处理器271还用于执行下述步骤：在根据场景图像获取目标用户所处的待确定场景的图像元素之前，获取包括目标图像元素库的多个图像元素库，其中，目标图像元素库与目标场景相对应，多个图像元素库与多种预设场景一一对应；分别将多个图像元素库中的图像元素与待确定场景的图像元素进行比对，得到多个比对结果，其中，多个比对结果与多个图像元素库一一对应；判断多个比对结果中是否存在达到预设阈值的比对结果；以及如果判断出多个比对结果中存在达到预设阈值的比对结果，确定待确定场景的图像元素符合预设条件，并将达到预设阈值的比对结果对应的图像元素库确定为目标图像元素库，根据目标图像元素库确定目标场景。

处理器271还用于执行下述步骤：在输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作之后，检测目标用户根据指令信息执行的当前行为动作和/或当前行为动作发生的当前位置；判断当前行为动作和/或当前位置是否达到预设标准；以及如果判断出当前行为动作和/或当前位置未达到预设标准，根据当前行为动作和/或当前位置输出调整指令以指示目标用户根据调整指令调整当前行为动作和/或当前位置直至达到预设标准。

处理器271还用于执行下述步骤：检测目标用户与目标障碍物体的相对位置；以及根据相对位置输出用于指示目标用户调整当前行为动作的指令信息以使目标用户避开目标障碍物体。

处理器271还用于执行下述步骤：在检测目标用户与目标障碍物体的相对位置之前，检测预设范围内的交通标识；如果检测到交通标识为红灯/黄灯，输出用于指示目标用户停止行走并等待的第一指令信息；以及如果检测到交通标识为绿灯，输出用于指示目标用户行走的第二指令信息。

处理器271还用于执行下述步骤：在输出用于指示目标用户行走的第二指令信息之后，目标用户根据第二指令信息行走，在目标用户行走的过程中，对目标用户所处的第一行道和第一行道上的行人执行检测，得到检测结果；以及根据检测结果输出用于指示目标用户调整行走路线的第三指令信息。

处理器271还用于执行下述步骤：检测目标用户是否在第一预设时间内处于第二行道上；如果检测到目标用户在第一预设时间内处于第二行道上，检测第二行道上的行人位置，根据相对位置输出用于指示目标用户的当前行为动作的指令信息包括：根据行人位置输出用于指示目标用户调整行走角度的第四指令信息。

处理器271还用于执行下述步骤：在检测目标用户是否在第一预设时间内处于第二行道上之后，如果检测到目标用户不处于第二行道上，输出用于指示目标用户不处于第二行道上的第一语音提示信息以指示目标用户调整行走角度。

处理器271还用于执行下述步骤：在饮食场景中识别目标用户待使用的目标餐具和/或待食用的目标食物，得到目标餐具的信息和/或目标食物的信息；以及根据目标餐具的信息和/或目标食物的信息输出用于指示目标用户用餐的指令信息。

处理器271还用于执行下述步骤：在饮食场景中识别目标餐具的位置和/或目标食物的位置，得到目标餐具的位置信息和/或目标食物的位置信息；以及根据目标餐具的信息和/或目标食物的信息输出用于指示目标用户用餐的指令信息包括：根据目标餐具的位置信息和/或目标食物的位置信息输出用于指示目标用户获取目标餐具和/或目标食物的第五指令信息。

处理器271还用于执行下述步骤：在输出用于指示目标用户获取目标餐具的第五指令信息之后，检测目标用户是否获取到目标餐具；以及如果检测到目标用户获取到目标餐具，停止输出第五指令信息。

处理器271还用于执行下述步骤：在检测到目标用户获取到目标餐具之后，检测目标用户是否结束使用目标餐具；以及如果检测到目标用户结束使用目标餐具，输出用于指示目标用户获取下一个目标餐具的第五指令信息。

处理器271还用于执行下述步骤：在输出用于指示目标用户获取目标食物的第五指令信息之后，检测目标用户手持的第一餐具与盛放目标食物的第二餐具是否具有预设位置关系；以及如果检测到第一餐具与第二餐具具有预设位置关系，输出用于提示目标食物的属性的提示信息。

处理器271还用于执行下述步骤：获取目标用户的历史用餐信息；根据历史用餐信息确定推荐信息，其中，推荐信息用于向目标用户推荐目标食物；以及根据推荐信息输出用于指示目标用户选择推荐的目标食物的第六指令信息。

处理器271还用于执行下述步骤：目标场景为目标用户所处的着装场景，输出用于指示目标用户处于预设位置的第七指令信息；在目标用户处于预设位置的情况下，在第二预设时间之后采集目标用户的着装信息；根据着装信息确定目标用户的着装效果等级。

处理器271还用于执行下述步骤：在根据着装信息确定目标用户的着装效果等级之后，当着装效果等级低于预设着装效果等级时，输出用于指示目标用户的当前着装不合格的第二语音提示信息，以指示目标用户根据第二语音提示信息对当前着装进行调整。

处理器271还用于执行下述步骤：检测目标阅读对象的倾斜角度是否为预设倾斜角度，并检测目标阅读对象是否相对于目标用户正面放置；如果检测到目标阅读对象的倾斜角度不为预设倾斜角度，输出用于指示目标用户调整目标阅读对象的倾斜角度至预设倾斜角度的第八指令信息；如果检测到目标阅读对象未相对于目标用户正面放置，输出用于指示目标用户将目标阅读对象相对于目标用户正面放置的第九指令信息；以及如果检测到目标阅读对象的倾斜角度为预设倾斜角度，并检测到目标阅读对象相对于目标用户正面放置，对目标阅读对象的文字信息进行处理，得到目标阅读对象的语音信息。

采用本发明实施例，提供了一种图像处理方法的方案。通过在待确定场景中，采集距离目标用户预设范围的场景图像；根据场景图像获取待确定场景的图像元素；在待确定场景的图像元素符合预设条件的情况下，确定待确定场景为目标场景；以及输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作，达到了对目标用户的行为动作在目标场景下进行指示的目的，从而实现了扩展用于指示用户执行行为动作的指令信息的技术效果，进而解决了相关技术中用于指示用户执行行为动作的指令信息比较局限的技术问题。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。

本领域普通技术人员可以理解，图27所示的结构仅为示意，终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices，MID)、PAD等终端设备。图27不对上述电子装置的结构造成限定。例如，终端还可包括比图27中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图27所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

实施例7

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行图像处理方法的程序代码。

可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：

在待确定场景中，采集距离目标用户预设范围的场景图像；

根据场景图像获取待确定场景的图像元素；

在待确定场景的图像元素符合预设条件的情况下，确定待确定场景为目标场景；

输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在根据场景图像获取目标用户所处的待确定场景的图像元素之前，获取包括目标图像元素库的多个图像元素库，其中，目标图像元素库与目标场景相对应，多个图像元素库与多种预设场景一一对应；分别将多个图像元素库中的图像元素与待确定场景的图像元素进行比对，得到多个比对结果，其中，多个比对结果与多个图像元素库一一对应；判断多个比对结果中是否存在达到预设阈值的比对结果；以及如果判断出多个比对结果中存在达到预设阈值的比对结果，确定待确定场景的图像元素符合预设条件，并将达到预设阈值的比对结果对应的图像元素库确定为目标图像元素库，根据目标图像元素库确定目标场景。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在输出与目标场景对应的指令信息，以指示目标用户执行与指令信息对应的行为动作之后，检测目标用户根据指令信息执行的当前行为动作和/或当前行为动作发生的当前位置；判断当前行为动作和/或当前位置是否达到预设标准；以及如果判断出当前行为动作和/或当前位置未达到预设标准，根据当前行为动作和/或当前位置输出调整指令以指示目标用户根据调整指令调整当前行为动作和/或当前位置直至达到预设标准。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：检测目标用户与目标障碍物体的相对位置；以及根据相对位置输出用于指示目标用户调整当前行为动作的指令信息以使目标用户避开目标障碍物体。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在检测目标用户与目标障碍物体的相对位置之前，检测预设范围内的交通标识；如果检测到交通标识为红灯/黄灯，输出用于指示目标用户停止行走并等待的第一指令信息；以及如果检测到交通标识为绿灯，输出用于指示目标用户行走的第二指令信息。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在输出用于指示目标用户行走的第二指令信息之后，目标用户根据第二指令信息行走，在目标用户行走的过程中，对目标用户所处的第一行道和第一行道上的行人执行检测，得到检测结果；以及根据检测结果输出用于指示目标用户调整行走路线的第三指令信息。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：检测目标用户是否在第一预设时间内处于第二行道上；如果检测到目标用户在第一预设时间内处于第二行道上，检测第二行道上的行人位置，根据相对位置输出用于指示目标用户的当前行为动作的指令信息包括：根据行人位置输出用于指示目标用户调整行走角度的第四指令信息。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在检测目标用户是否在第一预设时间内处于第二行道上之后，如果检测到目标用户不处于第二行道上，输出用于指示目标用户不处于第二行道上的第一语音提示信息以指示目标用户调整行走角度。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在饮食场景中识别目标用户待使用的目标餐具和/或待食用的目标食物，得到目标餐具的信息和/或目标食物的信息；以及根据目标餐具的信息和/或目标食物的信息输出用于指示目标用户用餐的指令信息。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在饮食场景中识别目标餐具的位置和/或目标食物的位置，得到目标餐具的位置信息和/或目标食物的位置信息；以及根据目标餐具的信息和/或目标食物的信息输出用于指示目标用户用餐的指令信息包括：根据目标餐具的位置信息和/或目标食物的位置信息输出用于指示目标用户获取目标餐具和/或目标食物的第五指令信息。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在输出用于指示目标用户获取目标餐具的第五指令信息之后，检测目标用户是否获取到目标餐具；以及如果检测到目标用户获取到目标餐具，停止输出第五指令信息。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在检测到目标用户获取到目标餐具之后，检测目标用户是否结束使用目标餐具；以及如果检测到目标用户结束使用目标餐具，输出用于指示目标用户获取下一个目标餐具的第五指令信息。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在输出用于指示目标用户获取目标食物的第五指令信息之后，检测目标用户手持的第一餐具与盛放目标食物的第二餐具是否具有预设位置关系；以及如果检测到第一餐具与第二餐具具有预设位置关系，输出用于提示目标食物的属性的提示信息。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：获取目标用户的历史用餐信息；根据历史用餐信息确定推荐信息，其中，推荐信息用于向目标用户推荐目标食物；以及根据推荐信息输出用于指示目标用户选择推荐的目标食物的第六指令信息。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：目标场景为目标用户所处的着装场景，输出用于指示目标用户处于预设位置的第七指令信息；在目标用户处于预设位置的情况下，在第二预设时间之后采集目标用户的着装信息；根据着装信息确定目标用户的着装效果等级。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：在根据着装信息确定目标用户的着装效果等级之后，当着装效果等级低于预设着装效果等级时，输出用于指示目标用户的当前着装不合格的第二语音提示信息以使目标用户根据第二语音提示信息对当前着装进行调整。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：检测目标阅读对象的倾斜角度是否为预设倾斜角度，并检测目标阅读对象是否相对于目标用户正面放置；如果检测到目标阅读对象的倾斜角度不为预设倾斜角度，输出用于指示目标用户调整目标阅读对象的倾斜角度至预设倾斜角度的第八指令信息；如果检测到目标阅读对象未相对于目标用户正面放置，输出用于指示目标用户将目标阅读对象相对于目标用户正面放置的第九指令信息；以及如果检测到目标阅读对象的倾斜角度为预设倾斜角度，并检测到目标阅读对象相对于目标用户正面放置，对目标阅读对象的文字信息进行处理，得到目标阅读对象的语音信息。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本发明所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (20)

1.一种图像处理方法，其特征在于，包括：

在待确定场景中，采集距离目标用户预设范围的场景图像；

根据所述场景图像获取所述待确定场景的图像元素；

在所述待确定场景的图像元素符合预设条件的情况下，确定所述待确定场景为目标场景；以及

输出与所述目标场景对应的指令信息，以指示所述目标用户执行与所述指令信息对应的行为动作。

2.根据权利要求1所述的方法，其特征在于，在根据所述场景图像获取所述待确定场景的图像元素之前，所述方法还包括：

获取包括目标图像元素库的多个图像元素库，其中，所述目标图像元素库与所述目标场景相对应，所述多个图像元素库与多种预设场景一一对应；

分别将所述多个图像元素库中的图像元素与所述待确定场景的图像元素进行比对，得到多个比对结果，其中，所述多个比对结果与所述多个图像元素库一一对应；

判断所述多个比对结果中是否存在达到预设阈值的比对结果；以及

如果判断出所述多个比对结果中存在达到所述预设阈值的比对结果，确定所述待确定场景的图像元素符合所述预设条件，并将达到所述预设阈值的比对结果对应的图像元素库确定为所述目标图像元素库，根据所述目标图像元素库确定所述目标场景。

3.根据权利要求2所述的方法，其特征在于，所述多种预设场景至少包括以下之一：

所述目标用户所处的行走场景；

所述目标用户所处的饮食场景；

所述目标用户所处的着装场景；

所述目标用户所处的阅读场景。

4.根据权利要求1所述的方法，其特征在于，在输出与所述目标场景对应的指令信息，以指示所述目标用户执行与所述指令信息对应的行为动作之后，所述方法还包括：

检测所述目标用户根据所述指令信息执行的当前行为动作和/或所述当前行为动作发生的当前位置；

判断所述当前行为动作和/或所述当前位置是否达到预设标准；以及

如果判断出所述当前行为动作和/或所述当前位置未达到所述预设标准，根据所述当前行为动作和/或所述当前位置输出调整指令以指示所述目标用户根据所述调整指令调整所述当前行为动作和/或所述当前位置直至达到所述预设标准。

5.根据权利要求4所述的方法，其特征在于，所述目标场景为所述目标用户的行走场景，输出与所述目标场景对应的指令信息，以指示所述目标用户执行与所述指令信息对应的行为动作包括：

检测所述目标用户与目标障碍物体的相对位置；以及

根据所述相对位置输出用于指示所述目标用户调整所述当前行为动作的指令信息以使所述目标用户避开所述目标障碍物体。

6.根据权利要求5所述的方法，其特征在于，在检测所述目标用户与所述目标障碍物体的相对位置之前，所述方法还包括：

检测所述预设范围内的交通标识；

如果检测到所述交通标识为红灯/黄灯，输出用于指示所述目标用户停止行走并等待的第一指令信息；以及

如果检测到所述交通标识为绿灯，输出用于指示所述目标用户行走的第二指令信息。

7.根据权利要求6所述的方法，其特征在于，在输出用于指示所述目标用户行走的第二指令信息之后，所述目标用户根据所述第二指令信息行走，所述方法还包括：

在所述目标用户行走的过程中，对所述目标用户所处的第一行道和所述第一行道上的行人执行检测，得到检测结果；以及

根据所述检测结果输出用于指示所述目标用户调整行走路线的第三指令信息。

8.根据权利要求5所述的方法，其特征在于，

检测所述目标用户与所述目标障碍物体的相对位置包括：检测所述目标用户是否在第一预设时间内处于第二行道上；如果检测到所述目标用户在所述第一预设时间内处于所述第二行道上，检测所述第二行道上的行人位置，

根据所述相对位置输出用于指示所述目标用户的当前行为动作的指令信息包括：根据所述行人位置输出用于指示所述目标用户调整行走角度的第四指令信息。

9.根据权利要求8所述的方法，其特征在于，在检测所述目标用户是否在所述第一预设时间内处于所述第二行道上之后，所述方法还包括：

如果检测到所述目标用户不处于所述第二行道上，输出用于指示所述目标用户不处于所述第二行道上的第一语音提示信息以指示所述目标用户调整所述行走角度。

10.根据权利要求1所述的方法，其特征在于，所述目标场景为所述目标用户所处的饮食场景，输出与所述目标场景对应的指令信息，以指示所述目标用户执行与所述指令信息对应的行为动作包括：

在所述饮食场景中识别所述目标用户待使用的目标餐具和/或待食用的目标食物，得到所述目标餐具的信息和/或所述目标食物的信息；以及

根据所述目标餐具的信息和/或所述目标食物的信息输出用于指示所述目标用户用餐的指令信息。

11.根据权利要求10所述的方法，其特征在于，

在所述饮食场景中识别所述目标用户待使用的目标餐具和/或待食用的目标食物包括：在所述饮食场景中识别所述目标餐具的位置和/或所述目标食物的位置，得到所述目标餐具的位置信息和/或所述目标食物的位置信息；以及

根据所述目标餐具的信息和/或所述目标食物的信息输出用于指示所述目标用户用餐的指令信息包括：根据所述目标餐具的位置信息和/或所述目标食物的位置信息输出用于指示所述目标用户获取所述目标餐具和/或所述目标食物的第五指令信息。

12.根据权利要求11所述的方法，其特征在于，在输出用于指示所述目标用户获取所述目标餐具的第五指令信息之后，所述方法还包括：

检测所述目标用户是否获取到所述目标餐具；以及

如果检测到所述目标用户获取到所述目标餐具，停止输出所述第五指令信息。

13.根据权利要求12所述的方法，其特征在于，在检测到所述目标用户获取到所述目标餐具之后，所述方法还包括：

检测所述目标用户是否结束使用所述目标餐具；以及

如果检测到所述目标用户结束使用所述目标餐具，输出用于指示所述目标用户获取下一个目标餐具的第五指令信息。

14.根据权利要求11所述的方法，其特征在于，在输出用于指示所述目标用户获取所述目标食物的第五指令信息之后，所述方法还包括：

检测所述目标用户手持的第一餐具与盛放所述目标食物的第二餐具是否具有预设位置关系；以及

如果检测到所述第一餐具与所述第二餐具具有所述预设位置关系，输出用于提示所述目标食物的属性的提示信息。

15.根据权利要求1所述的方法，其特征在于，所述目标场景为所述目标用户所处的饮食场景，输出与所述目标场景对应的指令信息，以指示所述目标用户执行与所述指令信息对应的行为动作包括：

获取所述目标用户的历史用餐信息；

根据所述历史用餐信息确定推荐信息，其中，所述推荐信息用于向所述目标用户推荐目标食物；以及

根据所述推荐信息输出用于指示所述目标用户选择推荐的目标食物的第六指令信息。

16.根据权利要求1所述的方法，其特征在于，所述目标场景为所述目标用户所处的着装场景，输出与所述目标场景对应的指令信息，以指示所述目标用户执行与所述指令信息对应的行为动作包括：

输出用于指示所述目标用户处于预设位置的第七指令信息；

在所述目标用户处于所述预设位置的情况下，在第二预设时间之后采集所述目标用户的着装信息；

根据所述着装信息确定所述目标用户的着装效果等级。

17.根据权利要求16所述的方法，其特征在于，在根据所述着装信息确定所述目标用户的着装效果等级之后，所述方法还包括：

当所述着装效果等级低于预设着装效果等级时，输出用于指示所述目标用户的当前着装不合格的第二语音提示信息，以指使所述目标用户根据所述第二语音提示信息对所述当前着装进行调整。

18.根据权利要求1所述的方法，其特征在于，所述目标场景为所述目标用户的阅读场景，输出与所述目标场景对应的指令信息，以指示所述目标用户执行与所述指令信息对应的行为动作包括：

检测目标阅读对象的倾斜角度是否为预设倾斜角度，并检测所述目标阅读对象是否相对于所述目标用户正面放置；

如果检测到所述目标阅读对象的倾斜角度不为所述预设倾斜角度，输出用于指示所述目标用户调整所述目标阅读对象的倾斜角度至预设倾斜角度的第八指令信息；

如果检测到所述目标阅读对象未相对于所述目标用户正面放置，输出用于指示所述目标用户将所述目标阅读对象相对于所述目标用户正面放置的第九指令信息；以及

如果检测到所述目标阅读对象的倾斜角度为所述预设倾斜角度，并检测到所述目标阅读对象相对于所述目标用户正面放置，对所述目标阅读对象的文字信息进行处理，得到所述目标阅读对象的语音信息。

19.一种图像处理装置，其特征在于，包括：

采集单元，用于在待确定场景中，采集距离目标用户预设范围的场景图像；

获取单元，用于根据所述场景图像获取所述待确定场景的图像元素；

确定单元，用于在所述待确定场景的图像元素符合预设条件的情况下，确定所述待确定场景为目标场景；以及

输出单元，用于输出与所述目标场景对应的指令信息，以指示所述目标用户执行与所述指令信息对应的行为动作。

20.一种图像处理系统，其特征在于，包括：

摄像头，用于在待确定场景中，采集距离目标用户预设范围的场景图像；

处理设备，与所述摄像头相连接，用于根据所述场景图像获取所述待确定场景的图像元素；在所述待确定场景的图像元素符合预设条件的情况下，确定所述待确定场景为目标场景；以及

输出设备，与所述处理设备相连接，用于输出与所述目标场景对应的指令信息，以指示所述目标用户执行与所述指令信息对应的行为动作。