CN112541408B - 可行区域识别方法、装置、设备及计算机可读存储介质 - Google Patents
可行区域识别方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112541408B CN112541408B CN202011369355.XA CN202011369355A CN112541408B CN 112541408 B CN112541408 B CN 112541408B CN 202011369355 A CN202011369355 A CN 202011369355A CN 112541408 B CN112541408 B CN 112541408B
- Authority
- CN
- China
- Prior art keywords
- environment
- complexity
- type
- environmental
- environment type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 208000029257 vision disease Diseases 0.000 claims abstract description 22
- 230000007613 environmental effect Effects 0.000 claims description 52
- 238000005286 illumination Methods 0.000 claims description 29
- 238000004458 analytical method Methods 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 230000006735 deficit Effects 0.000 claims description 2
- 230000009471 action Effects 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 10
- 239000011521 glass Substances 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 239000000047 product Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 206010047571 Visual impairment Diseases 0.000 description 4
- 239000004984 smart glass Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000004393 visual impairment Effects 0.000 description 4
- 230000004064 dysfunction Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000036626 alertness Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003891 environmental analysis Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
- G06V20/39—Urban scenes
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供了一种可行区域识别方法，包括：识别目标用户所处的周围环境的至少一种环境类型，关于每一环境类型，分析周围环境在该环境类型下的环境复杂程度，根据每一环境类型对应的环境复杂程度，为目标用户识别出可行进区域。本申请能够实时地自动识别周围环境的各种环境类型，并准确地评估每一环境类型的复杂程度，从而可以使视力障碍人群能够更好地把握周围的环境和风险，并在必要时做出规避动作，因而安全性更高、可用性更强，提升了用户体验。
Description
技术领域
本申请涉及检测技术领域，特别涉及一种可行区域识别方法、装置、设备及计算机可读存储介质。
背景技术
对于具有视觉功能障碍的人群，时常会遇到各式各样的不方便，在很多环境尤其是公共场所中往往难以独自行动，从而影响生活质量。长期以来，国内外的商家为视觉功能障碍人群提供了各种类型的助行器械和装备，但受模型分析能力和硬件速度性能的制约，也只能提供一定程度上的帮助。近年来，随着小型化可穿戴电子设备的发展以及图像处理和分析算法的迅猛发展，实时演算的针对视觉功能障碍人群的助行设备不断涌现，提供了更好的产品和服务。
以一种现有产品为例，其载体为一个集成模块，可佩戴在胸前，能够根据多种传感器采集的信息为用户提供周围环境中的物体、路标、天气等信息，有助于提高视力障碍人群独自行动的能力。
但是，现有产品(例如助行眼镜、自动驾驶系统)采用的可行进区域分析方法，主要是依赖于多传感器和高成本高投入不稳定的网络信息化解决方案，尽管这些产品对部分复杂环境有一定的适应能力，但常常不能很好的应对各类复杂的周围环境，导致用户体验较差。
发明内容
本申请提供了一种可行区域识别方法、装置、设备及计算机可读存储介质，能够在各类复杂的周围环境下，为用户识别出可行进区域，提升了用户体验。
第一方面，本申请提供了一种可行区域识别方法，所述方法应用于一种智能设备，所述方法包括：
识别目标用户所处的周围环境的至少一种环境类型；
关于每一环境类型，分析所述周围环境在该环境类型下的环境复杂程度；
根据每一环境类型对应的环境复杂程度，为所述目标用户识别出可行进区域。
可选的，所述至少一种环境类型包括基于光照强度的环境类型、基于人流密度的环境类型、基于天气情况的环境类型、基于车流密度的环境类型、基于路面情况的环境类型中的至少一种。
可选的，所述分析所述周围环境在该环境类型下的环境复杂程度，包括：
实时获取所述周围环境的环境数据，所述环境数据为所述周围环境的图像或视频；
在所述图像或所述视频的每一帧图像中，确定该图像中的各个选定像素位置在该环境类型下的复杂程度指标；
根据确定的复杂程度指标，确定所述周围环境在该环境类型下的环境复杂程度。
可选的，所述分析所述周围环境在该环境类型下的环境复杂程度，包括：
采用基于深度学习的像素级回归或分类算法的环境分析模型，分析所述周围环境在该环境类型下的环境复杂程度。
可选的，所述方法还包括：
关于每一环境类型，根据所述目标用户的视力障碍情况以及所述智能设备的工作性能，确定所述目标用户在该环境类型下的风险等级。
可选的，所述方法还包括：
关于每一环境类型，当反映该环境类型下的环境复杂程度的指标数据，大于该环境类型对应的指标阈值时，为所述目标用户提示该环境类型下的环境复杂程度和/或风险等级。
可选的，所述指标阈值是基于所述目标用户的视力障碍情况以及所述智能设备的工作性能设定的。
第二方面，本申请提供了一种可行区域识别装置，所述装置应用于一种智能设备，所述装置包括：
环境类型识别单元，用于识别目标用户所处的周围环境的至少一种环境类型；
复杂度分析单元，用于关于每一环境类型，分析所述周围环境在该环境类型下的环境复杂程度；
可行区域识别单元，用于根据每一环境类型对应的环境复杂程度，为所述目标用户识别出可行进区域。
可选的，所述至少一种环境类型包括基于光照强度的环境类型、基于人流密度的环境类型、基于天气情况的环境类型、基于车流密度的环境类型、基于路面情况的环境类型中的至少一种。
可选的，复杂度分析单元，具体用于：
实时获取所述周围环境的环境数据，所述环境数据为所述周围环境的图像或视频；
在所述图像或所述视频的每一帧图像中，确定该图像中的各个选定像素位置在该环境类型下的复杂程度指标；
根据确定的复杂程度指标，确定所述周围环境在该环境类型下的环境复杂程度。
可选的，复杂度分析单元，具体用于：
采用基于深度学习的像素级回归或分类算法的环境分析模型，分析所述周围环境在该环境类型下的环境复杂程度。
可选的，所述装置还包括：
风险等级确定单元，用于关于每一环境类型，根据所述目标用户的视力障碍情况以及所述智能设备的工作性能，确定所述目标用户在该环境类型下的风险等级。
可选的，所述装置还包括：
环境风险提示单元，用于关于每一环境类型，当反映该环境类型下的环境复杂程度的指标数据，大于该环境类型对应的指标阈值时，为所述目标用户提示该环境类型下的环境复杂程度和/或风险等级。
可选的，所述指标阈值是基于所述目标用户的视力障碍情况以及所述智能设备的工作性能设定的。
第三方面，本申请提供了一种电子设备，包括：处理器、存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于通过调用所述计算机程序，执行上述可行区域识别方法。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述可行区域识别方法。
在以上本申请提供的技术方案中，识别目标用户所处的周围环境的至少一种环境类型，关于每一环境类型，分析周围环境在该环境类型下的环境复杂程度，根据每一环境类型对应的环境复杂程度，为目标用户识别出可行进区域。本申请实施例能够实时地自动识别周围环境的各种环境类型，并准确地评估每一环境类型的复杂程度，从而可以使视力障碍人群能够更好地把握周围的环境和风险，并在必要时做出规避动作，因而安全性更高、可用性更强，提升了用户体验。
附图说明
图1为本申请示出的一种可行区域识别方法的流程示意图；
图2为本申请示出的一种环境分析示意图；
图3为本申请示出的一种可行区域识别装置的组成示意图；
图4为本申请示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在现有产品(例如助行眼镜、自动驾驶系统)采用的可行进区域分析方法中，其缺点在于，首先，该方法对物体的探知基于激光雷达成像，没有利用光照色彩等重要视觉信息，自然也不能受益于近年来深度学习在图像视频分析领域的巨大成果，算法的精度和鲁棒性都受限；其次，该方法对路标、场所等信息的识别基于电子扫描技术，该方法需要用户主动调整以扫描到符合识别要求的图像，对具有视力障碍的人群来说很困难；再次，该方法提供天气信息需要连接网络，一方面受通信信号好坏的影响稳定性差，另一方面受定位精度和天气预报准确度的影响，不可能实时而准确地预测通过某局部场景时是否会受到天气的影响。
可见，现有产品(例如助行眼镜、自动驾驶系统)采用的可行进区域分析方法，主要是依赖于多传感器和高成本高投入不稳定的网络信息化解决方案，而采用基于深度学习和机器学习模型的方法，要么没有专门针对复杂环境进行优化、要么专注于改进复杂环境下模型的鲁棒性，尽管它们对部分复杂环境有一定的适应能力，但由于用户不知晓周围环境的复杂程度和风险等级，不能避免用户误入极度复杂环境(甚至是能使产品的传感器和识别算法完全失效的极端环境)的危险情况发生。
为解决上述技术问题，本申请实施例提供了一种可行区域识别方法，该方法不限于应用场景，其可以在任何复杂场景下为用户识别可行进区域。这是一种智能化的助行方法，能够基于视频数据(如黑白或彩色视频、红外成像视频等)实时地分析周围的环境，准确地提示用户环境的复杂程度，使用户获知周围的风险等级，并在必要时采取规避动作(如避免进入高风险区域、行进时提高警惕、采取自我保护动作、报警等)。
具体来讲，本申请实施例提供的可行区域识别方法，是一种智能化的安全的针对视力障碍人群的助行方法，该方法能够实时地自动识别不同类型的复杂场景(如低光照、道路拥挤、以及雨雪雾等天气)及其复杂程度(如光照强度、拥挤程度、雨雪雾等天气的强度)，使具有视力障碍的用户能够依据上述信息判断能否进入特定区域或者选择合适的路径。下面以具体场景为例：
当用户在夜晚或者需要灯光照亮的室内行动时，可以通过转动头部提示智能眼镜分析相应方向的环境，此时，可行区域识别算法会分析预测出某方向的光照强度过低，结合智能眼镜能够可靠地处理的光照强度的范围以及用户的视力障碍情况，提示继续沿该方向前进的风险等级及原因，例如，提示结果为“前方光照强度低、风险中”，或“前方光照强度极低、风险高”等等，故而，用户可以基于该提示结果，选择无光照强度报警的方向继续行进。
当用户在有较多人流的环境行动时，可以通过转动头部提示智能眼镜分析相应方向的环境，此时，可行区域识别算法会分析预测出某方向的人流密集，结合智能眼镜能够可靠地处理的人流密度的范围以及用户的视力障碍情况，提示继续沿该方向前进的风险等级及原因，例如，提示结果为“前方人流密度中、风险中”、“前方人流密度高、风险高”等等，故而，用户可以基于该提示结果，选择无人流密度报警的方向继续行进。
当用户在降雨天气行动时，可以通过转动头部提示智能眼镜分析相应方向的环境，此时，可行区域识别算法会分析预测出某方向的降雨强度，结合智能眼镜在降雨天气下工作的可靠性以及用户的视力障碍情况，提示继续沿该方向前进的风险等级及原因，例如，提示结果为“前方小雨、风险中”、“前方中雨、风险高”等等，故而，用户可以基于该提示结果，选择无降雨报警的方向(如室内、有遮挡的道路等)继续行进。
需要说明的是，关于本申请实施例提供的可行区域识别方法，该方法可以应用于一种智能设备，本申请实施例不对智能设备的类型进行限定，该智能设备通常是智能可穿戴设备，比如上述的智能眼镜。
还需要说明的是，当用户处于多种复杂场景交织的场景下(比如用户在夜晚降雨天气行动)时，采用该方法的智能设备可以提示多种风险。例如，“前方小雨、光照强度低、风险中”，“前方浓雾、人流密度中、光照强度低、风险高”，等等。
下面对本申请实施例提供的可行区域识别方法进行具体介绍。
参见图1，为本申请实施例提供的一种可行区域识别方法的流程示意图，该方法可以包括以下步骤S101-S103：
S101：识别目标用户所处的周围环境的至少一种环境类型。
在本申请实施例中，将使用智能设备(比如智能眼镜)的用户定义为目标用户，其中，该智能设备具有本方法的相关功能，该智能设备可以为目标用户提供安全可靠的助行功能。
当目标用户需要使用智能设备时，目标用户可以触发智能设备开始工作，本申请实施例不对触发方式进行限定，可以采用用户的语音、动作等触发方式。
当智能设备开始工作后，智能设备会对目标用户的周围环境进行分析，以识别出用户周围环境具有哪些环境类型。具体地，本申请实施例不对环境类型的种类进行限定，通过S101识别出的至少一种环境类型，可以包括：基于光照强度的环境类型、基于人流密度的环境类型、基于天气情况的环境类型、基于车流密度的环境类型、基于路面情况(如路面障碍、地面崎岖泥泞程度等)的环境类型中的至少一种。
需要说明的是，通过S101识别出的每一种环境类型，都是一种具体的环境类型。例如，“基于光照强度的环境类型”具体可以是晚上、或白天等；“基于人流密度的环境类型”具体可以是有人流、或无人流等；“基于天气情况的环境类型”具体可以是雨天、雪天等。
为便于描述，在后续内容中，将“目标用户所处的周围环境”简称为“周围环境”。
S102：关于每一环境类型，分析周围环境在该环境类型下的环境复杂程度。
在本申请实施例中，需要实时分析目标用户当前所处环境或预期前进方向的复杂程度，即，对于通过S101识别出的每一环境类型，需要分析目标用户所处周围环境在每一环境类型下的环境复杂程度。例如，当环境类型是“晚上”或“需要灯光照亮的室内”时，需要分析出具体的光照强度，如低光照；当环境类型是“有人流”时，需要分析出具体的人流密度或拥挤程度，如人流密度低；当环境类型是“雨天”时，需要分析出具体的雨量大小，如大雨、中雨、小雨。
在本申请实施例的一种实现方式中，S102中的“分析周围环境在该环境类型下的环境复杂程度”，具体可以包括以下步骤A1-A3：
步骤A1：实时获取周围环境的环境数据，其中，该环境数据为周围环境的图像或视频。
在实际的应用场景中，可以利用智能设备拍摄目标用户所处周围环境的图像或视频，例如，当智能设备是智能眼镜时，可以利用智能眼镜拍摄图像或视频。
步骤A2：在周围环境的图像、或周围环境视频的每一帧图像中，确定该图像中的各个选定像素位置在该环境类型下的复杂程度指标。
在实际的应用场景中，可以基于智能设备所拍摄的图像或视频(该视频可以包括多帧图像)，实时地进行周围环境的复杂度分析。具体来讲，对于所拍摄的每一图像，首先，可以将该图像中的每个像素点位置作为选定像素位置、也可以按照一定的间隔选取像素点位置，并将选取的每一像素点位置作为选定像素位置，这样可以得到多个选定像素位置；然后，分析每一选定像素位置在每一环境类型下的复杂程度指标，比如，利用具体的指标数据来体现光照强度、人群密度、雨雪雾等天气的强度。
当采用环境分析模型实现上述功能时，该环境分析模型内置有环境复杂程度分析算法，可以利用该算法实现S102的功能。
步骤A3：根据确定的复杂程度指标，确定周围环境在该环境类型下的环境复杂程度。
对于周围环境的每一环境类型，当通过步骤A2确定周围环境图像中的各个选定像素位置在该环境类型下的复杂程度指标后，可以对这些指标数据进行综合分析，确定该环境类型下的环境复杂程度。例如，当该环境类型是“基于光照强度的环境类型”时，因为图像中有的地方光照强度低、有的地方光照强度高，可以对关于光照强度的指标数据进行综合分析，从而确定周围环境在该环境类型下的环境复杂程度，比如该环境复杂程度是“光照强度低”。
进一步地，关于每一环境类型，本申请实施例还可以根据目标用户的视力障碍情况以及智能设备的工作性能，确定目标用户在该环境类型下的风险等级。
具体来讲，可以根据智能设备的性能以及目标用户的身体状态预设不同的风险等级。也就是说，对于周围环境的每一环境类型，预设该环境类型下的至少两个风险等级，比如，低风险、中风险、高风险，而周围环境在该环境类型下的环境复杂程度可以采用一个指标数据来体现、且该环境类型下的各个风险等级各自对应一个数据范围，故而，当体现环境复杂程度的指标数据属于哪个数据范围时，该数据范围对应的风险等级，即为目标用户在该环境类型下的风险等级。
此外，智能设备还可以为目标用户提示每一环境类型对应的环境复杂程度和/或风险等级。
例如，以全盲(但无其它行动障碍)的目标用户为例，当智能设备未安装红外补光功能时，识别出行进方向黑暗无灯光时，就要提示“光照强度低、风险高”，而当智能设备具有红外补光功能时，只需要提示“光照强度低、风险低”；当智能设备只有最低程度的防水性能时，识别出行进方向有小雨时，就要提示“降雨强度小、风险高”，而智能设备具有较好的防水处理时，只需要提示“降雨强度小、风险低”。
又例如，以全盲且行动缓慢的目标用户为例，当智能设备识别出行进方向人流密度较高时，就要提示“人流密度中、风险高”；而相同情况下对于有最低程度的残留视觉(如能够感光)且无行动障碍的目标用户，只需要提示“人流密度中、风险低”。
需要说明的是，本申请实施例可以在满足预设条件下为目标用户进行信息提示。在本申请实施例的一种实现方式中，关于每一环境类型，当反映该环境类型下的环境复杂程度的指标数据，大于该环境类型对应的指标阈值时，为目标用户提示该环境类型下的环境复杂程度和/或风险等级。
在本实现方式中，可以为每一环境类型对应预设一个指标阈值，该指标阈值可以是基于目标用户的视力障碍情况以及智能设备的工作性能设定的，当满足阈值条件时，为目标用户提示每一环境类型对应的环境复杂程度和/或风险等级，反之则不用提示，可见，这种适用于目标用户自己的个性化设置方式，有利于帮我目标用户助行。
在S102或上述S102的具体实现方式中，即“分析周围环境在该环境类型下的环境复杂程度”，具体可以包括：采用基于深度学习的像素级回归或分类算法的环境分析模型，分析周围环境在该环境类型下的环境复杂程度。
在使用模型之前，需要对模型进行训练，在训练模型之前，需要采集一批真实场景的数据构建训练集，该训练集包括用户在多种不同场景中正常使用的情况下，智能眼镜所拍摄到的视频序列、以及所观察方向不同距离和位置的真实环境复杂程度指标(如光照强度、人群密度、天气情况等)。
环境复杂以至于难以智能化处理的原因多样(如光照强度低、人流密度高、强雨强雪强雾等)，所以环境分析模型需要预测多种指标，并且模型训练时所使用的损失函数通常是多任务的，每个任务通常都使用回归损失函数(如人群密度)，当训练数据集上某环境复杂程度的具体指标难以获得或者获得成本较高时，可以选择将该指标按强度分段并使用分类损失函数学习(如某一局部区域的具体降水量，可以用降雨大、中、小、无等替代)。
上述不同的环境复杂程度指标相关性不高，一般来说，可以分别各自训练单独的模型。但是，由于它们所基于的输入有重合甚至是完全一致的(如彩色或红外的图像或视频)，为了节省计算量可以共享主干网络，提取统一的特征表达，并基于该表达采用回归方法预测光照强度和人流密度，或者采用分类方法预测降雨量和降雪量。由于需要预测图像或视频中每个选定像素位置的指标，所以，需要使用图像语义分割任务中常用的全卷积网络结构，如DeepLab、UNet等。当输入是图像时(视频序列也可以当作多个图像分别处理)，主干网络可以是在通用图像分类任务下预训练过的图像分类网络，如ResNet、DenseNet等；当输入是视频序列时，一方面可以将其看作三维数据，主干网络采用三维图像分类网络，如VNet等，另一方面还可以在主干网络中进一步引入序列卷积，增强整个模型对于时序序列的处理能力。
例如，参见图2所示的环境分析示意图，将智能设备所拍摄的视频或图像作为环境分析模型的输入，环境分析模型会分析光照强度、人流密度、天气(即降雨、降雪、雾等强度)状况等，当光照强度、人流密度、天气状况的环境复杂程度超过各自的报警阈值时，则提示相应的风险类型和环境复杂程度。
S103：根据每一环境类型对应的环境复杂程度，为所述目标用户识别出可行进区域。
在本申请实施例中，S103具体可以根据每一环境类型对应的环境复杂程度以及风险等级，为目标用户识别出可行进区域，即，通过分析不同行进方向的环境复杂程度和风险等级，为目标用户选择合适的路径提供参考。此外，目标用户的实际行进方向，可以由目标用户根据自己的需求以及所获取到的信息(来自盲杖、本智能设备等)来做出。
在以上本申请实施例提供的可行区域识别方法中，识别目标用户所处的周围环境的至少一种环境类型，关于每一环境类型，分析周围环境在该环境类型下的环境复杂程度，根据每一环境类型对应的环境复杂程度，为目标用户识别出可行进区域。本申请实施例能够实时地自动识别周围环境的各种环境类型，并准确地评估每一环境类型的复杂程度，从而可以使视力障碍人群能够更好地把握周围的环境和风险，并在必要时做出规避动作，因而安全性更高、可用性更强，提升了用户体验。
参见图3，为本申请实施例提供的一种可行区域识别装置的组成示意图，该装置应用于一种智能设备，该装置包括：
环境类型识别单元310，用于识别目标用户所处的周围环境的至少一种环境类型；
复杂度分析单元320，用于关于每一环境类型，分析所述周围环境在该环境类型下的环境复杂程度；
可行区域识别单元330，用于根据每一环境类型对应的环境复杂程度，为所述目标用户识别出可行进区域。
在本申请实施例的一种实现方式中，所述至少一种环境类型包括基于光照强度的环境类型、基于人流密度的环境类型、基于天气情况的环境类型、基于车流密度的环境类型、基于路面情况的环境类型中的至少一种。
在本申请实施例的一种实现方式中，复杂度分析单元320，具体用于：
实时获取所述周围环境的环境数据，所述环境数据为所述周围环境的图像或视频；
在所述图像或所述视频的每一帧图像中，确定该图像中的各个选定像素位置在该环境类型下的复杂程度指标；
根据确定的复杂程度指标，确定所述周围环境在该环境类型下的环境复杂程度。
在本申请实施例的一种实现方式中，复杂度分析单元320，具体用于：
采用基于深度学习的像素级回归或分类算法的环境分析模型，分析所述周围环境在该环境类型下的环境复杂程度。
在本申请实施例的一种实现方式中，所述装置还包括：
风险等级确定单元，用于关于每一环境类型，根据所述目标用户的视力障碍情况以及所述智能设备的工作性能，确定所述目标用户在该环境类型下的风险等级。
在本申请实施例的一种实现方式中，所述装置还包括：
环境风险提示单元，用于关于每一环境类型，当反映该环境类型下的环境复杂程度的指标数据，大于该环境类型对应的指标阈值时，为所述目标用户提示该环境类型下的环境复杂程度和/或风险等级。
在本申请实施例的一种实现方式中，所述指标阈值是基于所述目标用户的视力障碍情况以及所述智能设备的工作性能设定的。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本申请实施例还提供了一种电子设备，该电子设备的结构示意图如图4所示，该电子设备4000包括至少一个处理器4001、存储器4002和总线4003，至少一个处理器4001均与存储器4002电连接；存储器4002被配置用于存储有至少一个计算机可执行指令，处理器4001被配置用于执行该至少一个计算机可执行指令，从而执行如本申请中任意一个实施例或任意一种可选实施方式提供的任意一种可行区域识别方法的步骤。
进一步，处理器4001可以是FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其它具有逻辑处理能力的器件，如MCU(Microcontroller Unit，微控制单元)、CPU(Central Process Unit，中央处理器)。
应用本申请实施例，能够实时地自动识别周围环境的各种环境类型，并准确地评估每一环境类型的复杂程度，从而可以使视力障碍人群能够更好地把握周围的环境和风险，并在必要时做出规避动作，因而安全性更高、可用性更强，提升了用户体验。
本申请实施例还提供了另一种计算机可读存储介质，存储有计算机程序，该计算机程序用于被处理器执行时实现本申请中任意一个实施例或任意一种可选实施方式提供的任意一种可行区域识别方法的步骤。
本申请实施例提供的计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(RandomAccess Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
应用本申请实施例，能够实时地自动识别周围环境的各种环境类型，并准确地评估每一环境类型的复杂程度，从而可以使视力障碍人群能够更好地把握周围的环境和风险，并在必要时做出规避动作，因而安全性更高、可用性更强，提升了用户体验。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (8)
1.一种可行区域识别方法，其特征在于，所述方法应用于一种智能设备，所述方法包括：
识别目标用户所处的周围环境的至少一种环境类型；
关于每一环境类型，分析所述周围环境在该环境类型下的环境复杂程度；
关于每一环境类型，根据所述目标用户的视力障碍情况以及所述智能设备的工作性能，确定所述目标用户在该环境类型下的风险等级；
根据每一环境类型对应的环境复杂程度和风险等级，为所述目标用户识别出可行进区域；
其中，所述分析所述周围环境在该环境类型下的环境复杂程度，包括：
实时获取所述周围环境的环境数据，所述环境数据为所述周围环境的图像或视频；
在所述图像或所述视频的每一帧图像中，确定该图像中的各个选定像素位置在该环境类型下的复杂程度指标；
根据确定的复杂程度指标，确定所述周围环境在该环境类型下的环境复杂程度。
2.根据权利要求1所述的方法，其特征在于，所述至少一种环境类型包括基于光照强度的环境类型、基于人流密度的环境类型、基于天气情况的环境类型、基于车流密度的环境类型、基于路面情况的环境类型中的至少一种。
3.根据权利要求1所述的方法，其特征在于，所述分析所述周围环境在该环境类型下的环境复杂程度，包括：
采用基于深度学习的像素级回归或分类算法的环境分析模型，分析所述周围环境在该环境类型下的环境复杂程度。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
关于每一环境类型，当反映该环境类型下的环境复杂程度的指标数据，大于该环境类型对应的指标阈值时，为所述目标用户提示该环境类型下的环境复杂程度和/或风险等级。
5.根据权利要求4所述的方法，其特征在于，所述指标阈值是基于所述目标用户的视力障碍情况以及所述智能设备的工作性能设定的。
6.一种可行区域识别装置，其特征在于，所述装置应用于一种智能设备，所述装置包括：
环境类型识别单元，用于识别目标用户所处的周围环境的至少一种环境类型；
复杂度分析单元，用于关于每一环境类型，分析所述周围环境在该环境类型下的环境复杂程度；
风险等级确定单元，用于关于每一环境类型，根据所述目标用户的视力障碍情况以及所述智能设备的工作性能，确定所述目标用户在该环境类型下的风险等级；
可行区域识别单元，用于根据每一环境类型对应的环境复杂程度和风险等级，为所述目标用户识别出可行进区域；
其中，所述复杂度分析单元在分析所述周围环境在该环境类型下的环境复杂程度时，具体用于：
实时获取所述周围环境的环境数据，所述环境数据为所述周围环境的图像或视频；
在所述图像或所述视频的每一帧图像中，确定该图像中的各个选定像素位置在该环境类型下的复杂程度指标；
根据确定的复杂程度指标，确定所述周围环境在该环境类型下的环境复杂程度。
7.一种电子设备，其特征在于，包括：处理器、存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于通过调用所述计算机程序，执行如权利要求1-5中任一项所述的可行区域识别方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5任一项所述的可行区域识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011369355.XA CN112541408B (zh) | 2020-11-30 | 2020-11-30 | 可行区域识别方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011369355.XA CN112541408B (zh) | 2020-11-30 | 2020-11-30 | 可行区域识别方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112541408A CN112541408A (zh) | 2021-03-23 |
| CN112541408B true CN112541408B (zh) | 2022-02-25 |
Family
ID=75016401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011369355.XA Active CN112541408B (zh) | 2020-11-30 | 2020-11-30 | 可行区域识别方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541408B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113108794B (zh) * | 2021-03-30 | 2022-09-16 | 北京深睿博联科技有限责任公司 | 位置识别方法、装置、设备及计算机可读存储介质 |
| CN113660658B (zh) * | 2021-08-03 | 2024-08-02 | 西安万像电子科技有限公司 | 音频数据的保护方法、装置和语音设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684916A (zh) * | 2018-11-13 | 2019-04-26 | 恒睿(重庆)人工智能技术研究院有限公司 | 基于路径轨迹数据异常检测方法、系统、设备及存储介质 |
| CN110103984A (zh) * | 2018-02-01 | 2019-08-09 | 通用汽车环球科技运作有限责任公司 | 使用感知系统措施管理前进路径的自动驾驶复杂度 |
| CN110427827A (zh) * | 2019-07-08 | 2019-11-08 | 辽宁工程技术大学 | 一种多尺度感知及全局规划下的自主驾驶网络 |
| CN210402735U (zh) * | 2019-08-27 | 2020-04-24 | 宁波诠航机械科技有限公司 | 一种交通盲区智能提醒装置 |
| CN111122175A (zh) * | 2020-01-02 | 2020-05-08 | 北京百度网讯科技有限公司 | 测试自动驾驶系统的方法以及装置 |
| CN111929672A (zh) * | 2020-08-06 | 2020-11-13 | 浙江大华技术股份有限公司 | 移动轨迹的确定方法及装置、存储介质和电子装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017209537A1 (ko) * | 2016-06-01 | 2017-12-07 | 한국교통연구원 | 개인 선호도에 기반한 복합 교통수단 정보를 제공하는 장치 및 방법 |
| CN109952592B (zh) * | 2016-11-07 | 2024-04-02 | 瑞士再保险有限公司 | 自动位置相关测量和预测汽车风险的绝对和相对风险系统和方法 |
| DE102017116421A1 (de) * | 2017-07-20 | 2019-01-24 | Deutsche Post Ag | Verfahren und Steuervorrichtung für ein autonomes und/oder teilautonomes Transportfahrzeug |
| US10546197B2 (en) * | 2017-09-26 | 2020-01-28 | Ambient AI, Inc. | Systems and methods for intelligent and interpretive analysis of video image data using machine learning |
| CN108596812A (zh) * | 2018-03-30 | 2018-09-28 | 上海无线通信研究中心 | 一种人群紧急疏散路线的动态生成方法、系统、电子终端 |
| CN109059920A (zh) * | 2018-06-29 | 2018-12-21 | 合肥信亚达智能科技有限公司 | 一种盲人交通出行安全监控智能导航方法及系统 |
| CN109798893A (zh) * | 2018-12-21 | 2019-05-24 | 南京工程学院 | 室内复杂环境下的路径导航方法 |
| CN110503565B (zh) * | 2019-07-05 | 2024-02-06 | 中国平安人寿保险股份有限公司 | 行为风险识别方法、系统、设备及可读存储介质 |
| CN111564062A (zh) * | 2020-04-29 | 2020-08-21 | 朱光宇 | 一种驾驶引导系统及方法 |
-
2020
- 2020-11-30 CN CN202011369355.XA patent/CN112541408B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110103984A (zh) * | 2018-02-01 | 2019-08-09 | 通用汽车环球科技运作有限责任公司 | 使用感知系统措施管理前进路径的自动驾驶复杂度 |
| CN109684916A (zh) * | 2018-11-13 | 2019-04-26 | 恒睿(重庆)人工智能技术研究院有限公司 | 基于路径轨迹数据异常检测方法、系统、设备及存储介质 |
| CN110427827A (zh) * | 2019-07-08 | 2019-11-08 | 辽宁工程技术大学 | 一种多尺度感知及全局规划下的自主驾驶网络 |
| CN210402735U (zh) * | 2019-08-27 | 2020-04-24 | 宁波诠航机械科技有限公司 | 一种交通盲区智能提醒装置 |
| CN111122175A (zh) * | 2020-01-02 | 2020-05-08 | 北京百度网讯科技有限公司 | 测试自动驾驶系统的方法以及装置 |
| CN111929672A (zh) * | 2020-08-06 | 2020-11-13 | 浙江大华技术股份有限公司 | 移动轨迹的确定方法及装置、存储介质和电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112541408A (zh) | 2021-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210357670A1 (en) | Driver Attention Detection Method | |
| Rakibe et al. | Background subtraction algorithm based human motion detection | |
| US20190042850A1 (en) | Method and System for Detecting Actions in Videos using Contour Sequences | |
| Sina et al. | Vehicle counting and speed measurement using headlight detection | |
| US11010622B2 (en) | Infrastructure-free NLoS obstacle detection for autonomous cars | |
| Foedisch et al. | Adaptive real-time road detection using neural networks | |
| Tavakkoli et al. | Non-parametric statistical background modeling for efficient foreground region detection | |
| US9626599B2 (en) | Reconfigurable clear path detection system | |
| CN109543691A (zh) | 积水识别方法、装置以及存储介质 | |
| CN112541408B (zh) | 可行区域识别方法、装置、设备及计算机可读存储介质 | |
| EP2713308A2 (en) | Method and system for using fingerprints to track moving objects in video | |
| CN103824070A (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| Moghadam et al. | Road direction detection based on vanishing-point tracking | |
| US11436839B2 (en) | Systems and methods of detecting moving obstacles | |
| Chang et al. | Video analytics in smart transportation for the AIC'18 challenge | |
| Ghahremannezhad et al. | A new adaptive bidirectional region-of-interest detection method for intelligent traffic video analysis | |
| Helala et al. | Road boundary detection in challenging scenarios | |
| Arthi et al. | Object detection of autonomous vehicles under adverse weather conditions | |
| CN117746016A (zh) | 一种目标识别方法及设备 | |
| Singh et al. | Smart traffic monitoring through real-time moving vehicle detection using deep learning via aerial images for consumer application | |
| Tyagi et al. | A review paper on real-time video analysis in dense environment for surveillance system | |
| Belloc et al. | Detection of people boarding/alighting a metropolitan train using computer vision | |
| Oza et al. | Object detection using iot and machine learning to avoid accident and improve road safety | |
| Loureiro et al. | Video processing techniques for traffic information acquisition using uncontrolled video streams | |
| KR101965875B1 (ko) | 영상 분석을 기반으로 한 길 안내 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |