CN110718294B - 一种智能导医机器人和智能导医方法 - Google Patents

一种智能导医机器人和智能导医方法 Download PDF

Info

Publication number
CN110718294B
CN110718294B CN201910803483.1A CN201910803483A CN110718294B CN 110718294 B CN110718294 B CN 110718294B CN 201910803483 A CN201910803483 A CN 201910803483A CN 110718294 B CN110718294 B CN 110718294B
Authority
CN
China
Prior art keywords
image
hospital
information
functional areas
characters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910803483.1A
Other languages
English (en)
Other versions
CN110718294A (zh
Inventor
颜景春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unisound Intelligent Technology Co Ltd
Original Assignee
Unisound Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unisound Intelligent Technology Co Ltd filed Critical Unisound Intelligent Technology Co Ltd
Priority to CN201910803483.1A priority Critical patent/CN110718294B/zh
Publication of CN110718294A publication Critical patent/CN110718294A/zh
Application granted granted Critical
Publication of CN110718294B publication Critical patent/CN110718294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种智能导医机器人和智能导医方法，该智能导医机器人和智能导医方法通过实时图像采集的方式实时更新医院内部不同功能区域的设置状态，并且还能够从采集得到的图像中自动地提取得到对应功能区域的指示信息，这样能够省去在医院发生功能区域设置变更需要通过人工方式进行设置信息的重新采集和获取，从而有效地降低导医过程的人力成本，并且还能够避免该人工干预操作可能导致的操作误差和耽误工时，同时也便于快速和准确地进行后期维护，其对不同场合的医院结构具有良好的适用性。

Description

一种智能导医机器人和智能导医方法
技术领域
本发明涉及人工智能的技术领域，特别涉及一种智能导医机器人和智能导医方法。
背景技术
目前，随着医院人流量的不断增大，为了使人们能够在医院内部进行准确定位，医院通常会在醒目位置处放置医院科室分布图或者医院消防疏散图等指引图为人们提供导向指引，但是这些指引图的分布数量和分布位置都受到限制，其并不能满足所有人的需求，并且这些指引图还可能存在指引不清晰的问题，从而产生错误指示引导的情况。为了进一步改善医院内部定位引导的智能化程度，许多医院都增设了具有动态文字播报引导或者语音播报引导等功能的引导装置，但是这类引导装置在正式工作之前都需要进行人工调试和装配，而该人工调试和装配普遍存在出错率高、效率低、速度慢、耗时长和人力资源消耗大等不同缺点，并且这类引导装置的工作一段时间后还需要定期进行保养维修，并且还需要根据医院内部机构变更进行适应性的调整，这无疑需要医院额外配置专门的人力和物力来管理这类引导装置，这也必然增加医院的工作负担。可见，现有技术急需一种人工干预少、装配便捷、后期维护简便和工作效率高的智能导医机器人和智能导医方法。
发明内容
针对现有技术存在的缺陷，本发明提供一种智能导医机器人和智能导医方法，其中，该智能导医机器人包括图像采集模块、关键特征信息生成模块、匹配关系库生成模块和语音播报模块；其中，该图像采集模块用于采集关于医院不同功能区域的若干图像；该关键特征信息生成模块用于获取关于该若干图像中的每一个对应的关键特征信息；该匹配关系库生成模块用于根据该若干图像中的每一个对应的关键特征信息，生成关于该医院不同功能区域与其对应的区域信息之间的匹配关系库；该语音播报模块用于根据该匹配关系库，进行关于该医院不同功能区域的语音指示播报操作；相应地，该智能导医方法是通过该智能导医机器人来进行同样的导医操作的。可见，该智能导医机器人和智能导医方法有别于现有技术的医院引导装置和方法只局限于采用静态图像或者语音广播的方式来进行定位和引导操作，该智能导医机器人和智能导医方法通过实时图像采集的方式实时更新医院内部不同功能区域的设置状态，并且还能够从采集得到的图像中自动地提取得到对应功能区域的指示信息，这样能够省去在医院发生功能区域设置变更需要通过人工方式进行设置信息的重新采集和获取，从而有效地降低导医过程的人力成本；其次，该智能导医机器人和智能导医方法还通过构建匹配关系库来确定不同功能区域的固有位置属性，这样能够减少对不同功能区域进行定位确认涉及的人工干预操作，进而避免该人工干预操作可能导致的操作误差和耽误工时，同时也便于快速和准确地进行后期维护；此外，该智能导医机器人和智能导医方法还通过语音指示播放的方式来进行引导提示，这能够提高其进行位置引导的效率和有效性；最后，该智能导医机器人和智能导医方法还使用于不同场合的医院机构，其具有对不同环境的良好适用性。
本发明提供一种智能导医机器人，其特征在于：
所述智能导医机器人包括图像采集模块、关键特征信息生成模块、匹配关系库生成模块和语音播报模块；其中，
所述图像采集模块用于采集关于医院不同功能区域的若干图像；
所述关键特征信息生成模块用于获取关于所述若干图像中的每一个对应的关键特征信息；
所述匹配关系库生成模块用于根据所述若干图像中的每一个对应的关键特征信息，生成关于所述医院不同功能区域与其对应的区域信息之间的匹配关系库；
所述语音播报模块用于根据所述匹配关系库，进行关于所述医院不同功能区域的语音指示播报操作；
进一步，所述图像采集模块包括医院固有信息确定子模块、分布地图生成子模块、图像采集模式确定子模块和拍摄子模块；其中，
所述医院固有信息确定子模块用于预先获取所述医院不同功能区域的位置分布状态信息和/或功能场景信息；
所述分布地图生成子模块用于根据所述位置分布状态信息和/或所述功能场景信息形成关于所述医院不同功能区域的分布地图；
所述图像采集模式确定子模块用于，根据所述医院不同功能区域的分布地图，确定所述医院不同功能区域中的每一个对应的图像采集模式；
所述拍摄子模块用于根据所述图像采集模式，拍摄关于所述医院不同功能区域中的每一个对应的若干图像；
进一步，所述关键特征信息生成模块包括图像识别子模块和自然语言理解子模块；其中，
所述图像识别子模块用于通过预设图像识别神经网络模型，对所述若干图像中的每一个进行图像识别处理，以此获得每一个图像各自包括的文字内容和/或符号内容；
所述自然语言理解子模块用于对每一个图像各自包括的文字内容和/或符号内容，进行自然语言的理解识别处理，以此得到所述关键特征信息；
进一步，所述匹配关系库生成模块包括文字翻译子模块、修正子模块、映射关系构建子模块和数据结构生成子模块；其中，
所述文字翻译子模块用于通过预设文字翻译神经网络模型，将每一个图像对应的关键特征信息翻译形成至少一种语种的文字描述内容；
所述修正子模块用于对所述文字描述内容进行适应性的修正处理；
所述映射关系构建子模块用于构建关于每一个图像对应的所述文字描述内容、与每一个图像对应的功能区域之间的映射关系；
所述数据结构生成子模块用于根据所述映射关系，通过预设数据处理神经网络模型，生成关于所述医院不同功能区域与其对应的区域信息之间的匹配关系库；
进一步，所述语音播报模块包括语音翻译子模块和音频播放子模块；其中，所述语音翻译子模块用于通过预设语音翻译神经网络模型，将所述匹配关系库中的文字描述内容翻译形成至少一种语种的语音信号；
所述音频播放子模块用于根据当前外界输入的功能区域导引请求，选择合适的所述语音信号，并通过所述语音指示播报操作播放所述语音信号。
本发明还提供一种智能导医方法，其特征在于，所述智能导医方法包括如下步骤：
步骤(1)，采集关于医院不同功能区域的若干图像，并获取关于所述若干图像中的每一个对应的关键特征信息；
步骤(2)，根据所述若干图像中的每一个对应的关键特征信息，生成关于所述医院不同功能区域与其对应的区域信息之间的匹配关系库；
步骤(3)，根据所述匹配关系库，进行关于所述医院不同功能区域的语音指示播报操作；
进一步，在所述步骤(1)中，采集关于医院不同功能区域的若干图像，并获取关于所述若干图像中的每一个对应的关键特征信息具体包括，
步骤(101)，预先获取所述医院不同功能区域的位置分布状态信息和/或功能场景信息，以此形成关于所述医院不同功能区域的分布地图；
步骤(102)，根据所述医院不同功能区域的分布地图，确定所述医院不同功能区域中的每一个对应的图像采集模式，以此采集得到所述若干图像；
步骤(103)，对所述若干图像中的每一个进行适应性的图像分析处理，以此获得每一个图像包含的文字信息和/或符号信息，从而得到所述关键特征信息；
进一步，在所述步骤(101)中，预先获取所述医院不同功能区域的位置分布状态信息和/或功能场景信息，以此形成关于所述医院不同功能区域的分布地图具体包括，
步骤(1011)，预先获取所述医院不同功能区域中的每一个所处的楼层信息、朝向信息、和与出入口之间的相对距离信息中的至少一者，以此作为所述位置分布状态信息；
步骤(1012)，预先获取所述医院不同功能区域中的每一个对应的用途信息，以此作为所述功能场景信息；
步骤(1013)，对所述位置分布状态信息和所述功能场景信息进行关于所述医院的建筑结构的标注匹配处理，并生成具有关于所述医院不同功能区域的立体分布标注状态的三维分布地图，以此作为所述分布地图；
或者，
在所述步骤(102)中，根据所述医院不同功能区域的分布地图，确定所述医院不同功能区域中的每一个对应的图像采集模式，以此采集得到所述若干图像具体包括，
步骤(1021)，从所述分布地图中获取关于所述不同功能区域中的每一个各自的区域空间尺寸和/或区域光照信息中的至少一者，以此确定每一个功能区域的图像采集动作条件；
步骤(1022)，根据所述图像采集动作条件，确定适用于每一个功能区域图像采集动作对应的拍摄焦距、曝光时间和拍摄视角中的至少一者，以此确定所述图像拍摄模式；
步骤(1023)，根据每一个功能区域各自的图像拍摄模式，对每一个功能区域的指示牌和区域场景进行若干图像的采集操作；
或者，
在所述步骤(103)中，对所述若干图像中的每一个进行适应性的图像分析处理，以此获得每一个图像包含的文字信息和/或符号信息，从而得到所述关键特征信息具体包括，
步骤(1031)，通过预设图像识别神经网络模型，对所述若干图像中的每一个进行图像识别处理，以此获得每一个图像各自包括的文字内容和/或符号内容，其中所述图像识别处理包括，
S1、将待识别处理的图像转换成灰度图像，并根据所述灰度图像对应的最大亮度值和最小亮度值，得到所述灰度图像对应的二值化图像；
S2、获取所述二值化图像对应的离散黑点分布状态，并根据所述离散黑点分布状态，对所述二值化图像进行腐蚀膨胀处理；
S3、对经过所述腐蚀膨胀处理后的图像分别进行X方向和Y方向的区域选定处理，其中，所述X方向和Y方向的区域选定处理均通过从中间向两边展开扫描的方式实现；
S4、根据所述X方向和Y方向的区域选定处理的结果，对相应图像区域内的字符进行切割处理，并将切割处理后得到的字符放置于一维阵列中；
S5、根据所述一维阵列内的字符，创建相应的字符集，并采用预设模板匹配算法对所述字符集进行字符匹配处理，其中，所述预设模板匹配算法包括将所述字符集中的字符与预设模板字符进行相减处理，若所述相减处理的结果符合预设误差条件，则指示所述字符集中的字符与所述预设模板字符相匹配；
S6、将上述步骤S5确定的与所述预设模板字符相匹配的字符写入文本中作为所述文字内容和/或所述符号内容，以用于下面步骤(1032)的处理；
步骤(1032)，对每一个图像各自包括的文字内容和/或符号内容，进行自然语言的理解识别处理，以此得到所述关键特征信息；
进一步，在所述步骤(2)中，根据所述若干图像中的每一个对应的关键特征信息，生成关于所述医院不同功能区域与其对应的区域信息之间的匹配关系库具体包括，
步骤(201)，通过预设文字翻译神经网络模型，将每一个图像对应的关键特征信息翻译形成至少一种语种的文字描述内容，以及对所述文字描述内容进行适应性的修正处理；
步骤(202)，构建关于每一个图像对应的所述文字描述内容、与每一个图像对应的功能区域之间的映射关系；
步骤(203)，根据所述映射关系，通过预设数据处理神经网络模型，生成关于所述医院不同功能区域与其对应的区域信息之间的匹配关系库，以此表征所述医院不同功能区域与其对应的区域信息之间的一一对应数据结构关系；
进一步，在所述步骤(3)中，根据所述匹配关系库，进行关于所述医院不同功能区域的语音指示播报操作具体包括，
步骤(301)，从所述匹配关系库中，提取关于每一个功能区域所处的位置以及关于每一个功能区域导向的文字描述内容；
步骤(302)，通过预设语音翻译神经网络模型，将所述文字描述内容翻译形成至少一种语种的语音信号；
步骤(303)，根据当前外界输入的功能区域导引请求，选择合适的所述语音信号，并通过所述语音指示播报操作播放所述语音信号。
相比于现有技术，该智能导医机器人和智能导医方法有别于现有技术的医院引导装置和方法只局限于采用静态图像或者语音广播的方式来进行定位和引导操作，该智能导医机器人和智能导医方法通过实时图像采集的方式实时更新医院内部不同功能区域的设置状态，并且还能够从采集得到的图像中自动地提取得到对应功能区域的指示信息，这样能够省去在医院发生功能区域设置变更需要通过人工方式进行设置信息的重新采集和获取，从而有效地降低导医过程的人力成本；其次，该智能导医机器人和智能导医方法还通过构建匹配关系库来确定不同功能区域的固有位置属性，这样能够减少对不同功能区域进行定位确认涉及的人工干预操作，进而避免该人工干预操作可能导致的操作误差和耽误工时，同时也便于快速和准确地进行后期维护；此外，该智能导医机器人和智能导医方法还通过语音指示播放的方式来进行引导提示，这能够提高其进行位置引导的效率和有效性；最后，该智能导医机器人和智能导医方法还使用于不同场合的医院机构，其具有对不同环境的良好适用性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种智能导医机器人的结构示意图。
图2为本发明提供的一种智能导医方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种智能导医机器人的结构示意图。该智能导医机器人包括图像采集模块、关键特征信息生成模块、匹配关系库生成模块和语音播报模块。其中，
该图像采集模块用于采集关于医院不同功能区域的若干图像；
该关键特征信息生成模块用于获取关于该若干图像中的每一个对应的关键特征信息；
该匹配关系库生成模块用于根据该若干图像中的每一个对应的关键特征信息，生成关于该医院不同功能区域与其对应的区域信息之间的匹配关系库；
该语音播报模块用于根据该匹配关系库，进行关于该医院不同功能区域的语音指示播报操作。
优选地，该图像采集模块包括医院固有信息确定子模块、分布地图生成子模块、图像采集模式确定子模块和拍摄子模块；
优选地，该医院固有信息确定子模块用于预先获取该医院不同功能区域的位置分布状态信息和/或功能场景信息；
优选地，该分布地图生成子模块用于根据该位置分布状态信息和/或该功能场景信息形成关于该医院不同功能区域的分布地图；
优选地，该图像采集模式确定子模块用于，根据该医院不同功能区域的分布地图，确定该医院不同功能区域中的每一个对应的图像采集模式；
优选地，该拍摄子模块用于根据该图像采集模式，拍摄关于该医院不同功能区域中的每一个对应的若干图像。
优选地，该关键特征信息生成模块包括图像识别子模块和自然语言理解子模块；
优选地，该图像识别子模块用于通过预设图像识别神经网络模型，对该若干图像中的每一个进行图像识别处理，以此获得每一个图像各自包括的文字内容和/或符号内容；
优选地，该自然语言理解子模块用于对每一个图像各自包括的文字内容和/或符号内容，进行自然语言的理解识别处理，以此得到该关键特征信息。
优选地，该匹配关系库生成模块包括文字翻译子模块、修正子模块、映射关系构建子模块和数据结构生成子模块；
优选地，该文字翻译子模块用于通过预设文字翻译神经网络模型，将每一个图像对应的关键特征信息翻译形成至少一种语种的文字描述内容；
优选地，该修正子模块用于对该文字描述内容进行适应性的修正处理；
优选地，该映射关系构建子模块用于构建关于每一个图像对应的该文字描述内容、与每一个图像对应的功能区域之间的映射关系；
优选地，该数据结构生成子模块用于根据该映射关系，通过预设数据处理神经网络模型，生成关于该医院不同功能区域与其对应的区域信息之间的匹配关系库。
优选地，该语音播报模块包括语音翻译子模块和音频播放子模块；
优选地，该语音翻译子模块用于通过预设语音翻译神经网络模型，将该匹配关系库中的文字描述内容翻译形成至少一种语种的语音信号；
优选地，该音频播放子模块用于根据当前外界输入的功能区域导引请求，选择合适的该语音信号，并通过该语音指示播报操作播放该语音信号。
参阅图2，为本发明实施例提供的一种智能导医方法的流程示意图。该智能导医方法包括如下步骤：
步骤(1)，采集关于医院不同功能区域的若干图像，并获取关于该若干图像中的每一个对应的关键特征信息。
优选地，在该步骤(1)中，采集关于医院不同功能区域的若干图像，并获取关于该若干图像中的每一个对应的关键特征信息具体包括，
步骤(101)，预先获取该医院不同功能区域的位置分布状态信息和/或功能场景信息，以此形成关于该医院不同功能区域的分布地图；
步骤(102)，根据该医院不同功能区域的分布地图，确定该医院不同功能区域中的每一个对应的图像采集模式，以此采集得到该若干图像；
步骤(103)，对该若干图像中的每一个进行适应性的图像分析处理，以此获得每一个图像包含的文字信息和/或符号信息，从而得到该关键特征信息。
优选地，在该步骤(101)中，预先获取该医院不同功能区域的位置分布状态信息和/或功能场景信息，以此形成关于该医院不同功能区域的分布地图具体包括，
步骤(1011)，预先获取该医院不同功能区域中的每一个所处的楼层信息、朝向信息、和与出入口之间的相对距离信息中的至少一者，以此作为该位置分布状态信息；
步骤(1012)，预先获取该医院不同功能区域中的每一个对应的用途信息，以此作为该功能场景信息；
步骤(1013)，对该位置分布状态信息和该功能场景信息进行关于该医院的建筑结构的标注匹配处理，并生成具有关于该医院不同功能区域的立体分布标注状态的三维分布地图，以此作为该分布地图。
优选地，在该步骤(102)中，根据该医院不同功能区域的分布地图，确定该医院不同功能区域中的每一个对应的图像采集模式，以此采集得到该若干图像具体包括，
步骤(1021)，从该分布地图中获取关于该不同功能区域中的每一个各自的区域空间尺寸和/或区域光照信息中的至少一者，以此确定每一个功能区域的图像采集动作条件；
步骤(1022)，根据该图像采集动作条件，确定适用于每一个功能区域图像采集动作对应的拍摄焦距、曝光时间和拍摄视角中的至少一者，以此确定该图像拍摄模式；
步骤(1023)，根据每一个功能区域各自的图像拍摄模式，对每一个功能区域的指示牌和区域场景进行若干图像的采集操作。
优选地，在该步骤(103)中，对该若干图像中的每一个进行适应性的图像分析处理，以此获得每一个图像包含的文字信息和/或符号信息，从而得到该关键特征信息具体包括，
步骤(1031)，通过预设图像识别神经网络模型，对该若干图像中的每一个进行图像识别处理，以此获得每一个图像各自包括的文字内容和/或符号内容；
步骤(1032)，对每一个图像各自包括的文字内容和/或符号内容，进行自然语言的理解识别处理，以此得到该关键特征信息；
优选地，该图像识别处理包括，
S1、将待识别处理的图像转换成灰度图像，并根据该灰度图像对应的最大亮度值和最小亮度值，得到该灰度图像对应的二值化图像；
S2、获取该二值化图像对应的离散黑点分布状态，并根据该离散黑点分布状态，对该二值化图像进行腐蚀膨胀处理；
S3、对经过该腐蚀膨胀处理后的图像分别进行X方向和Y方向的区域选定处理，其中，该X方向和Y方向的区域选定处理均通过从中间向两边展开扫描的方式实现；
S4、根据该X方向和Y方向的区域选定处理的结果，对相应图像区域内的字符进行切割处理，并将切割处理后得到的字符放置于一维阵列中；
S5、根据该一维阵列内的字符，创建相应的字符集，并采用预设模板匹配算法对该字符集进行字符匹配处理，其中，该预设模板匹配算法包括将该字符集中的字符与预设模板字符进行相减处理，若该相减处理的结果符合预设误差条件，则指示该字符集中的字符与该预设模板字符相匹配，比如，假设该字符集中的字符
Figure BDA0002182976490000121
其中一个预设模板字符
Figure BDA0002182976490000122
另一个预设模板字符
Figure BDA0002182976490000123
则进行下面相减处理Σ|A-T1|＝8,Σ|A-T2|＝2，可见字符A与预设模板字符T2之间的相减误差小于字符A与预设模板字符T1之间的相减误差，这样可认为字符A与预设模板字符T2更相似，从而确定预设模板字符T2就是字符A；
S6、将上述步骤S5确定的与该预设模板字符相匹配的字符写入文本中作为该文字内容和/或该符号内容，以用于步骤(1032)的处理。
步骤(2)，根据该若干图像中的每一个对应的关键特征信息，生成关于该医院不同功能区域与其对应的区域信息之间的匹配关系库。
优选地，在该步骤(2)中，根据该若干图像中的每一个对应的关键特征信息，生成关于该医院不同功能区域与其对应的区域信息之间的匹配关系库具体包括，
步骤(201)，通过预设文字翻译神经网络模型，将每一个图像对应的关键特征信息翻译形成至少一种语种的文字描述内容，以及对该文字描述内容进行适应性的修正处理；
步骤(202)，构建关于每一个图像对应的该文字描述内容、与每一个图像对应的功能区域之间的映射关系；
步骤(203)，根据该映射关系，通过预设数据处理神经网络模型，生成关于该医院不同功能区域与其对应的区域信息之间的匹配关系库，以此表征该医院不同功能区域与其对应的区域信息之间的一一对应数据结构关系。
步骤(3)，根据该匹配关系库，进行关于该医院不同功能区域的语音指示播报操作。
优选地，在该步骤(3)中，根据该匹配关系库，进行关于该医院不同功能区域的语音指示播报操作具体包括，
步骤(301)，从该匹配关系库中，提取关于每一个功能区域所处的位置以及关于每一个功能区域导向的文字描述内容；
步骤(302)，通过预设语音翻译神经网络模型，将该文字描述内容翻译形成至少一种语种的语音信号；
步骤(303)，根据当前外界输入的功能区域导引请求，选择合适的该语音信号，并通过该语音指示播报操作播放该语音信号。
从上述实施例的内容可知，该智能导医机器人和智能导医方法有别于现有技术的医院引导装置和方法只局限于采用静态图像或者语音广播的方式来进行定位和引导操作，该智能导医机器人和智能导医方法通过实时图像采集的方式实时更新医院内部不同功能区域的设置状态，并且还能够从采集得到的图像中自动地提取得到对应功能区域的指示信息，这样能够省去在医院发生功能区域设置变更需要通过人工方式进行设置信息的重新采集和获取，从而有效地降低导医过程的人力成本；其次，该智能导医机器人和智能导医方法还通过构建匹配关系库来确定不同功能区域的固有位置属性，这样能够减少对不同功能区域进行定位确认涉及的人工干预操作，进而避免该人工干预操作可能导致的操作误差和耽误工时，同时也便于快速和准确地进行后期维护；此外，该智能导医机器人和智能导医方法还通过语音指示播放的方式来进行引导提示，这能够提高其进行位置引导的效率和有效性；最后，该智能导医机器人和智能导医方法还使用于不同场合的医院机构，其具有对不同环境的良好适用性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种智能导医机器人，其特征在于：
所述智能导医机器人包括图像采集模块、关键特征信息生成模块、匹配关系库生成模块和语音播报模块；其中，
所述图像采集模块用于采集关于医院不同功能区域的若干图像；
所述关键特征信息生成模块用于获取关于所述若干图像中的每一个对应的关键特征信息；
所述匹配关系库生成模块用于根据所述若干图像中的每一个对应的关键特征信息，生成关于所述医院不同功能区域与其对应的区域信息之间的匹配关系库；
所述语音播报模块用于根据所述匹配关系库，进行关于所述医院不同功能区域的语音指示播报操作；
所述图像采集模块包括医院固有信息确定子模块、分布地图生成子模块、图像采集模式确定子模块和拍摄子模块；其中，
所述医院固有信息确定子模块用于预先获取所述医院不同功能区域的位置分布状态信息和/或功能场景信息；
所述分布地图生成子模块用于根据所述位置分布状态信息和/或所述功能场景信息形成关于所述医院不同功能区域的分布地图；
所述图像采集模式确定子模块用于，根据所述医院不同功能区域的分布地图，确定所述医院不同功能区域中的每一个对应的图像采集模式；
所述拍摄子模块用于根据所述图像采集模式，拍摄关于所述医院不同功能区域中的每一个对应的若干图像；
所述关键特征信息生成模块包括图像识别子模块和自然语言理解子模块；其中，
所述图像识别子模块用于通过预设图像识别神经网络模型，对所述若干图像中的每一个进行图像识别处理，以此获得每一个图像各自包括的文字内容和/或符号内容；所述自然语言理解子模块用于对每一个图像各自包括的文字内容和/或符号内容，进行自然语言的理解识别处理，以此得到所述关键特征信息；
所述图像识别子模块，进行图像识别处理包括：
S1、将待识别处理的图像转换成灰度图像，并根据所述灰度图像对应的最大亮度值和最小亮度值，得到所述灰度图像对应的二值化图像；
S2、获取所述二值化图像对应的离散黑点分布状态，并根据所述离散黑点分布状态，对所述二值化图像进行腐蚀膨胀处理；
S3、对经过所述腐蚀膨胀处理后的图像分别进行X方向和Y方向的区域选定处理，其中，所述X方向和Y方向的区域选定处理均通过从中间向两边展开扫描的方式实现；
S4、根据所述X方向和Y方向的区域选定处理的结果，对相应图像区域内的字符进行切割处理，并将切割处理后得到的字符放置于一维阵列中；
S5、根据所述一维阵列内的字符，创建相应的字符集，并采用预设模板匹配算法对所述字符集进行字符匹配处理，其中，所述预设模板匹配算法包括将所述字符集中的字符与预设模板字符进行相减处理，若所述相减处理的结果符合预设误差条件，则指示所述字符集中的字符与所述预设模板字符相匹配；假设该字符集中的字符
Figure FDA0003444817720000021
其中一个预设模板字符
Figure FDA0003444817720000022
另一个预设模板字符
Figure FDA0003444817720000031
则进行下面相减处理Σ|A-T1|＝8,Σ|A-T2|＝2，可见字符A与预设模板字符T2之间的相减误差小于字符A与预设模板字符T1之间的相减误差，这样可认为字符A与预设模板字符T2更相似，从而确定预设模板字符T2就是字符A；
S6、将上述步骤S5确定的与所述预设模板字符相匹配的字符写入文本中作为所述文字内容和/或所述符号内容，以用于下面步骤(1032)的处理；S6、将上述步骤S5确定的与该预设模板字符相匹配的字符写入文本中作为该文字内容和/或该符号内容。
2.如权利要求1所述的智能导医机器人，其特征在于：
所述匹配关系库生成模块包括文字翻译子模块、修正子模块、映射关系构建子模块和数据结构生成子模块；其中，
所述文字翻译子模块用于通过预设文字翻译神经网络模型，将每一个图像对应的关键特征信息翻译形成至少一种语种的文字描述内容；
所述修正子模块用于对所述文字描述内容进行适应性的修正处理；
所述映射关系构建子模块用于构建关于每一个图像对应的所述文字描述内容、与每一个图像对应的功能区域之间的映射关系；
所述数据结构生成子模块用于根据所述映射关系，通过预设数据处理神经网络模型，生成关于所述医院不同功能区域与其对应的区域信息之间的匹配关系库。
3.如权利要求1所述的智能导医机器人，其特征在于：
所述语音播报模块包括语音翻译子模块和音频播放子模块；其中，
所述语音翻译子模块用于通过预设语音翻译神经网络模型，将所述匹配关系库中的文字描述内容翻译形成至少一种语种的语音信号；
所述音频播放子模块用于根据当前外界输入的功能区域导引请求，选择合适的所述语音信号，并通过所述语音指示播报操作播放所述语音信号。
4.一种智能导医方法，其特征在于，所述智能导医方法包括如下步骤：
步骤(1)，采集关于医院不同功能区域的若干图像，并获取关于所述若干图像中的每一个对应的关键特征信息；
步骤(2)，根据所述若干图像中的每一个对应的关键特征信息，生成关于所述医院不同功能区域与其对应的区域信息之间的匹配关系库；
步骤(3)，根据所述匹配关系库，进行关于所述医院不同功能区域的语音指示播报操作；
在所述步骤(1)中，采集关于医院不同功能区域的若干图像，并获取关于所述若干图像中的每一个对应的关键特征信息具体包括，
步骤(101)，预先获取所述医院不同功能区域的位置分布状态信息和/或功能场景信息，以此形成关于所述医院不同功能区域的分布地图；
步骤(102)，根据所述医院不同功能区域的分布地图，确定所述医院不同功能区域中的每一个对应的图像采集模式，以此采集得到所述若干图像；
步骤(103)，对所述若干图像中的每一个进行适应性的图像分析处理，以此获得每一个图像包含的文字信息和/或符号信息，从而得到所述关键特征信息；
在所述步骤(101)中，预先获取所述医院不同功能区域的位置分布状态信息和/或功能场景信息，以此形成关于所述医院不同功能区域的分布地图具体包括，
步骤(1011)，预先获取所述医院不同功能区域中的每一个所处的楼层信息、朝向信息、和与出入口之间的相对距离信息中的至少一者，以此作为所述位置分布状态信息；
步骤(1012)，预先获取所述医院不同功能区域中的每一个对应的用途信息，以此作为所述功能场景信息；
步骤(1013)，对所述位置分布状态信息和所述功能场景信息进行关于所述医院的建筑结构的标注匹配处理，并生成具有关于所述医院不同功能区域的立体分布标注状态的三维分布地图，以此作为所述分布地图；或者，
在所述步骤(102)中，根据所述医院不同功能区域的分布地图，确定所述医院不同功能区域中的每一个对应的图像采集模式，以此采集得到所述若干图像具体包括，
步骤(1021)，从所述分布地图中获取关于所述不同功能区域中的每一个各自的区域空间尺寸和/或区域光照信息中的至少一者，以此确定每一个功能区域的图像采集动作条件；
步骤(1022)，根据所述图像采集动作条件，确定适用于每一个功能区域图像采集动作对应的拍摄焦距、曝光时间和拍摄视角中的至少一者，以此确定所述图像拍摄模式；
步骤(1023)，根据每一个功能区域各自的图像拍摄模式，对每一个功能区域的指示牌和区域场景进行若干图像的采集操作；
或者，
在所述步骤(103)中，对所述若干图像中的每一个进行适应性的图像分析处理，以此获得每一个图像包含的文字信息和/或符号信息，从而得到所述关键特征信息具体包括，
步骤(1031)，通过预设图像识别神经网络模型，对所述若干图像中的每一个进行图像识别处理，以此获得每一个图像各自包括的文字内容和/或符号内容，其中所述图像识别处理包括：
S1、将待识别处理的图像转换成灰度图像，并根据所述灰度图像对应的最大亮度值和最小亮度值，得到所述灰度图像对应的二值化图像；
S2、获取所述二值化图像对应的离散黑点分布状态，并根据所述离散黑点分布状态，对所述二值化图像进行腐蚀膨胀处理；
S3、对经过所述腐蚀膨胀处理后的图像分别进行X方向和Y方向的区域选定处理，其中，所述X方向和Y方向的区域选定处理均通过从中间向两边展开扫描的方式实现；
S4、根据所述X方向和Y方向的区域选定处理的结果，对相应图像区域内的字符进行切割处理，并将切割处理后得到的字符放置于一维阵列中；
S5、根据所述一维阵列内的字符，创建相应的字符集，并采用预设模板匹配算法对所述字符集进行字符匹配处理，其中，所述预设模板匹配算法包括将所述字符集中的字符与预设模板字符进行相减处理，若所述相减处理的结果符合预设误差条件，则指示所述字符集中的字符与所述预设模板字符相匹配；假设该字符集中的字符
Figure FDA0003444817720000061
其中一个预设模板字符
Figure FDA0003444817720000062
另一个预设模板字符
Figure FDA0003444817720000063
则进行下面相减处理Σ|A-T1|＝8,Σ|A-T2|＝2，可见字符A与预设模板字符T2之间的相减误差小于字符A与预设模板字符T1之间的相减误差，这样可认为字符A与预设模板字符T2更相似，从而确定预设模板字符T2就是字符A；
S6、将上述步骤S5确定的与所述预设模板字符相匹配的字符写入文本中作为所述文字内容和/或所述符号内容，以用于下面步骤(1032)的处理；
步骤(1032)，对每一个图像各自包括的文字内容和/或符号内容，进行自然语言的理解识别处理，以此得到所述关键特征信息。
5.如权利要求4所述的智能导医方法，其特征在于：
在所述步骤(2)中，根据所述若干图像中的每一个对应的关键特征信息，生成关于所述医院不同功能区域与其对应的区域信息之间的匹配关系库具体包括，
步骤(201)，通过预设文字翻译神经网络模型，将每一个图像对应的关键特征信息翻译形成至少一种语种的文字描述内容，以及对所述文字描述内容进行适应性的修正处理；
步骤(202)，构建关于每一个图像对应的所述文字描述内容、与每一个图像对应的功能区域之间的映射关系；
步骤(203)，根据所述映射关系，通过预设数据处理神经网络模型，生成关于所述医院不同功能区域与其对应的区域信息之间的匹配关系库，以此表征所述医院不同功能区域与其对应的区域信息之间的一一对应数据结构关系。
6.如权利要求4所述的智能导医方法，其特征在于：
在所述步骤(3)中，根据所述匹配关系库，进行关于所述医院不同功能区域的语音指示播报操作具体包括，
步骤(301)，从所述匹配关系库中，提取关于每一个功能区域所处的位置以及关于每一个功能区域导向的文字描述内容；
步骤(302)，通过预设语音翻译神经网络模型，将所述文字描述内容翻译形成至少一种语种的语音信号；
步骤(303)，根据当前外界输入的功能区域导引请求，选择合适的所述语音信号，并通过所述语音指示播报操作播放所述语音信号。
CN201910803483.1A 2019-08-28 2019-08-28 一种智能导医机器人和智能导医方法 Active CN110718294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910803483.1A CN110718294B (zh) 2019-08-28 2019-08-28 一种智能导医机器人和智能导医方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910803483.1A CN110718294B (zh) 2019-08-28 2019-08-28 一种智能导医机器人和智能导医方法

Publications (2)

Publication Number Publication Date
CN110718294A CN110718294A (zh) 2020-01-21
CN110718294B true CN110718294B (zh) 2022-04-01

Family

ID=69209554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910803483.1A Active CN110718294B (zh) 2019-08-28 2019-08-28 一种智能导医机器人和智能导医方法

Country Status (1)

Country Link
CN (1) CN110718294B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110060039A (ko) * 2009-11-30 2011-06-08 동국대학교 산학협력단 대화형 로봇 장치 및 그 제어방법
CN102313547A (zh) * 2011-05-26 2012-01-11 东南大学 基于手绘轮廓语义地图的移动机器人视觉导航方法
CN106767750A (zh) * 2016-11-18 2017-05-31 北京光年无限科技有限公司 一种用于智能机器人的导航方法及系统
CN107538485A (zh) * 2016-06-29 2018-01-05 沈阳新松机器人自动化股份有限公司 一种机器人导引方法及系统
CN107967473A (zh) * 2016-10-20 2018-04-27 南京万云信息技术有限公司 基于图文识别和语义的机器人自主定位和导航

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110060039A (ko) * 2009-11-30 2011-06-08 동국대학교 산학협력단 대화형 로봇 장치 및 그 제어방법
CN102313547A (zh) * 2011-05-26 2012-01-11 东南大学 基于手绘轮廓语义地图的移动机器人视觉导航方法
CN107538485A (zh) * 2016-06-29 2018-01-05 沈阳新松机器人自动化股份有限公司 一种机器人导引方法及系统
CN107967473A (zh) * 2016-10-20 2018-04-27 南京万云信息技术有限公司 基于图文识别和语义的机器人自主定位和导航
CN106767750A (zh) * 2016-11-18 2017-05-31 北京光年无限科技有限公司 一种用于智能机器人的导航方法及系统

Also Published As

Publication number Publication date
CN110718294A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
WO2022156640A1 (zh) 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN109146892A (zh) 一种基于美学的图像裁剪方法及装置
CN112733797B (zh) 人脸图像的视线矫正方法、装置、设备及存储介质
CN110781964A (zh) 一种基于视频图像的人体目标检测方法及系统
CN112052837A (zh) 基于人工智能的目标检测方法以及装置
CN109493400A (zh) 手写样本生成方法、装置、计算机设备及存储介质
CN115311618A (zh) 一种基于深度学习和对象匹配的装配质量检查方法
CN111104813A (zh) 二维码图像关键点检测方法、装置、电子设备及存储介质
CN113160231A (zh) 一种样本生成方法、样本生成装置及电子设备
CN113723257A (zh) 事件短视频生成方法、系统、设备和存储介质
CN112925470B (zh) 交互式电子白板的触摸控制方法、系统和可读介质
CN109785439B (zh) 人脸素描图像生成方法及相关产品
CN110718294B (zh) 一种智能导医机器人和智能导医方法
CN113807185A (zh) 一种数据处理方法和装置
CN111488776B (zh) 对象检测方法、对象检测装置和电子设备
CN113537026B (zh) 建筑平面图中的图元检测方法、装置、设备及介质
CN110135274A (zh) 一种基于人脸识别的人流量统计方法
TW202024994A (zh) 基於上採樣的影像定位系統及其方法
CN115221452A (zh) 基于可视化配置的门户构建方法、系统、电子设备及介质
CN111212260B (zh) 一种基于监控视频绘制车道线的方法及装置
CN115033128A (zh) 基于图像识别的电子白板控制方法、电子白板及可读介质
CN113592881A (zh) 图片指代性分割方法、装置、计算机设备和存储介质
CN113505844A (zh) 标签生成方法、装置、设备、存储介质及程序产品
Chen et al. An efficient and real-time emergency exit detection technology for the visually impaired people based on YOLOv5
Singh et al. StreetOCRCorrect: An interactive framework for OCR corrections in chaotic Indian street videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant