CN117091588A - 一种基于多模态融合的医院就诊引导方法及系统 - Google Patents

一种基于多模态融合的医院就诊引导方法及系统 Download PDF

Info

Publication number
CN117091588A
CN117091588A CN202311335161.1A CN202311335161A CN117091588A CN 117091588 A CN117091588 A CN 117091588A CN 202311335161 A CN202311335161 A CN 202311335161A CN 117091588 A CN117091588 A CN 117091588A
Authority
CN
China
Prior art keywords
signal
hospital
data
terminal equipment
signal data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311335161.1A
Other languages
English (en)
Other versions
CN117091588B (zh
Inventor
马志鹏
庄必宇
陈国伟
张强强
唐锋
文峰
刘鑫
郭传刚
陈裕桂
林松斌
廖智尧
肖亮亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Taichuan Cloud Technology Co ltd
Original Assignee
Zhuhai Taichuan Cloud Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Taichuan Cloud Technology Co ltd filed Critical Zhuhai Taichuan Cloud Technology Co ltd
Priority to CN202311335161.1A priority Critical patent/CN117091588B/zh
Publication of CN117091588A publication Critical patent/CN117091588A/zh
Application granted granted Critical
Publication of CN117091588B publication Critical patent/CN117091588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Navigation (AREA)

Abstract

本发明实施例公开一种基于多模态融合的医院就诊引导方法及系统，涉及医院智能配套设备技术领域。在一定程度上可以改善就诊导航系统在医院内部导航的准确性。包括步骤：当接收到用户选择院内导航目的地时，根据当前获取的在医院内部安装多个多种类型的蓝牙信号、WiFi信号、磁场信号、图像信号及声音信号等信号源；利用深度学习算法对数据进行融合和分析，得到终端设备位置的最优估计值，规划出最佳路线，并在终端设备上显示导航路线和提示语音；S40、在导航过程中，实时监测终端设备位置的变化信息，并根据变化信息，动态调整导航路线和提示语音，直到监测到终端设备位置到达目的地。

Description

一种基于多模态融合的医院就诊引导方法及系统
技术领域
本发明涉及医院智能配套设备技术领域，尤其涉及一种基于多模态融合的医院就诊引导方法及系统。
背景技术
医院是一个复杂的室内环境，有多层楼、多个科室、多条走廊、多个电梯等。对于患者和访客来说，如何快速、准确地找到目的地是一个常见的问题。为了解决这个问题，一些医院采用了导航系统，通过手机应用、触摸屏、语音提示等方式，为用户提供导航服务。
然而，现有的医院导航系统主要是基于单一的定位技术实现的，比如基于GPS定位或基于Wifi信号等。然而，受限于医院内部环境的特殊性，比如，电磁辐射设备、墙体混凝土材料等，上述信号通常会存在不同程度的干扰或遮挡，导致室内信号弱，影响导航系统正常工作，降低就诊导航的准确性。
发明内容
有鉴于此，本发明实施例提供一种基于多模态融合的医院就诊引导方法及系统，在一定程度上可以改善就诊导航系统在医院内部导航的准确性。
第一方面，本发明实施例提供的基于多模态融合的医院就诊引导方法，所述方法包括步骤：
S10、在医院内部安装多个多种类型的信号源；其中，所述信号源包括：蓝牙信号源、Wifi信号源、磁场信号源、图像信号源及声音信号源，对应所述蓝牙信号源和Wifi信号源还分别设置信号信标，所述信号信标的参数设置，应使信号信标能够覆盖医院的各个区域，并使信号信标与医院的信息系统进行连接，所述信息系统中存储有医院的地图信息、科室信息、医生信息及排队信息；
S20、当接收到用户触发终端设备的通信连接功能，并与医院的信号基站进行配对时，建立通信连接；
S30、当接收到用户选择院内导航目的地时，根据当前获取的蓝牙信号、WiFi信号、磁场信号、图像信号及声音信号数据，利用深度学习算法对数据进行融合和分析，得到终端设备位置的最优估计值，规划出最佳路线，并在终端设备上显示导航路线和提示语音；
S40、在导航过程中，实时监测终端设备位置的变化信息，并根据变化信息，动态调整导航路线和提示语音，直到监测到终端设备位置到达目的地。
可选地，在步骤S30中，利用深度学习算法对数据进行融合和分析，得到终端设备位置的最优估计值包括步骤：
S31、收集并预处理多种类型的信号数据，所述信号数据包括：蓝牙信号、WiFi信号、磁场信号、图像信号及声音信号；
S32、分别对所述信号数据提取特征向量，得到多种类型的特征向量；
S33、构建一个深度神经网络模型，将多种类型的特征向量作为输入，将终端设备的位置坐标作为输出，进行训练和测试；
S34、根据深度神经网络模型的输出，得到终端设备位置的最优估计值。
可选地，步骤S32中，所述分别对所述信号数据提取特征向量，得到多种类型的特征向量包括：
对于蓝牙信号数据和WiFi信号数据，分别利用卡尔曼滤波器去除噪声和平滑信号数据；
调用对数距离路径损耗模型计算得到信号强度与距离的关系；
以及，根据所述信号强度与距离之间的关系及测量得到的至少三个信号数据，利用三角定位法估算终端设备位置；
将得到的对应蓝牙信号数据的一个或多个值拼接成一个一维向量，形成蓝牙信号数据的特征向量；
以及，将得到的对应WiFi信号数据的一个或多个值拼接成一个一维向量，形成WiFi信号数据的特征向量。
可选地，所述根据所述信号强度与距离之间的关系及测量得到的至少三个信号数据，利用三角定位法估算终端设备位置包括：
根据得到的所述信号强度与距离的关系，计算出终端设备到每个信号源的距离；
以每个信号源为圆心，以对应每个信号源的距离为半径，至少绘制得到三个圆；
分析查找该三个圆是否存在交点；
如果有多个交点，则选择最靠近所有圆心的第一交点，并将所述第一交点作为终端设备的位置估计值；
如果没有交点，则选择最靠近所有圆弧的第二交点，并将所述第二交点作为终端设备的位置估计值。
可选地，步骤S32中，所述分别对所述信号数据提取特征向量，得到多种类型的特征向量还包括：
对于磁场信号数据，获取测量得到的医院所在地磁场的强度和方向历史数据；
基于得到的医院所在地磁场的强度和方向历史数据，调用高斯过程回归模型拟合医院内部不同位置处的磁场强度和方向，得到一个磁场分布的地图模型；得到一个磁场分布的地图模型；所述地图模型用于预测提供一个参考的医院所在地磁场的分布特征；
利用磁力计测量当前终端设备所在位置的地磁场数据，所述地磁场数据包括：地磁场强度和方向；
将测量得到的地磁场数据与地图模型预测值进行比较，以确定每个粒子的权重，每个粒子表示终端设备可能移动的位置和方向，权重表示为 wi=p(Bi∣B(xi))，其中 wi 表示第 i 个粒子的权重，Bi 表示第 i 个粒子测量到的地磁场信号数据，B(xi) 表示第 i个粒子所在位置对应的地图模型预测值，p(⋅∣⋅) 表示条件概率密度函数；
调用粒子滤波器根据粒子权重估算设备位置；
将估算得到的设备位置坐标及对应的磁场强度和磁场方向拼接成一个一维向量，形成对应磁场信号数据的特征向量。
可选地，步骤S32中，所述分别对所述信号数据提取特征向量，得到多种类型的特征向量还包括：
对于图像信号数据，利用摄像头拍摄医院内部的场景图像；
利用特征检测和匹配算法提取所述场景图像中的特征点；
将所述特征点与预先建立的场景地图进行匹配，并使用单目视觉里程计根据图像序列估算得到设备位置和姿态；
将得到特征点、设备位置和姿态转化为数值或者向量，并拼接成一个一维向量，作为图像信号数据的特征向量。
可选地，步骤S32中，所述分别对所述信号数据提取特征向量，得到多种类型的特征向量还包括：
对于声音信号数据，使用麦克风录制医院内部的声音信号；
调用声纹识别算法识别声音来源，并与预先建立的声音地图进行匹配；
使用声源定位算法根据声音信号到达麦克风的时间差或相位差，估算设备位置；
将得到的声音特征、匹配结果和设备位置转化为数值或者向量，并拼接成一个一维向量，作为声音信号数据的特征向量。
可选地，在构建深度神经网络时，
使用卷积神经网络处理图像信号数据；
使用循环神经网络处理声音信号数据；
使用多层感知器处理其他类型的数据；
使用全连接层将不同类型数据的输出进行拼接；
使用均方误差作为损失函数，使用随机梯度下降作为优化器，使用均方根误差作为评估指标。
可选地，在步骤S40中，动态调整导航路线和提示语音时，还包括以下步骤：
根据用户选择的目的地，查询医院信息系统中的科室信息、医生信息和排队信息，得到目的地的实时状态；
如果目的地的实时状态发生变化，及时向用户推送实时状态信息；所述实时状态信息包括：科室关闭、医生缺席及排队人数过多；
以及，弹出可选的目的地或就诊时间选项；
当在预定时间内接收到用户触发弹出的选项指令时，重新规划导航路线和提示语音，并在终端设备上显示和播放；
当在预定时间内未接收到用户触发弹出的选项指令时，则继续沿原导航路线和提示语音进行导航，并在终端设备上显示和播放。
第二方面，本发明还实施例提供一种基于多模态融合的医院就诊导航系统，包括：信号源及信号信标，其中，所述信号源包括：蓝牙信号源、Wifi信号源、磁场信号源、图像信号源及声音信号源，对应所述蓝牙信号源和Wifi信号源还分别设置信号信标，所述信号信标的参数设置，应使信号信标能够覆盖医院的各个区域，并使信号信标与医院的信息系统通信连接，所述信息系统中存储有医院的地图信息、科室信息、医生信息及排队信息；
存储器，用于存储可执行程序代码；
处理器，读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述第一方面任一所述的医院就诊导航方法。
本发明实施例提供的基于多模态融合的医院就诊导航方法及系统，通过在医院内部布设多个多种类型的信号源，并基于获取的多种类型的信号源，利用深度学习算法对数据进行融合和分析，得到终端设备位置的最优估计值，进而规划出最佳路线，由于综合了多种类型的信号源数据，并结合深度学习算法采用多模态融合和分析方式，可以有效地克服医院内部（主要为室内）单一信号源定位所面临的信号干扰、遮挡等问题，便于提高定位的准确性和可靠性。由此，相比于现有的医院就诊导航系统，本发明实施例可以在医院内部实现高精度的定位，有利于提高导航的准确性，在一定程度上可以改善就诊导航系统在医院内部导航的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一实施例就诊导航方法流程示意图；
图2为本发明另一实施例就诊导航方法流程示意图；
图3为本发明电子设备一个实施例的架构示意框图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供一种基于多模态融合的医院就诊导航系统，适用于医院等涉及室内导航的场景中，所述医院就诊导航系统包括：
信号源及信号信标，其中，信号源包括：蓝牙信号源、Wifi信号源、磁场信号源、图像信号源及声音信号源，对应蓝牙信号源和Wifi信号源还分别设置信号信标，信号信标的参数设置，应使信号信标能够覆盖医院的各个区域，并使信号信标与医院的信息系统通信连接，信息系统中存储有医院的地图信息、科室信息、医生信息及排队信息；
终端设备，如智能手机、平板电脑等，具有通信连接功能、定位功能、显示功能和语音功能，用于接收用户输入的目的地选择指令，与信号基站建立通信连接，获取多种类型的信号数据，并显示导航路线和播放提示语音；
服务器，用于存储可执行程序代码，并通过处理器读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行本发明实施例中的基于多模态融合的医院就诊导航方法。
接下来将对本发明实施例中的基于多模态融合的医院就诊导航方法进行详细描述如下。
图1是本发明实施例中的医院就诊导航方法的流程图。如图1所示，医院就诊导航方法包括以下步骤：
S10，在医院内部安装多个多种类型的信号源；其中，所述信号源包括：蓝牙信号源、Wifi信号源、磁场信号源、图像信号源及声音信号源，对应所述蓝牙信号源和Wifi信号源还分别设置信号信标，所述信号信标的参数设置，应使信号信标能够覆盖医院的各个区域，并使信号信标与医院的信息系统进行连接，所述信息系统中存储有医院的地图信息、科室信息、医生信息及排队信息。
在本发明实施例中，蓝牙信号源和Wifi信号源可以是已经安装在医院内部的无线路由器或者接入点等设备，也可以是专门为本发明而设置的额外设备。蓝牙信标和Wifi信标可以是一种小型无线设备，可以通过电池供电或者外接电源供电，在一定范围内广播特定频段的无线电波。
蓝牙信标和Wifi信标可以设置在医院内部不同位置处，并与对应的蓝牙或者Wifi信号源进行通讯连接。每个蓝牙或者Wifi信标都有一个唯一的识别码（ID），可以通过该ID来确定其位置。蓝牙或者Wifi信标还可以与医院信息系统进行通讯连接，并获取相关信息。
磁场信号源可以是自然存在于地球上的地磁场，也可以是人为设置的磁场发生器。磁场信号源可以在医院内部不同位置处产生不同的磁场强度和方向，从而形成一个磁场分布的地图。磁场信号源可以与医院信息系统进行通讯连接。
图像信号源可以是已经安装在医院内部的摄像头或者摄像机等设备，图像信号源可以在医院内部不同位置处拍摄医院的场景图像，并将图像数据传输给服务器。图像信号源可以与医院信息系统进行通讯连接。
声音信号源可以是已经安装在医院内部的扬声器或者麦克风等设备。声音信号源可以在医院内部不同位置处发出或者接收声音信号，并将声音数据传输给服务器或者终端设备。声音信号源可以与医院信息系统进行通讯连接。
S20，当接收到用户触发终端设备的通信连接功能，并与医院的信号基站进行配对时，建立通信连接。
在本发明实施例中，用户可以通过打开终端设备上的蓝牙或者Wifi功能，来触发终端设备的通信连接功能。终端设备可以搜索到医院内部的蓝牙或者Wifi 信号基站，并与之进行配对。信号基站可以是蓝牙或者Wifi信标，也可以是蓝牙或者Wifi信号源。通过配对后，终端设备可以与信号基站建立通信连接，并通过该连接获取多种类型的信号数据。
S30，当接收到用户选择院内导航目的地时，根据当前获取的蓝牙信号、WiFi信号、磁场信号、图像信号及声音信号数据，利用深度学习算法对数据进行融合和分析，得到终端设备位置的最优估计值，规划出最佳路线，并在终端设备上显示导航路线和提示语音。
在本发明实施例中，用户可以通过终端设备上的应用程序或者微信小程序等方式，选择自己想要去的目的地。目的地可以是医院内部的某个科室、某个医生、某个药房、某个检查室等。用户选择目的地后，终端设备会将该选择指令发送给服务器。
服务器接收到用户选择目的地指令后，会根据当前获取的蓝牙信号、WiFi
信号、磁场信号、图像信号及声音信号数据，利用深度学习算法对数据进行融合和分析，得到终端设备位置的最优估计值。
其中，深度学习算法是一种基于人工神经网络的机器学习方法，可以从大量数据中学习特征和规律，并进行预测和决策。深度学习算法具有强大的非线性拟合能力和泛化能力，适用于处理多模态数据。本发明实施例中，通过运用深度学习算法，基于多种类型的信号数据实现基于多模态融合的医院就诊导航方案，可以解决基于单一信号导航系统存在的弊端，从而有利于提高导航准确性。
因此，本发明实施例提供的基于多模态融合的医院就诊导航方法，通过在医院内部布设多个多种类型的信号源，并基于获取的多种类型的信号源，利用深度学习算法对数据进行融合和分析，得到终端设备位置的最优估计值，进而规划出最佳路线，由于综合了多种类型的信号源数据，并结合深度学习算法采用多模态融合和分析方式，可以有效地克服医院内部（主要为室内）单一信号源定位所面临的信号干扰、遮挡等问题，便于提高定位的准确性和可靠性。由此，相比于现有的医院就诊导航系统，本发明实施例可以在医院内部实现高精度的定位，有利于提高导航的准确性，在一定程度上可以改善就诊导航系统在医院内部导航的准确性。
请参看图2所示，具体来说，在本发明实施例中，利用深度学习算法对数据进行融合和分析，得到终端设备位置的最优估计值包括以下步骤：
S31，收集并预处理多种类型的信号数据，所述信号数据包括：蓝牙信号、WiFi信号、磁场信号、图像信号及声音信号。
S32，分别对所述信号数据提取特征向量，得到多种类型的特征向量。
在本发明实施例中，分别对所述信号数据提取特征向量，得到多种类型的特征向量包括：
对于蓝牙信号数据和WiFi信号数据，分别利用卡尔曼滤波器去除噪声和平滑信号数据；
调用对数距离路径损耗模型（Log-distance Path Loss Model）计算得到信号强度与距离的关系；
根据所述信号强度与距离之间的关系及测量得到的至少三个信号数据，利用三角定位法（Trilateration）估算终端设备位置；
将得到的对应蓝牙信号数据的一个或多个值拼接成一个一维向量，形成蓝牙信号数据的特征向量；以及，
将得到的对应WiFi信号数据的一个或多个值拼接成一个一维向量，形成WiFi信号数据的特征向量。
其中，卡尔曼滤波器是一种递归滤波算法，可以根据系统状态的动态模型和观测模型，利用观测数据对系统状态进行最优估计。卡尔曼滤波器可以有效地消除由于传感器噪声或者环境干扰等因素引起的信号波动，提高信号质量。
对数距离路径损耗模型是一种描述无线电波在自由空间中传播时衰减程度的数学模型。该模型可以用以下公式表示：
其中， PL(d)表示距离为d时的路径损耗（单位为dB），PL(d0)表示参考距离d0时的路径损耗（单位为dB），n表示环境衰减因子， Xσ表示高斯随机变量，表示由于多径效应等因素引起的额外衰减。根据该模型，可以计算出信号强度a与距离d之间的关系。
在一些实施例中，所述根据所述信号强度与距离之间的关系及测量得到的至少三个信号数据，利用三角定位法（Trilateration）估算终端设备位置包括：
根据得到的所述信号强度与距离的关系，计算出终端设备到每个信号源的距离；以每个信号源为圆心，以对应每个信号源的距离为半径，至少绘制得到三个圆；分析查找该三个圆是否存在交点；如果有多个交点，则选择最靠近所有圆心的第一交点，并将所述第一交点作为终端设备的位置估计值；如果没有交点，则选择最靠近所有圆弧的第二交点，并将所述第二交点作为终端设备的位置估计值。
对于蓝牙信号数据，在另一些可替代实施例中，利用发射端和接收端之间的蓝牙信号来确定终端设备的位置，通过测量信号在不同接收天线上到达的时间和强度，计算出设备的位置坐标。
具体的，设备的位置坐标计算前置条件主要有：
1. 蓝牙基站在三维地图模型里已标定好坐标；2. 蓝牙信标每秒多次发出CTE广播包，每次发包被1到多个蓝牙基站接收采集到；3. 蓝牙基站输出ISamples和QSamples数据，通过TCP/IP网络传到位置引擎（用于计算设备位置的处理器）；其中，ISamples和QSamples数据是一种被称为IQ采样的信号采样方法的结果。4. 位置引擎并行计算出每个信标在每个基站下的方位角(azimuth)和仰角(elevation)；5. 生成以下的信标角度数据记录。
其中，信标角度数据模型主要包括：
字段 说明
id 信标id
rssi 蓝牙数据包信号强度
azimuth 信标所在基站的方位角
elevation 信标的仰角
sequence 蓝牙数据包的序列号
baseStation 基站信息
在得到上述信标角度数据接下来进行：信标坐标的计算；
为帮助理解对其中的一些关键术语进行简要说明：三维线段Line3D。
三维线段由起点P0和终点P1组成，可以计算它的模长，以及它与另外一条三维线段在三维空间中的最近距离的各自的点t1和t2，取t1和t2的中点t，将该视点t作为两条三维线段交点。
在介绍了三维线段之后，接下来需要构造信标与基站之间的三维线段，包括：
以基站的坐标点为起点P0，以信标角度数据的Rssi估算出的信标坐标为P1，构建信标与基站之间的三维线段。
具体为：根据Rssi转为估算距离的公式，计算出信标到基站的长度，即此三维线段的模长；根据所述基站的坐标P0和三维线段的模长，确定出线段的终点P1，使用P0和P1构造信标与基站之间的三维线段。
应当理解，对于同一个信标的一次CTE广播，由于存在丢包的概率，有部分基站无法采集到这帧数据，同时由于基站与信标的距离不同，接收到和处理的总广播包数不同和网络传输因素等影响，同一个CTE包产生的多条信标与基站之间的三维线段存在短暂的时间差异的。
为了能根据信标角度的蓝牙数据包的序列号(sequence)来找到所有相关的三维线段，在一些实施例中，需要引入信标与基站之间的三维线段的插槽，一个插槽记录一个信标在一基站下连续产生的多条三维线段。插槽使用类环形缓冲区的设计，只记录最新的固定N条数据，同时支持快速检索。插槽设计为固定容量，基础数据结构为列表，当写入三维线段时，使用三维线段的蓝牙数据包的序列号；对插槽容量求余，余数做为列表的元素索引，向索引写入该三维线段。
在获取到三维线段时，输入三维线段的蓝牙数据包的序列号，使用序列号对插槽容量求余做为列表的元素索引，从列表的此索引处获取三维线段，判断当前三维线段的序列号是否与先前写入的序列号相等，如果相等，则表明获取成功。
在一次蓝牙信标的CTE广播之后，会被多个基站接收到，所以需要将基站的id做为字典的键，三维线段做为字典的值进行动态创建和存储。 值得注意的是，在将最新的三维线段存储之前，需要查找此三维线段往前偏移对应的插槽容器的蓝牙数据包的序列号对应的所有三维线段，以用于计算信标的坐标，然后覆盖存储此三维线段。
因此，在一些实施例中，计算所述信标的坐标包括：遍历蓝牙信标的插槽字典的值，得到信标在所有基站下的插槽，向插槽输入需要的蓝牙数据包的序列号，得到0到多个三维线段；根据以下规则，计算出信标的坐标：
1. 0个三维线段记录，无坐标输出；2. 1个三维线段记录，根据对应的基站配置，根据是否允许单基站计算，而选择是否输出由Rssi估算出来的信标坐标；3. 2个或以上三维线段记录，两两组合的三维线段，求出每组的近似交点，再求这些交点的中心点做为位置坐标输出；
当然，也可能存在错误三维线段，需要进行排除，具体的：
根据工程时间中发现：正常情况下，按照信标在基站下面的实际情况，即可：以断言信标的坐标的Y值，必定小于基站坐标的Y值。
两条三维线段或其延长线的交点可以视为目标信标的一个坐标值，如果该坐标值的Y值大于两条三维线段对应的任意基站的Y值，则表示基站采集到的此信标的ISamples和QSamples数据有错误，此时需要抛弃这个交点值，从而保证信标坐标计算的准确性。
同时，可以根据基站的实际安装情况以及楼层高度，断定两条三维线段的夹角不会太小，一般标准的楼层下，此夹角远远大于30度。如果监测发现角度小于配置的该角度值，则需要抛弃这个交点值，从而保证信标坐标计算的准确性。
接下来，还可以对信标坐标进行过滤，主要包括步骤：
S4.1、为每个信标创建一个滑动时间窗口，用于记录其在固定的最近N秒内的信标坐标。其中，窗口的基础数据结构为队列，每条记录额外记录其添加近来的时间。当增加新记录时到窗口队列尾部后，从队列头开始移除时间差超过指定秒数的记录。
S 4.2、利用每个滑动时间窗口记录最近一次过滤出坐标的时间，在增加坐标记录到滑动时间窗口时，判断当前时间与最近一次过滤出坐标的时间差是否超过预定时长，例如1秒，如果超过一秒，则取出滑动时间窗口的队列内的所有坐标，用于计算最终坐标上报到平台，然后修改此滑动时间窗口的最近一次过滤出坐标的时间为当前时间。
S 4.3、取出滑动时间窗口的队列内的所有坐标，选择其X轴进行排序，然后根据元素的总数量除以2得到的值做为中间索引值，使用索引从排序后的X轴数据集合里取出X值，做为最终坐标的X轴的值。Y轴和Z轴也依次类推，每个都是独立滤波。
S 4.4、使用滑动时间窗口对4.3中产生的Y轴值再次进行中值滤波，得到目标信标Y轴的值。
本实施例中，通过对信标坐标进行过滤，可以降低信标坐标产生的频率，并且让坐标的变化更平滑。
在一些实施例中，对于磁场信号数据，获取测量得到的医院所在地磁场的强度和方向历史数据；
基于得到的医院所在地磁场的强度和方向历史数据，调用高斯过程回归模型（Gaussian Process Regression）拟合医院内部不同位置处的磁场强度和方向，得到一个磁场分布的地图模型；所述地图模型用于预测提供一个参考的医院所在地磁场的分布特征；
利用磁力计测量当前终端设备所在位置的地磁场数据，所述地磁场数据包括：地磁场强度和方向；
将测量得到的地磁场数据与地图模型预测值进行比较，以确定每个粒子的权重，每个粒子表示终端设备可能移动的位置和方向，权重表示为 wi=p(Bi∣B(xi))，其中 wi 表示第 i 个粒子的权重，Bi 表示第 i 个粒子测量到的地磁场信号数据，B(xi) 表示第 i个粒子所在位置对应的地图模型预测值，p(⋅∣⋅) 表示条件概率密度函数。
调用粒子滤波器（Particle Filter）根据粒子权重估算设备位置；将估算得到的设备位置坐标及对应的磁场强度和磁场方向拼接成一个一维向量，形成对应磁场信号数据的特征向量。
其中，高斯过程回归模型是一种基于贝叶斯统计的非参数回归方法，可以根据已知数据点来预测未知数据点的分布。本实施例中的高斯过程回归模型可以用以下公式表示：
其中，f(x)表示未知函数，m(x)表示均值函数，k(x，x′)表示协方差函数。根据该模型，可以根据已知数据点来预测未知数据点的均值和方差，拟合医院内部不同位置处的磁场强度和方向，得到一个磁场分布的地图模型。
粒子滤波器是一种基于蒙特卡罗方法的非线性非高斯滤波算法，可以根据系统状态的动态模型和观测模型，其中，观测模型是指根据终端设备的地磁场数据和地图模型预测值来计算粒子权重的概率函数，利用一组带权重的粒子来近似表示系统状态的后验分布。粒子滤波器主要包括三个步骤：采样、更新和重采样。采样步骤是根据系统状态的动态模型和上一时刻的粒子集合，生成当前时刻的粒子集合。更新步骤是根据观测模型和当前时刻的观测数据，计算每个粒子的权重。重采样步骤是根据每个粒子的权重，从当前时刻的粒子集合中有放回地抽取同样数量的粒子，以避免权重退化现象，进而影响后续参数计算的准确性。
在一些实施例中，所述调用粒子滤波器根据粒子权重估算设备位置包括步骤：
S1：初始化N个粒子的位置坐标{x1，x2，...xN}，其中xi表示第i个粒子的位置；
S2：对每个粒子获取其在当前位置的磁场测量值Bi；
S3：计算每个粒子的权重wi，权重计算公式为wi=p(Bi|B(xi))，其中B(xi)为地图模型在xi位置的预测磁场值；
S4：对所有粒子进行重采样，根据权重值wi随机抽取粒子，权重越大的粒子被抽取的概率越高；
S5：重新设置所有重采样后粒子的权重均为1/N；
S6：对所有重采样后的粒子执行运动更新，得到新一轮的粒子位置；
S7：返回S2，对更新后的粒子再次计算权重，循环执行S2-S6；
S8：重复多轮计算后，将权重最大的若干个粒子的位置平均作为设备的估计位置。
在一些实施例中，对于图像信号数据，利用摄像头（Camera）拍摄医院内部的场景图像；利用特征检测和匹配算法（Feature Detection and Matching Algorithm）提取所述场景图像中的特征点；将所述特征点与预先建立的场景地图进行匹配，并使用单目视觉里程计（Monocular Visual Odometry）根据图像序列估算得到设备位置和姿态；将得到特征点、设备位置和姿态转化为数值或者向量，并拼接成一个一维向量，作为图像信号数据的特征向量。
其中，特征检测和匹配算法是一种从图像中提取出显著且稳定的特征点，并在不同图像之间进行匹配的方法。特征检测和匹配算法可以分为两个步骤：特征提取和特征描述。特征提取是指从图像中检测出具有较强对比度的特征； 特征描述是指对每个特征点计算出一个描述子，用于表示该特征点的局部外观。特征提取和特征描述的算法有很多种，比如SIFT、SURF、ORB等。特征检测和匹配算法的目的是找到不同图像之间具有相似描述子的特征点对，从而便于实现图像特征的对齐和拼接。
单目视觉里程计是一种利用单个摄像头拍摄的图像序列来估计相机运动的方法。单目视觉里程计可以分为两个步骤：运动估计和地图构建。运动估计是指根据两幅或多幅图像之间的特征点匹配，计算出相机的位置和姿态变化。地图构建是指根据相机的位置和姿态变化，以及特征点的深度信息，构建出三维场景的稀疏或稠密地图。单目视觉里程计的优点是只需要一个摄像头，成本低，易于安装。
具体的， 对于声音信号数据，使用麦克风录制医院内部的声音信号；调用声纹识别算法（Voiceprint Recognition Algorithm）识别声音来源，并与预先建立的声音地图进行匹配；使用声源定位算法（Sound Source Localization Algorithm）根据声音信号到达麦克风的时间差或相位差，估算设备位置；将得到的声音特征、匹配结果和设备位置转化为数值或者向量，并拼接成一个一维向量，作为声音信号数据的特征向量。
其中，声纹识别算法是一种利用声音信号中包含的说话人身份信息来进行说话人识别的方法。声纹识别算法可以分为两个步骤：声纹提取和声纹比对。声纹提取是指从声音信号中提取出能够反映说话人生理和行为特征的声纹特征。声纹比对是指将提取出的声纹特征与已知说话人的声纹模板进行比较，计算出相似度或者距离，并根据阈值或者排名进行判断。声纹识别算法可以用于识别医院内部不同位置处发出的不同说话人的声音信号，并与预先建立的声音地图进行匹配。声音地图是一种存储了医院内部不同位置处对应不同说话人及其相关信息的数据结构。
声源定位算法是一种利用多个麦克风接收到的声音信号来确定声源位置的方法。声源定位算法主要有两类：基于时间差（TDOA）和基于相位差（PDOA）。基于时间差的方法是根据不同麦克风接收到同一声源发出的信号之间存在的时间延迟来计算出声源位置。基于相位差的方法是根据不同麦克风接收到同一声源发出的信号之间存在的相位偏移来计算出声源位置。这两类方法都可以利用三角定位法或者最小二乘法等数学方法来求解方程组，得到声源位置的坐标。
S33，构建一个深度神经网络模型，将多种类型的特征向量作为输入，将终端设备的位置坐标作为输出，进行训练和测试。
在本发明一些可选实施例中，在构建深度神经网络时， 使用卷积神经网络（CNN）处理图像信号数据；使用循环神经网络（RNN）处理声音信号数据； 使用多层感知器（MLP）处理其他类型的数据； 使用全连接层（FC）将不同类型数据的输出进行拼接；使用均方误差（MSE）作为损失函数（loss function），使用随机梯度下降（SGD）作为优化器（optimizer），使用均方根误差（RMSE）作为评估指标（metric）。
其中，卷积神经网络是一种具有卷积层、池化层和全连接层等结构的人工神经网络，可以有效地提取图像中的局部特征和全局特征，卷积神经网络可以用于处理图像信号数据，提取出图像中的特征点、设备位置和姿态等信息。
循环神经网络是一种具有记忆能力的人工神经网络，可以处理序列数据，并根据历史状态来影响当前输出。循环神经网络可以用于处理声音信号数据，提取出声音中的声纹特征、匹配结果和设备位置等信息。
多层感知器是一种由多个全连接层组成的人工神经网络，可以实现非线性映射和分类功能。多层感知器可以用于处理蓝牙信号数据、WiFi信号数据和磁场信号数据，提取出信号强度、距离、方向和设备位置等信息。
全连接层是一种将所有输入节点与所有输出节点相连的人工神经网络层，可以实现特征的融合和维度的变换。全连接层可以用于将不同类型数据的输出进行拼接，形成一个综合的特征向量。
其中，均方误差是一种衡量预测值与真实值之间差异的损失函数，均方误差越小，表示预测值越接近真实值。
随机梯度下降是一种优化算法，可以根据损失函数对模型参数进行更新，以达到最小化损失函数的目的。随机梯度下降每次只使用一个或少量样本来计算梯度，从而加快收敛速度，并增加跳出局部最优解的可能性。
均方根误差是一种衡量预测值与真实值之间差异的评估指标，均方根误差越小，表示预测值越接近真实值，预测准确性越高。
示例性地，本实施例中，使用全连接层将不同类型数据的输出进行拼接的步骤如下：首先，对于每一种类型的信号数据，在步骤S32中已经提取了相应的特征向量，并拼接成一个一维向量。例如，对于蓝牙信号数据，已经得到了一个形如 [x1，x2，...，xn] 的一维向量，其中 xi表示第 i 个蓝牙信号数据对应的值；
其次，在步骤S33中，构建一个深度神经网络模型，并选择合适的网络结构和参数。例如，本实施例中，使用了卷积神经网络处理图像信号数据；使用循环神经网络处理声音信号数据；使用多层感知器处理其他类型的数据；使用均方误差作为损失函数，使用随机梯度下降作为优化器，使用均方根误差作为评估指标。
其中，在一些实施例中，参数的选择如下：卷积神经网络的参数包括： 卷积核大小：3*3；卷积步长：1；Padding： valid，该模式下不进行填充，只对有效图像区域进行卷积，图像边界没有卷积操作。池化核：2*2；池化步长：2； 激活函数：ReLU2。循环神经网络的参数：隐藏状态大小：128； LSTM单元数量：2层； Dropout： 0.3； 激活函数：tanh3；多层感知器： 隐藏层数量：2层；每层神经元数：64；激活函数：ReLU； L2正则化：0.0014. 训练参数：批大小： 64，（batch size）是一个参数，它决定了每次训练神经网络时，使用多少个样本（sample）来更新网络的权重（weight）。批大小（batch size）的选择会影响神经网络的训练速度和效果。一般来说，批大小越大，训练速度越快，但是可能会降低模型的泛化能力（generalization ability）。批大小越小，训练速度越慢，但是可能会提高模型的泛化能力。 初始学习率：0.01；优化器：Adam；学习率衰减：每10轮衰减0.15。
此外，输入向量维度：具体根据信号源数据确定 ；输出向量维度：2(设备位置坐标）；损失函数权重：均等。
最后，在步骤S34中，在深度神经网络模型中添加一个或多个全连接层，并将不同类型数据的输出进行拼接。具体地，将每一种类型数据对应的一维向量作为全连接层的输入，并按照顺序进行拼接。例如，如果有五种类型数据对应的一维向量分别为 [x1，x2，...，xn]； [y1，y2，...，ym]； [z1，z2，...，zp]； [w1，w2，...，wq] 和 [v1，v2，...，vr]，则可以将它们拼接成一个形如 [x1，x2，...，xn，y1，y2，...，ym，z1，z2，...，zp，w1，w2，...，wq，v1，v2，...，vr] 的一维向量，作为全连接层的输出。这样，就实现了将不同类型的信号数据的输出进行拼接的目的。
S34，根据深度神经网络模型的输出，得到终端设备位置的最优估计值。
在本发明实施例中，深度神经网络模型的输出是一个二维向量，表示终端设备在医院地图上的位置坐标。该位置坐标是根据多种类型的信号数据进行融合和分析得到的最优估计值，可以有效地提高定位的准确性和鲁棒性。
由于医院内部的环境可能存在多种干扰因素，如金属物体、电磁波、移动人群等，这些因素可能会影响蓝牙信号、WiFi信号、磁场信号等传感器数据的质量和可靠性。如果只依赖这些传感器数据进行位置估计，可能会出现误差或漂移的情况。本发明实施例中，通过增加图像信号和声音信号作为辅助特征向量输入深度神经网络模型中，进行多模态数据融合，使模型可以从不同的角度和维度来观察和描述医院内部的状态和变化，从而提供更多的信息和约束条件，增强数据的表达能力和判别力，降低噪声和误差的影响，提高位置估计的准确性和稳定性，并且能够根据不同的情况和需求，动态地调整导航路线规划，提高导航路线的准确性。
S40，在导航过程中，实时监测终端设备位置的变化信息，并根据变化信息，动态调整导航路线和提示语音，直到监测到终端设备位置到达目的地。
在本发明实施例中，在导航过程中，服务器会不断地接收终端设备发送的多种类型的信号数据，并重复执行S30和S34的步骤，以实时监测终端设备位置的变化信息。同时，服务器会根据用户选择的目的地，查询医院信息系统中的科室信息、医生信息和排队信息，得到目的地的实时状态。如果目的地的实时状态发生变化，及时向用户推送实时状态信息；所述实时状态信息包括：科室关闭、医生缺席及排队人数过多；以及，弹出可选的目的地或就诊时间选项；当在预定时间内接收到用户触发弹出的选项指令时，重新规划导航路线和提示语音，并在终端设备上显示和播放；当在预定时间内未接收到用户触发弹出的选项指令时，则继续沿原导航路线和提示语音进行导航，并在终端设备上显示和播放。通过这种方式，可以动态调整导航路线和提示语音，以适应医院内部环境和用户需求的变化。
本发明通过利用多种类型的信号数据，并使用深度学习算法对数据进行融合和分析，可以有效地提高医院内部导航的准确性和鲁棒性。同时，本发明还可以根据目的地的实时状态和用户选择，动态调整导航路线和提示语音，以适应医院内部环境和用户需求的变化。从而可以为用户提供更加便捷、高效、智能的医院就诊导航服务。
图3为本发明电子设备一个实施例的架构示意框图；基于与前述实施例一基本相同的技术构思，本发明实施例提供的电子设备，如图3所示，可以实现本发明前述实施例的就诊导航方法的步骤流程。
上述电子设备可以包括：壳体41、处理器42、存储器43、电路板44和电源电路45，其中，电路板44安置在壳体41围成的空间内部，处理器42和存储器43设置在电路板44上；电源电路45，用于为上述电子设备的各个电路或器件供电；存储器43用于存储可执行程序代码；处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述实施例一中任一所述的就诊导航方法。
处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤，可以参见本发明实施例一的描述，在此不再赘述。
所述电子设备以多种形式存在，包括但不限于：
(1) 移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机（例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2) 超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3) 便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器（例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4) 服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5) 其他具有数据交互功能的电子设备。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述实施例一任一所述的就诊导航方法，因此也能实现相应的技术效果，前文已经进行了详细说明，此处不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
为了描述的方便，若涉及系统、服务器等，可能是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于多模态融合的医院就诊引导方法，其特征在于，所述方法包括步骤：
S10、在医院内部安装多个多种类型的信号源；其中，所述信号源包括：蓝牙信号源、Wifi信号源、磁场信号源、图像信号源及声音信号源，对应所述蓝牙信号源和Wifi信号源还分别设置信号信标，所述信号信标的参数设置，应使信号信标能够覆盖医院的各个区域，并使信号信标与医院的信息系统进行连接，所述信息系统中存储有医院的地图信息、科室信息、医生信息及排队信息；
S20、当接收到用户触发终端设备的通信连接功能，并与医院的信号基站进行配对时，建立通信连接；
S30、当接收到用户选择院内导航目的地时，根据当前获取的蓝牙信号、WiFi信号、磁场信号、图像信号及声音信号数据，利用深度学习算法对数据进行融合和分析，得到终端设备位置的最优估计值，规划出最佳路线，并在终端设备上显示导航路线和提示语音；
S40、在导航过程中，实时监测终端设备位置的变化信息，并根据变化信息，动态调整导航路线和提示语音，直到监测到终端设备位置到达目的地；
在步骤S30中，利用深度学习算法对数据进行融合和分析，得到终端设备位置的最优估计值包括步骤：
S31、收集并预处理多种类型的信号数据，所述信号数据包括：蓝牙信号、WiFi信号、磁场信号、图像信号及声音信号；
S32、分别对所述信号数据提取特征向量，得到多种类型的特征向量；
S33、构建一个深度神经网络模型，将多种类型的特征向量作为输入，将终端设备的位置坐标作为输出，进行训练和测试；
S34、根据深度神经网络模型的输出，得到终端设备位置的最优估计值；
步骤S32中，所述分别对所述信号数据提取特征向量，得到多种类型的特征向量包括：
对于蓝牙信号数据和WiFi信号数据，分别利用卡尔曼滤波器去除噪声和平滑信号数据；
调用对数距离路径损耗模型计算得到信号强度与距离的关系；
以及，根据所述信号强度与距离之间的关系及测量得到的至少三个信号数据，利用三角定位法估算终端设备位置；
将得到的对应蓝牙信号数据的一个或多个值拼接成一个一维向量，形成蓝牙信号数据的特征向量；
以及，将得到的对应WiFi信号数据的一个或多个值拼接成一个一维向量，形成WiFi信号数据的特征向量。
2.根据权利要求1所述的方法，其特征在于，所述根据所述信号强度与距离之间的关系及测量得到的至少三个信号数据，利用三角定位法估算终端设备位置包括：
根据得到的所述信号强度与距离的关系，计算出终端设备到每个信号源的距离；
以每个信号源为圆心，以对应每个信号源的距离为半径，至少绘制得到三个圆；
分析查找该三个圆是否存在交点；
如果有多个交点，则选择最靠近所有圆心的第一交点，并将所述第一交点作为终端设备的位置估计值；
如果没有交点，则选择最靠近所有圆弧的第二交点，并将所述第二交点作为终端设备的位置估计值。
3.根据权利要求1所述的方法，其特征在于，步骤S32中，所述分别对所述信号数据提取特征向量，得到多种类型的特征向量还包括：
对于磁场信号数据，获取测量得到的医院所在地磁场的强度和方向历史数据；
基于得到的医院所在地磁场的强度和方向历史数据，调用高斯过程回归模型拟合医院内部不同位置处的磁场强度和方向，得到一个磁场分布的地图模型；得到一个磁场分布的地图模型；所述地图模型用于预测提供一个参考的医院所在地磁场的分布特征；
利用磁力计测量当前终端设备所在位置的地磁场数据，所述地磁场数据包括：地磁场强度和方向；
将测量得到的地磁场数据与地图模型预测值进行比较，以确定每个粒子的权重，每个粒子表示终端设备可能移动的位置和方向，权重表示为 wi=p(Bi∣B(xi))，其中 wi 表示第i 个粒子的权重，Bi 表示第 i 个粒子测量到的地磁场信号数据，B(xi) 表示第 i 个粒子所在位置对应的地图模型预测值，p(⋅∣⋅) 表示条件概率密度函数；
调用粒子滤波器根据粒子权重估算设备位置；
将估算得到的设备位置坐标及对应的磁场强度和磁场方向拼接成一个一维向量，形成对应磁场信号数据的特征向量。
4.根据权利要求1所述的方法，其特征在于，步骤S32中，所述分别对所述信号数据提取特征向量，得到多种类型的特征向量还包括：
对于图像信号数据，利用摄像头拍摄医院内部的场景图像；
利用特征检测和匹配算法提取所述场景图像中的特征点；
将所述特征点与预先建立的场景地图进行匹配，并使用单目视觉里程计根据图像序列估算得到设备位置和姿态；
将得到特征点、设备位置和姿态转化为数值或者向量，并拼接成一个一维向量，作为图像信号数据的特征向量。
5.根据权利要求1所述的方法，其特征在于，步骤S32中，所述分别对所述信号数据提取特征向量，得到多种类型的特征向量还包括：
对于声音信号数据，使用麦克风录制医院内部的声音信号；
调用声纹识别算法识别声音来源，并与预先建立的声音地图进行匹配；
使用声源定位算法根据声音信号到达麦克风的时间差或相位差，估算设备位置；
将得到的声音特征、匹配结果和设备位置转化为数值或者向量，并拼接成一个一维向量，作为声音信号数据的特征向量。
6.根据权利要求1所述的方法，其特征在于，在构建深度神经网络时，
使用卷积神经网络处理图像信号数据；
使用循环神经网络处理声音信号数据；
使用多层感知器处理其他类型的数据；
使用全连接层将不同类型数据的输出进行拼接；
使用均方误差作为损失函数，使用随机梯度下降作为优化器，使用均方根误差作为评估指标。
7.根据权利要求1所述的方法，其特征在于，在步骤S40中，动态调整导航路线和提示语音时，还包括以下步骤：
根据用户选择的目的地，查询医院信息系统中的科室信息、医生信息和排队信息，得到目的地的实时状态；
如果目的地的实时状态发生变化，及时向用户推送实时状态信息；所述实时状态信息包括：科室关闭、医生缺席及排队人数过多；
以及，弹出可选的目的地或就诊时间选项；
当在预定时间内接收到用户触发弹出的选项指令时，重新规划导航路线和提示语音，并在终端设备上显示和播放；
当在预定时间内未接收到用户触发弹出的选项指令时，则继续沿原导航路线和提示语音进行导航，并在终端设备上显示和播放。
8.一种基于多模态融合的医院就诊导航系统，包括：信号源及信号信标，其中，所述信号源包括：蓝牙信号源、Wifi信号源、磁场信号源、图像信号源及声音信号源，对应所述蓝牙信号源和Wifi信号源还分别设置信号信标，所述信号信标的参数设置，应使信号信标能够覆盖医院的各个区域，并使信号信标与医院的信息系统通信连接，所述信息系统中存储有医院的地图信息、科室信息、医生信息及排队信息；
存储器，用于存储可执行程序代码；
处理器，读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述权利要求1至7任一所述的医院就诊导航方法。
CN202311335161.1A 2023-10-16 2023-10-16 一种基于多模态融合的医院就诊引导方法及系统 Active CN117091588B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311335161.1A CN117091588B (zh) 2023-10-16 2023-10-16 一种基于多模态融合的医院就诊引导方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311335161.1A CN117091588B (zh) 2023-10-16 2023-10-16 一种基于多模态融合的医院就诊引导方法及系统

Publications (2)

Publication Number Publication Date
CN117091588A true CN117091588A (zh) 2023-11-21
CN117091588B CN117091588B (zh) 2024-01-26

Family

ID=88771986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311335161.1A Active CN117091588B (zh) 2023-10-16 2023-10-16 一种基于多模态融合的医院就诊引导方法及系统

Country Status (1)

Country Link
CN (1) CN117091588B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031809B1 (en) * 2010-07-14 2015-05-12 Sri International Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion
US20190147366A1 (en) * 2017-11-13 2019-05-16 International Business Machines Corporation Intelligent Recommendations Implemented by Modelling User Profile Through Deep Learning of Multimodal User Data
CN109767542A (zh) * 2018-12-28 2019-05-17 江苏省中医院 基于无线定位的语音引导智能智慧门诊就医系统及方法
US20190329407A1 (en) * 2018-04-30 2019-10-31 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for multimodal mapping and localization
CN110470303A (zh) * 2019-08-14 2019-11-19 新疆维吾尔自治区人民医院 一种医院内就诊导航方法及装置
WO2023015799A1 (zh) * 2021-08-10 2023-02-16 中国科学院深圳先进技术研究院 基于人工智能导盲的多模态融合障碍物检测方法及装置
CN116502174A (zh) * 2023-02-13 2023-07-28 珠海高凌信息科技股份有限公司 一种基于多模态深度学习的环境识别方法及装置
CN116887187A (zh) * 2023-08-02 2023-10-13 中国建设银行股份有限公司 路径规划方法、系统、设备、介质及产品

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031809B1 (en) * 2010-07-14 2015-05-12 Sri International Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion
US20190147366A1 (en) * 2017-11-13 2019-05-16 International Business Machines Corporation Intelligent Recommendations Implemented by Modelling User Profile Through Deep Learning of Multimodal User Data
US20190329407A1 (en) * 2018-04-30 2019-10-31 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for multimodal mapping and localization
CN109767542A (zh) * 2018-12-28 2019-05-17 江苏省中医院 基于无线定位的语音引导智能智慧门诊就医系统及方法
CN110470303A (zh) * 2019-08-14 2019-11-19 新疆维吾尔自治区人民医院 一种医院内就诊导航方法及装置
WO2023015799A1 (zh) * 2021-08-10 2023-02-16 中国科学院深圳先进技术研究院 基于人工智能导盲的多模态融合障碍物检测方法及装置
CN116502174A (zh) * 2023-02-13 2023-07-28 珠海高凌信息科技股份有限公司 一种基于多模态深度学习的环境识别方法及装置
CN116887187A (zh) * 2023-08-02 2023-10-13 中国建设银行股份有限公司 路径规划方法、系统、设备、介质及产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨超: "智慧博物馆视阈下室内定位的技术方法探析", 《科学教育与博物馆》, no. 3, pages 262 - 269 *

Also Published As

Publication number Publication date
CN117091588B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN107635204B (zh) 一种运动行为辅助的室内融合定位方法及装置、存储介质
CN109525935B (zh) 一种针对普适室内环境的智能楼层感知方法及控制系统
Hilsenbeck et al. Graph-based data fusion of pedometer and WiFi measurements for mobile indoor positioning
CN104781686B (zh) 路径匹配
US9244152B1 (en) Determining device locations using movement, signal strength
CN109298389A (zh) 基于多粒子群优化的室内行人组合位姿估计方法
Seitz et al. A hidden markov model for pedestrian navigation
CN107517446A (zh) 基于Wi‑Fi热点的室内定位方法及装置
US20120007779A1 (en) location and tracking system
CN109035304A (zh) 目标跟踪方法、介质、计算设备和装置
CN108632761A (zh) 一种基于粒子滤波算法的室内定位方法
WO2015006726A2 (en) Indoor location-finding using magnetic field anomalies
JP2015531053A (ja) 無線マップを動的に作成するためのシステム、方法、及びコンピュータプログラム
CN111935644B (zh) 一种基于融合信息的定位方法、装置及终端设备
CN110933632A (zh) 一种终端室内定位方法及系统
WO2020056325A1 (en) Geophysical sensor positioning system
CN105898711B (zh) 一种基于地磁基准线的定位方法及装置
He et al. WiFi iLocate: WiFi based indoor localization for smartphone
CN106028450B (zh) 室内定位方法及设备
CN111194000A (zh) 基于蓝牙融合混合滤波与神经网络的测距方法与系统
Zhang et al. Towards floor identification and pinpointing position: A multistory localization model with wifi fingerprint
CN113613188A (zh) 指纹库的更新方法、装置、计算机设备和存储介质
He et al. WiFi based indoor localization with adaptive motion model using smartphone motion sensors
CN117091588B (zh) 一种基于多模态融合的医院就诊引导方法及系统
WO2020124091A1 (en) Automatic fine-grained radio map construction and adaptation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant