CN109522811A - 一种物品搜寻系统及方法 - Google Patents
一种物品搜寻系统及方法 Download PDFInfo
- Publication number
- CN109522811A CN109522811A CN201811237110.4A CN201811237110A CN109522811A CN 109522811 A CN109522811 A CN 109522811A CN 201811237110 A CN201811237110 A CN 201811237110A CN 109522811 A CN109522811 A CN 109522811A
- Authority
- CN
- China
- Prior art keywords
- module
- terminal unit
- information
- item
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000000463 material Substances 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims description 72
- 230000004087 circulation Effects 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 4
- 230000003137 locomotive effect Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 241001122767 Theaceae Species 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 208000029257 vision disease Diseases 0.000 description 2
- 230000004393 visual impairment Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种物品搜寻系统及方法,包括终端单元及检测单元,终端单元与检测单元通信连接,终端单元,获取用户语音信息,并根据语音信息输出物品信息;检测单元,检测、获取不同位置的物品图像信息,并将图像信息传输到终端单元,方法包括:搜寻系统获取所要搜寻物品的图像信息,并初始化图像信息;终端单元判断是否接收到语音信息,若检测到有物品移动,进入物品信息更新程序;终端单元识别获取的语音信息,输出语音信息对应的物品信息。实施本发明,可对使用前后的物品进行点验、搜寻,对用户要查找的物品进行语音播报,并加强调框显示出来,有效地解决了一些要求严格的场所容易出现的遗忘问题。
Description
技术领域
本发明涉及物品管理技术领域,特别涉及一种可以帮助客户精确点验、搜寻物品的物品搜寻系统及方法。
背景技术
在日常生活中,很多用户有忘记东西的习惯。尤其是年长的用户,随着年龄的增加以及各种琐碎事务的繁冗,不可避免地会出现遗忘东西的情形。在日常生活中,找不到所需物品经常会给人们带来不必要的麻烦。当其在着急出门时,经常出现找不到钥匙、钱包等物件的现象,从而影响了人们的生活效率,给人们的日常生活带来较大不便。当其急需办理事务时,却找不到必须的证件。
上述的这些问题情形最多会对人们的生活产生一些影响,后期通过修正补救措施就可以消除其对后续生活的影响。但是对于一些的重要的场所,物品的不慎丢失却会造成重大事故的发生或造成无法补救后果的出现。例如,医院里面的手术场景,做手术前要登记所用到的器械的种类和数量。手术后要逐一点验,确保所有器械没有遗失,防止将手术器械遗忘到患者体内。一旦出现器械遗留在患者体内的情形,轻则出现医疗事故,重则造成人员伤亡。另一个情形是在航空机务领域,开展机务工作前,登记所有用到的工具的种类和数量,机务工作结束后要逐一点验,确保所有工具没有遗失,防止将机务工具遗忘到飞机内。机务中工具的遗忘有可能造成更加严重的后果出现。这些情形中的物品确认,一般都是人工来确认的,因此要受到身体状况、现场情形的影响,很容易出现百密一疏的情况出现,其后果不堪设想。
对于这种问题,现有技术中通常会采用防丢失技术来解决。对重要的人或物品进行实时监控,以达到防丢失的目的,但是这种方法只适用于人或贵重物品,不能对生活中的任何物品都进行跟踪和监控。尤其是在工具或物品繁多以及一些场所,例如手术的场景,很难实现对物品的定位和跟踪。
发明内容
在一些要求严格的场合,使用人工确认,而人工极易受到身体状况、现场情形的影响,很容易出现百密一疏的情况出现,进而导致严重的后果出现。
针对上述问题,提出一种物品搜寻系统及方法,多个检测单元检测不同位置的物品信息,并对存储单元中的所有物品信息进行更新,将更新后的物品信息传输到终端单元。终端单元依次接收多个检测单元的物品信息,在没有接收到语音信息时,检测单元检测范围内是否有物品移动,若有物品移动,则进入物品信息更新程序。终端单元的显示模块循环显示所述多个检测单元传输的物品图像信息。在接收到语音信息后,对该语音信息进行识别,并根据更新的物品信息进行语音合成,输出对应于该语音指令的语音播报,将显示的物品信息中的对应的图像加强调框显示出来。本发明可对使用前后的物品进行点验、搜寻,对用户要查找的物品进行语音播报,并加强调框显示出来,有效地解决了一些要求严格的场所容易出现的遗忘问题。
第一方面,提出一种物品搜寻系统,包括终端单元及检测单元,所述终端单元与所述检测单元通信连接;
终端单元,获取用户语音信息,并根据所述语音信息输出物品信息;
检测单元,检测、获取不同位置的物品图像信息,并将所述图像信息传输到所述终端单元。
优选地,所述终端单元包括语音识别模块、语音播报模块、电源模块及中央控制模块,所述语音识别模块、语音播报模块、电源模块与所述中央控制模块电连接;
语音识别模块,用于识别用户的语音信息,并将其转换为标准的命令,通过串口发送给中央控制模块;
语音播报模块,用于根据接收中央控制模块的指令,调用自身存储的语音库,播放对应的语音信息;
第一电源模块,用于对终端单元进行供电;
中央控制模块,用于接收来自语音识别模块的指令信息,接收来自检测单元的图像信息,构建语音播报指令,并将该指令发送给语音播报模块。
进一步地,所述终端单元还包括显示模块,所述显示模块与所述中央控制模块电连接,用于显示物品图像信息。
优选地,所述检测单元包括图像采集模块、视频处理模块、光敏模块、照明模块及第二电源模块,所述图像采集模块、光敏模块、照明模块、第二电源模块分别与所述视频处理模块电连接;
图像采集模块,用于实时采集所在区域的图像信息,并回传给视频处理模块,供视频处理模块进行检测和分析;
光敏模块,用于检测照明模块的光源强度,当所述光源强度低于预期值时,为确保所述图像采集模块正常工作,所述光敏模块向所述视频处理模块发送光线过暗的信号;
照明模块,用于向图像采集模块提供必要的光源强度;
第二电源模块,用于向检测单元提供电源;
视频处理模块,根据环境,设置合适的光源强度,利用录入的图像处理算法,分析处理采集的物品图像信息、实时更新物品信息并将更新后的物品信息传输给终端单元。
进一步地,所述视频处理模块包括存储单元,用于预先存储所要检测的物品信息,所述物品信息包括物品名称、ID号、位置、宽高、存在标志及时戳。
第二方面,一种物品搜寻方法,利用搜寻系统,包括如下步骤:
S1、搜寻系统获取所要搜寻物品的图像信息,并初始化所述图像信息;
S2、终端单元判断是否接收到语音信息:若否,进行步骤S3;若是,则直接进入步骤S4;
S3、若检测到有物品移动,进入物品信息更新程序;
S4、所述终端单元识别获取的语音信息,输出所述语音信息对应的物品信息。
优选地,步骤S1包括子步骤:
S11、图像采集模块采集所有物品图像;
S12、根据图像信息,利用图像处理算法,视频处理模块获取所采集物品信息;
S13、显示模块循环显示多个检测单元传输过来的物品信息。
优选地,步骤S3包括子步骤:
S31、将存储单元中所有已识别出的物品信息状态时间更新至最新系统时间;
S32、多个检测单元的图像采集模块检测、识别不同位置的物品信息;
S33、视频处理模块利用图像处理算法,获取所采集物品信息并传输到终端单元进行循环显示。
优选地,步骤S4包括子步骤:
S41、终端单元依次接收各个检测单元传输过来的物品信息;
S42、终端单元根据接收到的物品信息对接收到的语音进行识别、合成;
S43、终端单元输出对应语音的物品信息。
优选地,所述搜寻方法还包括智能控制照明的步骤:
S5、光敏模块检测环境光源强度。
S6、检测单元中的视频处理模块根据光源强度及用户设置指令确定是否启动照明模块。
实施本发明提出的一种物品搜寻系统及方法,多个检测单元检测不同位置的物品信息,并对存储单元中的所有物品信息进行更新,将更新后的物品信息传输到终端单元。终端单元依次接收多个检测单元的物品信息,在没有接收到语音信息时,检测单元检测范围内是否有物品移动,若有物品移动,则进入物品信息更新程序。终端单元的显示模块循环显示所述多个检测单元传输的物品图像信息。在接收到语音信息后,对该语音信息进行识别,并根据更新的物品信息进行语音合成,输出对应于该语音指令的语音播报,将显示的物品信息中的对应的图像加强调框显示出来。本发明可对使用前后的物品进行点验、搜寻,对用户要查找的物品进行语音播报,并加强调框显示出来,有效地解决了一些要求严格的场所容易出现的遗忘问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明中一种物品搜寻系统实施例电路逻辑组成连接示意图;
图2是本发明中一种物品搜寻系统实施例中的终端单元组成逻辑连接示意图;
图3是本发明中一种物品搜寻系统实施例中的检测单元组成逻辑连接示意图;
图4是本发明中一种物品搜寻方法的流程示意图;
图5是本发明中一种物品搜寻方法中步骤S1的子步骤流程示意图;
图6是本发明中一种物品搜寻方法中步骤S3的子步骤流程示意图;
图7是本发明中一种物品搜寻方法中步骤S4的子步骤流程示意图;
图8是本发明中一种物品搜寻方法中的智能控制照明步骤流程示意图;
附图中各数字所指代的部位名称为:100——终端单元、110——语音识别模块、120——显示模块、130——语音播报模块、140——第一电源模块、150——中央控制模块、200——检测单元、210——图像采集模块、220——光敏模块、230——照明模块、240——第二电源模块、250——视频处理模块、251——存储单元。
具体实施方式
下面将结合发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例,都属于本发明保护的范围。
在一些要求严格的场合,使用人工确认,而人工极易受到身体状况、现场情形的影响,很容易出现百密一疏的情况出现,进而导致严重的后果出现。
针对上述问题,提出一种物品搜寻系统及方法。
一、系统实施例
如图1,图1是本发明中一种物品搜寻系统实施例电路逻辑组成连接示意图,一种物品搜寻系统,包括终端单元100及多个检测单元200,终端单元100与多个检测单元200通信连接,终端单元100,获取用户语音信息,并根据语音信息输出物品信息;检测单元200,检测、获取不同位置的物品图像信息,并将图像信息传输到终端单元100。在接收到语音信息后,对该语音信息进行识别,并根据更新的物品信息进行语音合成,输出对应于该语音指令的语音播报,将显示的物品信息中的对应的图像加强调框显示出来。本发明可对使用前后的物品进行点验、搜寻,对用户要查找的物品进行语音播报,并加强调框显示出来,有效地解决了一些要求严格的场所容易出现的遗忘问题。
输出物品信息为输出物品的语音信息和/或图像信息,对于视力障碍者,只需要对物品的位置信息进行语音播报;对于视力正常的用户则同时输出物品的图像信息和语音播报信息。
优选地,如图2,图2是本发明中一种物品搜寻系统实施例中的终端单元100组成逻辑连接示意图,终端单元100包括语音识别模块110、语音播报模块130、电源模块及中央控制模块150,语音识别模块110、语音播报模块130、电源模块与中央控制模块150电连接。
语音识别模块110,用于识别用户的语音信息,并将其转换为标准的命令,通过串口发送给中央控制模块150。语音播报模块130,用于根据接收中央控制模块150的指令,调用自身存储的语音库,播放对应的语音信息。第一电源模块140,用于对终端单元100进行供电。中央控制模块150,用于接收来自语音识别模块110的指令信息,接收来自检测单元200的图像信息,构建语音播报指令,并将该指令发送给语音播报模块130。
语音识别模块110主要接收两大类语音指令:一类是搜索指令,即在固定的区域搜索用户指定的某件物品,这类指令主要用于物品的搜寻;另一类是记录/清点指令,这类指令主要用于医疗手术、航空机务等对仪器、工具的数量有严格要求的场合,记录指令在手术或机务工作开始前发出,系统识别出所有物品并语音播报,在手术或机务工作结束后,用户发出点验指令,系统再次识别所有物品并进行语音播报。
在有的实施方式中,终端单元100还包括显示模块120,显示模块120与中央控制模块150电连接,用于显示物品图像信息。在正常人使用的环境中,搜寻系统设置有显示模块120,显示视频处理模块250传输过来的图像信息,并对要搜寻或点验的物品加强调框,着重显示。
在没有接收到语音指令时,显示模块120根据程序的设定,整个系统进入到待机状态。在待机状态时,显示模块120循环显示多个检测单元200传输过来的更新后的图像信息,显示的物品信息不用加标强调框。接收到语音指令后,中央控制模块150根据不同的语音指令类型和从视频处理模块250中接收到的信息,按照不同的语音组合规则进行语音组合,并将结果发送给语音播报模块130。语音播报模块130根据接收到的语音组合命令,从预先存储的语音库选择对应的语音进行播报。显示模块120则将带有矩形强调框的图像显示出来,如果是记录/点验类指令,则将所有物品图像都加强调框显示出来。
在接收到语音指令后输出的物品信息包括对应于该物品的语音播报信息及含有该物品强调矩形框的图像信息。
优选地,如图3,图3是本发明中一种物品搜寻系统实施例中的检测单元200组成逻辑连接示意图,检测单元200包括图像采集模块210、视频处理模块250、光敏模块220、照明模块230及第二电源模块240,图像采集模块210、光敏模块220、照明模块230、第二电源模块240分别与视频处理模块250电连接。
图像采集模块210,用于实时采集所在区域的图像信息,并回传给视频处理模块250,供视频处理模块250进行检测和分析。
光敏模块220,用于检测环境光源强度,当光源强度低于预期值时,为确保图像采集模块210正常工作,光敏模块220向视频处理模块250发送光线过暗的信号。照明模块230,用于向图像采集模块210提供必要的光源强度。第二电源模块240,用于向检测单元200提供电源。
光敏模块220与照明模块230一起组成了检测单元200的智能照明系统。根据实际需要,照明模块230的开关受到两个因素的控制,一是光照强度,二是用户指令或者系统的模式设置。只有两个条件都满足,照明模块230才开启。在光照强度足够大的时候,即使系统允许开启照明设备或者是用户发送开启照明设备的语音指令,照明模块230也不开启;在光照强度较弱,检测到需要开灯的时候,如果模式设置上不允许增加光源强度,此时照明模块230也不开启。如果照明模块230开启过程中,用户发送了关闭照明模块230的指令,则照明模块230关闭,并将模式设置为不允许开灯的模式。
视频处理模块250,根据环境,设置合适的光源强度,利用录入的图像处理算法,分析处理采集的物品图像信息、实时更新物品信息并将更新后的物品信息传输给终端单元100。
进一步地,视频处理模块250包括存储单元251,用于预先存储所要检测的物品信息,物品信息包括物品名称、ID号、位置、宽高、存在标志及时戳。初始化时,物品位置、存在标志和时戳均为0。
图像采集模块210持续将采集到的图像发送给视频处理模块250,视频处理模块250利用内部嵌入的图像处理算法进行物品的检测和识别。对于检测出的物品,更新本地数据库中该物品的位置、宽高、存在标志和时戳。
随后视频处理模块250将图像采集模块210采集的图像发送至用户终端单元100,由用户终端单元100中的显示模块120进行显示。如果视频处理模块250多于1个,显示模块120循环显示各视频处理模块250的图像。至此,系统初始化过程完成,进入待机状态。
待机过程中,搜寻系统判断有无语音命令输入,如果没有收到语音命令,则通过图像处理算法,进一步检测来自图像采集模块210的图像中是否存在物体运动。如果没有检测到运动信息,表明所有物品位置没有发生变化,则搜寻系统继续处于待机状态,图像处理模块不进行物体的检测和识别,也不更新数据库中的物品信息。
如果待机过程中检测到物体运动信息,表明可能有物体位置发生变化,此时首先将本地数据库中所有已识别出的物品的时戳至最新搜寻系统时间,以便物品消失时搜寻系统中记录的该物品的最后存在时刻是正确的。随后调用视频处理模块250,进行图像采集和物品检测识别和信息更新。随后,视频处理模块250将图像采集模块210采集的图像发送至用户终端单元100,进行显示更新。如果视频处理模块250多于1个,显示模块120循环显示各视频处理模块250的图像。
如果待机过程中接收到语音指令,语音识别模块110首先分析语音,形成标准指令,中央控制模块150记录并将该指令转发给视频处理模块250。视频处理模块250首先将本地数据库中所有已识别出的物品的时戳至最新搜寻系统时间,然后进入图像采集和物品检测识别和信息更新流程。
随后,视频处理模块250根据接收到的指令,向中央控制模块150发送指定的物品信息,包括该物品的数量、位置、时戳以及与该物品相邻的其他物品的类型和位置,以便中央处理能够按照预先设计的规则恰当的描述指定物品的状态。此外,视频处理模块250还将图像采集模块210采集到的图像发送给中央控制模块150,并在图像中识别出的指定物品上添加了一个矩形框,以示强调。
应用实例1
医院手术场景:手术前,工作人员下达语音命令“开始统计器械”,搜寻系统自动识别所有的手术器械类型及数量,并通过语音上报。手术后,工作人员下达语音命令“清点器械”,搜寻系统再次自动识别所有的手术器械类型及数量,将通过前后对比,发出“器械清点完毕,无遗漏”或“缺少XX器械XX件”等语音提示,同时在显示模块的显示屏上将所有器械框选出来。
应用实例2
航空机务场景
飞机维护前,地勤人员发出语音命令“开始统计工具”,搜寻系统自动识别所有工具的类型及数量,保存,并通过语音上报确认;飞机维护工作结束后,地勤工作人员发出语音命令“清点工具”,搜寻系统再次识别所有工具的类型及数量,通过前后比对,发出“工具清点完毕,无遗漏”或者或“缺少XX工具XX件”等语音提示,同时在显示模块的显示屏上将所有工具框选出来。
应用实例3
日常生活中找寻物品,特别是视力障碍者。
借助语音寻物。用户向设备发出语音命令“XXX在哪里”,搜寻系统识别用户命令,调用检测单元扫描房间,自动识别对应的物品,通过语音上报结果,同时在显示屏上将该物品框选出来。
例如,用户发出“收音机在哪里”的语音命令,搜寻系统给出类似“收音机位于茶几上,水杯旁边”的检测结果。
特殊情形:当前寻找的物品被其他物品遮挡或者离开检测区。搜寻系统搜寻失败后,会调用历史记录,并将该物品最后出现的情形上报给用户。例如,用户发出“收音机在哪里”的语音命令,搜寻系统给出类似“当前搜索失败。收音机最后出现在2小时前,位置在茶几上,水杯旁边”的结果。
二、方法实施例
一种物品搜寻方法,如图4,图4是本发明中一种物品搜寻方法的流程示意图:
S1、搜寻系统获取所要搜寻物品的图像信息,并初始化图像信息。
优选地,如图5,图5是本发明中一种物品搜寻方法中步骤S1的子步骤流程示意图,利用搜寻系统,包括如下步骤:
步骤S1包括子步骤:
S11、图像采集模块210采集所有物品图像。
S12、根据图像信息,利用图像处理算法,视频处理模块250获取所采集物品信息。
S13、显示模块120循环显示多个检测单元200传输过来的物品信息。
图像采集模块210持续将采集到的图像发送给视频处理模块250,视频处理模块250利用内部嵌入的图像处理算法进行物品的检测和识别。对于检测出的物品,更新本地数据库中该物品的位置、宽高、存在标志和时戳。
随后视频处理模块250将图像采集模块210采集的图像发送至用户终端单元100,由用户终端单元100中的显示模块120进行显示。如果视频处理模块250多于1个,显示模块120循环显示各视频处理模块250的图像。至此,系统初始化过程完成,进入待机状态。
待机过程中,搜寻系统判断有无语音命令输入,如果没有收到语音命令,则通过图像处理算法,进一步检测来自图像采集模块210的图像中是否存在物体运动。如果没有检测到运动信息,表明所有物品位置没有发生变化,则搜寻系统继续处于待机状态,图像处理模块不进行物体的检测和识别,也不更新数据库中的物品信息。
S2、终端单元100判断是否接收到语音信息:若否,进行步骤S3;若是,则直接进入步骤S4。
S3、若检测到有物品移动,进入物品信息更新程序。
优选地,如图6,图6是本发明中一种物品搜寻方法中步骤S3的子步骤流程示意图,步骤S3包括子步骤:
S31、将存储单元251中所有已识别出的物品信息状态时间更新至最新系统时间。
S32、多个检测单元200的图像采集模块210检测、识别不同位置的物品信息。
S33、视频处理模块250利用图像处理算法,获取所采集物品信息并传输到终端单元100进行循环显示。
如果待机过程中检测到物体运动信息,表明可能有物体位置发生变化,此时首先将本地数据库中所有已识别出的物品的时戳至最新搜寻系统时间,以便物品消失时搜寻系统中记录的该物品的最后存在时刻是正确的。随后调用视频处理模块250,进行图像采集和物品检测识别和信息更新。随后,视频处理模块250将图像采集模块210采集的图像发送至用户终端单元100,进行显示更新。如果视频处理模块250多于1个,显示模块120循环显示各视频处理模块250的图像。
S4、所述终端单元100识别获取的语音信息,输出所述语音信息对应的物品信息。
优选地,如图7,图7是本发明中一种物品搜寻方法中步骤S4的子步骤流程示意图,步骤S4包括子步骤:
S41、终端单元100依次接收各个检测单元200传输过来的物品信息。
S42、终端单元100根据接收到的物品信息对接收到的语音进行识别、合成。
S43、终端单元100输出对应语音的物品信息。
如果待机过程中接收到语音指令,语音识别模块110首先分析语音,形成标准指令,中央控制模块150记录并将该指令转发给视频处理模块250。视频处理模块250首先将本地数据库中所有已识别出的物品的时戳更新至最新搜寻系统时间,然后进入图像采集和物品检测识别和信息更新流程。
随后,视频处理模块250根据接收到的指令,向中央控制模块150发送指定的物品信息,包括该物品的数量、位置、时戳以及与该物品相邻的其他物品的类型和位置,以便中央控制模块150能够按照预先设计的规则恰当的描述指定物品的状态。此外,视频处理模块250还将图像采集模块210采集到的图像发送给中央控制模块150,并在图像中识别出的指定物品上添加了一个矩形框,以示强调。
在有的实施例中,如图8,图8是本发明中一种物品搜寻方法中的智能控制照明步骤流程示意图;所述搜寻方法还包括智能控制照明的步骤:
S5、光敏模块220检测环境光源强度。
S6、检测单元200中的视频处理模块250根据光源强度及用户设置指令确定是否启动照明模块230。
光敏模块220与照明模块230一起组成了检测单元200的智能照明系统。根据实际需要,照明模块230的开关受到两个因素的控制,一是光照强度,二是用户指令或者系统的模式设置。只有两个条件都满足,照明模块230才开启。在光照强度足够大的时候,即使系统允许开启照明设备或者是用户发送开启照明设备的语音指令,照明模块230也不开启;在光照强度较弱,检测到需要开灯的时候,如果模式设置上不允许增加光源强度,此时照明模块230也不开启。如果照明模块230开启过程中,用户发送了关闭照明模块230的指令,则照明模块230关闭,并将模式设置为不允许开灯的模式。
实施本发明提出的一种物品搜寻系统及方法,多个检测单元200检测不同位置的物品信息,并对存储单元251中的所有物品信息进行更新,将更新后的物品信息传输到终端单元100。终端单元100依次接收多个检测单元200的物品信息,在没有接收到语音信息时,检测单元200检测范围内是否有物品移动,若有物品移动,则进入物品信息更新程序。终端单元100的显示模块120循环显示所述多个检测单元200传输的物品图像信息。在接收到语音信息后,对该语音信息进行识别,并根据更新的物品信息进行语音合成,输出对应于该语音指令的语音播报,将显示的物品信息中的对应的图像加强调框显示出来。本发明可对使用前后的物品进行点验、搜寻,对用户要查找的物品进行语音播报,并加强调框显示出来,有效地解决了一些要求严格的场所容易出现的遗忘问题。
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种物品搜寻系统,其特征在于,包括终端单元及检测单元,所述终端单元与所述检测单元通信连接;
终端单元,用于获取用户语音信息,并根据所述语音信息输出物品信息;
检测单元,用于检测、获取不同位置的物品图像信息,并将所述图像信息传输到所述终端单元。
2.根据权利要求1所述的物品搜寻系统,其特征在于,所述终端单元包括语音识别模块、语音播报模块、电源模块及中央控制模块,所述语音识别模块、语音播报模块、电源模块与所述中央控制模块电连接;
语音识别模块,用于识别用户的语音信息,并将其转换为标准的命令,通过串口发送给中央控制模块;
语音播报模块,用于根据接收到的中央控制模块的指令,调用自身存储的语音库,播放对应的语音信息;
第一电源模块,用于对终端单元进行供电;
中央控制模块,用于接收来自语音识别模块的指令信息,接收来自检测单元的图像信息,构建语音播报指令,并将该指令发送给语音播报模块。
3.根据权利要求2所述的物品搜寻系统,其特征在于,所述终端单元还包括显示模块,所述显示模块与所述中央控制模块电连接,用于显示物品图像信息。
4.根据权利要求1所述的物品搜寻系统,其特征在于,所述检测单元包括图像采集模块、视频处理模块、光敏模块、照明模块及第二电源模块,所述图像采集模块、光敏模块、照明模块、第二电源模块分别与所述视频处理模块电连接;
图像采集模块,用于实时采集所在区域的图像信息,并回传给视频处理模块,供视频处理模块进行检测和分析;
光敏模块,用于检测照明模块的光源强度,当所述光源强度低于预期值时,为确保所述图像采集模块正常工作,所述光敏模块向所述视频处理模块发送光线过暗的信号;
照明模块,用于向图像采集模块提供必要的光源强度;
第二电源模块,用于向检测单元提供电源;
视频处理模块,根据环境,设置合适的光源强度,利用录入的图像处理算法,分析处理采集的物品图像信息、实时更新物品信息并将更新后的物品信息传输给终端单元。
5.根据权利要求4所述的物品搜寻系统,其特征在于,所述视频处理模块包括存储单元,用于预先存储所要检测的物品信息,所述物品信息包括物品名称、ID号、位置、宽高、存在标志及时戳。
6.一种物品搜寻方法,其特征在于,利用搜寻系统,包括如下步骤:
S1、搜寻系统获取所要搜寻物品的图像信息,并初始化所述图像信息;
S2、终端单元判断是否接收到语音信息:若否,进行步骤S3;若是,则直接进入步骤S4;
S3、若检测到有物品移动,进入物品信息更新程序;
S4、所述终端单元识别获取的语音信息,输出所述语音信息对应的物品信息。
7.根据权利要求6所述的物品搜寻方法,其特征在于,步骤S1包括子步骤:
S11、图像采集模块采集所有物品图像;
S12、根据图像信息,利用图像处理算法,视频处理模块获取所采集物品信息;
S13、显示模块循环显示多个检测单元传输过来的物品信息。
8.根据权利要求6所述的物品搜寻方法,其特征在于,步骤S3包括子步骤:
S31、将存储单元中所有已识别出的物品信息状态时间更新至最新系统时间;
S32、多个检测单元的图像采集模块检测、识别不同位置的物品信息;
S33、视频处理模块利用图像处理算法,获取所采集物品信息并传输到终端单元进行循环显示。
9.根据权利要求6所述的物品搜寻方法,其特征在于,步骤S4包括子步骤:
S41、终端单元依次接收各个检测单元传输过来的物品信息;
S42、终端单元根据接收到的物品信息对接收到的语音进行识别、合成;
S43、终端单元输出对应语音的物品信息。
10.根据权利要求6所述的物品搜寻方法,其特征在于,所述搜寻方法还包括智能控制照明的步骤:
S5、光敏模块检测环境光源强度;
S6、检测单元中的视频处理模块根据光源强度及用户设置指令确定是否启动照明模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811237110.4A CN109522811A (zh) | 2018-10-23 | 2018-10-23 | 一种物品搜寻系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811237110.4A CN109522811A (zh) | 2018-10-23 | 2018-10-23 | 一种物品搜寻系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109522811A true CN109522811A (zh) | 2019-03-26 |
Family
ID=65772328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811237110.4A Pending CN109522811A (zh) | 2018-10-23 | 2018-10-23 | 一种物品搜寻系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109522811A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110400346A (zh) * | 2019-07-26 | 2019-11-01 | 青岛海尔科技有限公司 | 基于智能家居操作系统的信息处理方法及装置、存储介质 |
CN110472541A (zh) * | 2019-08-05 | 2019-11-19 | 福州大学 | 基于树莓派的服装识别系统及方法 |
CN111401325A (zh) * | 2020-04-21 | 2020-07-10 | 英华达(上海)科技有限公司 | 快速寻找物品的系统及其方法 |
CN111445618A (zh) * | 2020-03-31 | 2020-07-24 | 重庆远见金税通信息系统技术有限公司 | 一种票据报销用数据采集系统 |
CN111858993A (zh) * | 2020-07-31 | 2020-10-30 | 重庆电子工程职业学院 | 用于特殊物品的寻物指引系统 |
CN112087649A (zh) * | 2020-08-05 | 2020-12-15 | 华为技术有限公司 | 一种设备搜寻方法以及电子设备 |
CN113066491A (zh) * | 2021-03-18 | 2021-07-02 | 海信视像科技股份有限公司 | 显示设备及语音交互方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202277385U (zh) * | 2011-10-14 | 2012-06-20 | 上海理工大学 | 手术器械自动识别与计数系统 |
US20150187388A1 (en) * | 2013-12-26 | 2015-07-02 | Nathan R. Andrysco | Intelligent recording in electronic devices |
CN105222774A (zh) * | 2015-10-22 | 2016-01-06 | 广东欧珀移动通信有限公司 | 一种室内定位方法及用户终端 |
CN106294558A (zh) * | 2016-07-26 | 2017-01-04 | 北京小米移动软件有限公司 | 物体定位方法和装置 |
CN106940789A (zh) * | 2017-03-10 | 2017-07-11 | 广东数相智能科技有限公司 | 一种基于视频识别的数量统计的方法、系统及装置 |
CN107480129A (zh) * | 2017-07-18 | 2017-12-15 | 上海斐讯数据通信技术有限公司 | 一种基于视觉识别和语音识别的物品位置识别方法及系统 |
-
2018
- 2018-10-23 CN CN201811237110.4A patent/CN109522811A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202277385U (zh) * | 2011-10-14 | 2012-06-20 | 上海理工大学 | 手术器械自动识别与计数系统 |
US20150187388A1 (en) * | 2013-12-26 | 2015-07-02 | Nathan R. Andrysco | Intelligent recording in electronic devices |
CN105222774A (zh) * | 2015-10-22 | 2016-01-06 | 广东欧珀移动通信有限公司 | 一种室内定位方法及用户终端 |
CN106294558A (zh) * | 2016-07-26 | 2017-01-04 | 北京小米移动软件有限公司 | 物体定位方法和装置 |
CN106940789A (zh) * | 2017-03-10 | 2017-07-11 | 广东数相智能科技有限公司 | 一种基于视频识别的数量统计的方法、系统及装置 |
CN107480129A (zh) * | 2017-07-18 | 2017-12-15 | 上海斐讯数据通信技术有限公司 | 一种基于视觉识别和语音识别的物品位置识别方法及系统 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110400346A (zh) * | 2019-07-26 | 2019-11-01 | 青岛海尔科技有限公司 | 基于智能家居操作系统的信息处理方法及装置、存储介质 |
CN110472541A (zh) * | 2019-08-05 | 2019-11-19 | 福州大学 | 基于树莓派的服装识别系统及方法 |
CN111445618A (zh) * | 2020-03-31 | 2020-07-24 | 重庆远见金税通信息系统技术有限公司 | 一种票据报销用数据采集系统 |
CN111401325A (zh) * | 2020-04-21 | 2020-07-10 | 英华达(上海)科技有限公司 | 快速寻找物品的系统及其方法 |
CN111858993A (zh) * | 2020-07-31 | 2020-10-30 | 重庆电子工程职业学院 | 用于特殊物品的寻物指引系统 |
CN111858993B (zh) * | 2020-07-31 | 2023-10-20 | 重庆电子工程职业学院 | 用于特殊物品的寻物指引系统 |
CN112087649A (zh) * | 2020-08-05 | 2020-12-15 | 华为技术有限公司 | 一种设备搜寻方法以及电子设备 |
US11627437B2 (en) | 2020-08-05 | 2023-04-11 | Huawei Technologies Co., Ltd. | Device searching method and electronic device |
US11889386B2 (en) | 2020-08-05 | 2024-01-30 | Huawei Technologies Co., Ltd. | Device searching method and electronic device |
CN113066491A (zh) * | 2021-03-18 | 2021-07-02 | 海信视像科技股份有限公司 | 显示设备及语音交互方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109522811A (zh) | 一种物品搜寻系统及方法 | |
CN107688884A (zh) | 安检集中管理系统 | |
CN209248550U (zh) | 基于人脸识别的数据分析和推送系统 | |
US7710455B2 (en) | Node management system and node managing program using sensing system | |
CN108681690A (zh) | 一种基于深度学习的流水线人员规范操作检测系统 | |
CN109635003A (zh) | 一种基于多数据源的社区人口信息关联的方法 | |
CN109359098A (zh) | 一种调度数据网行为监测系统及方法 | |
CN110136290A (zh) | 发电企业智能巡回检查方法 | |
KR102159966B1 (ko) | 스마트 박스를 이용한 지능형 소화기 관리시스템 | |
CN106558118A (zh) | 一种具有指纹识别的鼠标考勤装置及方法 | |
CN109977870A (zh) | 一种监控识别系统 | |
CN112258365A (zh) | 一种公共安全、卫生智能快速查验系统 | |
CN110458069A (zh) | 一种基于脸部识别辅助管理用户在线学习状态的方法及系统 | |
CN108769442A (zh) | 一种医院呼叫系统 | |
CN110009281A (zh) | 一种仓储管理系统及其管理方法 | |
CN207718444U (zh) | 用于变电检修移动巡检作业的可穿戴装备 | |
CN112578172A (zh) | 一种用于计量箱的多维可视化监控装置 | |
CN109474473A (zh) | 一种面向感知数据监测预警的通用告警系统及方法 | |
CN107610260B (zh) | 一种基于机器视觉的智能考勤系统及考勤方法 | |
CN207663547U (zh) | 灯具及巡查监控系统 | |
CN114420302A (zh) | 一种企事业单位智能防疫控制系统 | |
CN105957203A (zh) | 一种集中式公寓整体通道安全管理系统 | |
CN110472551A (zh) | 一种提高准确度的跨镜追踪方法、电子设备及存储介质 | |
CN208705222U (zh) | 用于激光气体检测仪的数据管理终端及其系统 | |
CN109034754A (zh) | 重大项目调度指挥中心 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190326 |